跳到正文
Chandler Nguyen
AI阅读时间1分钟

用 AI 衡量营销增量性

增量性衡量的是「没有营销就不会发生」的部分。AI 帮助设计测试、从更多数据估计效果、以及 读出效果集中在谁身上。它不移除对对照的需要。没有反事实,模型只是让一个相关听起来像因果。

增量性是「没有营销就不会发生」的衡量。AI 在三个地方有帮助:设计更好的测试、从更多更乱的数据估计效果、以及读出效果集中在受众或组合的哪一部分。它不提供反事实。没有一个恰当的对照,模型会以极大的自信让一个相关听起来像因果。

最后那句就是全部风险。AI 让产出一个看起来像增量性的数字更容易,而工作中最难的部分仍是决定拿什么比较。跳过那一步、跳到模型的团队,最后得到在对的估计,当有人问出那个显然的问题——跟什么比?——就无法辩护。

增量性实际意味着什么

增量性回答一个反事实的问题:有多少转化、销售或品牌结果是因为营销而发生的,而不是无论如何都会发生。那些没看到广告也会买的人不是增量的,无论广告多么触到他们。归因在数功劳;增量性在量因果,而它们是两个常常不一致的问题。

这就是为什么归因数据本身无法确立增量性。一份 last-click 报告会把功劳给某人点过的广告,但它无法告诉你他们是否无论如何都会转化。要知道那个,你需要一个没收到营销的组、以及一种比较的方式。那个组就是反事实,没有任何模型的精巧能替代它。

为什么归因不是增量性

归因和增量性回答不同的问题,混淆它们会产出自信、错误的预算决定。归因把功劳分配到已发生转化的各个触点之间;增量性估计那些转化里有多少依赖营销。一个渠道能在归因里看起来很强、增量却几乎为零,或看起来弱、却在承载整场活动。

务实的含义是:对预算决定,增量性应比归因更有分量,而归因主要对在飞的优化有用。当两者不一致,信实验。这是如何衡量 AI 营销影响里更宽衡量框架所铺开的纪律,而当 AI 在生成分析时它更重要。

AI 在增量性里的三项工作

AI 在三个点上帮助,值得对每一个精确,因为价值和风险在每一个上都不同。设计:比人更快地生成测试结构、功效计算和候选对照设计,然后把选择留给一个人。估计:拟合从大或稀疏数据里抽取信号的模型,那里简单比较会失败。以及细分:找到效果集中的地方,让一个混合平均不掩盖一个只对某个受众有效的渠道。

在每一种里,模型是一个因果设计里的工具,不是一个设计的替代。设计尤其如此,因为一个设计糟糕的测试什么都给不了模型去估计。AI 能提议设计;一个懂业务的人得选一个实际能跑的。

主要方法以及 AI 在哪里帮助

不同增量性方法适合不同情形,而 AI 的角色因方法而异。下面的表画出常见做法。

方法何时适合AI 的角色
地理对照渠道层、可按区域切设计、效果估计、异质性
Switchback基于时间、竞价驱动设计、序列分析
幽灵出价 / PSA搜索和竞价渠道估计、花费-响应曲线
匹配控制当对照不可能时匹配、偏差检查
MMM组合层、常开更快拟合、情景测试

一个方法越依赖一个被设计的反事实,越不该信任 AI 独自发明那个设计。它越依赖从数据估计,AI 加得越多。用这张表为情形挑方法,而不是默认到模型最容易处理的哪个。

自信因果的危险

失败模式是一个模型在观测数据里找到一个关系、并把它当作增量呈现。现代方法能听起来权威,同时依托着不成立的假设——不平行的平行趋势、被污染的控制、响应需求而非导致需求的花费。产出看起来像一个因果估计,实际上是 一个精巧的相关。

辩护是让反事实保持明确、并测试假设。如果设计说两组可比,检查它。如果一个对照本应干净,验证没有别的变化打到一边。并愿意报告数据无法回答这个问题,那比一个你无法辩护的数字更有用。

结合实验与模型

最强的衡量系统把一次被设计的实验,与一个延伸其发现的模型配对。一个地理对照给渠道在一个定义窗口里的干净、可信估计;一个模型用那个估计来校准跨渠道和跨时期的更宽视图。实验锚住因果,模型在无法测试的地方提供覆盖。

这个配对也是你如何处理对照不切实际的渠道的方式。在模型被对照真实实验校准过的地方更信它,在没有的地方更不信。随时间,一个过往实验的库成为让常开模型诚实的证据基础,它像客户记忆层一样复利。

一个务实的起点

先为每个主要渠道固定反事实问题:你会拿什么比较、以及你能否真正跑那个比较?在能的地方,跑一个对照并把它当锚。在不能的地方,用一个匹配控制或一个模型,并把估计标为更弱。然后用 AI 在那个框架内做设计、估计和细分,并报告每个估计及其方法和自信。

然后养成把模型的增量与下一个实验比较的习惯。当它们分叉,实验赢、模型被重新校准。那个循环是把一堆估计变成可信衡量系统的东西,也是无论有没有 AI 都相同的纪律。

归因衰减以及它为什么重要

报告与决定之间的差距不是新的;我多年前在别把时间浪费在报告上里写过,而 AI 让数字更容易产出、却没有让它更因果。归因数据因与活动无关的原因衰减:隐私变化、标识符丢失、衡量缺口、以及平台侧用估计填补漏洞的建模。随衰减增加,归因离真相更远,而那恰恰是团队更依赖它的时候,因为更干净的信号已经没了。归因越弱,增量性越有价值,不是越少。

这是现在投资测试的务实理由。反事实是唯一不依赖跨互联网追踪一个人的衡量;它依赖比较组。在一个归因衰减的世界里,基于测试的估计是持久的那个,而模型的角色是把它延伸到计划里比一次实验能到的更远。推论是给你的估计标上日期。两年前的增量数字不是关于今天的事实;竞价、受众和创意全都变了。滚动地重测,把旧估计当先验而非真相。一个永不过期的衡量系统,是一个悄悄过时的系统。

FAQ

AI 能在没有测试的情况下告诉我们增量性吗?

不能。它能从观测数据估计,而那个估计依托于一个测试会验证的假设。没有反事实,你在读一个相关、并叫它因果,无论方法多精巧。用 AI 支撑一个被设计的测试,不用它替代一个。

我们该停止使用归因吗?

不,但降级它。归因对在飞优化、以及理解转化路径有用。对预算决定,增量性应更有分量,而两者不一致时,实验是该信的那个。

我们该多常跑增量性测试?

够到锚住模型,通常按主要渠道滚动地跑、而不是一次全跑。每个干净的实验重新校准常开视图、提升各处的自信。一年几次设计良好的测试,胜过一股持续的弱测试流。

如果我们不能跑对照呢?

用一个匹配控制、一个 switchback 或一个模型,并把估计报告为更弱。清楚地标注方法和自信,并把任何依赖一个弱估计的决定当作临时的。对局限明确,比把每个估计都当作平等的更可信。

简短版

增量性衡量「没有营销就不会发生」的部分,AI 帮助设计测试、估计效果、并找到它们集中在哪里。它从不提供反事实,所以保持一个对照、并用其方法标注每个估计。如何衡量 AI 营销影响覆盖运营指标,执行指南把衡量放进更宽的工作流。面向团队负责人的车道把它贯穿运营模式来做。

如果你跑增量性,我想听听你最不信哪个方法——那通常是诚实的答案。

祝好, Chandler


本文提供简体中文版本。课程材料(视频、模板和配套指南)以英语和日语提供。本网站提供13种语言版本。