Incrementality 係「冇 marketing 就唔會發生」嘅量度。AI 喺三個地方幫到手：設計更好嘅 test、由更多更亂嘅數據估計效果、以及讀出效果集中喺 audience 或 mix 嘅邊一部分。佢提供唔到個 counterfactual。冇一個恰當嘅 control，一個 model 會以極大嘅自信令一個相關聽起上嚟似因果。
最後嗰句就係全部風險。AI 令產出一個睇落似 incrementality 嘅數字更容易，而份工最難嘅部分仍然係決定攞咩對比。跳過嗰一步、跳到 model 嘅團隊，最後得到啲喺有人問出嗰條顯然嘅問題——同咩比？——時辯護唔到嘅優雅估計。
Incrementality 實際意味住咩
Incrementality 答一條 counterfactual 問題：有幾多 conversion、銷售或 brand 結果係因為 marketing 而發生嘅，而唔係無論如何都會發生。嗰啲冇睇到廣告都會買嘅人唔係 incremental 嘅，無論個廣告幾咁掂到佢哋。Attribution 數功勞；incrementality 量因果，而佢哋係兩條成日唔一致嘅問題。
呢個就係點解 attribution 數據本身確立唔到 incrementality。一份 last-click report 會將功勞俾某人點過嘅廣告，但佢話你唔到佢哋會唔會無論如何都轉化。要知道嗰個，你需要一個冇收到 marketing 嘅組、以及一種對比嘅方式。嗰個組就係 counterfactual，而冇任何 model 嘅精巧替代得到佢。
點解 attribution 唔係 incrementality
Attribution 同 incrementality 答唔同嘅問題，混淆佢哋會產出自信、錯誤嘅 budget 決定。Attribution 將功勞分配到已發生轉化嘅各個 touchpoint 之間；incrementality 估計嗰啲轉化入面有幾多依賴 marketing。一個 channel 喺 attribution 度睇落好強、incremental 卻幾乎係零，或者睇落弱、卻喺度承載成場 campaign。
務實嘅含義係：對 budget 決定，incrementality 應該比 attribution 更有分量，而 attribution 主要對喺飛嘅優化有用。當兩者唔一致，信個實驗。呢個係點樣 measure AI marketing impact入面更寬 measurement 框架所鋪開嘅紀律，而當 AI 喺度生成分析時佢更重要。
AI 喺 incrementality 入面嘅三項工作
AI 喺三個點上幫手，值得對每一個精確，因為價值同風險喺每一個上都唔同。設計：比人更快咁生成 test 結構、power 計算同候選 holdout 設計，然後將選擇留返俾一個人。估計：擬合由大或稀疏數據抽取訊號嘅 model，嗰度簡單對比會失敗。以及細分：搵到效果集中嘅地方，令一個混合平均唔遮蓋一個只對某個 audience 有效嘅 channel。
喺每一種裏面，model 係一個因果設計入面嘅工具，唔係一個設計嘅替代。設計尤其如此，因為一個設計差嘅 test 咩都俾唔到 model 去估計。AI 提議得到設計；一個明白業務嘅人一定要揀一個實際跑得到嘅。
主要方法以及 AI 喺邊度幫手
唔同 incrementality 方法啱唔同情形，而 AI 嘅角色因方法而異。下面張表畫出常見做法。
| 方法 | 幾時啱 | AI 嘅角色 |
|---|---|---|
| Geo holdout | Channel 層、可按區域切 | 設計、效果估計、異質性 |
| Switchback | 基於時間、競價驅動 | 設計、序列分析 |
| Ghost bids / PSA | 搜尋同競價 channel | 估計、花費-響應曲線 |
| Matched control | 當 holdout 唔可能時 | 匹配、偏差檢查 |
| MMM | 組合層、常開 | 更快擬合、scenario 測試 |
一個方法越依賴一個被設計嘅 counterfactual，越唔該信 AI 獨自發明嗰個設計。佢越依賴由數據估計，AI 加得越多。用呢張表為情形揀方法，而唔係默認到 model 最容易處理嗰個。
自信因果嘅危險
個失敗模式係一個 model 喺觀測數據入面搵到一個關係、並將佢當作 incremental 呈現。現代方法聽起上嚟權威，同時依托住唔成立嘅假設——唔平行嘅平行趨勢、俾人污染嘅 control、響應需求而非導致需求嘅花費。個產出睇落似一個因果估計，實際係一個精巧嘅相關。
辯護係令個 counterfactual 保持明確、並測試啲假設。如果個設計話兩組可比，檢查佢。如果一個 holdout 本應乾淨，驗證冇其他變化打中一邊。並願意報告數據答唔到呢條問題，噉比一個你辯護唔到嘅數字更有用。
結合實驗同 model
最強嘅 measurement 系統將一次被設計嘅實驗，同一個延伸其發現嘅 model 配對。一個 geo holdout 俾 channel 喺一個定義窗口度嘅乾淨、可信估計；一個 model 用嗰個估計嚟校準跨 channel 同跨時期嘅更寬視圖。實驗錨住因果，model 喺無法測試嘅地方提供覆蓋。
呢個配對亦都係你點處理 holdout 唔實際嘅 channel 嘅方式。喺 model 俾對照真實實驗校準過嘅地方更信佢，喺冇嘅地方更唔信。隨時間，一個過往實驗嘅 library 成為令常開 model 誠實嘅證據基礎，佢好似客戶 memory layer 咁複利。
一個務實嘅起點
先為每個主要 channel 固定 counterfactual 問題：你會攞咩對比、以及你能唔能夠真正跑嗰個對比？喺得嘅地方，跑一個 holdout 並將佢當錨。喺唔得嘅地方，用一個 matched control 或一個 model，並將估計標為更弱。然後喺嗰個框架內用 AI 做設計、估計同細分，並報告每個估計及其方法同自信。
然後養成將 model 嘅增量同下一個實驗對比嘅習慣。當佢哋分叉，實驗贏、model 俾人重新校準。嗰個循環係將一堆估計變成可信 measurement 系統嘅嘢，亦都係無論有冇 AI 都相同嘅紀律。
Attribution 衰減以及佢點解重要
Report 同決定之間嘅差距唔係新嘅；我多年前喺唔好將時間嘥喺 report 度寫過，而 AI 令個數字更容易產出、卻冇令佢更因果。Attribution 數據因同 campaign 無關嘅原因衰減：私隱變化、標識符丟失、measurement 缺口、以及 platform 側用估計填窿嘅建模。隨衰減增加，attribution 離真相更遠，而嗰個恰恰係團隊更依賴佢嗰陣，因為更乾淨嘅訊號已經冇咗。Attribution 越弱，incrementality 越有價值，唔係越少。
呢個係而家投資 test 嘅務實理由。Counterfactual 係唯一唔依賴跨互聯網追蹤一個人嘅量度；佢依賴對比組。喺一個 attribution 衰減嘅世界度，基於 test 嘅估計係持久嗰個，而 model 嘅角色係將佢延伸到個 plan 入面比一次實驗到得到嘅更遠。個推論係俾你嘅估計標上日期。兩年前嘅 incrementality 數字唔係關於今日嘅事實；個競價、audience 同 creative 全部都變咗。滾動咁重測，將舊估計當先驗而非真相。一個永不過期嘅 measurement 系統，係一個靜靜雞過時嘅系統。
FAQ
AI 喺冇 test 嘅情況下講得到 incrementality 俾我哋知咩？
唔得。佢由觀測數據估計得到，而嗰個估計依托住一個 test 會驗證嘅假設。冇 counterfactual，你喺度讀一個相關、並叫佢做因果，無論方法幾精巧。用 AI 支撐一個被設計嘅 test，唔好用佢替代一個。
我哋該停止用 attribution 咩？
唔該，但降級佢。Attribution 對喺飛優化、以及理解轉化路徑有用。對 budget 決定，incrementality 應該更有分量，而兩者唔一致時，實驗係要信嗰個。
我哋該幾常跑 incrementality test？
夠到錨住個 model，通常按主要 channel 滾動咁跑、而唔係一次全跑。每個乾淨嘅實驗重新校準常開視圖、提升各處嘅自信。一年幾次設計良好嘅 test，勝過一股持續嘅弱 test 流。
如果我哋跑唔到 holdout 呢？
用一個 matched control、一個 switchback 或一個 model，並將估計報告為更弱。清楚咁標注方法同自信，並將任何依賴一個弱估計嘅決定當作臨時嘅。對局限明確，比將每個估計都當成平等嘅更可信。
短版
Incrementality 量度「冇 marketing 就唔會發生」嘅部分，AI 幫手設計 test、估計效果、並搵到佢哋集中喺邊。佢從不提供 counterfactual，所以保持一個 control、並用其方法標注每個估計。點樣 measure AI marketing impact覆蓋營運 metric，Execution 指南將 measurement 放入更寬嘅 workflow。面向 team lead 嘅 lane將佢貫穿 operating model 嚟做。
如果你跑 incrementality，我好想聽下你最唔信邊個方法——嗰個通常係誠實嘅答案。
Cheers, Chandler
本文提供繁體中文（香港）版本。課程材料（影片、template同配套指南）以英語同日語提供。本網站提供13種語言版本。