インクリメンタリティは、マーケティングがなければ起きなかったものの尺度です。AIは3つの場所で助けます。より良いテストの設計、より多くより乱雑なデータからの効果の推定、そして効果がオーディエンスやミックスのどこに集中しているかの読み取り。しかし反事実は供給しません。適切な対照群がなければ、モデルは相関を大きな自信で因果らしく響かせます。
その最後の文がリスクのすべてです。AIはインクリメンタリティに見える数字を生むのを易しくし、仕事の最も難しい部分は依然、何と比べるかの決定です。そのステップを飛ばしモデルへ跳ぶチームは、誰かが明白な問い——何と比べて？——を尋ねたとき擁護できない優雅な推定に行き着きます。
インクリメンタリティが実際意味すること
インクリメンタリティは反事実の問いに答えます。マーケティングのおかげで起きたコンバージョン、売上、ブランド成果がいくつあったか、そうでなくても起きたであろうものではなく。広告を見ずに買ったであろう人は、広告がどれだけ触れてもインクリメンタルではありません。帰属はクレジットを数え、インクリメンタリティは因果を測り、それらはしばしば食い違う別の問いです。
だから帰属データだけではインクリメンタリティを確立できません。ラストクリックのレポートは誰かがクリックした広告にクレジットを与えますが、その人が関係なくコンバージョンしたかは言えません。それを知るには、マーケティングを受けなかったグループと比較する方法が必要です。そのグループが反事実で、どんなモデルの洗練もそれを置き換えません。
なぜ帰属はインクリメンタリティでないか
帰属とインクリメンタリティは違う問いに答え、混同すると自信過剰で誤った予算の決定を生みます。帰属は起きたコンバージョンのクレジットをタッチポイントをまたいで配分し、インクリメンタリティはそれらのコンバージョンのうちいくつがマーケティングに依存したかを推定します。チャネルは帰属で強く見えてほぼゼロインクリメンタルだったり、弱く見えてキャンペーンを運んでいたりしえます。
実践的な含意は、予算の決定ではインクリメンタリティが帰属より重い重みを持つべきで、帰属は主に進行中の最適化に有用だということです。2つが食い違うときは実験を信じます。これはAIマーケティングのインパクトをどう計測するかのより広い計測の枠組みで示した規律で、AIが分析を生むときはなおさら大事です。
インクリメンタリティにおけるAIの3つの仕事
AIは3つの点で助け、各々について正確であり価値があります。価値とリスクがそれぞれ違うからです。設計：テストの構造、パワー計算、候補のホールドアウト設計を人間より速く生み、選択を人に残す。推定：単純な比較が失敗する大規模または疎なデータからシグナルを引くモデルを当てはめる。そしてセグメンテーション：効果がどこに集中しているかを見つけ、ブレンドされた平均が1つのオーディエンスにだけ機能するチャネルを隠さないようにする。
各ケースでモデルは因果設計の中のツールで、その代わりではありません。特に設計は判断が依然支配する場所です。悪く設計されたテストはモデルに推定するものを与えないからです。AIは設計を提案できますが、ビジネスを理解する人間が実際に走らせられるものを選ばねばなりません。
主な手法とAIが助ける場所
違うインクリメンタリティの手法が違う状況に合い、AIの役割は手法によって変わります。下の表が一般的なアプローチを地図化します。
| 手法 | いつ合うか | AIの役割 |
|---|---|---|
| ジオホールドアウト | チャネル単位、地域分割可能 | 設計、効果の推定、異質性 |
| スイッチバック | 時間ベース、オークション駆動 | 設計、逐次分析 |
| ゴースト入札／PSA | 検索とオークションのチャネル | 推定、支出-反応の曲線 |
| マッチドコントロール | ホールドアウトが不可能なとき | マッチング、バイアスの確認 |
| MMM | ポートフォリオ単位、常時稼働 | より速い当てはめ、シナリオのテスト |
手法が設計された反事実に依存するほど、AIが単独で設計を発明することを信じるべきではありません。データからの推定に依存するほど、AIはより多くを加えます。状況に合う手法を選ぶのに表を使い、モデルが最も容易に扱うものに既定しないでください。
自信過剰な因果の危険
失敗モードは、観察データの中に関係を見つけ、それをインクリメンタルとして提示するモデルです。現代の手法は、成り立たない仮定——平行でない平行トレンド、汚染されたコントロール、需要に反応する支出で引き起こすのではない——に載りながら、権威あるように響きえます。出力は因果の推定に見え、実際は洗練された相関です。
防御は反事実を明示的に保ち、仮定を試すことです。設計が2つのグループは比較可能と言うなら確認します。ホールドアウトがクリーンであるべきなら、他の変化が片側に当たらなかったことを検証します。そしてデータが問いに答えられないと報告する用意をします。それは擁護できない数字より有用な答えです。
実験とモデルを組み合わせる
最も強い計測システムは、設計された実験とその発見を拡張するモデルを組にします。ジオホールドアウトが定義された窓で1つのチャネルのクリーンで信頼できる推定を与え、モデルがその推定をチャネルと期間をまたぐ広い見解の較正に使います。実験が因果を錨で固定し、モデルがテストを回せない場所にカバレッジを与えます。
この組み合わせは、ホールドアウトが非現実的なチャネルを扱う方法でもあります。実際の実験に対して較正されている場所ではモデルをより信じ、そうでない場所ではより信じません。時とともに、過去の実験のライブラリが常時稼働のモデルを正直に保つ証拠の基盤になり、クライアントメモリの層と同じように複利で効きます。
実践的な出発点
主要なチャネルごとに反事実の問いを定めることから始めます。何と比べるか、そして実際にその比較を回せるか？ 回せる場所ではホールドアウトを回し、錨として扱います。回せない場所ではマッチドコントロールかモデルを使い、推定を弱いとラベルします。そしてその枠組みの中で設計、推定、セグメンテーションにAIを使い、すべての推定をその手法と信頼度とともに報告します。
そしてモデルの増分を次の実験と比べる習慣を築きます。食い違うときは実験が勝ち、モデルが再較正されます。そのループが推定の山を信頼できる計測システムに変え、AIが関わっても関わらなくても同じ規律です。
帰属の減衰とそれがなぜ大事か
レポートと決定の間の隔たりは新しいものではありません。人々が気にしないのでレポーティングに時間を無駄にするなで何年も前に書きました。AIは数字を生むのを易しくしますが、より因果にはしません。帰属データはキャンペーンと無関係な理由で減衰します。プライバシーの変化、識別子の喪失、計測の隙間、穴を推定で埋めるプラットフォーム側のモデリング。減衰が増すほど帰属は真実から離れ、まさにそのときチームはよりきれいなシグナルが消えたのでそれにより寄りかかります。インクリメンタリティは帰属が弱くなるにつれより価値があり、その逆ではありません。
これが今テストに投資する実践的な理由です。反事実は、人をインターネットをまたいで追跡することに依存しない唯一の計測です。グループを比べることに依存します。帰属が減衰する世界で、テストに基づく推定が耐久性のあるもので、モデルの役割は、単一の実験が単独で届くより遠くへ計画の中へそれを拡張することです。系として、推定に日付をつけます。2年前のインクリメンタリティの数字は今日の事実ではありません。オークション、オーディエンス、クリエイティブがすべて変わりました。ローリングで再テストし、古い推定を真実ではなく事前分布として扱います。決して期限が切れない計測システムは、静かに古びた計測システムです。
FAQ
AIはテストなしにインクリメンタリティを教えられますか？
いいえ。観察データから推定でき、推定はテストが検証するであろう仮定に載ります。反事実がなければ、どんなに洗練された手法でも相関を読んで因果と呼んでいます。設計されたテストを補助するのにAIを使い、置き換えには使いません。
帰属を使うのをやめるべきですか？
いいえ、ただし降格します。帰属は進行中の最適化とコンバージョンへの経路の理解に有用です。予算の決定にはインクリメンタリティがより重い重みを持つべきで、2つが食い違うときは実験を信じます。
インクリメンタリティのテストはどのくらいの頻度で回すべきですか？
モデルを錨で固定するのに十分で、通常、一度にすべてではなくローリングで主要チャネルごとに。各クリーンな実験が常時稼働の見解を再較正し、どこでも自信を上げます。年にいくつかの良いテストをよく設計する方が、絶え間ない弱いテストの流れに勝ります。
ホールドアウトを回せなければ？
マッチドコントロール、スイッチバック、またはモデルを使い、推定を弱いと報告します。手法と信頼度を明確にラベルし、弱い推定に依存する決定を暫定として扱います。限界について明示的である方が、すべての推定を等しく提示するより信頼できます。
短いまとめ
インクリメンタリティはマーケティングがなければ起きなかったものを測り、AIはテストの設計、効果の推定、それが集中する場所の特定を助けます。決して反事実を供給しないので、対照群を保ち、すべての推定をその手法とともにラベルします。AIマーケティングのインパクトをどう計測するかの記事がオペレーションの指標を扱い、実行ガイドが計測をより広いワークフローに置きます。チームリード向けのトラックがそれをオペレーティングモデルを通して働かせます。
あなたがインクリメンタリティを回すなら、最も信じない手法を聞きたいです。たいてい、それが正直な答えです。
それでは、 Chandler
この記事は日本語でお読みいただけますが、コース本体（動画、テンプレート、コンパニオンガイド）は英語・日本語・簡体字中国語・韓国語で提供しており、本サイトは13言語でご利用いただけます。