本文へ移動
Chandler Nguyen
退出

フロアを開いています…

CFOの問い

GreenLeafのCEOが会議室に問いを投げかけました。AIはすでに回答案と計画を用意していて、どちらも完成しているように見えます。

英国の広告費が増分だとどう証明するかを決め、そのうえで、AI自身が準備不足と評価した計画を実行するかどうかを決めます。

  • CEO:「英国で月に$35Kを使っています。もともと私たちを見つけてくれたはずの人たちの手柄を横取りしているだけではない、とどうすれば言えますか。」
  • AIの最初の案:選んだ地域で四週間有料広告を止め、対照地域と比較する。四地域それぞれで最低500件、合計でおよそ2,000件のコンバージョン。
  • 計画表では、月$35,000で損益分岐が$312の場合、英国で増える購読者は月に約112人。Q1の目標であるクイズ完了5,000件は、月に約1,670件にあたります。
  • 検討フェーズの計画に対するAI自身の準備チェック:35%、リスク高。クイズのUXは改善が必要で、ウェアラブル連携は未構築、ナーチャリングのフローも不完全です。
  • Ryan(計測): 案では四週間で約2,000件のコンバージョンが必要です。CEOに答えを約束する前に、実際に得られる件数と照らして確かめたいです。
  • Jake(プランニング): この計画はインパクトが9点です。不足を全部埋めるまで待てば、検索している人を競合に取られます。
  • Megan(アカウントリード): CEOの問いはもっともです。何を送るにしても、答えに見えるだけでなく、本当に答えになっていなければなりません。

CEOにどう答えますか。

  • AIの案をそのまま実行する:四地域、四週間、各地域で最低500件のコンバージョン: 教科書どおりのジオ・ホールドアウトで、今月から始められ、CEOは四週間後に答えを受け取れます。
  • 設計し直す:成果指標をクイズ完了にし、地域を二グループにまとめ、八週間で行う: 八週間のクイズ完了をまとめます。答えを約束する前に、実験設計を検証します。
  • テストは行わず、各プラットフォームの計上するコンバージョンを報告する: 速くて費用もかからず、クライアントも毎週この数字を見慣れています。

認知から検討への計画は、実行準備が35%と評価されています。実行しますか。

  • 今すぐ実行し、不足は走りながら埋める: AIの採点はインパクト・確信度・容易さで9 / 9 / 7。待つ一週間ごとに、取り込めたはずの需要を逃します。
  • 検索とMetaは今すぐ実行し、メールはナーチャリングのフローができるまで保留する: いま検索している人を取り込みつつ、最も時間のかかる前提条件を整えられます。
  • 先に三つの不足を直す:クイズ、ウェアラブル連携、ナーチャリングのフロー: 離脱の多いクイズとナーチャリングのない状態では広告費が無駄になります。既知の三つの不足を先に直すほうが、本番で気づくより安く済みます。

この案は四週間で約2,000件のコンバージョンを必要としますが、英国で増える購読者は月に約112人です。 四週間たっても、どの地域でも500件のコンバージョンにはまったく届きません。英国全体で増える購読者は月に約112人です。テストは読み取れず、CEOの問いは未解決のままです。

計上コンバージョンでは、広告費が増分だったかどうかには答えられません。 報告に載るのは、各プラットフォームが自分の成果だと主張するコンバージョンです。CEOが尋ねたのは、まさにそれらの人がもともと来ていたのではないかという点でした。コースが追うのは、計上コンバージョンではなく増分の購読者です。

八週間を見込み、設計と統計的検出力を検証します。 シナリオ上の試算では、八週間で各統合グループのクイズ完了は約770件です。これだけでは統計的検出力も、広告による購読者の純増も証明できません。

データ基盤が散らばったままのデータは、テスト結果の読み取りを遅らせます。 結果の読み取りには、全地域のデータが一か所にそろい、整理され、比較できる必要があります。データ基盤の整備を後回しにしたため、答えはその作業待ちになります。

ガードレールの設定では、テスト中にAIが予算を動かせます。 ガードレールの設定により、AIがプラットフォーム間で予算を動かせます。テスト中に予算が移り、地域間の比較がぼやけるおそれがあります。

準備35%での実行は、クイズとナーチャリングが成果に変えられる前に費用を使ってしまいます。 キャンペーンは、UXがまだ改善途中のクイズへ人を送り、その先にナーチャリングもありません。コースの指摘:チームが失敗するのは、戦略の悪さよりも、基盤が整う前に動き出すことのほうが多いのです。

計画の一部は、まだ直っていないクイズに着地します。 検索とMetaは、UXがまだ改善途中のクイズへ人を送ります。ナーチャリングのフローは保留中です。

待つということは、不足を直している間、計画が何も取り込めないということです。 クイズ、連携、ナーチャリングのフローを直す間、実行は待ちます。

コースの原則とシナリオ上の仮定

  • コースの数値から導いたシナリオ上の仮定: CEOにどう答えますか。: 設計し直す:成果指標をクイズ完了にし、地域を二グループにまとめ、八週間で行う. コースの数値からの試算です。案は四週間で約2,000件のコンバージョンを求めますが、英国の購読者増は月に約112人です。八週間のクイズ完了をまとめると、各グループ約770件の見込みです。この件数だけでは統計的検出力は確認できません。答えを約束する前に、比較グループ、検出可能な効果、分析方法を検証する必要があります。クイズ完了は、広告による購読者の純増を直接証明しません。
  • 認知から検討への計画は、実行準備が35%と評価されています。実行しますか。: 先に三つの不足を直す:クイズ、ウェアラブル連携、ナーチャリングのフロー. コースの指摘:チームが失敗するのは、戦略の悪さよりも、基盤が整う前に動き出すことのほうが多い。AI自身のチェックも、まずこの三点を直すよう示しています。

増分効果の調べ方と開始時期を選びました。コースは購読者の純増と、開始前の前提条件の整備を重視します。クイズ完了をまとめる案はこのシナリオの提案であり、検証済みの実験ではありません。待つことは需要の獲得も遅らせます。