全6フェーズ中6番目
計測して学ぶ
次のテストは何か。どの結果が判断を変えるか？
判断基準を結果が出る前に書いておかなければ、テストは役に立ちません。これは次のステップの提案であり、完了した実験ではありません。
作業内容 · 問い・設計・データ・判断基準
次のテストカード
問いは1つ、設計は1つ、ルールも1つ。結果を見た後で解釈を作らなくても、チームは中止か実施かを決められます。
- 問い
- 配合量の根拠を価格の項目より上に移すと、クイズ完了率は上がるか？メディア購入ではなく、製品とクリエイティブに関する問いです。
- 設計
- 英国の有料モバイル流入に対してクイズの順序をA/Bテストします。クリエイティブとオーディエンスは同じにします。ランダム割り当て、7日間の観測期間。
- 必要なデータ
- ジャーニー単位の割り当て、quiz_start、quiz_complete、初回購入。生のイベント総数ではなく、重複を除いた継続ジャーニー。
- 判断基準
- 初回購入率を下げずに完了率が5パーセントポイント以上改善した場合に展開します。7日間の期間が終了してから判定します。ガードレールに抵触した場合は展開を停止します。
この判断の理由
最終クリックのアトリビューションでは、増分効果を証明できません。因果関係を主張する必要があるなら、表現を強めるのではなく、それを裏付けられる設計が必要です。
次のステップ
テストカード、必要なデータ、担当者を次の調査または計画の変更に引き継ぎます。
詳しく見る: アトリビューションと増分効果
この合成例の測定結果が示すのは、継続ジャーニーとアトリビューションされた購入です。認知度の上昇、実際の顧客生涯価値、増分効果を示すものではありません。
- 測定対象：有料モバイル利用者のクイズ完了率を、7日間観測後の2グループで比較します。記録データが裏付ける場合は初回購入も集計します。
- 未測定：認知度の変化、実際の顧客生涯価値、顧客獲得の全コスト構造、増分効果。
- 最終クリックのアトリビューションは照合のために貢献を割り当てますが、キャンペーンがなかった場合に何が起きたかを証明するものではありません。
- 因果関係を主張するには、ホールドアウトまたはランダム割り当てが必要です。
- 報告されたページ変更がモバイルの動線に影響したかを確認し、サポートに寄せられた懸念も調べます。
参考資料の全文: 計測・テスト計画の記入例
問い、割り当て単位、主要指標、ガードレールを事前登録します。ローンチ前に観測期間を確定します。除外データと欠損データを記録します。結果を見てから新しい成功指標を追加してはいけません。実施しない判断も含め、判断を公開します。