全6フェーズ中6番目
計測して学ぶ
どの問いを追究すべきか、検証の準備は整っているか?
キャンペーンの各フェーズ
レポートは原因を特定せず、勝者も選びません。これは別々に提案された2つの問いです。証拠と測定上の判断が整うまで、どちらも保留です。
作業内容 · 問い・設計・データ・判断基準
次のテストカード
提示順の問いは、モバイル、タグ、リリースの確認が前提です。メッセージ比較は別の候補です。どちらもまだ実施していません。
状態提案段階 — 保留中。問い、割り当て、十分性、停止条件、ガードレール、分母が承認・記録されるまで、トラフィックを割り当てたり、比較を実施したり、勝者を決めたりしません。
静的なレイアウト案です。AとBは記録されたページの版ではありません。価格、製品の裏付け、結果は提示されておらず、どちらの比較も実施は承認されていません。
証拠の提示順に関する条件付き仮説
条件付き仮説:リリース履歴からモバイル表示の変更が対象コホートに影響したと確認でき、イベントタグとユーザージャーニーの再現から報告された問題が裏付けられる場合、価格ステップより前に用量の根拠を示すテストを検討します。確認済みのレポートは、この変更が低下の原因だとは示していません。
ラベルは、ほんの入り口。
- 価格のステップ・仮置き
- 配合量
各成分はどれくらい?
ラベルは、ほんの入り口。
- 配合量
各成分はどれくらい?
- 価格のステップ・仮置き
別個のメッセージ比較
別の候補:未解決の問いがどちらのメッセージの方が有効かである場合に限り、透明性を訴えるメッセージと価格重視のメッセージを比較します。オーディエンス、デバイス、チャネル、期間を比較可能にします。この比較では、報告されたページ変更が低下の原因かどうかは検証しません。
中身を知って、選ぼう。
- 成分
- 1回分に何が入っている?
- 配合量
- 各成分はどれくらい?
- 裏付け
- 検査は何を対象としている?
価格のステップ・仮置き
選ぶ前に価格を確認。
- 成分
- 1回分に何が入っている?
- 配合量
- 各成分はどれくらい?
- 裏付け
- 検査は何を対象としている?
価格のステップ・仮置き
選択に必要な証拠
まずモバイルのジャーニー、イベントタグ、リリース履歴を調べ、各コホートがどのページ版を見たか、保持されたジャーニー数が照合できるかを確認します。その証拠を使い、いずれかの問いがテスト可能かを判断します。
- 割り当ての定義
- 未定義です。実施前に、グロース責任者と分析担当者が割り当て単位と方法を定め、各ジャーニーを割り当てたグループに保持する方法も決めます。
- 十分性の定義
- 未定義です。選んだ問いに答えられるサンプルかどうかを分析担当者が評価し、記録します。サンプル数や統計的な閾値はここでは設定しません。
- 停止条件の定義
- 未定義です。観測の終了時点と、欠損・遅延・無効データの扱いを事前に合意します。以前の7日間のコホート期間を、新しいテストの停止ルールとして自動的に使うことはできません。
- ガードレールの定義
- 未定義です。初回購入率は提案中のガードレールにすぎません。許容限界と返金、キャンセル、アトリビューションの扱いをテスト前に合意します。
- 初回購入率の分母
- 未定義です。実施前に、割り当てられたジャーニーのうち何を初回購入率の分母とするかを明記します。結果を見た後に選択・変更してはいけません。
この判断の理由
確認済みのレポートは、モバイルのジャーニー、オーディエンス構成、イベントタグ、リリース履歴の調査を勧めています。ページの順序が低下を招いたことも、特定のメッセージが勝ったことも証明していません。実施するかはグロース責任者が判断し、測定設計は分析担当者が担います。実施前に未決事項が合意されるまで、両候補を保留します。
次のステップ
診断確認後、どの問いが妥当か(または該当なし)を記録し、実施前の定義をそろえ、責任者の承認を得ます。この例では実験を実施しません。
詳しく見る: 確認済みレポートで判断できること・できないこと
レポートは有料モバイル利用者で観測された変化を示し、モバイルのジャーニー、イベントタグ、リリース履歴を調べるという推奨を維持しています。メッセージ別の集計値にはオーディエンス、デバイス、チャネルが混在するため、勝者を選んだり低下を説明したりできません。
- 提示順に関する条件付き仮説:診断の証拠がページ順のテストを支持する場合に限り検討します。レポートだけでは原因を特定できません。
- 別個のメッセージ比較:どちらのメッセージが有効かという別の問いについて、オーディエンス、デバイス、チャネル、期間をそろえて検討します。
- 実施するかはグロース責任者が判断します。分析担当者はイベント定義、割り当て、測定設計、十分性評価を担います。
参考資料の全文: テスト前に決める準備事項
未決事項:割り当て単位と方法、選んだ問いに十分なサンプルであることの根拠、観測終了と停止手順、初回購入ガードレールの限界と除外条件、初回購入率の分母。分析担当者が定義と十分性評価を担い、グロース責任者が実施・保留を判断します。分母を含め、すべて実施前に定めて記録します。ここで統計ルールを作ったり、結果を見て決めたりしません。