本文へ移動
Chandler Nguyen
← すべての実例

GreenLeaf

架空の企業・合成データ

全6フェーズ中6番目

計測して学ぶ

どの問いを追究すべきか、検証の準備は整っているか?

キャンペーンの各フェーズ

レポートは原因を特定せず、勝者も選びません。これは別々に提案された2つの問いです。証拠と測定上の判断が整うまで、どちらも保留です。

作業内容 · 問い・設計・データ・判断基準

次のテストカード

提示順の問いは、モバイル、タグ、リリースの確認が前提です。メッセージ比較は別の候補です。どちらもまだ実施していません。

状態提案段階 — 保留中。問い、割り当て、十分性、停止条件、ガードレール、分母が承認・記録されるまで、トラフィックを割り当てたり、比較を実施したり、勝者を決めたりしません。

静的なレイアウト案です。AとBは記録されたページの版ではありません。価格、製品の裏付け、結果は提示されておらず、どちらの比較も実施は承認されていません。

証拠の提示順に関する条件付き仮説

条件付き仮説:リリース履歴からモバイル表示の変更が対象コホートに影響したと確認でき、イベントタグとユーザージャーニーの再現から報告された問題が裏付けられる場合、価格ステップより前に用量の根拠を示すテストを検討します。確認済みのレポートは、この変更が低下の原因だとは示していません。

A
GreenLeaf ↗

ラベルは、ほんの入り口。

  1. 価格のステップ・仮置き
  2. 配合量

    各成分はどれくらい?

B
GreenLeaf ↗

ラベルは、ほんの入り口。

  1. 配合量

    各成分はどれくらい?

  2. 価格のステップ・仮置き

別個のメッセージ比較

別の候補:未解決の問いがどちらのメッセージの方が有効かである場合に限り、透明性を訴えるメッセージと価格重視のメッセージを比較します。オーディエンス、デバイス、チャネル、期間を比較可能にします。この比較では、報告されたページ変更が低下の原因かどうかは検証しません。

A
GreenLeaf ↗

中身を知って、選ぼう。

成分
1回分に何が入っている?
配合量
各成分はどれくらい?
裏付け
検査は何を対象としている?

価格のステップ・仮置き

B
GreenLeaf ↗

選ぶ前に価格を確認。

成分
1回分に何が入っている?
配合量
各成分はどれくらい?
裏付け
検査は何を対象としている?

価格のステップ・仮置き

選択に必要な証拠

まずモバイルのジャーニー、イベントタグ、リリース履歴を調べ、各コホートがどのページ版を見たか、保持されたジャーニー数が照合できるかを確認します。その証拠を使い、いずれかの問いがテスト可能かを判断します。

割り当ての定義
未定義です。実施前に、グロース責任者と分析担当者が割り当て単位と方法を定め、各ジャーニーを割り当てたグループに保持する方法も決めます。
十分性の定義
未定義です。選んだ問いに答えられるサンプルかどうかを分析担当者が評価し、記録します。サンプル数や統計的な閾値はここでは設定しません。
停止条件の定義
未定義です。観測の終了時点と、欠損・遅延・無効データの扱いを事前に合意します。以前の7日間のコホート期間を、新しいテストの停止ルールとして自動的に使うことはできません。
ガードレールの定義
未定義です。初回購入率は提案中のガードレールにすぎません。許容限界と返金、キャンセル、アトリビューションの扱いをテスト前に合意します。
初回購入率の分母
未定義です。実施前に、割り当てられたジャーニーのうち何を初回購入率の分母とするかを明記します。結果を見た後に選択・変更してはいけません。

この判断の理由

確認済みのレポートは、モバイルのジャーニー、オーディエンス構成、イベントタグ、リリース履歴の調査を勧めています。ページの順序が低下を招いたことも、特定のメッセージが勝ったことも証明していません。実施するかはグロース責任者が判断し、測定設計は分析担当者が担います。実施前に未決事項が合意されるまで、両候補を保留します。

次のステップ

診断確認後、どの問いが妥当か(または該当なし)を記録し、実施前の定義をそろえ、責任者の承認を得ます。この例では実験を実施しません。

詳しく見る: 確認済みレポートで判断できること・できないこと

レポートは有料モバイル利用者で観測された変化を示し、モバイルのジャーニー、イベントタグ、リリース履歴を調べるという推奨を維持しています。メッセージ別の集計値にはオーディエンス、デバイス、チャネルが混在するため、勝者を選んだり低下を説明したりできません。

  • 提示順に関する条件付き仮説:診断の証拠がページ順のテストを支持する場合に限り検討します。レポートだけでは原因を特定できません。
  • 別個のメッセージ比較:どちらのメッセージが有効かという別の問いについて、オーディエンス、デバイス、チャネル、期間をそろえて検討します。
  • 実施するかはグロース責任者が判断します。分析担当者はイベント定義、割り当て、測定設計、十分性評価を担います。
参考資料の全文: テスト前に決める準備事項

未決事項:割り当て単位と方法、選んだ問いに十分なサンプルであることの根拠、観測終了と停止手順、初回購入ガードレールの限界と除外条件、初回購入率の分母。分析担当者が定義と十分性評価を担い、グロース責任者が実施・保留を判断します。分母を含め、すべて実施前に定めて記録します。ここで統計ルールを作ったり、結果を見て決めたりしません。