跳到正文
Chandler Nguyen
← 所有實例

GreenLeaf

虛構公司 · 合成數據

第 6 階段,共 6 個階段

衡量與學習

應該探究哪個問題,是否已具備測試條件?

營銷活動階段

報告沒有確定原因,也沒有選出勝者。這是兩個獨立的建議問題;證據和衡量決策完成前,兩者均暫緩。

工作內容 · 問題、設計、數據和決策準則

下一項測試卡

證據次序問題取決於流動裝置、標記和發佈紀錄的檢查。訊息比較是另一個候選方案。兩者都未有執行。

狀態擬議 — 暫緩。問題、分配、充分性、停止、護欄和分母獲批准並記錄前,不得分配流量、執行任何比較或宣布勝者。

僅為靜態版面提案。A 和 B 並非已記錄的頁面版本。未提供價格、產品佐證或結果;兩項比較均未獲執行批准。

關於證據次序的條件性假設

條件性假設:若發佈紀錄確認流動裝置版面的改動影響了這些組別,而事件標記及重走用戶旅程亦支持所報問題,可考慮測試把劑量證據放在價格步驟之前。已核查的報告並未證明這項改動導致下跌。

A
GreenLeaf ↗

標籤,只是開始。

  1. 價格步驟 · 佔位內容
  2. 劑量

    每種成分含量多少?

B
GreenLeaf ↗

標籤,只是開始。

  1. 劑量

    每種成分含量多少?

  2. 價格步驟 · 佔位內容

獨立的訊息比較

獨立候選方案:只有在未解答的問題是「哪個訊息較有效」時,才比較透明度訊息與價格導向訊息。受眾、裝置、渠道及時段須保持可比較。此比較不會測試所報版面改動是否導致下跌。

A
GreenLeaf ↗

看清成分,再作選擇。

成分
每份含有哪些成分?
劑量
每種成分含量多少?
證據
檢測涵蓋哪些項目?

價格步驟 · 佔位內容

B
GreenLeaf ↗

選擇前先了解價格。

成分
每份含有哪些成分?
劑量
每種成分含量多少?
證據
檢測涵蓋哪些項目?

價格步驟 · 佔位內容

用作選擇的證據

先檢查流動裝置旅程、事件標記及發佈紀錄;確認各組看到的版面版本,並核對保留旅程數目。根據這些證據,決定是否有問題已準備好測試。

分配定義
尚未定義。任何測試開始前,增長負責人和分析負責人必須指定分配單位及方法,包括如何讓每段旅程留在其分配組別。
充分性定義
尚未定義。分析負責人須評估並記錄擬議樣本是否足以回答所選問題。此處未設定樣本量或統計門檻。
停止定義
尚未定義。事先商定觀察何時結束,以及如何處理遺漏、延遲或無效資料。先前的七日組別觀察期不會自動成為新測試的停止規則。
護欄定義
尚未定義。首次購買率目前只屬擬議護欄;可接受界限及退款、取消和歸因的處理方式,均須在測試前商定。
首次購買率分母
尚未定義。執行前明確訂明哪些已分配旅程構成首次購買率分母。不得在查看結果後才選擇或更改。

為何這樣選

已核查的報告支持調查流動裝置旅程、受眾組成、事件標記和發佈紀錄。它們不能證明版面次序導致下跌,也不能證明某個訊息勝出。是否繼續由增長負責人決定;衡量設計由分析負責人負責。未解決的定義在執行前達成共識前,兩個候選方案都應暫緩。

下一步

完成診斷檢查後,記錄哪個問題(如有)有理據,完成執行前定義,並取得負責人的批准。本示例不會進行實驗。

查看更多: 已核查報告可以和不可以決定甚麼

報告記錄付費流動裝置用戶的觀察變化,並保留檢查流動裝置旅程、事件標記及發佈紀錄的建議。按訊息匯總的數字混合了受眾、裝置及渠道,因此不能選出勝者或解釋下跌。

  • 證據次序的條件性假設:只有診斷證據支持測試版面次序時才考慮;報告本身不能確定原因。
  • 獨立訊息比較:只用於回答哪個訊息較有效這個不同問題,並須保持受眾、裝置、渠道和時段可比較。
  • 是否繼續由增長負責人決定。分析負責人負責事件定義、分配、衡量設計及充分性評估。
完整參考資料: 任何測試前的準備決策

待決事項:分配單位及方法;所選問題所需樣本充分性的證據;觀察結束時間及停止程序;首次購買護欄的界限與排除項;以及首次購買率的分母。分析負責人負責定義及充分性評估;增長負責人決定繼續或暫緩。所有事項(包括分母)均須在執行前訂明並記錄。此處不會杜撰統計規則,也不會在查看結果後才決定。