第 6 階段,共 6 個階段
衡量與學習
下一項測試是甚麼?甚麼結果會改變決策?
測試只有在結果出來前寫好決策準則,才有用。這是建議的下一步,並非已完成的實驗。
工作內容 · 問題、設計、數據和決策準則
下一項測試卡
一個問題、一種設計、一條準則。團隊可以據此停止或推出方案,毋須事後另作解讀。
- 問題
- 把劑量證據移到價格步驟之前,會否提高測驗完成率?這是產品和創意問題,並非媒體採購問題。
- 設計
- 以英國付費流動裝置流量進行測驗次序 A/B 測試;素材和受眾保持一致。隨機分配;觀察窗口為 7 日。
- 所需數據
- 按使用者旅程記錄分組分配、quiz_start、quiz_complete 和首次購買。按不同的持續追蹤旅程計算,而非原始事件總數。
- 決策準則
- 如果完成率至少提高 5 個百分點,而且首次購買率沒有下降,便推出方案。7 日觀察窗口結束後才讀取結果。如護欄指標未達標,便停止推出。
為何這樣選
末次點擊歸因無法證明增量效果。如果團隊要提出因果主張,就需要能支持這項主張的實驗設計,而不是語氣更肯定的句子。
下一步
將測試卡、所需數據和負責人納入下一輪調研或規劃調整。
查看更多: 歸因與增量效果
這個合成示例的衡量結果,描述了持續追蹤的使用者旅程和歸因購買;無法證明認知度提升、實際客戶終身價值或增量影響。
- 量度內容:兩個組別觀察七日後的付費流動裝置用戶問卷完成率;只有記錄資料支持時才計入歸因首次購買。
- 未衡量:認知度變化、實際客戶終身價值、完整獲客成本效益和增量提升。
- 末次點擊歸因用於對數並分配貢獻,但不能證明若沒有這場營銷活動,結果會如何。
- 要提出因果主張,需要使用留置組或隨機分配。
- 檢查所述頁面改動有否影響流動裝置旅程,並一併了解支援團隊收到的問題。
完整參考資料: 衡量與測試計劃示例
預先登記研究問題、分配單位、主要指標和護欄指標。推出前訂好觀察窗口。記錄排除項目和缺漏數據。看過結果後,不要再加入新的成功指標。公開最終決定,包括不再推進的決定。