跳到正文
Chandler Nguyen
← 所有實作示例第 5 階段,共 6 個階段

解讀結果

GreenLeaf

虛構公司 · 合成數據

← 案例總覽

匯報簡報

推出決策背後的過程

發生了甚麼事?代表甚麼?每位接收者應作出甚麼決定?

營銷活動階段

調整預算或斷言原因前,先調查受眾組合和流動裝置使用者旅程。

第 1 週基準值
45%第 1 週付費流動裝置測驗完成率
範圍
付費流動裝置 · 9 月兩個組別,每組觀察七日
下一步
對照受眾組合與流動裝置使用者旅程

這份虛構簡報提出的目標是英國月收入 US$60,000 和 15% 無提示知名度。現有資料無法說明是否達到任何一項目標。

各自經過七日觀察期後,9 月兩個組別的問卷完成率由 45% 降至 28%。

第 1 週
45%8,400 次中的 3,780 次
第 2 週
28%8,400 次中的 2,352 次
變化
−17個百分點
固定受眾組合
35.33%只作描述,並非因果結論

付費流動裝置組涵蓋 2026 年 9 月 1 日至 14 日。兩個七日觀察期均在 9 月 21 日 23:59:59 UTC 的比較前結束;數字於 9 月 22 日記錄。

原因仍未明。

  1. 簡報

    簡報確定決策、群組定義,以及報告可使用的證據。

  2. AI 回應

    記錄的 AI 回覆建議進行診斷性檢視,但提供了錯誤的財務總額。錯誤會明確保留並展示。

記錄的 AI 回覆摘錄
| Spend | $110,100 | $110,100 |

核實後的每週總額:$5,462 和 $5,512。

背景與判斷

錯誤的開支總額需要修正,但這不否定已觀察到的完成率下跌。調查建議仍需根據核實後的數據及人工判斷。

需要核查的背景

流動版面呈現變更
在虛構的後續說明中,產品負責人報告流動版面自9月8日起有改動。尚未提供發佈及版本記錄,因此無法確定群組中哪些人看過改動後的版本。
支援意見
客服負責人報告用戶難以在手機上找到下一步。缺少附有日期的客服記錄及與群組的關聯,這些反映不能確定下跌原因。
報告接收者

選擇需要作出決策的接收者。三份報告都會保留。

創辦人報告: 調整推出優先次序前,應分別檢查流動裝置使用者旅程和受眾組合。

創辦人報告

調整推出優先次序前,應分別檢查流動裝置使用者旅程和受眾組合。

閱讀完整報告

媒體報告

決定是否調整預算前,先對照受眾組合和創意投放情況。

閱讀完整報告

內容與創意報告

這只是獨立候選方案:若該獨立問題仍未解決,再比較透明度訊息與價格導向方案。先檢視可比較的受眾、裝置及渠道證據。目前沒有選出勝者;此比較亦不能確定下跌原因。

閱讀完整報告

查看工作成果

同一份虛構報告按三類讀者的需要編寫,並採用相同的核實事實。上方摘錄來自最初的 AI 回覆。

創辦人報告付費流動裝置測驗完成率45% 28%

創辦人報告

虛構案例;採用2026年9月1日至14日群組的合成營銷活動數據,觀察期截至9月22日。

發生何事

付費手機測驗完成率由 45% 下跌至 28%,跌幅為 17 個百分點。經核查數量為 3,780/8,400 → 2,352/8,400。桌面完成率為 45.03% → 46.25%。

於所提供之付費隊列中,歸因首購客戶為 467 → 357,歸因首購收入為 $37,360 → $28,560。此等乃建構之歸因結果,並非因測驗而流失之增量訂閱或收入之證據。

為何重要

測驗乃英國推出之考慮環節。轉向完成率較低之受眾群組,加上可比較手機群組內部之跌幅,兩者皆對整體變動有貢獻。以第 1 週之組合固定不變計算,第 2 週為 35.33%,故單憑組合變化不足以解釋跌幅。

產品負責人匯報手機展示修訂,支援亦匯報可用性關注。按所提供證據,兩者皆未與已計量隊列掛鈎。產品成因仍未獲證明。

下一步安排

  1. 核實手機旅程、事件定義及發布/版本證據。所稱下一個工作天可供核對乃情境假設,並非已完成的動作。須帶同比較計劃或明確之證據缺失聲明回報。
  2. 不得僅憑此 CSV 批准預算調動或創意轉向。現行商業/風險決策仍受其正常權限管轄;此並非全面凍結。
  3. 於宣布 $60K/月 目標已達標或未達標前,先對賬業務完整之九月收入定義及全渠道結果。隊列收入與月結會計/業務指標須作明確之同類對賬。

完整 CAC、利潤、知名度、已實現終身價值及增量性仍然未有數據。

原始報告 ↓
媒體報告付費流動裝置測驗完成率45% 28%

媒體報告

虛構案例;採用2026年9月1日至14日群組的合成營銷活動數據,觀察期截至9月22日。

發生何事

支出,美元
第 1 週
$5,462
第 2 週
$5,512
測驗開始次數
第 1 週
15,040
第 2 週
15,120
測驗完成次數
第 1 週
6,770
第 2 週
5,460
歸因首購客戶
第 1 週
467
第 2 週
357
歸因首購收入
第 1 週
$37,360
第 2 週
$28,560
媒體 CPA
第 1 週
$11.70
第 2 週
$15.44
歸因首單 ROAS
第 1 週
6.84
第 2 週
5.18

ROAS 為歸因首單收入除以媒體支出,並非利潤或因果增量。

Google Search
第1週支出
$1,736
第2週支出
$1,744
第1週客戶
154
第2週客戶
105
第1週收入
$12,320
第2週收入
$8,400
LinkedIn
第1週支出
$2,296
第2週支出
$2,304
第1週客戶
154
第2週客戶
119
第1週收入
$12,320
第2週收入
$9,520
Reddit 付費
第1週支出
$1,430
第2週支出
$1,464
第1週客戶
159
第2週客戶
133
第1週收入
$12,720
第2週收入
$10,640

未有提供經批准之每月媒體預算,故無法評估預算執行進度。

為何手機比較需要組合核對

手機完成率:3,780/8,400 = 45% → 2,352/8,400 = 28%。變動為 −17 個百分點,約 −37.8% 相對變動。桌面為 2,990/6,640 = 45.03% → 3,108/6,720 = 46.25%。

手機懷疑型開始測驗數由 4,200 跌至 2,100;探索型開始測驗數由 4,200 升至 6,300。兩者佔比由 50%/50% 變為 25%/75%。此等乃建構之分群,並非經驗證之客戶偏好或隨機化處理。

12 個渠道 × 受眾 × 創意手機分層中,每個於第 1 週均有 700 次開始測驗。採用權重 700/8,400 = 1/12,並乘以該分層第 2 週之完成率。將加權比率相加:35.33%,顯示前保留全部精度。

於此第 1 週加權分解中,組內部分為 −9.67 點,組合部分為 −7.33 點。分配取決於所選基線/次序;兩者皆非因果效應。全部 12 個分層均下跌,惟 CSV 無法解釋原因。

下一步安排

  • 核實事件定義及來源/隊列標記;維持相同成熟度規則。
  • 索取發布/版本指派並重現手機流程。於可重建指派之情況下比較不同版本。缺失記錄會限制可得出之結論。
  • 於持份者發布前核對計算、背景及決策。不得推斷產品成因、建議精確之預算調動,或將回升至目標視為有效之測試設計。

所匯報之手機展示修訂及支援關注促使上述核對優先進行。其並不證明缺陷、普遍程度或增量損失。

原始報告 ↓
內容與創意報告付費流動裝置測驗完成率45% 28%

內容與創意報告

虛構案例;採用2026年9月1日至14日群組的合成營銷活動數據,觀察期截至9月22日。

這些建議訊息僅屬示例,並非已獲批准的廣告聲稱。

發生何事

兩個訊息群組之整體測驗完成率均轉弱:

可追溯性:“Know what is in every serving”(了解每份產品含有哪些成分)
第 1 週完成/開始
3,276 / 7,560 = 43.33%
第 2 週完成/開始
2,625 / 7,560 = 34.72%
價值:“Compare the value of a clearly dosed serving”(比較成分劑量列明清楚的每份產品的價值)
第 1 週完成/開始
3,494 / 7,480 = 46.71%
第 2 週完成/開始
2,835 / 7,560 = 37.50%

此等總數合併了不同裝置、受眾及渠道,因此無法公平比較兩個訊息。價值訊息的整體比率較高,但單憑這些數字無法判斷哪個訊息較有效。

上方嘅 45% → 28% 只適用於付費流動流量。每組訊息嘅比率亦包括桌面流量,涵蓋範圍較廣,唔能夠證實上方嘅數字。

為何重要

客戶假設強調清晰之成分資訊。據匯報,手機展示修訂新增了可展開資訊面板並更改下一步標籤。無關聯之支援意見提及難以找到下一個控制項。檢視點擊後體驗屬合理;惟只根據現有證據將訊息、面板或標籤稱為成因則不合理。

下一步安排

於事件含義及旅程行為獲核實後,頁面能否清晰傳達訊息承諾,同時保留易明之下一步?

與產品負責人一同檢視廣告至頁面之交接。將可追溯性及價值明確列為假設。確認每項成分/劑量陳述均有佐證。

判斷版本指派及可比較隊列能否支持聚焦測試。於執行前先設定分母、比較方式及決策規則。若指派或追蹤缺失,須記錄該限制;前後回升並非因果證明。

本文不支持任何創意淘汰、勝出掛鈎聲明或媒體預算建議。CSV 不含觀看/重播證據,故無法確立疲勞、混淆普遍程度或用戶於哪個畫面放棄。

原始報告 ↓

付費廣告帶來的手機測驗完成率由45%跌至28%

每個點代表付費廣告帶來的手機測驗開始次數的1%;實心點表示已完成的測驗。

在12個流動裝置 channel × audience × creative 分層中,按第一週權重計算的第二週比率為35.33%,觀察值則為28.0%。兩者差距顯示,組合對觀察值與固定組合值之間的差異有所貢獻;同時,全部12個分層的比率都較第一週下降。這是描述性分解,並非因果估算。

付費廣告帶來的手機測驗完成率由45%跌至28%
付費流動裝置測驗完成率
45%已完成

3,780 / 8,400 開始測驗次數

第 1 週基準值45%
固定受眾組合再比較

將各渠道 × 受眾 × 廣告素材組合的測驗開始次數佔比固定在第1週水平,第2週的完成率為35.33%。這項比較描述數據變化,不能證明成因。

兩個付費流動裝置組別 · 2026 年 9 月 1 日至 14 日 · 兩個七日觀察期結束後比較 · 數字於 9 月 22 日記錄

完成率確實下跌,成因仍未查明。

下一步需要的證據

  1. 將發佈記錄與每個群組實際看到的流動頁面版本對照。
  2. 重現流動操作流程,並核對quiz_start及quiz_complete事件,包括重複和遺漏事件。
  3. 檢查涉及同一問題並附有日期的支援記錄,並與各群組的接觸日期比較。

決策負責人: 增長負責人決定是否調整優先次序。Analytics負責指標定義及分析;產品和支援團隊提供記錄以供核實。

目標與結果所能說明的內容

這些資料回答兩個不同問題:案例希望達成甚麼,以及已記錄的分析能夠證明甚麼。

  • 案例目標:讓 GreenLeaf 成為英國生物黑客領域中資訊透明的替代選擇。
  • 這份虛構簡報提出的目標是英國月收入 US$60,000 和 15% 無提示知名度。現有資料無法說明是否達到任何一項目標。
  • 量度內容:兩個組別各自完成七日觀察期後的付費流動裝置用戶問卷完成率。這些示例資料不顯示月收入或知名度結果。
  • 這些計劃僅作示例;結果採用此處展示的合成活動資料。
原始來源檔案

下載示例檔案

呢個示例用到嘅檔案。