CFO 的问题
GreenLeaf 的 CEO 在会议室里提出了一个问题,AI 已经起草好了答案和方案,两份看上去都已完成。
决定如何证明英国的投放是增量,再决定要不要上线一份连 AI 自己都评为尚未就绪的方案。
- CEO:“我们在英国每月花 $35K。我怎么知道我们不是在为那些本来就会找到我们的人邀功?”
- AI 的第一版草案:在选定地区暂停付费投放四周,与对照地区比较,四个地区每个至少 500 次转化,合计约 2,000 次。
- 按方案表计算:每月 $35,000、盈亏平衡点 $312,英国每月约增加 112 位订阅用户;Q1 的 5,000 次测验完成目标折合每月约 1,670 次。
- AI 对这份考虑期方案自己做的就绪度检查:35%,高风险。测验的 UX 需要改进,可穿戴设备集成还没做,培育流程也不完整。
- Ryan,测量: 草案要求四周内约 2,000 次转化。在向 CEO 承诺答案之前,我想拿它和我们实际能拿到的数字对一下。
- Jake,策划: 这份方案的影响力评分是 9。要是等所有缺口都补完,搜索的人就被对手截走了。
- Megan,客户负责人: CEO 问了一个合理的问题。我们交出去的东西必须真正回答它,而不只是看起来像个回答。
你怎么回答 CEO?
- 照 AI 的草案执行:四个地区、四周、每个地区至少 500 次转化: 这是标准的地理对照实验,本月就能开始,四周后 CEO 就能拿到答案。
- 重新设计:以测验完成数作为结果指标,把地区合并为两组,跑八周: 汇总八周的测验完成量;先验证实验设计,再承诺能给出答案。
- 不做实验:汇报各平台归因的转化数: 又快又省,而且客户每周本来就在看这些数字。
这份考虑期方案的就绪度评分为 35%。要上线吗?
- 现在就上线,边做边补缺口: AI 给它的影响、信心、易执行三项评分是 9 / 9 / 7;每多等一周,就多错过一周的需求。
- 先上线搜索和 Meta,邮件等培育流程建好后再上: 先接住此刻正在搜索的人,同时去建最慢的那项前置条件。
- 先补三个缺口:测验、可穿戴设备集成、培育流程: 测验流失严重、又没有培育流程,投放预算就是浪费;先补上三个已知缺口,比上线后再边烧钱边发现要便宜。
草案需要四周内约 2,000 次转化,而英国每月只增加约 112 位订阅用户。 四周过去,任何一个地区的转化数都远不到 500:整个英国每月只增加约 112 位订阅用户。这个实验读不出结论,CEO 的问题依然悬而未决。
归因转化回答不了这笔投放是不是增量。 报告统计的是各平台自称的转化。CEO 问的恰恰是这些人是否本来就会来;课程追踪的是增量订阅用户,而不是归因转化。
预留八周,并验证设计和统计功效。 情境估算:八周内,每个合并组约有770次测验完成。这并不能证明统计功效,也不能证明广告带来了订阅用户净增。
你的数据基础留下的零散数据,拖慢了实验的读数。 读数需要把各地区的数据放在一处,干净且可比,而你的数据基础把这项工作留到了以后:答案要等它。
你的护栏允许 AI 在实验中途调动预算。 你设定的护栏允许 AI 在平台之间调动资金,所以实验期间预算可能发生转移,模糊各地区之间的对比。
在 35% 就绪度时上线,是在测验和培育流程还转化不了之前就先花了钱。 投放把人引向一个 UX 仍需改进的测验,后面还没有培育流程。课程的观点:团队失败,更多是因为基础设施没就绪就急于启动,而不是策略不好。
方案的一部分仍然落在没修好的测验上。 搜索和 Meta 把人送到一个 UX 仍需改进的测验;培育流程还搁置着。
等待意味着在补缺口期间,这份方案什么也争取不到。 上线先等一等,测验、集成和培育流程先修好。
课程原则与情境假设
- 根据课程数据推导的情境假设: 你怎么回答 CEO?: 重新设计:以测验完成数作为结果指标,把地区合并为两组,跑八周. 根据课程数据推算:草案要求四周内约2,000次转化,而英国每月约新增112名订阅用户。汇总八周的测验完成量,预计每组约770次。这个数量不能证明统计功效:在承诺答案前,必须验证对照分组、可检测的效果和分析方法。测验完成量并不能直接证明广告带来的订阅用户净增。
- 这份考虑期方案的就绪度评分为 35%。要上线吗?: 先补三个缺口:测验、可穿戴设备集成、培育流程. 课程的观点:团队失败,更多是因为基础设施没就绪就急于启动,而不是策略不好;AI 自己的检查也说,先把这三件事修好。
你选择了如何调查增量效果,以及何时上线。课程强调订阅用户的增量和上线前补齐基础条件。汇总测验完成量是本情境的提案,并非经过验证的实验。等待也会推迟承接需求。