第 6 阶段,共 6 阶段
衡量并学习
下一项测试是什么?什么结果会改变决策?
只有在结果出来前写好决策规则,测试才有价值。这是拟议的下一步,并非已经完成的实验。
具体工作 · 问题、设计、数据和决策规则
下一项测试卡
一个问题、一种设计、一条规则。团队可以据此决定停止或推出方案,无须事后编造新的解释。
- 问题
- 把剂量证据移到价格步骤之前,会提高测验完成率吗?这是产品与创意问题,不是媒体采购问题。
- 设计
- 对英国付费移动端流量进行测验顺序 A/B 测试;创意和受众保持一致。随机分配;观察窗口为 7 天。
- 所需数据
- 旅程级别的分配、quiz_start、quiz_complete 和首购数据。不同的持续旅程,而非原始事件总数。
- 决策规则
- 如果完成率至少提高 5 个百分点,且首购率没有下降,就推出该方案。仅在 7 天窗口结束后读取结果。若违反护栏指标,则停止推广。
为何这样选择
末次点击归因无法证明增量效果。如果团队需要提出因果主张,就需要能够支持这种主张的实验设计,而不是语气更肯定的句子。
下一步
将测试卡、数据要求和负责人纳入下一轮调研或规划调整。
查看详情: 归因与增量效果
本合成示例中的测量结果描述了持续旅程和归因购买,但并不能证明认知度提升、实际客户终身价值或增量影响。
- 测量内容:两个组观察七天后的付费移动用户问卷完成率;只有记录数据支持时才计入归因首购。
- 未测量:认知度变化、实际客户终身价值、完整获客成本效益和增量提升。
- 末次点击归因用于对账分配贡献,但不能证明没有这场营销活动时会发生什么。
- 要提出因果主张,需要采用留出组或随机分配。
- 检查所报告的页面更改是否影响移动端旅程,并一并调查支持团队收到的问题。
完整参考资料: 衡量与测试计划示例
预先登记研究问题、分配单位、主要指标和护栏指标。发布前确定观察窗口。记录排除项和缺失数据。不要在看到结果后新增成功指标。公开最终决策,包括不继续推进的决定。