第 6 阶段,共 6 阶段
衡量并学习
应该探究哪个问题,是否已具备测试条件?
营销活动阶段
报告没有确定原因,也没有选出胜者。这是两个彼此独立的拟议问题;在补齐证据和测量决策前,两者都暂缓。
具体工作 · 问题、设计、数据和决策规则
下一项测试卡
证据顺序问题取决于对移动端、标记和发布记录的检查。消息对比是另一个候选项。两项都尚未执行。
状态拟议 — 暂缓。问题、分配、充分性、停止、护栏和分母均获批准并记录之前,不得分配流量、执行任一对比或宣布胜者。
仅为静态布局提案。A 和 B 并非已记录的页面版本。未提供价格、产品佐证或结果;两项比较均未获执行批准。
关于证据顺序的条件性假设
条件性假设:如果发布记录确认移动端呈现更改影响了这些队列,并且事件标记与重走用户旅程支持所报告的问题,可以考虑测试将剂量证明放在价格步骤之前。已核查的报告并未证明这项更改导致了下降。
标签,只是开始。
- 价格步骤 · 占位内容
- 剂量
每种成分含量多少?
标签,只是开始。
- 剂量
每种成分含量多少?
- 价格步骤 · 占位内容
单独的消息对比
单独的候选项:只有当未解决的问题是哪个消息效果更好时,才比较透明度消息与价格导向消息。受众、设备、渠道和时间段应保持可比。此对比不会检验所报告的页面更改是否导致了下降。
看清成分,再做选择。
- 成分
- 每份含有哪些成分?
- 剂量
- 每种成分含量多少?
- 证据
- 检测涵盖哪些内容?
价格步骤 · 占位内容
选择前先了解价格。
- 成分
- 每份含有哪些成分?
- 剂量
- 每种成分含量多少?
- 证据
- 检测涵盖哪些内容?
价格步骤 · 占位内容
用于选择的证据
先检查移动端旅程、事件标记和发布记录;确认每个队列看到的页面版本,并核对保留旅程的数量。依据这些证据决定是否有问题已准备好进行测试。
- 分配定义
- 尚未定义。任何测试开始前,增长负责人和分析负责人必须指定分配单位和方法,包括如何让用户旅程留在其分配组中。
- 充分性定义
- 尚未定义。分析负责人需评估并记录拟议样本是否足以回答所选问题。此处未设定样本量或统计阈值。
- 停止定义
- 尚未定义。事先商定观察何时结束,以及如何处理缺失、延迟或无效数据。先前的七天队列窗口不会自动成为新测试的停止规则。
- 护栏定义
- 尚未定义。首次购买率目前只是拟议的护栏;可接受的界限以及退款、取消和归因的处理方式均须在测试前商定。
- 首次购买率分母
- 尚未定义。执行前准确规定哪些已分配旅程构成首次购买率的分母。不得在看到结果后才选择或更改。
为何这样选择
已核查的报告支持调查移动端旅程、受众构成、事件标记和发布记录。它们不能证明页面顺序导致下降,也不能证明某条消息获胜。是否继续由增长负责人决定;测量设计由分析负责人负责。未决定义在执行前达成一致之前,两项候选都应暂缓。
下一步
完成诊断检查后,记录哪一个问题(如有)有依据,补齐执行前定义,并取得负责人的批准。本示例不会运行实验。
查看详情: 核查过的报告可以和不可以决定什么
报告记录了付费移动用户中观察到的变化,并保留了检查移动端旅程、事件标记和发布记录的建议。按消息汇总的数字混合了受众、设备和渠道,因此无法选出胜者或解释下降。
- 条件性的证据顺序假设:只有诊断证据支持测试页面顺序时才考虑;报告本身不能确定原因。
- 单独的消息对比:仅用于回答哪条消息效果更好的不同问题,且受众、设备、渠道和时间段应可比。
- 是否继续由增长负责人决定。分析负责人负责事件定义、分配、测量设计和充分性评估。
完整参考资料: 任何测试前的准备决策
待决定事项:分配单位和方法;所选问题所需样本充分性的证据;观察结束时间和停止流程;首次购买护栏的界限及排除项;以及首次购买率的分母。分析负责人负责定义和充分性评估;增长负责人决定继续还是暂缓。包括分母在内的所有事项都须在执行前规定并记录。这里不会编造统计规则,也不会在查看结果后再决定。