Giai đoạn 6 trên 6
Đo lường và rút kinh nghiệm
Thử nghiệm tiếp theo là gì và kết quả nào sẽ làm thay đổi quyết định?
Thử nghiệm chỉ hữu ích khi quy tắc ra quyết định được viết trước khi có kết quả. Đây là bước tiếp theo được đề xuất, không phải thử nghiệm đã hoàn tất.
Phần việc · Câu hỏi, thiết kế, dữ liệu và quy tắc quyết định
Thẻ thử nghiệm tiếp theo
Một câu hỏi, một thiết kế và một quy tắc. Nhóm có thể dừng hoặc triển khai mà không cần tạo ra cách diễn giải mới sau khi biết kết quả.
- Câu hỏi
- Đưa bằng chứng về liều lượng lên trước bước giá có làm tăng tỷ lệ hoàn tất quiz không?Đây là câu hỏi về sản phẩm và sáng tạo, không phải câu hỏi về mua truyền thông.
- Thiết kế
- Thử nghiệm A/B thứ tự quiz với lưu lượng trả phí trên di động tại Vương quốc Anh; giữ nguyên nội dung sáng tạo và đối tượng.Phân nhóm ngẫu nhiên; theo dõi trong bảy ngày.
- Dữ liệu cần có
- Phân nhóm, quiz_start, quiz_complete và đơn hàng đầu tiên ở cấp hành trình.Các hành trình riêng biệt được lưu, không phải tổng sự kiện thô.
- Quy tắc quyết định
- Triển khai nếu tỷ lệ hoàn tất tăng ít nhất 5 điểm phần trăm mà không làm giảm tỷ lệ đơn hàng đầu tiên.Chỉ đọc kết quả sau khi hết khoảng theo dõi bảy ngày. Nếu không đạt ngưỡng bảo vệ, dừng triển khai.
Vì sao chọn cách này
Quy kết theo lượt nhấp cuối cùng không thể chứng minh tính gia tăng. Nếu nhóm cần kết luận nhân quả, họ cần thiết kế đủ khả năng chứng minh điều đó, chứ không phải một câu khẳng định tự tin hơn.
Bước tiếp theo
Thẻ thử nghiệm, yêu cầu dữ liệu và người phụ trách trở thành thay đổi tiếp theo trong nghiên cứu hoặc lập kế hoạch.
Xem thêm: Quy kết và tính gia tăng
Trong ví dụ tổng hợp này, kết quả đo lường mô tả các hành trình được lưu và giao dịch được quy kết. Chúng không chứng minh mức tăng nhận biết, giá trị vòng đời thực tế hay tác động gia tăng.
- Đo lường: tỷ lệ hoàn tất câu hỏi của người dùng paid-mobile trong hai nhóm sau bảy ngày quan sát; đơn mua đầu tiên được ghi nhận khi dữ liệu hỗ trợ.
- Chưa đo: thay đổi về nhận biết, giá trị vòng đời thực tế, toàn bộ hiệu quả kinh tế của việc thu hút khách hàng và mức tăng gia tăng.
- Quy kết theo lượt nhấp cuối phân bổ công trạng để đối soát; không chứng minh điều gì sẽ xảy ra nếu không có chiến dịch.
- Cần nhóm đối chứng hoặc phân nhóm ngẫu nhiên để đưa ra kết luận nhân quả.
- Kiểm tra xem thay đổi trang được báo cáo có ảnh hưởng đến hành trình di động không; đồng thời tìm hiểu ý kiến đã gửi tới bộ phận hỗ trợ.
Tài liệu tham khảo đầy đủ: Kế hoạch đo lường và thử nghiệm chi tiết
Đăng ký trước câu hỏi, đơn vị phân nhóm, chỉ số chính và ngưỡng bảo vệ. Chốt khoảng theo dõi trước khi ra mắt. Ghi lại trường hợp loại trừ và dữ liệu thiếu. Không bổ sung chỉ số thành công mới sau khi xem kết quả. Công bố quyết định, kể cả quyết định không tiếp tục.