Giai đoạn 6 trên 6
Đo lường và rút kinh nghiệm
Nên tìm hiểu câu hỏi nào, và câu hỏi đó đã sẵn sàng để kiểm chứng chưa?
Các giai đoạn chiến dịch
Báo cáo không xác định nguyên nhân hay chọn bên thắng. Đây là hai câu hỏi đề xuất riêng biệt; cả hai vẫn tạm giữ trong khi hoàn tất bằng chứng và quyết định đo lường.
Phần việc · Câu hỏi, thiết kế, dữ liệu và quy tắc quyết định
Thẻ thử nghiệm tiếp theo
Câu hỏi về thứ tự bằng chứng phụ thuộc vào kiểm tra di động, gắn thẻ và phát hành. So sánh thông điệp là ứng viên riêng. Chưa thử nghiệm phương án nào.
Trạng tháiĐỀ XUẤT — TẠM GIỮ. Không phân bổ lưu lượng, chạy một trong hai so sánh hay tuyên bố bên thắng cho đến khi câu hỏi, phân nhóm, mức độ đầy đủ, quy tắc dừng, ngưỡng bảo vệ và mẫu số được phê duyệt, ghi lại.
Chỉ là đề xuất bố cục tĩnh. A và B không phải phiên bản trang đã được ghi nhận. Chưa có giá, bằng chứng sản phẩm hay kết quả; chưa có phép triển khai so sánh nào.
Giả thuyết có điều kiện về thứ tự bằng chứng
Giả thuyết có điều kiện: nếu lịch sử phát hành xác nhận thay đổi cách trình bày trên di động đã ảnh hưởng đến các nhóm, và việc gắn thẻ sự kiện cùng thao tác lại hành trình ủng hộ vấn đề được nêu, có thể cân nhắc thử đưa bằng chứng về liều lượng lên trước bước giá. Báo cáo đã kiểm tra không chứng minh thay đổi này gây ra mức giảm.
Nhãn sản phẩm chỉ là khởi đầu.
- Bước xem giá · chỗ giữ chỗ
- Liều lượng
Mỗi thành phần có bao nhiêu?
Nhãn sản phẩm chỉ là khởi đầu.
- Liều lượng
Mỗi thành phần có bao nhiêu?
- Bước xem giá · chỗ giữ chỗ
So sánh thông điệp riêng biệt
Ứng viên riêng: chỉ so sánh thông điệp minh bạch với thông điệp tập trung vào giá nếu câu hỏi còn mở là thông điệp nào hiệu quả hơn. Giữ đối tượng, thiết bị, kênh và thời gian tương đương. So sánh này không kiểm tra liệu thay đổi trang được nêu có gây ra mức giảm hay không.
Biết rõ bên trong có gì.
- Thành phần
- Mỗi khẩu phần có gì?
- Liều lượng
- Mỗi thành phần có bao nhiêu?
- Bằng chứng
- Thử nghiệm kiểm tra những gì?
Bước xem giá · chỗ giữ chỗ
Xem giá trước khi lựa chọn.
- Thành phần
- Mỗi khẩu phần có gì?
- Liều lượng
- Mỗi thành phần có bao nhiêu?
- Bằng chứng
- Thử nghiệm kiểm tra những gì?
Bước xem giá · chỗ giữ chỗ
Bằng chứng để chọn
Trước tiên kiểm tra hành trình di động, việc gắn thẻ sự kiện và lịch sử phát hành; xác minh mỗi nhóm đã thấy phiên bản trang nào và số hành trình được lưu có đối soát được không. Dùng bằng chứng đó để quyết định câu hỏi nào, nếu có, đã sẵn sàng thử nghiệm.
- Định nghĩa phân nhóm
- Chưa xác định. Trước mọi thử nghiệm, trưởng nhóm tăng trưởng và người phụ trách phân tích phải quy định đơn vị và cách phân nhóm, gồm cách giữ mỗi hành trình trong nhóm được gán.
- Định nghĩa mức độ đầy đủ
- Chưa xác định. Phân tích cần đánh giá và ghi nhận liệu mẫu đề xuất có thể trả lời câu hỏi đã chọn không. Ở đây chưa đặt cỡ mẫu hay ngưỡng thống kê.
- Định nghĩa dừng
- Chưa xác định. Thống nhất trước thời điểm kết thúc quan sát và cách xử lý dữ liệu thiếu, muộn hoặc không hợp lệ. Cửa sổ nhóm bảy ngày trước đây không tự động là quy tắc dừng cho thử nghiệm mới.
- Định nghĩa ngưỡng bảo vệ
- Chưa xác định. Tỷ lệ mua lần đầu chỉ là ngưỡng bảo vệ được đề xuất; cần thống nhất giới hạn chấp nhận được và cách xử lý hoàn tiền, hủy đơn, quy kết trước khi thử nghiệm.
- Mẫu số của tỷ lệ mua lần đầu
- Chưa xác định. Trước khi thực hiện, quy định chính xác những hành trình được phân nhóm nào tạo thành mẫu số của tỷ lệ mua lần đầu. Không chọn hay thay đổi sau khi xem kết quả.
Vì sao chọn cách này
Các báo cáo đã kiểm tra ủng hộ việc tìm hiểu hành trình di động, cơ cấu đối tượng, việc gắn thẻ sự kiện và lịch sử phát hành. Chúng không chứng minh thứ tự trang gây ra mức giảm hay thông điệp nào đã thắng. Trưởng nhóm tăng trưởng quyết định có tiếp tục không; nhóm phân tích phụ trách thiết kế đo lường. Giữ cả hai ứng viên cho đến khi thống nhất các định nghĩa còn thiếu trước khi thực hiện.
Bước tiếp theo
Sau các bước chẩn đoán, ghi lại câu hỏi nào (nếu có) là phù hợp, hoàn tất định nghĩa trước khi thực hiện và xin phê duyệt từ người phụ trách. Ví dụ này không chạy thử nghiệm nào.
Xem thêm: Báo cáo đã kiểm tra có thể và không thể quyết định điều gì
Báo cáo ghi nhận thay đổi quan sát được ở người dùng paid-mobile và giữ nguyên khuyến nghị kiểm tra hành trình di động, việc gắn thẻ sự kiện và lịch sử phát hành. Số liệu thông điệp tổng hợp trộn lẫn đối tượng, thiết bị và kênh nên không chọn bên thắng hay giải thích mức giảm.
- Giả thuyết có điều kiện về thứ tự bằng chứng: chỉ cân nhắc nếu bằng chứng chẩn đoán ủng hộ việc thử thứ tự trang; riêng báo cáo không xác lập nguyên nhân.
- So sánh thông điệp riêng biệt: chỉ cân nhắc cho câu hỏi khác về thông điệp nào hiệu quả hơn, với đối tượng, thiết bị, kênh và thời gian tương đương.
- Trưởng nhóm tăng trưởng quyết định có tiếp tục. Nhóm phân tích phụ trách định nghĩa sự kiện, phân nhóm, thiết kế đo lường và đánh giá mức độ đầy đủ.
Tài liệu tham khảo đầy đủ: Các quyết định về mức độ sẵn sàng trước thử nghiệm
Các mục còn thiếu: đơn vị và cách phân nhóm; bằng chứng mẫu đủ cho câu hỏi đã chọn; thời điểm kết thúc quan sát và quy trình dừng; giới hạn cùng trường hợp loại trừ của ngưỡng bảo vệ mua lần đầu; và mẫu số của tỷ lệ mua lần đầu. Nhóm phân tích phụ trách định nghĩa và đánh giá mức độ đầy đủ; trưởng nhóm tăng trưởng quyết định tiếp tục hay tạm giữ. Quy định và ghi lại mọi mục trước khi thực hiện, gồm cả mẫu số. Không tự đặt quy tắc thống kê ở đây hay quyết định sau khi xem kết quả.