Chuyển đến nội dung
Chandler Nguyen
← Tất cả ví dụ thực hànhGiai đoạn 5 trên 6

Giải thích kết quả

GreenLeaf

Doanh nghiệp giả định · dữ liệu tổng hợp

← Tổng quan tình huống

Brief báo cáo

Bên trong một quyết định ra mắt

Điều gì đã xảy ra, điều đó có nghĩa gì và mỗi người nhận cần quyết định điều gì?

Các giai đoạn chiến dịch

Điều tra cơ cấu đối tượng và hành trình di động trước khi thay đổi ngân sách hoặc khẳng định nguyên nhân.

Mốc cơ sở tuần 1
45%Tỷ lệ hoàn tất quiz trả phí trên di động trong Tuần 1
Phạm vi
Paid-mobile · hai nhóm tháng 9, mỗi nhóm được theo dõi trong bảy ngày
Bước tiếp theo
So sánh cơ cấu đối tượng với hành trình trên di động

Trong bản tóm tắt hư cấu này, mục tiêu đề xuất là doanh thu hàng tháng tại Anh US$60.000 và mức nhận biết không gợi ý 15%. Dữ liệu không cho biết có đạt mục tiêu nào hay không.

Tỷ lệ hoàn tất câu hỏi giảm từ 45% xuống 28% giữa hai nhóm tháng 9 sau khi mỗi nhóm trải qua đủ bảy ngày quan sát.

Tuần 1
45%3,780 trên 8,400
Tuần 2
28%2,352 trên 8,400
Thay đổi
−17điểm phần trăm
Cơ cấu cố định
35.33%mô tả, không kết luận nhân quả

Các nhóm paid-mobile bao phủ ngày 1–14 tháng 9 năm 2026. Cả hai giai đoạn bảy ngày kết thúc trước lần so sánh lúc 23:59:59 UTC ngày 21 tháng 9; số liệu được ghi nhận vào ngày 22 tháng 9.

Nguyên nhân vẫn chưa được xác định.

  1. Brief

    Brief xác định quyết định, định nghĩa nhóm đối tượng và những bằng chứng báo cáo được phép sử dụng.

  2. Câu trả lời AI

    Câu trả lời AI được ghi lại đề xuất rà soát chẩn đoán và đưa ra tổng tài chính sai. Các lỗi vẫn được giữ nguyên để người đọc thấy.

Trích đoạn câu trả lời AI đã ghi lại
| Spend | $110,100 | $110,100 |

Tổng theo tuần đã kiểm tra: $5,462 và $5,512.

Bối cảnh và nhận định

Cần sửa tổng chi tiêu sai, nhưng sai sót đó không xóa bỏ mức giảm hoàn thành đã quan sát. Khuyến nghị điều tra vẫn cần dữ liệu đã kiểm tra và đánh giá của con người.

Bối cảnh cần kiểm tra

Thay đổi cách trình bày trên di động
Trong ghi chú tiếp nối hư cấu, người phụ trách sản phẩm cho biết cách trình bày trên di động thay đổi từ ngày 8 tháng 9. Chưa có hồ sơ phát hành và phiên bản nên chưa biết thành viên nào trong các nhóm đã thấy thay đổi đó.
Phản hồi hỗ trợ
Trưởng nhóm hỗ trợ cho biết người dùng khó tìm bước tiếp theo trên điện thoại. Thiếu hồ sơ hỗ trợ có ngày tháng và liên kết với các nhóm; những phản ánh này không xác định được nguyên nhân.
Người nhận báo cáo

Chọn người cần ra quyết định. Cả ba báo cáo đều vẫn có thể xem.

Báo cáo cho nhà sáng lập: Cần xem xét riêng hành trình trên di động và cơ cấu đối tượng trước khi thay đổi ưu tiên ra mắt.

Báo cáo cho nhà sáng lập

Cần xem xét riêng hành trình trên di động và cơ cấu đối tượng trước khi thay đổi ưu tiên ra mắt.

Đọc báo cáo đầy đủ

Báo cáo truyền thông

So sánh cơ cấu đối tượng và việc phân phối nội dung sáng tạo trước khi quyết định chuyển ngân sách.

Đọc báo cáo đầy đủ

Báo cáo nội dung và sáng tạo

Đây chỉ là ứng viên riêng: so sánh thông điệp minh bạch với phương án tập trung vào giá nếu câu hỏi riêng đó vẫn còn. Trước tiên xem bằng chứng tương đương về đối tượng, thiết bị và kênh. Chưa chọn thông điệp thắng cuộc; phép so sánh này cũng không xác định nguyên nhân mức giảm.

Đọc báo cáo đầy đủ

Xem các báo cáo

Cùng một báo cáo hư cấu được điều chỉnh cho ba nhóm độc giả dựa trên những dữ kiện đã kiểm tra giống nhau. Đoạn trích phía trên là từ phản hồi AI ban đầu.

Báo cáo cho nhà sáng lậpTỷ lệ hoàn tất quiz trên thiết bị di động trả phí45% 28%

Báo cáo cho nhà sáng lập

Tình huống hư cấu; dữ liệu chiến dịch tổng hợp cho các nhóm từ ngày 1–14 tháng 9 năm 2026, được theo dõi đến ngày 22 tháng 9.

Điều gì đã xảy ra

Tỷ lệ hoàn thành quiz trên mobile trả phí giảm từ 45% xuống 28%, mức giảm 17 điểm phần trăm. Các số lượng đã kiểm tra là 3,780/8,400 → 2,352/8,400. Tỷ lệ hoàn thành desktop là 45.03% → 46.25%.

Trên toàn bộ các nhóm thuần tập trả phí được cung cấp, khách hàng mua lần đầu được quy kết là 467 → 357 và doanh thu mua lần đầu được quy kết là $37,360 → $28,560. Đây là các kết quả quy kết được xây dựng, không phải bằng chứng về người đăng ký gia tăng hay doanh thu bị mất do quiz.

Vì sao điều này quan trọng

Quiz là một bước cân nhắc trong đợt ra mắt tại UK. Cả sự dịch chuyển về các nhóm đối tượng có tỷ lệ hoàn thành thấp hơn lẫn sự suy giảm bên trong các nhóm mobile so sánh được đều đóng góp vào biến động tổng. Giữ nguyên cơ cấu của Tuần 1 cho ra 35.33% cho Tuần 2, vì vậy chỉ riêng cơ cấu không giải thích được mức suy giảm.

Chủ sản phẩm báo cáo một bản sửa đổi cách trình bày trên mobile và bộ phận hỗ trợ báo cáo một lo ngại về khả năng sử dụng. Cả hai đều không được liên kết với các nhóm thuần tập đo lường bằng bằng chứng được cung cấp. Nguyên nhân sản phẩm vẫn chưa được chứng minh.

Bước tiếp theo

  1. Xác minh hành trình mobile, định nghĩa sự kiện và bằng chứng phát hành/phiên bản. Việc báo cáo có thời gian cho một cuộc kiểm tra vào ngày làm việc tiếp theo là giả định kịch bản, không phải một hành động đã hoàn thành. Quay lại với kế hoạch so sánh hoặc một tuyên bố thiếu bằng chứng rõ ràng.
  2. Không phê duyệt di chuyển ngân sách hay chuyển hướng sáng tạo chỉ từ CSV này. Các quyết định thương mại/rủi ro hiện có vẫn được điều hành bởi thẩm quyền thông thường; đây không phải lệnh đóng băng toàn bộ.
  3. Đối chiếu định nghĩa doanh thu đầy đủ tháng 9 của doanh nghiệp và kết quả trên mọi kênh trước khi tuyên bố mục tiêu $60K/tháng đạt hay trượt. Doanh thu nhóm thuần tập và một thước đo kế toán/kinh doanh hàng tháng cần một sự đối chiếu tương đương rõ ràng.

CAC đầy đủ, lợi nhuận, mức nhận thức, giá trị vòng đời thực tế và tính gia tăng vẫn chưa có.

Báo cáo ban đầu ↓
Báo cáo truyền thôngTỷ lệ hoàn tất quiz trên thiết bị di động trả phí45% 28%

Báo cáo truyền thông

Tình huống hư cấu; dữ liệu chiến dịch tổng hợp cho các nhóm từ ngày 1–14 tháng 9 năm 2026, được theo dõi đến ngày 22 tháng 9.

Điều gì đã xảy ra

Chi tiêu, USD
Tuần 1
$5,462
Tuần 2
$5,512
Số lần bắt đầu quiz
Tuần 1
15,040
Tuần 2
15,120
Số lần hoàn thành quiz
Tuần 1
6,770
Tuần 2
5,460
Khách hàng mua lần đầu được quy kết
Tuần 1
467
Tuần 2
357
Doanh thu mua lần đầu được quy kết
Tuần 1
$37,360
Tuần 2
$28,560
CPA media
Tuần 1
$11.70
Tuần 2
$15.44
ROAS đơn hàng đầu được quy kết
Tuần 1
6.84
Tuần 2
5.18

ROAS là doanh thu đơn hàng đầu được quy kết chia cho chi tiêu media, không phải lợi nhuận hay mức tăng nhân quả.

Google Search
Chi tiêu T1
$1,736
Chi tiêu T2
$1,744
Khách hàng T1
154
Khách hàng T2
105
Doanh thu T1
$12,320
Doanh thu T2
$8,400
LinkedIn
Chi tiêu T1
$2,296
Chi tiêu T2
$2,304
Khách hàng T1
154
Khách hàng T2
119
Doanh thu T1
$12,320
Doanh thu T2
$9,520
Reddit trả phí
Chi tiêu T1
$1,430
Chi tiêu T2
$1,464
Khách hàng T1
159
Khách hàng T2
133
Doanh thu T1
$12,720
Doanh thu T2
$10,640

Không có ngân sách media hàng tháng được phê duyệt nào được cung cấp, nên không thể đánh giá tiến độ ngân sách.

Vì sao so sánh mobile cần kiểm tra cơ cấu

Tỷ lệ hoàn thành mobile: 3,780/8,400 = 45% → 2,352/8,400 = 28%. Thay đổi là −17 điểm phần trăm, xấp xỉ −37.8% tương đối. Desktop là 2,990/6,640 = 45.03% → 3,108/6,720 = 46.25%.

Số lần bắt đầu nhóm mobile skeptical giảm từ 4,200 xuống 2,100; số lần bắt đầu nhóm exploring tăng từ 4,200 lên 6,300. Tỷ lệ của chúng thay đổi từ 50%/50% sang 25%/75%. Đây là các nhóm được xây dựng, không phải sở thích khách hàng đã xác thực hay các xử lý ngẫu nhiên.

Mỗi phân lớp mobile kênh × đối tượng × sáng tạo trong số 12 phân lớp có 700 lần bắt đầu trong Tuần 1. Dùng trọng số 700/8,400 = 1/12 và nhân với tỷ lệ hoàn thành Tuần 2 của phân lớp đó. Cộng các tỷ lệ có trọng số: 35.33%, giữ đầy đủ độ chính xác trước khi hiển thị.

Trong phân rã theo trọng số Tuần 1 này, thành phần trong nhóm là −9.67 điểm và thành phần cơ cấu là −7.33 điểm. Việc phân bổ phụ thuộc vào cơ sở/thứ tự được chọn; không con số nào là hiệu ứng nhân quả. Tất cả 12 phân lớp đều suy giảm, nhưng CSV không thể giải thích vì sao.

Bước tiếp theo

  • Xác minh định nghĩa sự kiện và gắn thẻ nguồn/nhóm thuần tập; giữ nguyên quy tắc trưởng thành.
  • Yêu cầu phân bổ phát hành/phiên bản và tái hiện luồng mobile. So sánh các phiên bản nơi có thể tái tạo phân bổ. Nhật ký bị thiếu giới hạn điều có thể kết luận.
  • Kiểm tra các phép tính, bối cảnh và quyết định trước khi phát hành cho các bên liên quan. Đừng suy ra nguyên nhân sản phẩm, khuyến nghị di chuyển ngân sách chính xác, hay coi việc phục hồi về mục tiêu là một thiết kế kiểm tra hợp lệ chỉ riêng nó.

Bản sửa đổi cách trình bày trên mobile và lo ngại hỗ trợ được báo cáo ưu tiên cho các cuộc kiểm tra này. Chúng không chứng minh lỗi, mức độ phổ biến hay tổn thất gia tăng.

Báo cáo ban đầu ↓
Báo cáo nội dung và sáng tạoTỷ lệ hoàn tất quiz trên thiết bị di động trả phí45% 28%

Báo cáo nội dung và sáng tạo

Tình huống hư cấu; dữ liệu chiến dịch tổng hợp cho các nhóm từ ngày 1–14 tháng 9 năm 2026, được theo dõi đến ngày 22 tháng 9.

Các thông điệp đề xuất chỉ là ví dụ, không phải tuyên bố quảng cáo đã được phê duyệt.

Điều gì đã xảy ra

Cả hai nhóm thông điệp đều có tỷ lệ hoàn thành quiz tổng yếu hơn:

Truy xuất nguồn gốc: “Know what is in every serving” (Biết rõ thành phần trong mỗi khẩu phần)
Số lần hoàn thành / bắt đầu Tuần 1
3,276 / 7,560 = 43.33%
Số lần hoàn thành / bắt đầu Tuần 2
2,625 / 7,560 = 34.72%
Giá trị: “Compare the value of a clearly dosed serving” (So sánh giá trị của mỗi khẩu phần có liều lượng rõ ràng)
Số lần hoàn thành / bắt đầu Tuần 1
3,494 / 7,480 = 46.71%
Số lần hoàn thành / bắt đầu Tuần 2
2,835 / 7,560 = 37.50%

Các tổng này gộp thiết bị, đối tượng và kênh, nên không thể so sánh công bằng hai thông điệp. Thông điệp về giá trị có tỷ lệ chung cao hơn, nhưng các số liệu này không cho biết thông điệp nào hiệu quả hơn.

Mức 45% → 28% phía trên chỉ áp dụng cho lưu lượng di động có trả phí. Tỷ lệ của từng thông điệp cũng gồm lưu lượng máy tính, nên phản ánh nhóm rộng hơn và không xác nhận con số đó.

Vì sao điều này quan trọng

Giả thuyết khách hàng nhấn mạnh thông tin thành phần rõ ràng. Một bản sửa đổi cách trình bày trên mobile được báo cáo đã thêm một bảng thông tin mở rộng và thay đổi nhãn bước tiếp theo. Phản hồi hỗ trợ không liên kết đề cập khó tìm nút điều khiển tiếp theo. Việc kiểm tra trải nghiệm sau nhấp chuột là hợp lý; việc gọi thông điệp, bảng điều khiển hay nhãn là nguyên nhân dựa trên bằng chứng hiện có thì không hợp lý.

Bước tiếp theo

Sau khi ý nghĩa sự kiện và hành vi hành trình được xác minh, trang có làm cho lời hứa thông điệp trở nên rõ ràng trong khi vẫn giữ một bước tiếp theo dễ hiểu không?

Kiểm tra sự bàn giao từ quảng cáo sang trang cùng chủ sản phẩm. Giữ truy xuất nguồn gốc và giá trị làm các giả thuyết rõ ràng. Xác nhận rằng mọi tuyên bố về thành phần/liều lượng có căn cứ chứng minh.

Xác định liệu phân bổ phiên bản và các nhóm thuần tập so sánh được có thể hỗ trợ một thử nghiệm tập trung hay không. Đặt mẫu số, phép so sánh và quy tắc quyết định trước khi chạy. Nếu thiếu phân bổ hoặc theo dõi, hãy ghi lại giới hạn đó; phục hồi trước/sau không phải bằng chứng nhân quả.

Không có việc loại bỏ sáng tạo, tuyên bố hook thắng hay khuyến nghị ngân sách media nào được hỗ trợ ở đây. CSV không có bằng chứng xem/phát lại, nên nó không xác lập mức độ mệt mỏi, mức độ phổ biến của nhầm lẫn hay màn hình nào người dùng bỏ dở.

Báo cáo ban đầu ↓

Tỷ lệ hoàn thành bài trắc nghiệm từ quảng cáo trả phí trên di động giảm từ 45% xuống 28%

Mỗi chấm = 1% lượt bắt đầu bài trắc nghiệm từ quảng cáo trả phí trên di động. Chấm tô kín biểu thị lượt hoàn thành.

Trong 12 nhóm di động theo channel × đối tượng × creative, tỷ lệ Tuần 2 khi dùng trọng số Tuần 1 là 35,33%, so với mức quan sát 28,0%. Khoảng cách cho thấy cơ cấu góp phần tạo ra chênh lệch giữa tỷ lệ quan sát và tỷ lệ cố định cơ cấu; tỷ lệ của cả 12 nhóm cũng giảm so với Tuần 1. Đây là phân rã mô tả, không phải ước tính quan hệ nhân quả.

Tỷ lệ hoàn thành bài trắc nghiệm từ quảng cáo trả phí trên di động giảm từ 45% xuống 28%
Tỷ lệ hoàn tất quiz trên thiết bị di động trả phí
45%Đã hoàn thành

3.780 / 8.400 Lượt bắt đầu trắc nghiệm

Mốc cơ sở tuần 145%
Giữ nguyên cơ cấu đối tượng

Tỷ lệ Tuần 2 nếu giữ nguyên tỷ trọng lượt bắt đầu bài trắc nghiệm của Tuần 1 ở từng tổ hợp kênh × đối tượng × mẫu quảng cáo: 35,33%. So sánh mô tả này không xác định nguyên nhân.

Hai nhóm paid-mobile · ngày 1–14 tháng 9 năm 2026 · so sánh sau hai giai đoạn bảy ngày · số liệu ghi nhận ngày 22 tháng 9

Đã ghi nhận mức giảm. Nguyên nhân vẫn chưa được xác định.

Bằng chứng cần yêu cầu tiếp theo

  1. Đối chiếu lịch sử phát hành với đúng phiên bản trang di động mà từng nhóm đã xem.
  2. Tái hiện hành trình di động và đối soát sự kiện quiz_start, quiz_complete, gồm cả sự kiện trùng lặp và bị thiếu.
  3. Kiểm tra hồ sơ hỗ trợ có ngày tháng về vấn đề tương tự và so sánh với ngày các nhóm tiếp xúc.

Người quyết định: Trưởng nhóm tăng trưởng quyết định có thay đổi ưu tiên hay không. Analytics phụ trách định nghĩa chỉ số và phân tích; product và support cung cấp hồ sơ để xác minh.

Mục tiêu và ý nghĩa của kết quả

Các thông tin này trả lời hai câu hỏi khác nhau: ví dụ muốn đạt điều gì và phân tích đã ghi nhận có thể chứng minh điều gì.

  • Mục tiêu của ví dụ: giúp GreenLeaf được biết đến như một lựa chọn minh bạch trong lĩnh vực biohacking tại Anh.
  • Trong bản tóm tắt hư cấu này, mục tiêu đề xuất là doanh thu hàng tháng tại Anh US$60.000 và mức nhận biết không gợi ý 15%. Dữ liệu không cho biết có đạt mục tiêu nào hay không.
  • Đo lường: tỷ lệ hoàn tất câu hỏi của người dùng paid-mobile trong hai nhóm sau khi mỗi nhóm được quan sát đủ bảy ngày. Dữ liệu ví dụ này không thể hiện doanh thu hàng tháng hay kết quả nhận biết.
  • Các kế hoạch chỉ mang tính minh họa; kết quả dùng dữ liệu chiến dịch tổng hợp được trình bày ở đây.
Tệp nguồn ban đầu

Tải tệp của ví dụ

Các tệp được dùng trong ví dụ này.