Tính gia tăng là thước đo những gì sẽ không xảy ra nếu không có marketing. AI giúp ở ba chỗ: thiết kế kiểm nghiệm tốt hơn, ước lượng hiệu ứng từ nhiều dữ liệu hơn và lộn xộn hơn, và đọc xem hiệu ứng tập trung ở phần nào của khán giả hay hỗn hợp. Nó không cung cấp phản thực. Không có một nhóm đối chứng đàng hoàng, một model sẽ khiến một tương quan nghe như nhân quả với sự tự tin lớn.
Câu cuối đó là toàn bộ rủi ro. AI khiến việc tạo ra một con số trông như tính gia tăng trở nên dễ hơn, và phần khó nhất của công việc vẫn là quyết định so sánh với cái gì. Các đội bỏ qua bước đó và nhảy sang model kết thúc với những ước lượng thanh lịch mà họ không bảo vệ được khi ai đó hỏi câu hỏi hiển nhiên: so với cái gì?
Tính gia tăng thực sự nghĩa là gì
Tính gia tăng trả lời một câu hỏi phản thực: bao nhiêu chuyển đổi, doanh số, hay kết quả thương hiệu xảy ra vì marketing, thay vì vốn đã xảy ra. Những người vốn đã mua dù không thấy quảng cáo không phải là gia tăng, dù quảng cáo chạm vào họ bao nhiêu. Quy kết đếm công lao; tính gia tăng đo quan hệ nhân quả, và chúng là những câu hỏi khác nhau thường bất đồng.
Đây là lý do chỉ dữ liệu quy kết không xác lập được tính gia tăng. Một báo cáo last-click sẽ ghi công cho quảng cáo ai đó đã nhấp, nhưng nó không nói được liệu họ có chuyển đổi dù thế nào không. Để biết điều đó, bạn cần một nhóm không nhận marketing và một cách so sánh. Nhóm đó là phản thực, và không mức độ tinh vi model nào thay thế được nó.
Vì sao quy kết không phải tính gia tăng
Quy kết và tính gia tăng trả lời những câu hỏi khác nhau, và lẫn chúng tạo ra những quyết định ngân sách sai đầy tự tin. Quy kết phân bổ công lao qua các điểm chạm cho những chuyển đổi đã xảy ra; tính gia tăng ước lượng bao nhiêu trong số đó phụ thuộc vào marketing. Một kênh có thể trông mạnh trong quy kết và gần như bằng không về gia tăng, hoặc trông yếu và đang gánh cả chiến dịch.
Hàm ý thực tế là tính gia tăng nên nặng ký hơn quy kết cho các quyết định ngân sách, và quy kết hữu ích chủ yếu cho việc tối ưu đang chạy. Khi hai cái bất đồng, hãy tin thực nghiệm. Đó là kỷ luật được trình bày trong khung đo lường rộng hơn ở cách đo lường tác động marketing của AI, và nó càng quan trọng hơn khi AI đang tạo ra phân tích.
Ba việc của AI trong tính gia tăng
AI giúp ở ba điểm, và đáng nói chính xác về mỗi điểm, vì giá trị và rủi ro khác nhau ở từng điểm. Thiết kế: tạo cấu trúc kiểm nghiệm, tính toán lực mẫu, và các thiết kế holdout ứng viên nhanh hơn một người, rồi để con người chọn. Ước lượng: khớp các model rút tín hiệu từ dữ liệu lớn hoặc thưa nơi so sánh đơn giản thất bại. Và phân khúc: tìm hiệu ứng tập trung ở đâu, để một trung bình pha trộn không che giấu một kênh chỉ hiệu quả với một khán giả.
Trong mỗi trường hợp model là một công cụ bên trong một thiết kế nhân quả, không phải thứ thay thế nó. Riêng thiết kế, là nơi phán đoán vẫn chiếm ưu thế, vì một kiểm nghiệm được thiết kế tồi không cho model gì để ước lượng. AI có thể đề xuất thiết kế; một người hiểu doanh nghiệp phải chọn một cái thực sự chạy được.
Các phương pháp chính và nơi AI giúp
Các phương pháp tính gia tăng khác nhau hợp với tình huống khác nhau, và vai trò của AI thay đổi theo phương pháp. Bảng dưới đây vẽ các cách tiếp cận phổ biến.
| Phương pháp | Khi nào hợp | Vai trò của AI |
|---|---|---|
| Geo holdout | Cấp kênh, chia được theo vùng | Thiết kế, ước lượng hiệu ứng, tính không đồng nhất |
| Switchback | Theo thời gian, do đấu giá dẫn dắt | Thiết kế, phân tích tuần tự |
| Ghost bids / PSA | Kênh search và đấu giá | Ước lượng, đường cong chi-tiêu-phản-hồi |
| Đối chứng so khớp | Khi không thể holdout | So khớp, kiểm tra thiên lệch |
| MMM | Cấp danh mục, luôn chạy | Khớp nhanh hơn, kiểm nghiệm kịch bản |
Phương pháp càng phụ thuộc vào một phản thực được thiết kế, càng ít nên tin AI tự phát minh thiết kế một mình. Nó càng phụ thuộc vào ước lượng từ dữ liệu, AI càng thêm giá trị. Dùng bảng để chọn phương pháp cho tình huống thay vì mặc định chọn cái model xử lý dễ nhất.
Nguy hiểm của nhân quả đầy tự tin
Cách hỏng là một model tìm thấy một mối quan hệ trong dữ liệu quan sát và trình bày nó như tính gia tăng. Các phương pháp hiện đại có thể nghe đầy uy quyền trong khi dựa trên những giả định không đúng — xu hướng song song mà không song song, đối chứng bị nhiễm bẩn, chi tiêu phản hồi theo nhu cầu thay vì gây ra nó. Đầu ra trông như một ước lượng nhân quả và thực ra là một tương quan tinh vi.
Cách bảo vệ là giữ phản thực minh thị và kiểm tra các giả định. Nếu thiết kế nói hai nhóm so sánh được, hãy kiểm. Nếu một holdout được cho là sạch, xác minh rằng không thay đổi nào khác chạm vào một bên. Và sẵn lòng báo cáo rằng dữ liệu không trả lời được câu hỏi, đó là một câu trả lời hữu ích hơn một con số bạn không bảo vệ được.
Kết hợp thực nghiệm và model
Các hệ đo lường mạnh nhất ghép một thực nghiệm được thiết kế với một model mở rộng phát hiện của nó. Một geo holdout cho bạn một ước lượng sạch, đáng tin cho một kênh trong một cửa sổ xác định; một model dùng ước lượng đó để hiệu chỉnh một góc nhìn rộng hơn qua kênh và giai đoạn. Thực nghiệm neo quan hệ nhân quả, và model cung cấp độ bao phủ nơi bạn không chạy được kiểm nghiệm.
Sự ghép đôi này cũng là cách bạn xử lý các kênh nơi một holdout bất khả thi. Bạn tin model hơn ở nơi nó đã được hiệu chỉnh với thực nghiệm thật và ít hơn ở nơi chưa. Theo thời gian, một thư viện các thực nghiệm cũ trở thành nền bằng chứng giữ model luôn chạy trung thực, và nó sinh lời kép giống cách một tầng bộ nhớ khách hàng sinh lời kép.
Một điểm khởi đầu thực tế
Bắt đầu bằng việc cố định câu hỏi phản thực cho mỗi kênh chính: bạn sẽ so sánh với cái gì, và bạn có thực sự chạy được so sánh đó không? Nơi bạn chạy được, hãy chạy một holdout và coi nó là cái neo. Nơi bạn không, dùng một đối chứng so khớp hoặc một model, và dán nhãn ước lượng là yếu hơn. Rồi dùng AI cho thiết kế, ước lượng, và phân khúc bên trong khung đó, và báo cáo mọi ước lượng kèm phương pháp và độ tin cậy của nó.
Rồi xây thói quen so các mức gia tăng của model với thực nghiệm kế tiếp. Khi chúng lệch nhau, thực nghiệm thắng và model được hiệu chỉnh lại. Vòng lặp đó là thứ biến một đống ước lượng thành một hệ đo lường đáng tin, và nó là cùng kỷ luật dù AI có tham gia hay không.
Sự suy giảm quy kết và vì sao nó quan trọng
Khoảng cách giữa một báo cáo và một quyết định không mới; tôi đã viết về nó nhiều năm trước ở đừng lãng phí thời gian cho báo cáo, và AI khiến con số dễ tạo hơn mà không khiến nó nhân quả hơn. Dữ liệu quy kết suy giảm vì những lý do chẳng liên quan đến chiến dịch: thay đổi quyền riêng tư, mất định danh, lỗ hổng đo lường, và mô hình phía nền tảng lấp các lỗ bằng ước lượng. Khi suy giảm tăng, quy kết trôi xa sự thật hơn, đó đúng là lúc các đội dựa vào nó nhiều hơn vì các tín hiệu sạch hơn đã mất. Tính gia tăng trở nên giá trị hơn khi quy kết yếu đi, không phải kém đi.
Đây là lý do thực tế để đầu tư vào các kiểm nghiệm bây giờ. Phản thực là phép đo duy nhất không phụ thuộc vào việc theo dõi một người xuyên internet; nó phụ thuộc vào việc so sánh các nhóm. Trong một thế giới quy kết suy giảm, ước lượng dựa trên kiểm nghiệm là cái bền vững, và vai trò của model là mở rộng nó vào kế hoạch xa hơn một thực nghiệm đơn lẻ có thể tự vươn tới. Hệ quả là hãy ghi ngày cho các ước lượng của bạn. Một con số gia tăng từ hai năm trước không phải một dữ kiện về hôm nay; cuộc đấu giá, khán giả, và creative đều đã thay đổi. Kiểm lại trên cơ sở cuốn chiếu và coi các ước lượng cũ là tiên nghiệm thay vì sự thật. Một hệ đo lường không bao giờ hết hạn là một hệ đo lường lặng lẽ lỗi thời.
FAQ
AI có cho chúng tôi biết tính gia tăng mà không cần kiểm nghiệm không?
Không. Nó ước lượng được từ dữ liệu quan sát, và ước lượng dựa trên những giả định mà một kiểm nghiệm sẽ xác minh. Không có phản thực, bạn đang đọc một tương quan và gọi nó là nhân quả, dù phương pháp tinh vi đến đâu. Dùng AI để hỗ trợ một kiểm nghiệm được thiết kế, không phải thay thế một cái.
Chúng tôi có nên ngừng dùng quy kết không?
Không, nhưng hạ nó xuống. Quy kết hữu ích cho tối ưu đang chạy và để hiểu đường đến chuyển đổi. Với các quyết định ngân sách, tính gia tăng nên nặng ký hơn, và khi hai cái bất đồng, thực nghiệm là cái đáng tin.
Bao lâu nên chạy các kiểm nghiệm tính gia tăng?
Đủ để neo model, thường là theo mỗi kênh chính trên cơ sở cuốn chiếu thay vì tất cả cùng lúc. Mỗi thực nghiệm sạch hiệu chỉnh lại góc nhìn luôn chạy và nâng độ tin cậy ở mọi nơi. Vài kiểm nghiệm tốt một năm, được thiết kế kỹ, thắng một dòng liên tục các kiểm nghiệm yếu.
Nếu chúng tôi không chạy được holdout thì sao?
Dùng một đối chứng so khớp, một switchback, hoặc một model, và báo cáo ước lượng là yếu hơn. Dán nhãn phương pháp và độ tin cậy rõ ràng, và coi mọi quyết định phụ thuộc vào một ước lượng yếu là tạm thời. Minh thị về hạn chế đáng tin hơn trình bày mọi ước lượng như nhau.
Bản ngắn gọn
Tính gia tăng đo những gì sẽ không xảy ra nếu không có marketing, và AI giúp thiết kế kiểm nghiệm, ước lượng hiệu ứng, và tìm nơi chúng tập trung. Nó không bao giờ cung cấp phản thực, nên hãy giữ một nhóm đối chứng và dán nhãn mọi ước lượng bằng phương pháp của nó. Cách đo lường tác động marketing của AI bàn các chỉ số vận hành, và Hướng dẫn Thực thi đặt đo lường trong quy trình rộng hơn. Làn cho trưởng nhóm đi nó qua mô hình vận hành.
Nếu bạn chạy tính gia tăng, tôi muốn nghe phương pháp nào bạn tin ít nhất — đó thường là câu trả lời trung thực.
Thân, Chandler
Bài viết này có sẵn bằng tiếng Việt. Tài liệu khóa học (video, template và hướng dẫn đi kèm) có bằng tiếng Anh và tiếng Nhật. Trang web này có sẵn trong 13 ngôn ngữ.