Inkrementalitas adalah ukuran dari apa yang tidak akan terjadi tanpa pemasarannya. AI membantu di tiga tempat: merancang uji yang lebih baik, mengestimasi efek dari data yang lebih banyak dan lebih berantakan, dan membaca bagian mana dari audiens atau baurannya tempat efeknya terkonsentrasi. Ia tidak memasok kontrafaktualnya. Tanpa kontrol yang tepat, model akan membuat korelasi terdengar kausal dengan sangat percaya diri.
Kalimat terakhir itu adalah seluruh risikonya. AI membuatnya lebih mudah menghasilkan angka yang terlihat seperti inkrementalitas, dan bagian tersulit dari pekerjaannya masih memutuskan apa yang dibandingkan. Tim yang melewati langkah itu dan melompat ke model berakhir dengan estimasi yang fasih yang tak bisa mereka bela ketika seseorang mengajukan pertanyaan yang jelas: dibandingkan dengan apa?
Apa arti inkrementalitas sebenarnya
Inkrementalitas menjawab pertanyaan kontrafaktual: berapa banyak konversi, penjualan, atau hasil merek terjadi karena pemasarannya, bukan yang terjadi tetap. Orang yang akan membeli tanpa melihat iklannya bukan inkremental, seberapa pun iklannya menyentuh mereka. Atribusi menghitung kredit; inkrementalitas mengukur kausalitas, dan keduanya pertanyaan berbeda yang sering tidak sepakat.
Inilah kenapa data atribusi sendirian tak bisa menetapkan inkrementalitas. Laporan last-click akan memberi kredit ke iklan yang diklik seseorang, tapi ia tak bisa memberi tahu Anda apakah mereka akan berkonversi tetap. Untuk tahu itu, Anda butuh kelompok yang tak menerima pemasarannya dan cara membandingkannya. Kelompok itu adalah kontrafaktualnya, dan tak ada kecanggihan model yang menggantikannya.
Kenapa atribusi bukan inkrementalitas
Atribusi dan inkrementalitas menjawab pertanyaan yang berbeda, dan mencampurnya menghasilkan keputusan anggaran yang percaya diri dan salah. Atribusi mengalokasikan kredit antar titik sentuh untuk konversi yang terjadi; inkrementalitas mengestimasi berapa dari konversi itu yang bergantung pada pemasarannya. Sebuah kanal bisa terlihat kuat di atribusi dan hampir nol inkremental, atau terlihat lemah dan justru menanggung kampanyenya.
Implikasi praktisnya adalah inkrementalitas harus lebih berbobot daripada atribusi untuk keputusan anggaran, dan atribusi terutama berguna untuk optimasi saat berjalan. Ketika keduanya tidak sepakat, percayai eksperimennya. Itu disiplin yang dipaparkan di kerangka pengukuran yang lebih luas di cara mengukur dampak pemasaran AI, dan ia bahkan lebih penting ketika AI yang menghasilkan analisisnya.
Tiga pekerjaan AI dalam inkrementalitas
AI membantu di tiga titik, dan layak presisi untuk masing-masingnya, karena nilai dan risikonya berbeda di tiap titik. Desain: menghasilkan struktur uji, perhitungan daya, dan desain holdout kandidat lebih cepat daripada manusia, lalu menyerahkan pilihannya ke orang. Estimasi: mencocokkan model yang menarik sinyal dari data besar atau sparse di mana perbandingan sederhana gagal. Dan segmentasi: menemukan di mana efeknya terkonsentrasi, sehingga rata-rata campuran tidak menyembunyikan kanal yang hanya berhasil untuk satu audiens.
Dalam setiap kasus modelnya adalah alat di dalam desain kausal, bukan penggantinya. Desain khususnya, karena uji yang dirancang buruk tak memberi modelnya apa pun untuk diestimasi. AI bisa mengusulkan desain; manusia yang memahami bisnisnya harus memilih satu yang benar-benar bisa dijalankan.
Metode utamanya dan di mana AI membantu
Metode inkrementalitas yang berbeda cocok untuk situasi yang berbeda, dan peran AI berbeda per metode. Tabel di bawah memetakan pendekatan yang umum.
| Metode | Kapan cocok | Peran AI |
|---|---|---|
| Geo holdout | Level kanal, bisa dipisah per wilayah | Desain, estimasi efek, heterogenitas |
| Switchback | Berbasis waktu, digerakkan lelang | Desain, analisis sekuensial |
| Ghost bids / PSA | Kanal pencarian dan lelang | Estimasi, kurva belanja-respons |
| Kontrol yang dipasangkan | Ketika holdout tak mungkin | Pemasangan, pemeriksaan bias |
| MMM | Level portofolio, selalu aktif | Pencocokan lebih cepat, pengujian skenario |
Makin sebuah metode bergantung pada kontrafaktual yang dirancang, makin sedikit AI seharusnya dipercaya menemukan desainnya sendiri. Makin ia bergantung pada estimasi dari data, makin banyak yang ditambahkan AI. Pakai tabelnya untuk memilih metode bagi situasinya alih-alih berpihak pada yang paling mudah ditangani modelnya.
Bahaya kausalitas yang percaya diri
Mode gagalnya adalah model yang menemukan hubungan dalam data observasional dan menyajikannya sebagai inkremental. Metode modern bisa terdengar otoritatif sambil bersandar pada asumsi yang tak bertahan — tren paralel yang tidak paralel, kontrol yang terkontaminasi, belanja yang merespons permintaan alih-alih menyebabkannya. Keluarannya terlihat seperti estimasi kausal dan sebenarnya korelasi yang canggih.
Pembelaannya adalah menjaga kontrafaktualnya eksplisit dan menguji asumsinya. Jika desainnya bilang dua kelompok bisa dibandingkan, periksa. Jika holdout mestinya bersih, verifikasi bahwa tak ada perubahan lain yang menghantam satu sisinya. Dan bersedia melaporkan bahwa datanya tak bisa menjawab pertanyaannya, yang merupakan jawaban yang lebih berguna daripada angka yang tak bisa Anda bela.
Menggabungkan eksperimen dan model
Sistem pengukuran yang terkuat memasangkan eksperimen yang dirancang dengan model yang memperluas temuannya. Geo holdout memberi Anda estimasi yang bersih dan kredibel untuk satu kanal dalam jendela yang terdefinisi; model memakai estimasi itu untuk mengkalibrasi pandangan yang lebih luas antar kanal dan periode. Eksperimennya menambatkan kausalitas, dan modelnya memberi cakupan di tempat yang tak bisa Anda jalankan ujinya.
Pemasangan ini juga cara Anda menangani kanal di mana holdout tak praktis. Anda lebih memercayai modelnya di tempat yang telah dikalibrasi terhadap eksperimen nyata dan kurang di tempat yang tidak. Seiring waktu, pustaka eksperimen masa lalu menjadi basis bukti yang menjaga model yang selalu aktif tetap jujur, dan ia berlipat seperti lapisan memori klien.
Titik awal yang praktis
Mulailah dengan menetapkan pertanyaan kontrafaktualnya untuk tiap kanal utama: apa yang akan Anda bandingkan, dan bisakah Anda benar-benar menjalankan perbandingan itu? Di mana bisa, jalankan holdout dan perlakukan sebagai tambatannya. Di mana tidak, pakai kontrol yang dipasangkan atau model, dan tandai estimasinya sebagai lebih lemah. Lalu pakai AI untuk desain, estimasi, dan segmentasi di dalam kerangka itu, dan laporkan setiap estimasi dengan metode dan keyakinannya.
Lalu bangun kebiasaan membandingkan inkremen modelnya dengan eksperimen berikutnya. Ketika mereka menyimpang, eksperimennya menang dan modelnya dikalibrasi ulang. Lingkar itu yang mengubah tumpukan estimasi menjadi sistem pengukuran yang bisa dipercaya, dan itu disiplin yang sama dengan atau tanpa AI.
Pembusukan atribusi dan kenapa penting
Celah antara laporan dan keputusan bukan hal baru; saya menulisnya bertahun-tahun lalu di jangan buang waktu untuk pelaporan, dan AI membuat angkanya lebih mudah dihasilkan tanpa membuatnya lebih kausal. Data atribusi membusuk karena alasan yang tak ada hubungannya dengan kampanyenya: perubahan privasi, hilangnya pengenal, celah pengukuran, dan pemodelan sisi platform yang mengisi lubangnya dengan estimasi. Seiring pembusukannya naik, atribusinya menjauh dari kebenaran, yang justru saat tim lebih bersandar padanya karena sinyal yang lebih bersih telah hilang. Inkrementalitas menjadi lebih berharga seiring atribusinya melemah, bukan lebih sedikit.
Ini alasan praktis untuk berinvestasi pada uji sekarang. Kontrafaktualnya adalah satu-satunya pengukuran yang tidak bergantung pada melacak seseorang melintasi internet; ia bergantung pada membandingkan kelompok. Di dunia atribusi yang membusuk, estimasi berbasis uji adalah yang tahan lama, dan peran modelnya adalah memperluasnya lebih jauh ke dalam rencana daripada yang bisa dicapai satu eksperimen sendirian. Konsekuensinya adalah memberi tanggal pada estimasi Anda. Angka inkrementalitas dari dua tahun lalu bukan fakta tentang hari ini; lelangnya, audiensnya, dan kreatifnya semua berubah. Uji ulang secara bergulir dan perlakukan estimasi lama sebagai prior alih-alih kebenaran. Sistem pengukuran yang tak pernah kedaluwarsa adalah sistem pengukuran yang diam-diam sudah usang.
FAQ
Bisakah AI memberi tahu inkrementalitas tanpa uji?
Tidak. Ia bisa mengestimasi dari data observasional, dan estimasinya bersandar pada asumsi yang akan diverifikasi sebuah uji. Tanpa kontrafaktual, Anda membaca korelasi dan menyebutnya kausalitas, seberapa pun canggih metodenya. Pakai AI untuk mendukung uji yang dirancang, bukan menggantikannya.
Haruskah kami berhenti memakai atribusi?
Tidak, tapi turunkan pangkatnya. Atribusi berguna untuk optimasi saat berjalan dan untuk memahami jalur ke konversi. Untuk keputusan anggaran, inkrementalitas harus lebih berbobot, dan ketika keduanya tidak sepakat, eksperimennya yang dipercaya.
Seberapa sering kami harus menjalankan uji inkrementalitas?
Cukup untuk menambatkan modelnya, biasanya per kanal utama secara bergulir alih-alih sekaligus. Setiap eksperimen yang bersih mengkalibrasi ulang pandangan yang selalu aktif dan menaikkan keyakinan di mana-mana. Beberapa uji yang baik setahun, dirancang dengan baik, mengalahkan aliran uji lemah yang konstan.
Bagaimana jika kami tak bisa menjalankan holdout?
Pakai kontrol yang dipasangkan, switchback, atau model, dan laporkan estimasinya sebagai lebih lemah. Tandai metodenya dan keyakinannya dengan jelas, dan perlakukan keputusan apa pun yang bergantung pada estimasi lemah sebagai sementara. Bersikap eksplisit soal keterbatasannya lebih kredibel daripada menyajikan setiap estimasi sebagai setara.
Versi singkat
Inkrementalitas mengukur apa yang tidak akan terjadi tanpa pemasarannya, dan AI membantu merancang uji, mengestimasi efek, dan menemukan di mana mereka terkonsentrasi. Ia tak pernah memasok kontrafaktualnya, jadi pertahankan kontrol dan tandai tiap estimasi dengan metodenya. Cara mengukur dampak pemasaran AI membahas metrik operasionalnya, dan Panduan Eksekusi menempatkan pengukurannya di alur kerja yang lebih luas. Jalur untuk pemimpin tim mengerjakannya melalui model operasinya.
Jika Anda menjalankan inkrementalitas, saya ingin mendengar metode mana yang paling Anda kurang percayai — biasanya itu jawaban yang jujur.
Salam, Chandler
Artikel ini tersedia dalam bahasa Indonesia. Materi kursus (video, template, dan panduan pendamping) tersedia dalam bahasa Inggris dan Jepang. Situs ini tersedia dalam 13 bahasa.