Fase 6 dari 6
Mengukur dan belajar
Apa pengujian berikutnya, dan hasil apa yang akan mengubah keputusan?
Pengujian hanya berguna jika aturan keputusan ditulis sebelum hasilnya diketahui. Ini langkah berikutnya yang diusulkan, bukan eksperimen yang sudah selesai.
Pekerjaan · Pertanyaan, desain, data, dan aturan keputusan
Kartu pengujian berikutnya
Satu pertanyaan, satu desain, dan satu aturan. Tim dapat menghentikan atau meluncurkan hasilnya tanpa mengarang interpretasi baru setelah kejadian.
- Pertanyaan
- Apakah penyelesaian kuis akan meningkat jika bukti dosis dipindahkan ke atas langkah harga?Pertanyaan tentang produk dan materi kreatif, bukan pembelian media.
- Desain
- Uji A/B urutan kuis untuk trafik seluler berbayar di Inggris; materi kreatif dan audiens tetap sama.Penetapan acak; jendela pengamatan tujuh hari.
- Data yang diperlukan
- Penetapan, quiz_start, quiz_complete, dan pembelian pertama pada tingkat alur.Alur tersimpan yang unik, bukan total event mentah.
- Aturan keputusan
- Luncurkan jika penyelesaian meningkat setidaknya 5 poin persentase tanpa menurunkan tingkat pembelian pertama.Evaluasi hanya setelah jendela tujuh hari ditutup. Jika batas pengaman terlampaui, hentikan penerapan.
Alasan di balik pilihan ini
Atribusi klik terakhir tidak dapat membuktikan dampak inkremental. Jika tim memerlukan klaim sebab-akibat, mereka membutuhkan desain yang dapat mendukungnya, bukan kalimat yang lebih meyakinkan.
Langkah berikutnya
Kartu pengujian, persyaratan data, dan penanggung jawab menjadi dasar perubahan riset atau perencanaan berikutnya.
Telusuri lebih lanjut: Atribusi dan dampak inkremental
Hasil yang diukur menggambarkan alur tersimpan dan pembelian teratribusi dalam contoh sintetis ini. Hasil tersebut tidak membuktikan peningkatan kesadaran, nilai umur pelanggan yang terealisasi, atau dampak inkremental.
- Diukur: penyelesaian kuis pengguna paid-mobile dalam dua kelompok setelah tujuh hari pengamatan; pembelian pertama teratribusi jika didukung data yang tercatat.
- Tidak terukur: perubahan kesadaran, nilai umur pelanggan yang terealisasi, keseluruhan ekonomi akuisisi, dan peningkatan inkremental.
- Atribusi klik terakhir memberikan kredit untuk rekonsiliasi; metode ini tidak membuktikan apa yang akan terjadi tanpa kampanye.
- Kelompok holdout atau penetapan acak diperlukan untuk mendukung klaim sebab-akibat.
- Periksa apakah perubahan halaman yang dilaporkan memengaruhi perjalanan seluler; selidiki juga kekhawatiran yang disampaikan pelanggan.
Referensi lengkap: Rencana pengukuran dan pengujian terperinci
Daftarkan terlebih dahulu pertanyaan, unit penetapan, metrik utama, dan batas pengaman. Tetapkan jendela pengamatan sebelum peluncuran. Catat pengecualian dan data yang hilang. Jangan menambahkan metrik keberhasilan baru setelah melihat hasil. Publikasikan keputusan, termasuk keputusan untuk tidak melanjutkan.