Fase 6 dari 6
Mengukur dan belajar
Pertanyaan mana yang perlu ditelusuri, dan apakah sudah siap diuji?
Fase kampanye
Laporan tidak mengidentifikasi penyebab atau memilih pemenang. Ini dua pertanyaan usulan yang terpisah; keduanya masih ditahan sambil melengkapi bukti dan keputusan pengukuran.
Pekerjaan · Pertanyaan, desain, data, dan aturan keputusan
Kartu pengujian berikutnya
Pertanyaan tentang urutan bukti bergantung pada pemeriksaan seluler, penandaan, dan rilis. Perbandingan pesan adalah kandidat terpisah. Keduanya belum diuji.
StatusDIUSULKAN — DITAHAN. Jangan membagi trafik, menjalankan salah satu perbandingan, atau menyatakan pemenang sampai pertanyaan, penugasan, kecukupan, penghentian, batas pengaman, dan penyebut disetujui serta dicatat.
Hanya usulan tata letak statis. A dan B bukan versi halaman yang tercatat. Harga, bukti produk, dan hasil belum tersedia; kedua perbandingan belum disetujui untuk dijalankan.
Hipotesis bersyarat tentang urutan bukti
Hipotesis bersyarat: jika riwayat rilis mengonfirmasi perubahan tampilan seluler memengaruhi kelompok tersebut, dan penandaan event serta penelusuran ulang perjalanan mendukung masalah yang dilaporkan, pertimbangkan pengujian bukti dosis di atas langkah harga. Laporan yang diperiksa tidak membuktikan bahwa perubahan ini menyebabkan penurunan.
Label hanyalah awal.
- Langkah harga · placeholder
- Dosis
Berapa takaran setiap bahan?
Label hanyalah awal.
- Dosis
Berapa takaran setiap bahan?
- Langkah harga · placeholder
Perbandingan pesan terpisah
Kandidat terpisah: bandingkan pesan transparansi dengan pesan yang berfokus pada harga hanya jika pertanyaannya adalah pesan mana yang bekerja lebih baik. Samakan audiens, perangkat, kanal, dan periode. Perbandingan ini tidak menguji apakah perubahan halaman menyebabkan penurunan.
Kenali isinya.
- Bahan
- Apa isi setiap sajian?
- Dosis
- Berapa takaran setiap bahan?
- Bukti
- Apa cakupan pengujiannya?
Langkah harga · placeholder
Lihat harga sebelum memilih.
- Bahan
- Apa isi setiap sajian?
- Dosis
- Berapa takaran setiap bahan?
- Bukti
- Apa cakupan pengujiannya?
Langkah harga · placeholder
Bukti untuk memilih salah satu
Periksa dulu perjalanan seluler, penandaan event, dan riwayat rilis; pastikan versi halaman yang dilihat tiap kelompok serta rekonsiliasi jumlah perjalanan tersimpan. Gunakan temuan itu untuk memutuskan apakah salah satu pertanyaan siap diuji.
- Definisi penetapan kelompok
- Belum ditentukan. Sebelum pengujian, pemimpin pertumbuhan dan pemilik analitik harus menetapkan unit serta metode penugasan, termasuk cara mempertahankan perjalanan pada kelompoknya.
- Definisi kecukupan
- Belum ditentukan. Analitik harus menilai dan mendokumentasikan apakah sampel yang diusulkan dapat menjawab pertanyaan; tidak ada ukuran sampel atau ambang statistik yang ditetapkan di sini.
- Definisi penghentian
- Belum ditentukan. Sepakati sebelumnya kapan pengamatan berakhir dan cara menangani data hilang, terlambat, atau tidak valid. Jendela kelompok tujuh hari sebelumnya bukan otomatis aturan penghentian untuk pengujian baru.
- Definisi batas pengaman
- Belum ditentukan. Tingkat pembelian pertama hanya usulan batas pengaman; batas yang dapat diterima serta perlakuan atas pengembalian dana, pembatalan, dan atribusi harus disepakati sebelum pengujian.
- Penyebut tingkat pembelian pertama
- Belum ditentukan. Tetapkan dengan tepat perjalanan yang ditugaskan mana yang menjadi penyebut tingkat pembelian pertama sebelum pelaksanaan. Jangan memilih atau mengubahnya setelah melihat hasil.
Alasan di balik pilihan ini
Laporan yang diperiksa mendukung penyelidikan perjalanan seluler, komposisi audiens, penandaan event, dan riwayat rilis. Laporan itu tidak membuktikan bahwa urutan halaman menyebabkan penurunan atau bahwa suatu pesan menang. Pemimpin pertumbuhan memutuskan apakah akan lanjut; analitik memiliki rancangan pengukuran. Tahan kedua kandidat sampai definisi yang masih terbuka disepakati sebelum pelaksanaan.
Langkah berikutnya
Setelah pemeriksaan diagnostik, catat pertanyaan mana (jika ada) yang didukung, lengkapi definisi sebelum pelaksanaan, dan dapatkan persetujuan pemilik yang bertanggung jawab. Tidak ada eksperimen yang dijalankan dalam contoh ini.
Telusuri lebih lanjut: Yang dapat dan tidak dapat diputuskan dari laporan
Laporan menetapkan perubahan teramati pada pengguna paid-mobile dan mempertahankan rekomendasi untuk memeriksa perjalanan seluler, penandaan event, dan riwayat rilis. Angka pesan agregat mencampur audiens, perangkat, dan kanal sehingga tidak memilih pemenang atau menjelaskan penurunan.
- Hipotesis urutan bukti bersyarat: pertimbangkan hanya jika bukti diagnostik mendukung pengujian urutan halaman; laporan sendiri tidak menetapkan sebab.
- Perbandingan pesan terpisah: pertimbangkan hanya untuk pertanyaan berbeda tentang pesan mana yang lebih baik, dengan audiens, perangkat, kanal, dan periode yang sebanding.
- Pemimpin pertumbuhan memutuskan apakah akan lanjut. Analitik bertanggung jawab atas definisi event, penugasan, rancangan pengukuran, dan penilaian kecukupan.
Referensi lengkap: Keputusan kesiapan sebelum pengujian
Keputusan tertunda: unit dan metode penugasan; bukti kecukupan sampel untuk pertanyaan yang dipilih; akhir pengamatan dan proses penghentian; batas serta pengecualian batas pembelian pertama; dan penyebut tingkat pembelian pertama. Analitik memiliki definisi dan penilaian kecukupan; pemimpin pertumbuhan memutuskan lanjut atau ditahan. Tetapkan dan catat semuanya sebelum pelaksanaan, termasuk penyebut. Jangan mengarang aturan statistik di sini atau menentukannya setelah melihat hasil.