Lewati ke konten
Chandler Nguyen
← Semua contoh kasus

GreenLeaf

Perusahaan fiktif · data sintetis

Fase 6 dari 6

Mengukur dan belajar

Pertanyaan mana yang perlu ditelusuri, dan apakah sudah siap diuji?

Fase kampanye

Laporan tidak mengidentifikasi penyebab atau memilih pemenang. Ini dua pertanyaan usulan yang terpisah; keduanya masih ditahan sambil melengkapi bukti dan keputusan pengukuran.

Pekerjaan · Pertanyaan, desain, data, dan aturan keputusan

Kartu pengujian berikutnya

Pertanyaan tentang urutan bukti bergantung pada pemeriksaan seluler, penandaan, dan rilis. Perbandingan pesan adalah kandidat terpisah. Keduanya belum diuji.

StatusDIUSULKAN — DITAHAN. Jangan membagi trafik, menjalankan salah satu perbandingan, atau menyatakan pemenang sampai pertanyaan, penugasan, kecukupan, penghentian, batas pengaman, dan penyebut disetujui serta dicatat.

Hanya usulan tata letak statis. A dan B bukan versi halaman yang tercatat. Harga, bukti produk, dan hasil belum tersedia; kedua perbandingan belum disetujui untuk dijalankan.

Hipotesis bersyarat tentang urutan bukti

Hipotesis bersyarat: jika riwayat rilis mengonfirmasi perubahan tampilan seluler memengaruhi kelompok tersebut, dan penandaan event serta penelusuran ulang perjalanan mendukung masalah yang dilaporkan, pertimbangkan pengujian bukti dosis di atas langkah harga. Laporan yang diperiksa tidak membuktikan bahwa perubahan ini menyebabkan penurunan.

A
GreenLeaf ↗

Label hanyalah awal.

  1. Langkah harga · placeholder
  2. Dosis

    Berapa takaran setiap bahan?

B
GreenLeaf ↗

Label hanyalah awal.

  1. Dosis

    Berapa takaran setiap bahan?

  2. Langkah harga · placeholder

Perbandingan pesan terpisah

Kandidat terpisah: bandingkan pesan transparansi dengan pesan yang berfokus pada harga hanya jika pertanyaannya adalah pesan mana yang bekerja lebih baik. Samakan audiens, perangkat, kanal, dan periode. Perbandingan ini tidak menguji apakah perubahan halaman menyebabkan penurunan.

A
GreenLeaf ↗

Kenali isinya.

Bahan
Apa isi setiap sajian?
Dosis
Berapa takaran setiap bahan?
Bukti
Apa cakupan pengujiannya?

Langkah harga · placeholder

B
GreenLeaf ↗

Lihat harga sebelum memilih.

Bahan
Apa isi setiap sajian?
Dosis
Berapa takaran setiap bahan?
Bukti
Apa cakupan pengujiannya?

Langkah harga · placeholder

Bukti untuk memilih salah satu

Periksa dulu perjalanan seluler, penandaan event, dan riwayat rilis; pastikan versi halaman yang dilihat tiap kelompok serta rekonsiliasi jumlah perjalanan tersimpan. Gunakan temuan itu untuk memutuskan apakah salah satu pertanyaan siap diuji.

Definisi penetapan kelompok
Belum ditentukan. Sebelum pengujian, pemimpin pertumbuhan dan pemilik analitik harus menetapkan unit serta metode penugasan, termasuk cara mempertahankan perjalanan pada kelompoknya.
Definisi kecukupan
Belum ditentukan. Analitik harus menilai dan mendokumentasikan apakah sampel yang diusulkan dapat menjawab pertanyaan; tidak ada ukuran sampel atau ambang statistik yang ditetapkan di sini.
Definisi penghentian
Belum ditentukan. Sepakati sebelumnya kapan pengamatan berakhir dan cara menangani data hilang, terlambat, atau tidak valid. Jendela kelompok tujuh hari sebelumnya bukan otomatis aturan penghentian untuk pengujian baru.
Definisi batas pengaman
Belum ditentukan. Tingkat pembelian pertama hanya usulan batas pengaman; batas yang dapat diterima serta perlakuan atas pengembalian dana, pembatalan, dan atribusi harus disepakati sebelum pengujian.
Penyebut tingkat pembelian pertama
Belum ditentukan. Tetapkan dengan tepat perjalanan yang ditugaskan mana yang menjadi penyebut tingkat pembelian pertama sebelum pelaksanaan. Jangan memilih atau mengubahnya setelah melihat hasil.

Alasan di balik pilihan ini

Laporan yang diperiksa mendukung penyelidikan perjalanan seluler, komposisi audiens, penandaan event, dan riwayat rilis. Laporan itu tidak membuktikan bahwa urutan halaman menyebabkan penurunan atau bahwa suatu pesan menang. Pemimpin pertumbuhan memutuskan apakah akan lanjut; analitik memiliki rancangan pengukuran. Tahan kedua kandidat sampai definisi yang masih terbuka disepakati sebelum pelaksanaan.

Langkah berikutnya

Setelah pemeriksaan diagnostik, catat pertanyaan mana (jika ada) yang didukung, lengkapi definisi sebelum pelaksanaan, dan dapatkan persetujuan pemilik yang bertanggung jawab. Tidak ada eksperimen yang dijalankan dalam contoh ini.

Telusuri lebih lanjut: Yang dapat dan tidak dapat diputuskan dari laporan

Laporan menetapkan perubahan teramati pada pengguna paid-mobile dan mempertahankan rekomendasi untuk memeriksa perjalanan seluler, penandaan event, dan riwayat rilis. Angka pesan agregat mencampur audiens, perangkat, dan kanal sehingga tidak memilih pemenang atau menjelaskan penurunan.

  • Hipotesis urutan bukti bersyarat: pertimbangkan hanya jika bukti diagnostik mendukung pengujian urutan halaman; laporan sendiri tidak menetapkan sebab.
  • Perbandingan pesan terpisah: pertimbangkan hanya untuk pertanyaan berbeda tentang pesan mana yang lebih baik, dengan audiens, perangkat, kanal, dan periode yang sebanding.
  • Pemimpin pertumbuhan memutuskan apakah akan lanjut. Analitik bertanggung jawab atas definisi event, penugasan, rancangan pengukuran, dan penilaian kecukupan.
Referensi lengkap: Keputusan kesiapan sebelum pengujian

Keputusan tertunda: unit dan metode penugasan; bukti kecukupan sampel untuk pertanyaan yang dipilih; akhir pengamatan dan proses penghentian; batas serta pengecualian batas pembelian pertama; dan penyebut tingkat pembelian pertama. Analitik memiliki definisi dan penilaian kecukupan; pemimpin pertumbuhan memutuskan lanjut atau ditahan. Tetapkan dan catat semuanya sebelum pelaksanaan, termasuk penyebut. Jangan mengarang aturan statistik di sini atau menentukannya setelah melihat hasil.