Fase 4 dari 6
Meningkatkan kampanye
Tingkat penyelesaian turun. Apa yang perlu diubah tim, dan apa yang masih belum diketahui?
Data sintetis dalam contoh ini menunjukkan penurunan, tetapi tidak mengungkap penyebabnya. Bandingkan kelompok setelah periode tujuh hari penuh untuk menentukan hal yang perlu diselidiki.
Pekerjaan · Sinyal bertanggal, diagnosis, dan jejak keputusan
Apa yang diketahui tim dan kapan
Perbandingan ini melihat kembali data. Bandingkan kelompok setelah kedua periode pengamatan tujuh hari selesai.
- 1–7 September
- Pekan 1: 3.780 dari 8.400 kuis yang dimulai melalui media seluler berbayar berhasil diselesaikan.Jendela pengamatan tujuh hari. Jumlah kohor adalah hitungan alur yang tersimpan.
- 8–14 September
- Pekan 2: 2.352 dari 8.400 kuis yang dimulai melalui media seluler berbayar berhasil diselesaikan.Jendela pengamatan tujuh hari. Kedua kohor fiktif dibuat dengan aturan yang sama.
- 21 September, 23:59:59 UTC
- Perbandingan pertama setelah periode pengamatan tujuh hari Minggu 2 selesai.Kedua periode pengamatan tujuh hari telah berakhir; angka dicatat pada 22 September.
- Keputusan
- Selidiki komposisi audiens dan alur seluler sebelum memindahkan anggaran.Penyebabnya belum diketahui; tidak ada klaim bahwa peringatan dini telah muncul.
Alasan di balik pilihan ini
Penurunan teramati, tetapi penyebabnya tidak. Perubahan komposisi audiens maupun masalah pada alur seluler dapat menurunkan penyelesaian; kumpulan data ini tidak dapat membedakan keduanya.
Langkah berikutnya
Pertanyaan diagnostik, kohor yang dapat dibandingkan, dan permintaan bukti diteruskan ke pelaporan.
Telusuri lebih lanjut: Bukti yang akan mengubah rekomendasi
Tim perlu menyebutkannya sebelum melihat grafik lain.
- Catatan penetapan versi yang menunjukkan versi kuis berbeda pada Pekan 2.
- Pelacakan event yang melewatkan penyelesaian di salah satu browser seluler.
- Perubahan kreatif atau audiens yang cukup besar untuk menjelaskan pergeseran komposisi.
- Alur yang berhasil direproduksi tetapi gagal sebelum event penyelesaian.
Referensi lengkap: Log pemantauan dan keputusan
Catat perubahan, sumber angka, dan kapan kedua periode tujuh hari berakhir. Langkah pemantauan berikut adalah usulan, bukan sesuatu yang terjadi dalam contoh ini.
- Usulan pemantauan awal: sejak hari peluncuran hingga jam ke-48, periksa penayangan, pelacakan event dengan persetujuan, dan alur duplikat pada awal dan akhir setiap giliran kerja. Penanggung jawab: pemimpin growth dengan dukungan analitik. Hentikan dan selidiki jika event gagal direkonsiliasi; contoh ini tidak mengklaim bahwa peringatan terpicu.
- 1–7 dan 8–14 September: bandingkan setiap kohor media seluler berbayar setelah jendela tujuh harinya. Hasil Pekan 2 lebih rendah; komposisi audiens dan alur seluler masih menjadi penjelasan yang saling bersaing.
- Perbandingan lengkap pertama dapat dilakukan pada 21 September pukul 23.59.59 UTC. Sebelum mengubah anggaran, bandingkan komposisi audiens dan perjalanan seluler, lalu pastikan versi halaman yang dilihat pengunjung.