Lumaktaw sa nilalaman
Chandler Nguyen
← Lahat ng worked example

GreenLeaf

Kathang-isip na kumpanya · synthetic data

Phase 4 ng 6

Pagandahin ang campaign

Bumaba ang completion. Ano ang dapat baguhin ng team at ano pa ang hindi alam?

Mga phase ng campaign

Ipinapakita ng hiwalay na synthetic cohort noong Setyembre ang pagbaba pero hindi ang sanhi; hindi ito resulta ng paglulunsad ng iminungkahing planong ito. Ihambing ang bawat grupo matapos ang buong pitong araw para malaman kung ano ang dapat siyasatin.

Ang ginawa · Signal na may petsa, diagnosis, at trail ng desisyon

Ano ang alam ng team at kailan

Retrospektibo ang paghahambing. Ihambing ang mga grupo matapos ang dalawang pitong-araw na obserbasyon.

Bumaba mula 45% tungo sa 28% ang pagkumpleto ng quiz sa dalawang grupo ng Setyembre matapos ang tig-pitong-araw na obserbasyon.

Paid mobile · dalawang grupo sa Setyembre, bawat isa ay naobserbahan nang pitong araw

Week 1 ·
45%3,780 / 8,400

Week 1: 3,780 sa 8,400 paid-mobile start ang nakumpleto.

Pitong-araw na observation window. Bilang ng retained journey ang cohort.
Week 2 ·
28%2,352 / 8,400

Week 2: 2,352 sa 8,400 paid-mobile start ang nakumpleto.

Pitong araw ang panahon ng pagmamasid. Ginawa sa iisang tuntunin ang dalawang kathang-isip na pangkat.
Pagbabago
-17 percentage point
Fixed mix
35.33%descriptive, hindi causal

Saklaw ng paid-mobile groups ang Setyembre 1–14, 2026. Natapos ang dalawang pitong-araw na obserbasyon bago ang paghahambing noong Setyembre 21, 23:59:59 UTC; naitala ang mga numero noong Setyembre 22.

Pagsusuri sa pare-parehong halo

Sa 12 mobile na strata ayon sa channel × audience × creative, 35.33% ang rate sa Linggo 2 kapag ginamit ang mga timbang ng Linggo 1, kumpara sa 28.0% na naobserbahan. Ipinapakita ng agwat na may ambag ang komposisyon sa diperensiya ng aktuwal at fixed-mix na rate; bumaba rin ang rate sa lahat ng 12 strata mula Linggo 1. Deskriptibong paghahati ito, hindi pagtataya ng sanhi.

Pinagmulan: Nasuring datos ng kampanya; mga timbang ng Linggo 1 para sa 12 mobile na strata ng channel × audience × creative.

Setyembre 21, 23:59:59 UTC
Unang paghahambing matapos ang pitong-araw na obserbasyon sa Linggo 2.Tapos na ang dalawang pitong-araw na panahon ng obserbasyon; naitala ang mga numero noong Setyembre 22.
Desisyon
Siyasatin ang audience mix at mobile journey bago ilipat ang budget.Hindi pa alam ang sanhi; walang inaangking early alert.

Mula sa signal tungo sa limitadong susunod na pagsusuri

Bagong halimbawa ng pasya mula sa umiiral na sintetikong ebidensiya ng cohort; hindi ito naitalang tugon ng AI o sesyon ng tao.

Sinuring signal
Pagkatapos ng dalawang pitong-araw na palugit, 45% (3,780/8,400) ang pagtatapos ng quiz sa bayad na mobile noong Set 1–7 at 28% (2,352/8,400) noong Set 8–14: bawas na 17 percentage point. Una itong maihahambing noong Set 21, 23:59:59 UTC.
Iminungkahing rekomendasyon
Suriin ang halo ng audience at ulitin ang mobile journey at pagkuha ng event bago ilipat ang badyet. Pagbabago ang ipinapakita ng bilang, hindi ang sanhi nito.

Pasya ng tao

Ipagpaliban ang pagbabago sa badyet at creative. Tanggapin ang pagsisiyasat bilang susunod na hakbang, hindi bilang kumpirmadong paliwanag. Halimbawa lamang ang pasyang pantao rito; walang naitala sa source pack.

Limitadong susunod na ebidensiya

Para sa susunod na pagsusuri, pagtugmain ang halo ng audience, ihambing ang release history ng pahina/build ng dalawang cohort, at subukan ang isang mobile journey na may pahintulot para sa pagkuha at pag-aalis ng doble sa quiz_start at quiz_complete. Muling suriin pagkatapos; walang sinasabing may alert o pagbabago sa pagta-target.

Bakit ito ang pinili

Naobserbahan ang pagbaba; hindi ang sanhi. Parehong maaaring magpababa ng completion ang pagbabago sa audience mix at depekto sa mobile journey, at hindi kayang paghiwalayin ng dataset na ito ang dalawa.

Susunod na hakbang

Ipasa sa reporting ang diagnostic question, maihahambing na cohort, at mga kahilingan para sa ebidensiya.

Tingnan pa: Ebidensiyang makapagpapabago sa rekomendasyon

Dapat itong tukuyin ng team bago tumingin sa panibagong chart.

  • Mga version-assignment record na magpapakitang ibang quiz build ang ginamit sa Week 2.
  • Event capture na hindi nakapagtala ng completion sa isang mobile browser.
  • Pagbabago sa creative o audience na sapat ang laki para ipaliwanag ang pagbabago sa mix.
  • Isang na-reproduce na journey na pumapalya bago ang completion event.
Buong reference: Monitoring at decision log

Itala kung ano ang nagbago, saan galing ang mga numero, at kung kailan natapos ang dalawang pitong-araw na panahon. Panukala ang mga hakbang sa pagsubaybay; hindi ito nangyari sa halimbawang ito.

  • Iminungkahing early monitor: mula launch day hanggang hour 48, tingnan ang delivery, consented event capture, at duplicate journey sa simula at dulo ng bawat shift. Owner: growth lead, kasama ang suporta ng analytics. Huminto at magsiyasat kung hindi ma-reconcile ang events; hindi sinasabi ng halimbawang ito na may nag-trigger na alert.
  • Setyembre 1–7 at Setyembre 8–14: ihambing ang bawat paid-mobile cohort pagkatapos ng pitong-araw na window nito. Mas mababa ang Week 2; magkalabang paliwanag pa rin ang audience mix at mobile journey.
  • Posible ang unang kumpletong paghahambing noong Setyembre 21, 2026, 23:59:59 UTC. Bago magbago ng budget, ihambing ang audience mix sa mobile journey at tiyakin kung aling bersyon ng page ang nakita.