Lumaktaw sa nilalaman
Chandler Nguyen
← Lahat ng worked examplesPhase 5 ng 6

Ipaliwanag ang resulta

GreenLeaf

Kathang-isip na kumpanya · synthetic data

← Case overview

Reporting brief

Sa loob ng desisyon sa launch

Ano ang nangyari, ano ang ibig sabihin nito, at ano ang dapat pagdesisyunan ng bawat recipient?

Mga phase ng campaign

Siyasatin ang komposisyon ng audience at mobile journey bago baguhin ang budget o mag-angkin ng sanhi.

Batayan sa Linggo 1
45%Paid-mobile quiz completion noong Week 1
Scope
Paid mobile · dalawang grupo sa Setyembre, bawat isa ay naobserbahan nang pitong araw
Susunod na hakbang
Ihambing ang audience mix at mobile journey

Sa kathang-isip na brief na ito, iminungkahing layunin ang US$60,000 buwanang kita sa UK at 15% na kusang pagkilala. Hindi ipinapakita ng datos kung naabot ang alinman.

Bumaba mula 45% tungo sa 28% ang pagkumpleto ng quiz sa dalawang grupo ng Setyembre matapos ang tig-pitong-araw na obserbasyon.

Week 1
45%3,780 sa 8,400
Week 2
28%2,352 sa 8,400
Pagbabago
−17percentage point
Fixed mix
35.33%descriptive, hindi causal

Saklaw ng paid-mobile groups ang Setyembre 1–14, 2026. Natapos ang dalawang pitong-araw na obserbasyon bago ang paghahambing noong Setyembre 21, 23:59:59 UTC; naitala ang mga numero noong Setyembre 22.

Hindi pa rin alam ang sanhi.

  1. Brief

    Itinatakda ng brief ang desisyon, mga depinisyon ng cohort, at ebidensiyang puwedeng gamitin ng mga report.

  2. AI response

    Nagmumungkahi ang naitalang AI response ng diagnostic review at nagbibigay ng maling financial total. Hindi itinatago ang mga error.

Sipi mula sa naitalang AI response
| Spend | $110,100 | $110,100 |

Na-check na weekly total: $5,462 at $5,512.

Context at paghatol

Kailangang itama ang maling kabuuang gastos, pero hindi nito binubura ang naobserbahang pagbaba sa pagkumpleto. Kailangan pa rin ng nasuring datos at pagrepaso ng tao ang rekomendasyong mag-imbestiga.

Kontekstong kailangang suriin

Pagbabago sa mobile presentation
Sa kathang-isip na follow-up, iniulat ng product owner ang pagbabago sa mobile presentation mula Setyembre 8. Walang ibinigay na release at version records, kaya hindi matukoy kung sino sa mga cohort ang nakakita nito.
Feedback sa suporta
Iniulat ng support lead ang hirap hanapin ang susunod na hakbang sa telepono. Wala ang may-petsang support records at ugnayan sa mga cohort; hindi pinatutunayan ng mga komentong ito ang sanhi.
Recipient ng report

Piliin kung sino ang kailangang magdesisyon. Available pa rin ang tatlong report.

Report para sa founder: Suriin nang magkahiwalay ang mobile journey at audience mix bago baguhin ang launch priority.

Report para sa founder

Suriin nang magkahiwalay ang mobile journey at audience mix bago baguhin ang launch priority.

Basahin ang buong report

Media report

Ihambing ang audience mix at delivery ng creative bago magpasya kung ililipat ang budget.

Basahin ang buong report

Content at creative report

Hiwalay na kandidato lang ito: ihambing ang transparency message sa price-focused na opsyon kung bukas pa ang hiwalay na tanong na iyon. Suriin muna ang maihahambing na ebidensiya tungkol sa audience, device, at channel. Walang pinipiling panalo, at hindi mapatutunayan ng paghahambing na ito ang sanhi ng pagbaba.

Basahin ang buong report

Tingnan ang mga ulat

Iisa ang kathang-isip na ulat, pero iniangkop ito sa tatlong audience gamit ang parehong nasuring datos. Mula sa orihinal na tugon ng AI ang sipi sa itaas.

Report para sa founderPagkumpleto ng quiz sa paid mobile45% 28%

Report para sa founder

Kathang-isip na halimbawa; synthetic campaign data para sa mga cohort mula Setyembre 1–14, 2026, na sinubaybayan hanggang Setyembre 22.

Ano ang nangyari

Bumaba ang paid-mobile quiz completion mula 45% patungong 28%, isang pagbaba ng 17 percentage points. Ang mga naka-check na bilang ay 3,780/8,400 → 2,352/8,400. Ang desktop completion ay 45.03% → 46.25%.

Sa kabuuan ng ibinigay na mga paid cohort, ang mga attributed first-purchase customer ay 467 → 357 at ang attributed first-purchase revenue ay $37,360 → $28,560. Ito ay mga ginawang resulta ng attribution, hindi ebidensya ng incremental subscriptions o kita na nawala dahil sa quiz.

Bakit ito mahalaga

Ang quiz ay isang consideration step sa UK launch. Pareho ang paglipat patungo sa mga audience bucket na mas mababa ang completion at ang mga pagbaba sa loob ng maihahambing na mga mobile group ay nag-aambag sa aggregate movement. Ang paghawak sa fixed mix ng Week 1 ay nagbibigay ng 35.33% para sa Week 2, kaya hindi lamang mix ang nagpapaliwanag sa pagbaba.

Iniuulat ng product owner ang isang mobile presentation revision at iniuulat ng support ang isang usability concern. Wala sa mga ito ang naka-link sa mga nasukat na cohort ng ibinigay na ebidensya. Ang isang product cause ay nananatiling hindi napatunayan.

Susunod na hakbang

  1. Beripikahin ang mobile journey, event definitions at release/version evidence. Ang iniulat na availability para sa isang next-working-day check ay isang scenario assumption, hindi isang nakumpletong aksyon. Bumalik na may plano sa paghahambing o isang malinaw na pahayag ng nawawalang ebidensya.
  2. Huwag aprubahan ang isang budget move o creative pivot mula lamang sa CSV na ito. Ang mga umiiral na komersyal/risk na desisyon ay nananatiling pinamamahalaan ng kanilang normal na awtoridad; hindi ito isang blanket freeze.
  3. I-reconcile ang buong September revenue definition ng negosyo at all-channel results bago ideklarang nakamit o hindi ang $60K/month na target. Ang cohort revenue at isang buwanang accounting/business measure ay nangangailangan ng malinaw na like-for-like reconciliation.

Ang full CAC, profit, awareness, realized lifetime value at incrementality ay nananatiling hindi available.

Orihinal na ulat ↓
Media reportPagkumpleto ng quiz sa paid mobile45% 28%

Media report

Kathang-isip na halimbawa; synthetic campaign data para sa mga cohort mula Setyembre 1–14, 2026, na sinubaybayan hanggang Setyembre 22.

Ano ang nangyari

Spend, USD
Week 1
$5,462
Week 2
$5,512
Quiz starts
Week 1
15,040
Week 2
15,120
Quiz completions
Week 1
6,770
Week 2
5,460
Attributed first-purchase customers
Week 1
467
Week 2
357
Attributed first-purchase revenue
Week 1
$37,360
Week 2
$28,560
Media CPA
Week 1
$11.70
Week 2
$15.44
Attributed first-order ROAS
Week 1
6.84
Week 2
5.18

Ang ROAS ay attributed first-order revenue na hinati sa media spend, hindi profit o causal lift.

Google Search
W1 spend
$1,736
W2 spend
$1,744
W1 customers
154
W2 customers
105
W1 revenue
$12,320
W2 revenue
$8,400
LinkedIn
W1 spend
$2,296
W2 spend
$2,304
W1 customers
154
W2 customers
119
W1 revenue
$12,320
W2 revenue
$9,520
Reddit paid
W1 spend
$1,430
W2 spend
$1,464
W1 customers
159
W2 customers
133
W1 revenue
$12,720
W2 revenue
$10,640

Walang ibinigay na naaprubahang buwanang media budget, kaya hindi maaaring tasahin ang budget pacing.

Bakit kailangan ng mix check ang paghahambing sa mobile

Mobile completion: 3,780/8,400 = 45% → 2,352/8,400 = 28%. Ang pagbabago ay −17 percentage points, humigit-kumulang −37.8% relative. Ang desktop ay 2,990/6,640 = 45.03% → 3,108/6,720 = 46.25%.

Ang mobile skeptical starts ay bumababa mula 4,200 patungong 2,100; ang exploring starts ay tumataas mula 4,200 patungong 6,300. Ang kanilang mga share ay nagbabago mula 50%/50% patungong 25%/75%. Ito ay mga ginawang bucket, hindi mga beripikadong kagustuhan ng customer o randomized treatments.

Bawat isa sa 12 channel × audience × creative mobile strata ay may 700 Week 1 starts. Gamitin ang weight 700/8,400 = 1/12 at i-multiply sa completion rate ng Week 2 ng stratum na iyon. Isama ang mga weighted rate: 35.33%, pinapanatili ang buong precision bago ang display.

Sa Week 1-weighted decomposition na ito, ang within-group component ay −9.67 points at ang composition component ay −7.33 points. Ang alokasyon ay nakadepende sa napiling baseline/order; walang numero sa mga ito ang isang causal effect. Lahat ng 12 strata ay bumababa, ngunit hindi maipaliwanag ng CSV kung bakit.

Susunod na hakbang

  • Beripikahin ang mga event definition at source/cohort tagging; panatilihin ang parehong maturity rule.
  • Humiling ng release/version assignment at i-reproduce ang mobile flow. Ihambing ang mga bersyon kung saan maaaring i-reconstruct ang assignment. Nililimitahan ng mga nawawalang log ang maaaring tapusin.
  • Suriin ang mga kalkulasyon, konteksto at desisyon bago ang stakeholder release. Huwag maghinuha ng product cause, magrekomenda ng tiyak na budget move, o ituring ang isang recovery sa target bilang isang wastong test design nang mag-isa.

Ang iniulat na mobile presentation revision at support concern ay nagbibigay-priyoridad sa mga check na ito. Hindi patunay ang mga ito ng depekto, prevalence o incremental loss.

Orihinal na ulat ↓
Content at creative reportPagkumpleto ng quiz sa paid mobile45% 28%

Content at creative report

Kathang-isip na halimbawa; synthetic campaign data para sa mga cohort mula Setyembre 1–14, 2026, na sinubaybayan hanggang Setyembre 22.

Mga iminungkahing mensahe ay halimbawa lamang, hindi mga aprubadong pahayag sa advertising.

Ano ang nangyari

Parehong may mas mahinang aggregate quiz completion ang dalawang message group:

Traceability: “Know what is in every serving” (Alamin kung ano ang laman ng bawat serving)
Week 1 completions / starts
3,276 / 7,560 = 43.33%
Week 2 completions / starts
2,625 / 7,560 = 34.72%
Value: “Compare the value of a clearly dosed serving” (Ihambing ang halaga ng bawat serving na may malinaw na dosis)
Week 1 completions / starts
3,494 / 7,480 = 46.71%
Week 2 completions / starts
2,835 / 7,560 = 37.50%

Pinagsasama ng mga total na ito ang device, audience at channel, kaya hindi patas na paghambingin ang dalawang mensahe. Mas mataas ang pangkalahatang rate ng value message, pero hindi ipinapakita ng mga bilang na ito kung alin ang mas epektibo.

Ang 45% → 28% sa itaas ay para lamang sa paid mobile. Kasama rin sa rate ng bawat mensahe ang desktop traffic, kaya mas malawak ang saklaw nito at hindi nito kinukumpirma ang bilang sa itaas.

Bakit ito mahalaga

Binibigyang-diin ng customer hypothesis ang malinaw na impormasyon sa sangkap. Ang isang iniulat na mobile presentation revision ay nagdagdag ng isang expandable information panel at binago ang isang next-step label. Ang hindi naka-link na support feedback ay nagbabanggit ng kahirapan sa paghahanap ng susunod na control. Makatuwirang siyasatin ang post-click experience; hindi makatuwirang tawagin ang mensahe, panel o label bilang sanhi batay sa ebidensyang mayroon.

Susunod na hakbang

Pagkatapos ma-beripika ang kahulugan ng event at journey behavior, ginagawa ba ng page na malinaw ang pangako ng mensahe habang pinapanatili ang isang nauunawaang susunod na hakbang?

Siyasatin ang ad-to-page handoff kasama ang product owner. Panatilihin ang traceability at value bilang mga malinaw na hypothesis. Kumpirmahin na ang bawat pahayag sa ingredient/dosing ay may substantiation.

Alamin kung ang version assignment at maihahambing na mga cohort ay maaaring sumuporta sa isang nakatutok na test. Itakda ang denominator, paghahambing at panuntunan sa desisyon bago ito patakbuhin. Kung wala ang assignment o tracking, idokumento ang limitasyong iyon; ang isang before/after recovery ay hindi causal proof.

Walang sinusuportahan dito na creative retirement, winning-hook claim o rekomendasyon sa media-budget. Ang CSV ay walang ebidensya ng viewing/replay, kaya hindi ito nagtatatag ng fatigue, prevalence ng kalituhan o kung saang screen iniwan ng mga user.

Orihinal na ulat ↓

Bumaba mula 45% tungong 28% ang pagkumpleto ng quiz sa bayad na mobile traffic

Isang tuldok = 1% ng mga pagsisimula ng quiz mula sa bayad na mobile traffic. Ang mga tuldok na may kulay ay kumakatawan sa mga natapos na quiz.

Sa 12 mobile na strata ayon sa channel × audience × creative, 35.33% ang rate sa Linggo 2 kapag ginamit ang mga timbang ng Linggo 1, kumpara sa 28.0% na naobserbahan. Ipinapakita ng agwat na may ambag ang komposisyon sa diperensiya ng aktuwal at fixed-mix na rate; bumaba rin ang rate sa lahat ng 12 strata mula Linggo 1. Deskriptibong paghahati ito, hindi pagtataya ng sanhi.

Bumaba mula 45% tungong 28% ang pagkumpleto ng quiz sa bayad na mobile traffic
Pagkumpleto ng quiz sa paid mobile
45%Tumapos

3,780 / 8,400 Mga pagsisimula ng quiz

Batayan sa Linggo 145%
Panatilihing pareho ang komposisyon ng audience

Completion rate sa Linggo 2 kung pareho pa rin sa Linggo 1 ang proporsyon ng mga nagsimula ng quiz sa bawat kombinasyon ng channel × audience × ad creative: 35.33%. Hindi pinatutunayan ng deskriptibong paghahambing na ito ang sanhi.

Dalawang paid-mobile group · Setyembre 1–14, 2026 · ihambing matapos ang dalawang pitong-araw na panahon · naitala ang mga numero noong Setyembre 22

Naobserbahan ang pagbaba. Hindi pa tiyak ang sanhi nito.

Susunod na ebidensiyang hihingin

  1. Itugma ang release history sa eksaktong mobile page version na nakita ng bawat cohort.
  2. Ulitin ang mobile journey at itugma ang quiz_start at quiz_complete events, kasama ang mga duplicate at nawawalang event.
  3. Suriin ang may-petsang support records tungkol sa parehong problema at ihambing ang mga ito sa petsa ng exposure ng mga cohort.

May-ari ng desisyon: Ang growth lead ang magpapasya kung babaguhin ang mga prayoridad. Analytics ang may-ari ng depinisyon ng metric at pagsusuri; magbibigay ng rekord ang product at support para ma-verify.

Mga layunin at ipinapakita ng mga resulta

Magkaibang tanong ang sinasagot ng mga detalyeng ito: ano ang gustong makamit ng case, at ano ang kayang patunayan ng naitalang pagsusuri?

  • Layunin ng case: ipakilala ang GreenLeaf bilang transparent na alternatibo sa biohacking sa UK.
  • Sa kathang-isip na brief na ito, iminungkahing layunin ang US$60,000 buwanang kita sa UK at 15% na kusang pagkilala. Hindi ipinapakita ng datos kung naabot ang alinman.
  • Medido: pagkumpleto ng quiz ng paid-mobile users sa dalawang grupo, matapos ang tig-pitong-araw na obserbasyon. Hindi ipinapakita ng example data na ito ang buwanang kita o resulta ng pagkilala.
  • Mga halimbawa ang mga plano; ginagamit ng mga resulta ang synthetic campaign data na ipinapakita rito.
Mga orihinal na source file

I-download ang mga file ng halimbawa

Mga file na ginamit sa halimbawang ito.