Lumaktaw sa nilalaman
Chandler Nguyen
← Lahat ng worked example

GreenLeaf

Kathang-isip na kumpanya · synthetic data

Phase 6 ng 6

Sukatin at matuto

Aling tanong ang dapat siyasatin, at handa na ba itong subukan?

Mga phase ng campaign

Hindi tinutukoy ng report ang sanhi o pumipili ng panalo. Magkahiwalay na iminungkahing tanong ang mga ito; parehong naka-hold habang kinukumpleto ang ebidensiya at mga pasya sa pagsukat.

Ang ginawa · Tanong, design, data, at decision rule

Card para sa susunod na test

Nakadepende ang tanong sa ayos ng proof sa mga pagsusuri sa mobile, tagging, at release. Hiwalay na kandidato ang paghahambing ng mensahe. Wala pang isinagawang test.

StatusIMINUNGKAHI — NAKA-HOLD. Huwag mag-assign ng traffic, magsagawa ng alinmang paghahambing, o magdeklara ng panalo hangga’t hindi inaaprubahan at itinatala ang tanong, assignment, sufficiency, stopping, guardrail, at denominator.

Mga mungkahing static na layout lamang. Hindi mga naitalang bersyon ng pahina ang A at B. Walang ibinigay na presyo, ebidensiya ng produkto o resulta; wala pang pag-apruba para patakbuhin ang alinmang paghahambing.

Conditional na palagay sa ayos ng proof

Conditional na palagay: kung kumpirmahin ng release history na naapektuhan ng pagbabago sa mobile presentation ang mga cohort, at suportado ng event tagging at muling pagdaan sa journey ang iniulat na problema, maaaring ikonsidera ang pagsubok na ilagay ang dose proof bago ang price step. Hindi pinatutunayan ng sinuring report na ito ang dahilan ng pagbaba.

A
GreenLeaf ↗

Simula pa lang ang label.

  1. Hakbang sa presyo · placeholder
  2. Dami

    Gaano karami ang bawat sangkap?

B
GreenLeaf ↗

Simula pa lang ang label.

  1. Dami

    Gaano karami ang bawat sangkap?

  2. Hakbang sa presyo · placeholder

Hiwalay na paghahambing ng mensahe

Hiwalay na kandidato: ihambing ang transparency message sa price-focused na mensahe kung ang bukas na tanong ay kung alin ang mas epektibo. Panatilihing maihahambing ang audience, device, channel, at period. Hindi sinusubok ng paghahambing na ito kung ang iniulat na pagbabago sa page ang sanhi ng pagbaba.

A
GreenLeaf ↗

Alamin ang laman.

Mga sangkap
Ano ang laman ng isang serving?
Dami
Gaano karami ang bawat sangkap?
Ebidensiya
Ano ang saklaw ng pagsusuri?

Hakbang sa presyo · placeholder

B
GreenLeaf ↗

Tingnan ang presyo bago pumili.

Mga sangkap
Ano ang laman ng isang serving?
Dami
Gaano karami ang bawat sangkap?
Ebidensiya
Ano ang saklaw ng pagsusuri?

Hakbang sa presyo · placeholder

Ebidensiyang gagamitin sa pagpili

Siyasatin muna ang mobile journey, event tagging, at release history; tiyakin kung aling page version ang nakita ng bawat cohort at kung nagtutugma ang bilang ng retained journey. Gamitin ang ebidensiyang ito para malaman kung handa nang subukan ang alinmang tanong.

Kahulugan ng assignment
Hindi pa itinatakda. Bago ang anumang test, tukuyin ng growth lead at analytics owner ang unit at paraan ng assignment, kasama kung paano mananatili ang isang journey sa itinakdang grupo.
Kahulugan ng sapat na datos
Hindi pa itinatakda. Tayahin at idokumento ng analytics kung masasagot ng iminungkahing sample ang napiling tanong. Walang sample size o statistical threshold na itinakda rito.
Kahulugan ng paghinto
Hindi pa itinatakda. Pagkasunduan muna kung kailan matatapos ang observation at paano hahawakan ang nawawala, nahuli, o di-wastong data. Hindi awtomatikong stopping rule para sa bagong test ang dating pitong-araw na cohort window.
Kahulugan ng guardrail
Hindi pa itinatakda. Iminungkahing guardrail lang ang first-purchase rate; kailangang pagkasunduan bago ang test ang katanggap-tanggap na limit at pagtrato sa refunds, cancellations, at attribution.
Denominator ng first-purchase rate
Hindi pa itinatakda. Tukuyin bago isagawa kung aling mga na-assign na journey ang eksaktong magiging denominator ng first-purchase rate. Huwag piliin o baguhin ito matapos makita ang resulta.

Bakit ito ang pinili

Sinusuportahan ng mga sinuring report ang pagsisiyasat sa mobile journey, audience mix, event tagging, at release history. Hindi nila pinatutunayan na ang page order ang sanhi ng pagbaba o na may mensaheng nanalo. Ang growth lead ang magpapasya kung magpapatuloy; analytics ang may pananagutan sa measurement design. Panatilihing naka-hold ang parehong kandidato hanggang mapagkasunduan ang mga bukas na depinisyon bago isagawa.

Susunod na hakbang

Pagkatapos ng diagnostic checks, itala kung aling tanong (kung mayroon) ang nararapat, kumpletuhin ang mga depinisyon bago isagawa, at kunin ang pahintulot ng mga accountable owner. Walang experiment na isinasagawa sa halimbawang ito.

Tingnan pa: Ano ang napagpapasyahan at hindi ng mga sinuring report

Itinatala ng mga report ang nakitang pagbabago sa paid-mobile users at pinananatili ang rekomendasyong siyasatin ang mobile journey, event tagging, at release history. Pinagsasama ng kabuuang mensahe ang audience, device, at channel, kaya hindi pumipili ng panalo o nagpapaliwanag ng pagbaba.

  • Conditional na palagay sa ayos ng proof: ikonsidera lang kung sinusuportahan ng diagnostic evidence ang pagsubok sa ayos ng page; hindi nagtatatag ng sanhi ang report lang.
  • Hiwalay na paghahambing ng mensahe: para lang sa ibang tanong kung aling mensahe ang mas mahusay, gamit ang maihahambing na audience, device, channel, at period.
  • Growth lead ang magpapasya kung magpapatuloy. Analytics ang may pananagutan sa event definitions, assignment, measurement design, at adequacy assessment.
Buong reference: Mga pasya sa kahandaan bago ang anumang test

Nakatakda pa: unit at paraan ng assignment; ebidensiyang sapat ang sample para sa napiling tanong; pagtatapos ng observation at proseso ng paghinto; limit at exclusions ng first-purchase guardrail; at denominator ng first-purchase rate. Analytics ang may pananagutan sa mga depinisyon at adequacy; growth lead ang magpapasya kung magpapatuloy o magho-hold. Tukuyin at itala ang lahat bago isagawa, pati ang denominator. Huwag mag-imbento ng statistical rule dito o magpasya matapos makita ang resulta.