본문으로 건너뛰기
Chandler Nguyen
← 모든 실습 사례전체 6단계 중 5단계

결과 설명하기

GreenLeaf

가상 회사 · 합성 데이터

← 사례 허브

보고 브리프

출시 의사결정 자세히 보기

무슨 일이 있었고, 어떤 의미이며, 수신자별로 무엇을 결정해야 할까요?

캠페인 단계

예산을 바꾸거나 원인을 주장하기 전에 오디언스 구성과 모바일 사용자 여정을 조사합니다.

1주 차 기준값
45%1주 차 유료 모바일 퀴즈 완료율
범위
유료 모바일 · 9월의 두 그룹, 각 그룹을 7일간 관찰
다음 단계
오디언스 구성과 모바일 여정을 비교합니다

이 가상의 브리프에서 제안하는 목표는 영국 월 매출 US$60,000와 비보조 인지도 15%입니다. 이 데이터로는 어느 목표를 달성했는지 알 수 없습니다.

각 7일 관찰 기간이 끝난 뒤 9월의 두 그룹에서 퀴즈 완료율이 45%에서 28%로 하락했습니다.

1주 차
45%8,400건 중 3,780건
2주 차
28%8,400건 중 2,352건
변화
−17퍼센트포인트
고정 구성
35.33%기술적 비교, 인과관계 아님

유료 모바일 그룹은 2026년 9월 1일부터 14일까지입니다. 두 7일 관찰 기간이 9월 21일 23:59:59 UTC의 비교 전에 끝났으며 수치는 9월 22일에 기록했습니다.

원인은 아직 밝혀지지 않았습니다.

  1. 브리프

    브리프에서 의사결정, 코호트 정의, 보고서에 사용할 수 있는 증거를 정합니다.

  2. AI 응답

    기록된 AI 응답은 진단 검토를 권고하지만 재무 합계는 잘못 제시합니다. 오류도 숨기지 않고 보여줍니다.

기록된 AI 응답 발췌
| Spend | $110,100 | $110,100 |

검증된 주간 합계: $5,462 및 $5,512.

맥락과 판단

잘못된 지출 합계는 바로잡아야 하지만, 관측된 완료율 하락이 사라지는 것은 아닙니다. 진단 권고에는 검증된 데이터와 사람의 판단이 여전히 필요합니다.

확인이 필요한 맥락

모바일 화면 표시 변경
가상 후속 설명에서 제품 책임자는 9월 8일부터 모바일 화면이 변경되었다고 보고합니다. 배포 및 버전 기록이 없어 코호트 구성원 중 누가 변경된 화면을 보았는지는 알 수 없습니다.
지원 피드백
지원 책임자는 휴대전화에서 다음 단계를 찾기 어렵다는 의견을 보고합니다. 날짜가 있는 지원 기록과 코호트 연결 정보가 없으므로 이 의견만으로 원인을 밝힐 수 없습니다.
보고서 수신자

의사결정이 필요한 수신자를 선택하세요. 세 보고서를 모두 계속 확인할 수 있습니다.

창업자 보고서: 출시 우선순위를 바꾸기 전에 모바일 여정과 오디언스 구성을 따로 확인해야 합니다.

창업자 보고서

출시 우선순위를 바꾸기 전에 모바일 여정과 오디언스 구성을 따로 확인해야 합니다.

전체 보고서 읽기

미디어 보고서

예산 이동 여부를 결정하기 전에 오디언스 구성과 크리에이티브 게재 현황을 비교합니다.

전체 보고서 읽기

콘텐츠 및 크리에이티브 보고서

이는 별도 후보일 뿐입니다. 그 별도의 질문이 남아 있을 때만 투명성 메시지와 가격 중심 안을 비교합니다. 먼저 오디언스, 기기, 채널에 관한 비교 가능한 근거를 확인합니다. 아직 승자는 없으며 이 비교로 하락의 원인을 입증할 수도 없습니다.

전체 보고서 읽기

작업물 열어보기

같은 가상 보고서를 동일하게 검증된 사실에 바탕을 두고 세 가지 대상에 맞게 구성했습니다. 위 발췌문은 원래 AI 응답에서 가져왔습니다.

창업자 보고서유료 모바일 퀴즈 완료율45% 28%

창업자 보고서

가상의 사례입니다. 2026년 9월 1일부터 14일까지의 코호트를 9월 22일까지 관찰한 합성 캠페인 데이터입니다.

무슨 일이 있었나

유료 모바일 퀴즈 완주율이 45%에서 28%로 하락했으며, 17퍼센트포인트 감소다. 점검된 건수는 3,780/8,400 → 2,352/8,400이다. 데스크톱 완주율은 **45.03% → 46.25%**였다.

제공된 유료 코호트 전체에서 어트리뷰션된 첫 구매 고객은 467 → 357이었고, 어트리뷰션된 첫 구매 수익은 $37,360 → $28,560였다. 이는 구성된 어트리뷰션 결과이며, 퀴즈 때문에 잃은 증분 구독이나 수익의 증거가 아니다.

왜 중요한가

퀴즈는 UK 출시의 고려 단계다. 완주율이 낮은 오디언스 버킷으로의 이동과 비교 가능한 모바일 그룹 내부의 하락이 모두 총합 변동에 기여한다. Week 1의 믹스를 고정하면 Week 2은 **35.33%**가 되므로, 믹스만으로는 하락을 설명할 수 없다.

제품 담당자는 모바일 표시 방식 개편을 보고했고 지원 팀은 사용성 우려를 보고했다. 제공된 증거로는 어느 것도 측정된 코호트와 연결되지 않는다. 제품 원인은 입증되지 않았다.

다음 단계

  1. 모바일 여정, 이벤트 정의, 배포/버전 증거를 검증하라. 다음 영업일 점검 가능 보고는 시나리오 가정이며 완료된 조치가 아니다. 비교 계획 또는 명시적 증거 누락 진술을 가지고 돌아오라.
  2. 이 CSV만으로 예산 이동이나 크리에이티브 전환을 승인하지 마라. 기존 상업/리스크 결정은 정상 권한 체계의 지배를 받으며, 이는 전면 동결이 아니다.
  3. $60K/월 목표의 달성 또는 미달을 선언하기 전에 비즈니스의 전체 9월 수익 정의와 전 채널 결과를 조정하라. 코호트 수익과 월간 회계/비즈니스 측정치는 명시적인 동일 조건 조정이 필요하다.

전체 CAC, 이익, 인지도, 실현 고객생애가치, 증분성은 여전히 이용할 수 없다.

원본 보고서 ↓
미디어 보고서유료 모바일 퀴즈 완료율45% 28%

미디어 보고서

가상의 사례입니다. 2026년 9월 1일부터 14일까지의 코호트를 9월 22일까지 관찰한 합성 캠페인 데이터입니다.

무슨 일이 있었나

지출, USD
Week 1
$5,462
Week 2
$5,512
퀴즈 시작
Week 1
15,040
Week 2
15,120
퀴즈 완주
Week 1
6,770
Week 2
5,460
어트리뷰션된 첫 구매 고객
Week 1
467
Week 2
357
어트리뷰션된 첫 구매 수익
Week 1
$37,360
Week 2
$28,560
미디어 CPA
Week 1
$11.70
Week 2
$15.44
어트리뷰션된 첫 주문 ROAS
Week 1
6.84
Week 2
5.18

미디어 CPA에는 미디어 비용만 포함된다. ROAS는 어트리뷰션된 첫 주문 수익을 미디어 지출로 나눈 것이며, 이익이나 인과적 리프트가 아니다.

Google Search
W1 지출
$1,736
W2 지출
$1,744
W1 고객
154
W2 고객
105
W1 수익
$12,320
W2 수익
$8,400
LinkedIn
W1 지출
$2,296
W2 지출
$2,304
W1 고객
154
W2 고객
119
W1 수익
$12,320
W2 수익
$9,520
Reddit paid
W1 지출
$1,430
W2 지출
$1,464
W1 고객
159
W2 고객
133
W1 수익
$12,720
W2 수익
$10,640

승인된 월간 미디어 예산이 제공되지 않았으므로 예산 집행 속도를 평가할 수 없다.

모바일 비교에 믹스 점검이 필요한 이유

모바일 완주율: 3,780/8,400 = 45% → 2,352/8,400 = 28%. 변화는 −17퍼센트포인트, 상대적으로 약 **−37.8%**다. 데스크톱은 **2,990/6,640 = 45.03% → 3,108/6,720 = 46.25%**다.

모바일 회의적 시작은 4,200에서 2,100로 감소하고, 탐색적 시작은 4,200에서 6,300로 증가한다. 비중은 50%/50%에서 25%/75%로 바뀐다. 이는 구성된 버킷이며, 검증된 고객 선호나 무작위 처치가 아니다.

12개 채널 × 오디언스 × 크리에이티브 모바일 계층 각각은 Week 1에 700건의 시작을 갖는다. 가중치 700/8,400 = 1/12를 사용하고 해당 계층의 Week 2 완주율을 곱하라. 가중 비율의 합은 **35.33%**이며, 표시 전에 전체 정밀도를 유지한다.

이 Week 1 가중 분해에서 그룹 내 구성요소는 −9.67포인트이고 구성 구성요소는 −7.33포인트다. 배분은 선택한 기준/순서에 의존한다. 어느 수치도 인과 효과가 아니다. 12개 계층이 모두 하락하지만, CSV는 그 이유를 설명할 수 없다.

다음 단계

  • 이벤트 정의와 소스/코호트 태깅을 검증하라. 동일한 성숙도 규칙을 유지하라.
  • 배포/버전 할당을 요청하고 모바일 흐름을 재현하라. 할당을 재구성할 수 있는 경우 버전을 비교하라. 로그 누락은 결론을 제한한다.
  • 이해관계자 공개 전에 계산, 맥락, 결정을 점검하라. 제품 원인을 추론하거나 정밀한 예산 이동을 권고하거나 목표로의 회복 자체를 유효한 시험 설계로 취급하지 마라.

보고된 모바일 표시 개편과 지원 우려는 이러한 점검의 우선순위를 정한다. 그것들은 결함, 발생률 또는 증분 손실을 입증하지 않는다.

원본 보고서 ↓
콘텐츠 및 크리에이티브 보고서유료 모바일 퀴즈 완료율45% 28%

콘텐츠 및 크리에이티브 보고서

가상의 사례입니다. 2026년 9월 1일부터 14일까지의 코호트를 9월 22일까지 관찰한 합성 캠페인 데이터입니다.

제안된 메시지는 예시일 뿐, 승인된 광고 문구가 아닙니다.

무슨 일이 있었나

두 메시지 그룹 모두 총합 퀴즈 완주율이 약화되었다:

추적 가능성: “Know what is in every serving”(한 번 섭취하는 분량에 무엇이 들어 있는지 확인하세요)
Week 1 완주 / 시작
3,276 / 7,560 = 43.33%
Week 2 완주 / 시작
2,625 / 7,560 = 34.72%
가치: “Compare the value of a clearly dosed serving”(함량이 명확한 한 번 섭취 분량의 가치를 비교하세요)
Week 1 완주 / 시작
3,494 / 7,480 = 46.71%
Week 2 완주 / 시작
2,835 / 7,560 = 37.50%

이 합계에는 기기, 오디언스, 채널이 함께 포함되어 두 메시지를 공정하게 비교할 수 없습니다. 가치 메시지의 전체 비율이 더 높지만, 이 수치만으로 어느 메시지가 더 효과적인지는 알 수 없습니다.

위의 45% → 28%는 유료 모바일만을 나타냅니다. 메시지별 비율에는 데스크톱 트래픽도 포함되므로 더 넓은 대상을 나타내며, 위 수치를 입증하지 않습니다.

왜 중요한가

고객 가설은 명확한 성분 정보를 강조한다. 보고된 모바일 표시 개편은 확장형 정보 패널을 추가하고 다음 단계 라벨을 변경했다. 연계되지 않은 지원 피드백은 다음 컨트롤을 찾기 어렵다고 언급한다. 클릭 후 경험을 점검하는 것은 타당하지만, 현재 확인된 근거만으로 메시지, 패널 또는 라벨을 원인이라고 부르는 것은 타당하지 않다.

다음 단계

이벤트 의미와 여정 행동이 검증된 후, 페이지가 이해 가능한 다음 단계를 보존하면서 메시지 약속을 명확하게 만드는가?

제품 담당자와 함께 광고-페이지 연결을 점검하라. 추적 가능성과 가치를 명시적 가설로 유지하라. 모든 성분/용량 진술에 근거가 있는지 확인하라.

버전 할당과 비교 가능한 코호트가 포커스 시험을 뒷받침할 수 있는지 판단하라. 실행 전에 분모, 비교, 결정 규칙을 설정하라. 할당이나 추적이 없으면 그 한계를 문서화하라. 전후 회복은 인과 증거가 아니다.

크리에이티브 퇴출, 승리 훅 주장, 미디어 예산 권고는 여기서 뒷받침되지 않는다. CSV에는 시청/재생 증거가 없으므로 피로, 혼란 발생률 또는 사용자가 어느 화면에서 이탈했는지를 확립할 수 없다.

원본 보고서 ↓

유료 모바일 유입의 퀴즈 완료율이 45%에서 28%로 하락

점 하나는 유료 모바일 유입의 퀴즈 시작 건수의 1%를 나타내요. 채워진 점은 완료된 퀴즈를 나타내요.

12개 모바일 channel × audience × creative 층에서 1주 차 가중치를 적용한 2주 차 비율은 35.33%이며 관측값은 28.0%입니다. 이 차이는 관측값과 고정 구성 비율 간 차이에 구성 변화가 기여함을 보여 줍니다. 동시에 12개 층 모두 1주 차보다 비율이 낮아졌습니다. 이는 기술적 분해이며 인과 효과 추정이 아닙니다.

유료 모바일 유입의 퀴즈 완료율이 45%에서 28%로 하락
유료 모바일 퀴즈 완료율
45%완료

3,780 / 8,400 퀴즈 시작 수

1주 차 기준값45%
잠재고객 구성 고정하기

채널 × 잠재고객 × 광고 소재 조합별로 1주차 퀴즈 시작 건수 비중을 고정하면, 2주차 완료율은 35.33%예요. 이 비교는 수치의 변화를 보여줄 뿐, 원인을 입증하지는 않아요.

유료 모바일 두 그룹 · 2026년 9월 1~14일 · 두 7일 관찰 기간 후 비교 · 수치는 9월 22일 기록

완료율 하락은 확인됐어요. 원인은 아직 밝혀지지 않았어요.

다음으로 요청할 근거

  1. 릴리스 기록을 각 코호트가 실제로 본 모바일 페이지 버전과 대조합니다.
  2. 모바일 여정을 재현하고 중복 및 누락을 포함해 quiz_start와 quiz_complete 이벤트를 대조합니다.
  3. 같은 문제에 관한 날짜가 있는 지원 기록을 확인하고 코호트 노출 날짜와 비교합니다.

의사결정 책임자: 성장 책임자가 우선순위 변경 여부를 결정합니다. Analytics는 지표 정의와 분석을 맡고, 제품 및 지원 담당자는 검증할 기록을 제공합니다.

목표와 결과가 보여주는 내용

이 정보는 서로 다른 두 질문에 답합니다. 이 사례가 이루려는 목표와 기록된 분석으로 확인할 수 있는 내용입니다.

  • 사례의 목표: 영국 바이오해킹 시장에서 GreenLeaf를 투명한 대안으로 알리는 것입니다.
  • 이 가상의 브리프에서 제안하는 목표는 영국 월 매출 US$60,000와 비보조 인지도 15%입니다. 이 데이터로는 어느 목표를 달성했는지 알 수 없습니다.
  • 측정값: 각 그룹을 7일간 관찰한 뒤 유료 모바일 사용자의 퀴즈 완료율을 비교합니다. 이 예시 데이터는 월 매출이나 인지도 결과를 보여주지 않습니다.
  • 계획은 예시이며 결과는 여기에 표시된 합성 캠페인 데이터를 사용합니다.
원본 자료 파일

사례 파일 다운로드

이 사례에서 사용한 파일입니다.