전체 6단계 중 6단계
측정하고 학습하기
어떤 질문을 살펴봐야 하며, 검증할 준비가 되었나요?
캠페인 단계
보고서는 원인을 밝히거나 승자를 고르지 않습니다. 서로 다른 두 가지 제안 질문이며, 근거와 측정 관련 결정이 끝날 때까지 모두 보류합니다.
실행 자료 · 질문, 설계, 데이터, 의사결정 기준
다음 테스트 카드
증거 순서 질문은 모바일, 태깅, 출시 기록 확인을 전제로 합니다. 메시지 비교는 별도 후보입니다. 어느 쪽도 실행되지 않았습니다.
상태제안됨 — 보류 중. 질문, 배정, 적정성, 중단, 가드레일, 분모를 승인하고 기록하기 전에는 트래픽을 배정하거나 어느 비교도 실행하거나 승자를 선언하지 않습니다.
정적인 레이아웃 제안일 뿐입니다. A와 B는 기록된 페이지 버전이 아닙니다. 가격, 제품 근거 또는 결과가 제공되지 않았으며 두 비교 모두 실행 승인을 받지 않았습니다.
증거 순서에 관한 조건부 가설
조건부 가설: 출시 이력에서 모바일 화면 변경이 해당 코호트에 적용된 것이 확인되고, 이벤트 태깅과 여정 재현이 보고된 문제를 뒷받침한다면 가격 단계 앞에 복용량 근거를 두는 테스트를 고려할 수 있습니다. 확인된 보고서는 이 변경이 하락의 원인임을 입증하지 않습니다.
라벨은 시작일 뿐입니다.
- 가격 단계 · 자리표시자
- 함량
각 성분은 얼마나 들어 있나요?
라벨은 시작일 뿐입니다.
- 함량
각 성분은 얼마나 들어 있나요?
- 가격 단계 · 자리표시자
별도의 메시지 비교
별도 후보: 해결하려는 질문이 어느 메시지가 더 효과적인지일 때만 투명성 메시지와 가격 중심 메시지를 비교합니다. 오디언스, 기기, 채널, 기간을 비교 가능하게 유지합니다. 이 비교는 보고된 페이지 변경이 하락의 원인인지 검증하지 않습니다.
무엇이 들었는지 알고 고르세요.
- 성분
- 1회분에 무엇이 들어 있나요?
- 함량
- 각 성분은 얼마나 들어 있나요?
- 근거
- 검사는 무엇을 확인하나요?
가격 단계 · 자리표시자
선택하기 전에 가격을 확인하세요.
- 성분
- 1회분에 무엇이 들어 있나요?
- 함량
- 각 성분은 얼마나 들어 있나요?
- 근거
- 검사는 무엇을 확인하나요?
가격 단계 · 자리표시자
선택에 필요한 근거
먼저 모바일 여정, 이벤트 태깅, 출시 이력을 확인하고 각 코호트가 어떤 페이지 버전을 보았는지, 유지된 여정 수가 조정되는지 검증합니다. 이 근거로 어느 질문이 테스트할 준비가 되었는지 판단합니다.
- 배정 정의
- 정의되지 않았습니다. 테스트 전에 성장 책임자와 분석 담당자가 배정 단위와 방식을 정하고, 각 여정을 배정된 그룹에 유지하는 방법도 명시해야 합니다.
- 적정성 정의
- 정의되지 않았습니다. 분석 담당자는 제안된 표본이 선택한 질문에 답할 수 있는지 평가하고 기록해야 합니다. 여기에는 표본 크기나 통계 임계값이 정해져 있지 않습니다.
- 중단 정의
- 정의되지 않았습니다. 관찰 종료 시점과 누락, 지연, 무효 데이터 처리 방식을 미리 합의해야 합니다. 이전의 7일 코호트 기간이 새 테스트의 중단 규칙으로 자동 적용되지는 않습니다.
- 가드레일 정의
- 정의되지 않았습니다. 첫 구매율은 제안된 가드레일일 뿐입니다. 허용 한계와 환불, 취소, 기여 분석 처리 방식은 테스트 전에 합의해야 합니다.
- 첫 구매율 분모
- 정의되지 않았습니다. 실행 전에 배정된 여정 중 무엇을 첫 구매율의 분모로 삼을지 정확히 정해야 합니다. 결과를 본 뒤 선택하거나 변경하지 마세요.
이 선택을 한 이유
확인된 보고서는 모바일 여정, 오디언스 구성, 이벤트 태깅, 출시 이력 조사를 권고합니다. 페이지 순서가 하락을 일으켰거나 특정 메시지가 승리했다는 점은 입증하지 않습니다. 진행 여부는 성장 책임자가 결정하고 측정 설계는 분석 담당자가 맡습니다. 미결 정의에 실행 전에 합의할 때까지 두 후보 모두 보류합니다.
다음 단계
진단 점검 후 어떤 질문이 (있다면) 타당한지 기록하고 실행 전 정의를 마친 뒤 책임자의 승인을 받습니다. 이 예시에서는 실험을 실행하지 않습니다.
더 살펴보기: 확인된 보고서가 판단할 수 있는 것과 없는 것
보고서는 유료 모바일 사용자에서 관찰된 변화를 기록하고 모바일 여정, 이벤트 태깅, 출시 이력을 점검하라는 권고를 유지합니다. 메시지별 집계 수치는 오디언스, 기기, 채널을 섞으므로 승자를 선택하거나 하락을 설명하지 못합니다.
- 증거 순서에 관한 조건부 가설: 진단 근거가 페이지 순서 테스트를 뒷받침할 때만 고려합니다. 보고서만으로 원인을 확인할 수 없습니다.
- 별도의 메시지 비교: 어느 메시지가 더 효과적인지라는 다른 질문에만 고려하며 오디언스, 기기, 채널, 기간을 비교 가능하게 유지합니다.
- 진행 여부는 성장 책임자가 결정합니다. 분석 담당자는 이벤트 정의, 배정, 측정 설계, 적정성 평가를 맡습니다.
전체 참고 자료: 테스트 전 결정해야 할 준비 사항
미정 항목: 배정 단위와 방식, 선택한 질문에 충분한 표본인지에 대한 근거, 관찰 종료 및 중단 절차, 첫 구매 가드레일 한계와 제외 조건, 첫 구매율 분모. 분석 담당자는 정의와 적정성 평가를 맡고 성장 책임자는 진행 또는 보류를 결정합니다. 분모를 포함한 모든 항목을 실행 전에 정하고 기록하세요. 여기서 통계 규칙을 만들거나 결과를 본 뒤 정하지 않습니다.