Pular para o conteúdo
Chandler Nguyen
← Todos os exemplos práticos

GreenLeaf

Empresa fictícia · dados sintéticos

Fase 6 de 6

Meça e aprenda

Que pergunta devemos investigar e ela está pronta para ser testada?

Fases da campanha

O relatório não identifica a causa nem escolhe um vencedor. São duas perguntas propostas distintas; ambas permanecem em espera enquanto as evidências e decisões de medição são concluídas.

O trabalho · Pergunta, desenho, dados e regra de decisão

Cartão do próximo teste

A pergunta sobre a ordem da prova depende das verificações de móvel, marcação e versões. A comparação de mensagens é uma candidata separada. Nenhum teste foi executado.

EstadoPROPOSTO — EM ESPERA. Não atribua tráfego, execute nenhuma comparação nem declare um vencedor até que pergunta, atribuição, suficiência, interrupção, salvaguarda e denominador sejam aprovados e registrados.

Apenas propostas estáticas de layout. A e B não são versões registradas da página. Não há preço, evidência do produto ou resultado disponível; nenhuma comparação foi aprovada para execução.

Hipótese condicional sobre a ordem da prova

Hipótese condicional: se o histórico de versões confirmar que a mudança de apresentação móvel afetou as coortes, e a marcação de eventos e a reprodução da jornada sustentarem o problema relatado, pode-se considerar testar a prova da dose antes da etapa de preço. O relatório verificado não comprova que essa mudança causou a queda.

A
GreenLeaf ↗

O rótulo é só o começo.

  1. Etapa do preço · espaço reservado
  2. Dose

    Qual a quantidade de cada um?

B
GreenLeaf ↗

O rótulo é só o começo.

  1. Dose

    Qual a quantidade de cada um?

  2. Etapa do preço · espaço reservado

Comparação separada de mensagens

Candidata separada: compare a mensagem de transparência com uma mensagem centrada no preço somente se a pergunta em aberto for qual mensagem funciona melhor. Mantenha público, dispositivo, canal e período comparáveis. Essa comparação não testa se a mudança de página relatada causou a queda.

A
GreenLeaf ↗

Saiba o que tem dentro.

Ingredientes
O que há em uma porção?
Dose
Qual a quantidade de cada um?
Evidências
O que o teste avalia?

Etapa do preço · espaço reservado

B
GreenLeaf ↗

Veja o preço antes de escolher.

Ingredientes
O que há em uma porção?
Dose
Qual a quantidade de cada um?
Evidências
O que o teste avalia?

Etapa do preço · espaço reservado

Evidências para escolher

Primeiro inspecione a jornada móvel, a marcação de eventos e o histórico de versões; confirme qual versão da página cada coorte viu e se os totais de jornadas mantidas são conciliáveis. Essas evidências ajudam a decidir se alguma pergunta está pronta para teste.

Definição da atribuição
Não definido. Antes de qualquer teste, a liderança de crescimento e a pessoa responsável por análise devem definir a unidade e o método de atribuição, incluindo como cada jornada permanece no grupo atribuído.
Definição de suficiência
Não definido. A análise deve avaliar e documentar se a amostra proposta pode responder à pergunta escolhida. Nenhum tamanho de amostra ou limite estatístico está definido aqui.
Definição de interrupção
Não definido. Combine previamente quando a observação termina e como tratar dados ausentes, tardios ou inválidos. A janela anterior de coorte de sete dias não é automaticamente uma regra de interrupção para um novo teste.
Definição da salvaguarda
Não definido. A taxa de primeira compra é apenas uma salvaguarda proposta; o limite aceitável e o tratamento de reembolsos, cancelamentos e atribuição precisam ser acordados antes do teste.
Denominador da taxa de primeira compra
Não definido. Especifique antes da execução quais jornadas atribuídas formam exatamente o denominador da taxa de primeira compra. Não escolha nem altere após ver os resultados.

Por que essa escolha

Os relatórios verificados apoiam a investigação da jornada móvel, da composição do público, da marcação de eventos e do histórico de versões. Eles não comprovam que a ordem da página causou a queda nem que uma mensagem venceu. A liderança de crescimento decide se deve avançar; análise responde pelo desenho da medição. Mantenha ambas as candidatas em espera até que as definições pendentes sejam acordadas antes da execução.

Próxima etapa

Após as verificações de diagnóstico, registre qual pergunta (se houver) se justifica, conclua as definições prévias à execução e obtenha a aprovação das pessoas responsáveis. Nenhum experimento é executado neste exemplo.

Veja mais: O que os relatórios verificados podem ou não decidir

Os relatórios registram a mudança observada entre usuários pagos em dispositivos móveis e mantêm a recomendação de inspecionar a jornada móvel, a marcação de eventos e o histórico de versões. Os números agregados de mensagens misturam públicos, dispositivos e canais; por isso, não escolhem um vencedor nem explicam a queda.

  • Hipótese condicional sobre a ordem da prova: considere apenas se as evidências de diagnóstico apoiarem testar a ordem da página; o relatório, sozinho, não estabelece a causa.
  • Comparação separada de mensagens: considere apenas para a pergunta diferente de qual mensagem funciona melhor, com público, dispositivo, canal e período comparáveis.
  • Crescimento decide se deve avançar. Análise responde pelas definições de eventos, atribuição, desenho da medição e avaliação de suficiência.
Referência completa: Decisões de prontidão antes de qualquer teste

Pendente: unidade e método de atribuição; evidência de amostra suficiente para a pergunta escolhida; encerramento da observação e processo de interrupção; limite e exclusões da salvaguarda de primeira compra; e denominador da taxa de primeira compra. Análise responde pelas definições e avaliação de suficiência; crescimento decide avançar ou manter em espera. Defina e registre tudo antes da execução, inclusive o denominador. Não invente regras estatísticas aqui nem as decida após ver os resultados.