Fase 6 de 6
Meça e aprenda
Qual é o próximo teste e que resultado mudaria a decisão?
Um teste só é útil quando a regra de decisão é escrita antes de se conhecer o resultado. Este é um próximo passo proposto, não um experimento concluído.
O trabalho · Pergunta, desenho, dados e regra de decisão
Cartão do próximo teste
Uma pergunta, um desenho e uma regra. A equipe pode parar ou publicar sem inventar uma nova interpretação depois do resultado.
- Pergunta
- Colocar as provas sobre doses antes da etapa de preço aumenta a conclusão do quiz?Uma pergunta de produto e criação, não de compra de mídia.
- Desenho
- Faça um teste A/B da ordem do quiz para o tráfego pago móvel do Reino Unido; mesma criação e mesmo público.Distribuição aleatória; janela de observação de sete dias.
- Dados necessários
- Atribuição, quiz_start, quiz_complete e primeira compra no nível da jornada.Jornadas distintas mantidas, não totais de eventos brutos.
- Regra de decisão
- Publique se a conclusão melhorar pelo menos 5 pontos percentuais sem reduzir a taxa da primeira compra.Avalie somente após o encerramento da janela de sete dias. Se a salvaguarda falhar, interrompa a implementação.
Por que essa escolha
A atribuição pelo último clique não comprova incrementalidade. Se a equipe precisa de uma conclusão causal, precisa de um desenho que possa sustentá-la, não de uma frase mais confiante.
Próxima etapa
O cartão de teste, os requisitos de dados e a pessoa responsável tornam-se a próxima mudança de pesquisa ou planejamento.
Veja mais: Atribuição e incrementalidade
Neste exemplo sintético, os resultados medidos descrevem jornadas mantidas e compras atribuídas. Eles não comprovam aumento de conhecimento da marca, valor vitalício realizado nem impacto incremental.
- Medido: conclusão do quiz por usuários de mídia paga em dispositivos móveis em dois grupos após sete dias de observação; primeiras compras atribuídas quando os dados registrados permitem.
- Não medido: mudança no conhecimento da marca, valor vitalício realizado, economia completa de aquisição e aumento incremental.
- A atribuição pelo último clique distribui o crédito para fins de reconciliação; não comprova o que teria acontecido sem a campanha.
- É necessário um grupo de controle ou uma distribuição aleatória para sustentar uma conclusão causal.
- Verifique se a mudança relatada na página afetou a jornada móvel e investigue também a dúvida relatada ao suporte.
Referência completa: Plano detalhado de mensuração e teste
Registre previamente a pergunta, a unidade de atribuição, a métrica principal e a salvaguarda. Defina a janela de observação antes do lançamento. Registre exclusões e dados ausentes. Não acrescente uma nova métrica de sucesso depois de ver o resultado. Publique a decisão, inclusive a decisão de não prosseguir.