A pergunta do CFO

O CEO da GreenLeaf tem uma pergunta para a sala de reunião, e a IA já redigiu uma resposta e um plano. Os dois parecem prontos.

Decida como vai provar que o investimento no Reino Unido é incremental e, depois, se lança um plano que a própria IA avalia como não pronto.

O CEO: "Estamos investindo US$ 35K por mês no Reino Unido. Como sei que não estamos apenas levando o crédito por pessoas que nos encontrariam de qualquer jeito?"
O primeiro rascunho da IA: suspender a mídia paga em regiões selecionadas por quatro semanas, comparar com regiões de controle, pelo menos 500 conversões em cada uma das quatro regiões, cerca de 2.000 no total.
Na tabela do plano: com US$ 35.000 por mês e o ponto de equilíbrio de US$ 312, o Reino Unido ganha cerca de 112 assinantes por mês; a meta do Q1, de 5.000 conclusões do quiz, equivale a cerca de 1.670 por mês.
A verificação de prontidão da própria IA sobre o plano de consideração: 35%, risco alto. A UX do quiz precisa de trabalho, a integração com wearables não foi construída, os fluxos de nutrição estão incompletos.

Ryan: O rascunho pede cerca de 2.000 conversões em quatro semanas. Antes de prometer uma resposta ao CEO, quero conferir isso contra o que a gente realmente consegue.
Jake: O plano tem nota 9 em impacto. Se esperarmos por todas as lacunas, um concorrente leva quem está buscando.
Megan: O CEO fez uma pergunta justa. O que enviarmos precisa respondê-la, e não apenas parecer uma resposta.

Como você responde ao CEO?

Rodar o rascunho da IA: quatro regiões, quatro semanas, pelo menos 500 conversões em cada: É um teste geográfico de manual, começa neste mês, e o CEO tem uma resposta em quatro semanas.
Refazer o teste: conclusões do quiz como resultado, regiões reunidas em dois grupos, oito semanas: Agrupe as conclusões do quiz ao longo de oito semanas; valide o desenho antes de prometer uma resposta.
Pular o teste: reportar as conversões atribuídas pelas plataformas: Rápido e sem custo, e o cliente já lê esses números toda semana.

O plano de consideração está com 35% de prontidão para execução. Lançar?

Lançar agora e corrigir as lacunas pelo caminho: A IA dá 9 / 9 / 7 em impacto, confiança e facilidade; cada semana de espera é demanda que se deixa de capturar.
Lançar busca e Meta agora; segurar o e-mail até os fluxos de nutrição existirem: Captura agora quem está buscando, enquanto o pré-requisito mais demorado é construído.
Corrigir primeiro as três lacunas: o quiz, a integração com wearables, os fluxos de nutrição: Um quiz que vaza e nenhum fluxo de nutrição desperdiçam a verba; corrigir três lacunas conhecidas antes é mais barato do que descobri-las ao vivo.

O rascunho precisa de cerca de 2.000 conversões em quatro semanas; o Reino Unido ganha cerca de 112 assinantes por mês. Quatro semanas depois, o teste está muito abaixo de 500 conversões em qualquer região: o Reino Unido inteiro ganha cerca de 112 assinantes por mês. Ele não chega a uma conclusão, e a pergunta do CEO continua em aberto.

Conversões atribuídas não respondem se o investimento foi incremental. O relatório conta as conversões que as plataformas reivindicam. A pergunta do CEO era justamente se essas pessoas teriam chegado de qualquer forma; o curso acompanha assinantes incrementais, não conversões atribuídas.

Preveja oito semanas; valide o desenho e o poder estatístico. Projeção do cenário: cerca de 770 conclusões do quiz por grupo agregado em oito semanas. Isso não demonstra poder estatístico nem crescimento incremental de assinantes.

Dados que a sua base de dados deixou dispersos atrasam a leitura do teste. A leitura exige os dados de todas as regiões em um só lugar, limpos e comparáveis, e a sua base de dados deixou esse trabalho para depois: a resposta fica esperando por ele.

Seus guardrails deixam a IA mover verba no meio do teste. Seus guardrails deixam a IA mover verba entre plataformas, então o orçamento pode mudar no meio do teste e embaralhar a comparação entre regiões.

Lançar com 35% de prontidão gasta dinheiro antes que o quiz e os fluxos de nutrição consigam converter. A campanha leva as pessoas a um quiz cuja UX ainda precisa de trabalho, sem fluxo de nutrição por trás. O curso: as equipes fracassam mais por ativar antes de a infraestrutura estar pronta do que por estratégia ruim.

Parte do plano ainda cai em um quiz não corrigido. Busca e Meta levam as pessoas a um quiz cuja UX ainda precisa de trabalho; os fluxos de nutrição estão em espera.

Esperar significa que o plano não captura nada enquanto as lacunas são corrigidas. O lançamento espera enquanto o quiz, a integração e os fluxos de nutrição são corrigidos.

Princípios do curso e hipóteses do cenário

Hipótese do cenário derivada dos números do curso: Como você responde ao CEO?: Refazer o teste: conclusões do quiz como resultado, regiões reunidas em dois grupos, oito semanas. Derivado dos números do curso: o rascunho exige cerca de 2.000 conversões em quatro semanas, enquanto o Reino Unido ganha cerca de 112 assinantes por mês. Agrupar conclusões do quiz em oito semanas projeta cerca de 770 por grupo. Esse volume não demonstra poder estatístico: valide os grupos de comparação, o efeito detectável e a análise antes de prometer uma resposta. Conclusões do quiz não provam diretamente crescimento incremental de assinantes.
O plano de consideração está com 35% de prontidão para execução. Lançar?: Corrigir primeiro as três lacunas: o quiz, a integração com wearables, os fluxos de nutrição. O curso: as equipes fracassam mais por ativar antes de a infraestrutura estar pronta do que por estratégia ruim; a própria verificação da IA diz para corrigir primeiro estas três coisas.

Você escolheu como investigar a incrementalidade e quando lançar. O curso prioriza assinantes incrementais e resolver os pré-requisitos. Agrupar conclusões do quiz é uma proposta deste cenário, não um experimento validado. Esperar também adia a captura da demanda.