Saltar al contenido
Chandler Nguyen
← Todos los casos prácticos

GreenLeaf

Empresa ficticia · datos sintéticos

Fase 6 de 6

Medir y aprender

¿Qué pregunta debemos investigar y está lista para ponerse a prueba?

Fases de la campaña

El informe no identifica una causa ni elige un ganador. Son dos preguntas propuestas distintas; ambas siguen en pausa mientras se completan las evidencias y las decisiones de medición.

El trabajo · Pregunta, diseño, datos y regla de decisión

Ficha de la siguiente prueba

La pregunta sobre el orden de la prueba depende de las comprobaciones del móvil, el etiquetado y las versiones. La comparación de mensajes es una candidata independiente. No se ha ejecutado ninguna.

EstadoPROPUESTO — EN PAUSA. No asignar tráfico, ejecutar ninguna comparación ni declarar un ganador hasta aprobar y registrar la pregunta, la asignación, la suficiencia, la parada, la salvaguarda y el denominador.

Solo propuestas de diseño estáticas. A y B no son versiones registradas de la página. No se aporta precio, evidencia del producto ni resultados; ninguna comparación está aprobada para ejecutarse.

Hipótesis condicional sobre el orden de la prueba

Hipótesis condicional: si el historial de versiones confirma que el cambio de presentación móvil afectó a las cohortes, y el etiquetado de eventos y una reproducción del recorrido respaldan el problema comunicado, se podría evaluar colocar la prueba de dosis antes del paso del precio. El informe revisado no demuestra que este cambio causara la caída.

A
GreenLeaf ↗

La etiqueta es solo el principio.

  1. Paso del precio · marcador
  2. Dosis

    ¿Cuánto hay de cada ingrediente?

B
GreenLeaf ↗

La etiqueta es solo el principio.

  1. Dosis

    ¿Cuánto hay de cada ingrediente?

  2. Paso del precio · marcador

Comparación de mensajes por separado

Candidata independiente: comparar el mensaje de transparencia con uno centrado en el precio solo si la pregunta pendiente es cuál funciona mejor. Mantener comparables la audiencia, el dispositivo, el canal y el periodo. Esta comparación no prueba si el cambio de página comunicado causó la caída.

A
GreenLeaf ↗

Conoce lo que contiene.

Ingredientes
¿Qué contiene una porción?
Dosis
¿Cuánto hay de cada ingrediente?
Evidencias
¿Qué cubre la prueba?

Paso del precio · marcador

B
GreenLeaf ↗

Consulta el precio antes de elegir.

Ingredientes
¿Qué contiene una porción?
Dosis
¿Cuánto hay de cada ingrediente?
Evidencias
¿Qué cubre la prueba?

Paso del precio · marcador

Evidencia para elegir

Primero revisar el recorrido móvil, el etiquetado de eventos y el historial de versiones; confirmar qué versión de la página vio cada cohorte y que cuadren los recuentos de recorridos conservados. Esa evidencia permitirá decidir si alguna pregunta está lista para probarse.

Definición de asignación
Sin definir. Antes de cualquier prueba, la persona responsable de crecimiento y analítica debe especificar la unidad y el método de asignación, incluido cómo se mantiene cada recorrido en su grupo.
Definición de suficiencia
Sin definir. Analítica debe evaluar y documentar si la muestra propuesta puede responder a la pregunta elegida. Aquí no se fija tamaño de muestra ni umbral estadístico.
Definición de parada
Sin definir. Acordar de antemano cuándo termina la observación y cómo tratar datos ausentes, tardíos o no válidos. La ventana anterior de cohortes de siete días no es automáticamente una regla de parada para una prueba nueva.
Definición de salvaguarda
Sin definir. La tasa de primera compra es solo una salvaguarda propuesta; antes de probar hay que acordar su límite aceptable y el tratamiento de reembolsos, cancelaciones y atribución.
Denominador de la tasa de primera compra
Sin definir. Especificar antes de ejecutar qué recorridos asignados forman exactamente el denominador de la tasa de primera compra. No elegirlo ni cambiarlo después de ver resultados.

Por qué esta decisión

Los informes revisados respaldan investigar el recorrido móvil, la composición de la audiencia, el etiquetado de eventos y el historial de versiones. No demuestran que el orden de la página causara la caída ni que un mensaje ganara. La persona responsable de crecimiento decide si seguir; analítica se encarga del diseño de medición. Ambas opciones siguen en pausa hasta acordar las definiciones pendientes antes de ejecutar.

Siguiente paso

Después de las comprobaciones de diagnóstico, registrar qué pregunta (si alguna) está justificada, completar las definiciones previas a la ejecución y obtener la aprobación de las personas responsables. Este ejemplo no ejecuta ningún experimento.

Explorar más: Qué pueden decidir los informes revisados y qué no

Los informes establecen el cambio observado entre usuarios móviles de pago y mantienen la recomendación de revisar el recorrido móvil, el etiquetado de eventos y el historial de versiones. Las cifras agregadas por mensaje mezclan audiencias, dispositivos y canales, por lo que no eligen un ganador ni explican la caída.

  • Hipótesis condicional sobre el orden de la prueba: considerarla solo si la evidencia diagnóstica respalda probar el orden de la página; el informe por sí solo no demuestra la causa.
  • Comparación de mensajes por separado: considerarla solo para la pregunta distinta de qué mensaje funciona mejor, con audiencia, dispositivo, canal y periodo comparables.
  • Crecimiento decide si se procede. Analítica se encarga de las definiciones de eventos, la asignación, el diseño de medición y la evaluación de suficiencia.
Referencia completa: Decisiones pendientes antes de cualquier prueba

Pendiente: unidad y método de asignación; evidencia de que la muestra es suficiente para la pregunta elegida; fin de la observación y proceso de parada; límite y exclusiones de la salvaguarda de primera compra; y denominador de la tasa de primera compra. Analítica se encarga de las definiciones y de evaluar la suficiencia; crecimiento decide si se procede o se mantiene la pausa. Especificar y registrar todo antes de ejecutar, incluido el denominador. No se inventan reglas estadísticas aquí ni se deciden después de ver los resultados.