Aller au contenu
Chandler Nguyen
← Tous les exemples pratiques

GreenLeaf

Entreprise fictive · données synthétiques

Phase 6 sur 6

Mesurer et apprendre

Quelle question faut-il approfondir, et est-elle prête à être testée ?

Phases de la campagne

Le rapport ne détermine ni la cause ni le message gagnant. Il s’agit de deux questions proposées distinctes ; toutes deux restent en attente pendant la collecte des éléments et les décisions de mesure.

Le travail · Question, protocole, données et règle de décision

Fiche du prochain test

La question de l’ordre des preuves dépend des vérifications sur mobile, le balisage et les versions. La comparaison des messages est un candidat distinct. Aucun test n’a été réalisé.

ÉtatPROPOSÉ — EN ATTENTE. N’affectez aucun trafic, ne lancez aucune comparaison et ne désignez aucun gagnant tant que la question, l’affectation, la suffisance, l’arrêt, le garde-fou et le dénominateur ne sont pas approuvés et consignés.

Propositions de mise en page statiques uniquement. A et B ne sont pas des versions documentées de la page. Aucun prix, justificatif produit ou résultat n’est fourni ; aucune comparaison n’est autorisée à démarrer.

Hypothèse conditionnelle sur l’ordre des preuves

Hypothèse conditionnelle : si l’historique des versions confirme que la modification de présentation mobile a touché les cohortes, et si le balisage des événements ainsi que la reconstitution du parcours confirment le problème signalé, on peut envisager de tester la preuve de dosage avant l’étape du prix. Le rapport vérifié ne démontre pas que cette modification a causé la baisse.

A
GreenLeaf ↗

L’étiquette n’est qu’un début.

  1. Étape du prix · emplacement réservé
  2. Dose

    Quelle quantité pour chacun ?

B
GreenLeaf ↗

L’étiquette n’est qu’un début.

  1. Dose

    Quelle quantité pour chacun ?

  2. Étape du prix · emplacement réservé

Comparaison distincte des messages

Candidat distinct : comparer le message de transparence à un message axé sur le prix uniquement si la question ouverte est de savoir quel message fonctionne le mieux. Garder comparables l’audience, l’appareil, le canal et la période. Cette comparaison ne teste pas si la modification de page signalée a causé la baisse.

A
GreenLeaf ↗

Sachez ce qu’il contient.

Ingrédients
Que contient une portion ?
Dose
Quelle quantité pour chacun ?
Preuves
Que couvre le test ?

Étape du prix · emplacement réservé

B
GreenLeaf ↗

Consultez le prix avant de choisir.

Ingrédients
Que contient une portion ?
Dose
Quelle quantité pour chacun ?
Preuves
Que couvre le test ?

Étape du prix · emplacement réservé

Éléments pour choisir

Examiner d’abord le parcours mobile, le balisage des événements et l’historique des versions ; vérifier quelle version de page chaque cohorte a vue et rapprocher les nombres de parcours conservés. Ces éléments permettent de décider si l’une des questions est prête à être testée.

Définition de l’affectation
Non défini. Avant tout test, la personne responsable de la croissance et celle de l’analytique doivent préciser l’unité et la méthode d’affectation, y compris la façon de conserver chaque parcours dans son groupe.
Définition de la suffisance
Non défini. L’analytique doit évaluer et documenter si l’échantillon envisagé peut répondre à la question choisie. Aucune taille d’échantillon ni aucun seuil statistique n’est fixé ici.
Définition de l’arrêt
Non défini. Convenez à l’avance de la fin de l’observation et du traitement des données manquantes, tardives ou invalides. La fenêtre de cohorte de sept jours utilisée auparavant n’est pas automatiquement une règle d’arrêt pour un nouveau test.
Définition du garde-fou
Non défini. Le taux de premier achat n’est qu’un garde-fou proposé ; sa limite acceptable et le traitement des remboursements, annulations et attributions doivent être convenus avant un test.
Dénominateur du taux de premier achat
Non défini. Précisez exactement avant l’exécution quels parcours affectés constituent le dénominateur du taux de premier achat. Ne le choisissez pas et ne le modifiez pas après avoir vu les résultats.

Pourquoi ce choix

Les rapports vérifiés justifient d’examiner le parcours mobile, la composition de l’audience, le balisage des événements et l’historique des versions. Ils ne prouvent ni que l’ordre de la page a causé la baisse ni qu’un message l’a emporté. La croissance décide de la suite ; l’analytique est responsable du plan de mesure. Les deux candidats restent en attente jusqu’à ce que les définitions ouvertes soient convenues avant l’exécution.

Étape suivante

Après les vérifications diagnostiques, consigner la question justifiée, s’il y en a une, compléter les définitions avant exécution et obtenir l’accord des responsables. Aucun test n’est réalisé dans cet exemple.

Pour aller plus loin: Ce que les rapports vérifiés permettent de décider ou non

Les rapports établissent la baisse observée chez les utilisateurs mobiles payants et maintiennent la recommandation d’examiner le parcours mobile, le balisage des événements et l’historique des versions. Les chiffres agrégés par message mêlent audiences, appareils et canaux ; ils ne désignent donc pas de gagnant et n’expliquent pas la baisse.

  • Hypothèse conditionnelle sur l’ordre des preuves : à envisager seulement si le diagnostic justifie un test de l’ordre des pages ; le rapport seul n’établit pas de cause.
  • Comparaison distincte des messages : à envisager uniquement pour la question différente du meilleur message, avec audience, appareil, canal et période comparables.
  • La croissance décide de poursuivre. L’analytique est responsable des définitions d’événements, de l’affectation, du plan de mesure et de l’évaluation de la suffisance.
Référence complète: Décisions de préparation avant tout test

À définir : unité et méthode d’affectation ; éléments attestant que l’échantillon est suffisant pour la question choisie ; fin de l’observation et procédure d’arrêt ; limite et exclusions du garde-fou de premier achat ; et dénominateur du taux de premier achat. L’analytique définit les mesures et évalue leur suffisance ; la croissance décide de poursuivre ou de maintenir l’attente. Tout consigner avant l’exécution, y compris le dénominateur. Aucune règle statistique n’est inventée ici ni décidée après examen des résultats.