Phase 6 sur 6
Mesurer et apprendre
Quelle question faut-il approfondir, et est-elle prête à être testée ?
Phases de la campagne
Le rapport ne détermine ni la cause ni le message gagnant. Il s’agit de deux questions proposées distinctes ; toutes deux restent en attente pendant la collecte des éléments et les décisions de mesure.
Le travail · Question, protocole, données et règle de décision
Fiche du prochain test
La question de l’ordre des preuves dépend des vérifications sur mobile, le balisage et les versions. La comparaison des messages est un candidat distinct. Aucun test n’a été réalisé.
ÉtatPROPOSÉ — EN ATTENTE. N’affectez aucun trafic, ne lancez aucune comparaison et ne désignez aucun gagnant tant que la question, l’affectation, la suffisance, l’arrêt, le garde-fou et le dénominateur ne sont pas approuvés et consignés.
Propositions de mise en page statiques uniquement. A et B ne sont pas des versions documentées de la page. Aucun prix, justificatif produit ou résultat n’est fourni ; aucune comparaison n’est autorisée à démarrer.
Hypothèse conditionnelle sur l’ordre des preuves
Hypothèse conditionnelle : si l’historique des versions confirme que la modification de présentation mobile a touché les cohortes, et si le balisage des événements ainsi que la reconstitution du parcours confirment le problème signalé, on peut envisager de tester la preuve de dosage avant l’étape du prix. Le rapport vérifié ne démontre pas que cette modification a causé la baisse.
L’étiquette n’est qu’un début.
- Étape du prix · emplacement réservé
- Dose
Quelle quantité pour chacun ?
L’étiquette n’est qu’un début.
- Dose
Quelle quantité pour chacun ?
- Étape du prix · emplacement réservé
Comparaison distincte des messages
Candidat distinct : comparer le message de transparence à un message axé sur le prix uniquement si la question ouverte est de savoir quel message fonctionne le mieux. Garder comparables l’audience, l’appareil, le canal et la période. Cette comparaison ne teste pas si la modification de page signalée a causé la baisse.
Sachez ce qu’il contient.
- Ingrédients
- Que contient une portion ?
- Dose
- Quelle quantité pour chacun ?
- Preuves
- Que couvre le test ?
Étape du prix · emplacement réservé
Consultez le prix avant de choisir.
- Ingrédients
- Que contient une portion ?
- Dose
- Quelle quantité pour chacun ?
- Preuves
- Que couvre le test ?
Étape du prix · emplacement réservé
Éléments pour choisir
Examiner d’abord le parcours mobile, le balisage des événements et l’historique des versions ; vérifier quelle version de page chaque cohorte a vue et rapprocher les nombres de parcours conservés. Ces éléments permettent de décider si l’une des questions est prête à être testée.
- Définition de l’affectation
- Non défini. Avant tout test, la personne responsable de la croissance et celle de l’analytique doivent préciser l’unité et la méthode d’affectation, y compris la façon de conserver chaque parcours dans son groupe.
- Définition de la suffisance
- Non défini. L’analytique doit évaluer et documenter si l’échantillon envisagé peut répondre à la question choisie. Aucune taille d’échantillon ni aucun seuil statistique n’est fixé ici.
- Définition de l’arrêt
- Non défini. Convenez à l’avance de la fin de l’observation et du traitement des données manquantes, tardives ou invalides. La fenêtre de cohorte de sept jours utilisée auparavant n’est pas automatiquement une règle d’arrêt pour un nouveau test.
- Définition du garde-fou
- Non défini. Le taux de premier achat n’est qu’un garde-fou proposé ; sa limite acceptable et le traitement des remboursements, annulations et attributions doivent être convenus avant un test.
- Dénominateur du taux de premier achat
- Non défini. Précisez exactement avant l’exécution quels parcours affectés constituent le dénominateur du taux de premier achat. Ne le choisissez pas et ne le modifiez pas après avoir vu les résultats.
Pourquoi ce choix
Les rapports vérifiés justifient d’examiner le parcours mobile, la composition de l’audience, le balisage des événements et l’historique des versions. Ils ne prouvent ni que l’ordre de la page a causé la baisse ni qu’un message l’a emporté. La croissance décide de la suite ; l’analytique est responsable du plan de mesure. Les deux candidats restent en attente jusqu’à ce que les définitions ouvertes soient convenues avant l’exécution.
Étape suivante
Après les vérifications diagnostiques, consigner la question justifiée, s’il y en a une, compléter les définitions avant exécution et obtenir l’accord des responsables. Aucun test n’est réalisé dans cet exemple.
Pour aller plus loin: Ce que les rapports vérifiés permettent de décider ou non
Les rapports établissent la baisse observée chez les utilisateurs mobiles payants et maintiennent la recommandation d’examiner le parcours mobile, le balisage des événements et l’historique des versions. Les chiffres agrégés par message mêlent audiences, appareils et canaux ; ils ne désignent donc pas de gagnant et n’expliquent pas la baisse.
- Hypothèse conditionnelle sur l’ordre des preuves : à envisager seulement si le diagnostic justifie un test de l’ordre des pages ; le rapport seul n’établit pas de cause.
- Comparaison distincte des messages : à envisager uniquement pour la question différente du meilleur message, avec audience, appareil, canal et période comparables.
- La croissance décide de poursuivre. L’analytique est responsable des définitions d’événements, de l’affectation, du plan de mesure et de l’évaluation de la suffisance.
Référence complète: Décisions de préparation avant tout test
À définir : unité et méthode d’affectation ; éléments attestant que l’échantillon est suffisant pour la question choisie ; fin de l’observation et procédure d’arrêt ; limite et exclusions du garde-fou de premier achat ; et dénominateur du taux de premier achat. L’analytique définit les mesures et évalue leur suffisance ; la croissance décide de poursuivre ou de maintenir l’attente. Tout consigner avant l’exécution, y compris le dénominateur. Aucune règle statistique n’est inventée ici ni décidée après examen des résultats.