Phase 6 von 6
Messen und lernen
Welcher Frage sollten wir nachgehen, und ist sie bereit für einen Test?
Kampagnenphasen
Der Bericht benennt weder eine Ursache noch einen Gewinner. Dies sind zwei getrennte vorgeschlagene Fragen; beide bleiben zurückgestellt, bis Belege und Messentscheidungen vorliegen.
Die Ausarbeitung · Frage, Design, Daten und Entscheidungsregel
Die Karte für den nächsten Test
Die Frage zur Reihenfolge des Nachweises hängt von den Prüfungen zu Mobilgerät, Tagging und Release ab. Der Botschaftsvergleich ist ein separater Kandidat. Keiner der Tests wurde durchgeführt.
StatusVORGESCHLAGEN — ZURÜCKGESTELLT. Keinen Traffic zuteilen, keinen der Vergleiche durchführen und keinen Gewinner benennen, bevor Frage, Zuteilung, Aussagekraft, Abbruch, Schutzkennzahl und Nenner genehmigt und dokumentiert sind.
Nur statische Layoutvorschläge. A und B sind keine dokumentierten Seitenversionen. Preis, Produktnachweise und Ergebnisse liegen nicht vor; keiner der Vergleiche ist zur Durchführung freigegeben.
Bedingte Hypothese zur Reihenfolge des Nachweises
Bedingte Hypothese: Wenn die Release-Historie bestätigt, dass die Änderung der mobilen Darstellung die Kohorten betraf, und Ereignis-Tagging sowie ein nachgestellter Nutzerpfad den gemeldeten Hinweis stützen, kann ein Test erwogen werden, bei dem der Dosierungsnachweis vor dem Preisschritt erscheint. Der geprüfte Bericht belegt nicht, dass diese Änderung den Rückgang verursacht hat.
Das Etikett ist erst der Anfang.
- Preisschritt · Platzhalter
- Dosierung
Wie viel von jedem Inhaltsstoff?
Das Etikett ist erst der Anfang.
- Dosierung
Wie viel von jedem Inhaltsstoff?
- Preisschritt · Platzhalter
Separater Botschaftsvergleich
Separater Kandidat: Transparenzbotschaft und preisorientierte Botschaft nur dann vergleichen, wenn die offene Frage lautet, welche Botschaft besser wirkt. Zielgruppe, Gerät, Kanal und Zeitraum müssen vergleichbar sein. Dieser Vergleich prüft nicht, ob die gemeldete Seitenänderung den Rückgang verursacht hat.
Wissen, was drin ist.
- Inhaltsstoffe
- Was steckt in einer Portion?
- Dosierung
- Wie viel von jedem Inhaltsstoff?
- Belege
- Was deckt der Test ab?
Preisschritt · Platzhalter
Erst den Preis sehen, dann entscheiden.
- Inhaltsstoffe
- Was steckt in einer Portion?
- Dosierung
- Wie viel von jedem Inhaltsstoff?
- Belege
- Was deckt der Test ab?
Preisschritt · Platzhalter
Belege für die Auswahl
Zuerst mobilen Nutzerpfad, Ereignis-Tagging und Release-Historie prüfen; verifizieren, welche Seitenversion jede Kohorte gesehen hat und ob die Zahlen beibehaltener Nutzerpfade abgestimmt sind. Diese Belege entscheiden, ob eine der Fragen testbereit ist.
- Definition der Zuteilung
- Nicht festgelegt. Vor einem Test müssen Growth Lead und Analytics-Verantwortliche Zuteilungseinheit und -methode festlegen, einschließlich der Zuordnung eines Nutzerpfads zu seiner Gruppe.
- Definition der Aussagekraft
- Nicht festgelegt. Analytics muss beurteilen und dokumentieren, ob die geplante Stichprobe die gewählte Frage beantworten kann. Stichprobengröße und statistischer Schwellenwert sind hier nicht festgelegt.
- Definition des Abbruchs
- Nicht festgelegt. Vorab vereinbaren, wann die Beobachtung endet und wie fehlende, verspätete oder ungültige Daten behandelt werden. Das frühere Sieben-Tage-Kohortenfenster ist nicht automatisch eine Abbruchregel für einen neuen Test.
- Definition der Schutzkennzahl
- Nicht festgelegt. Die Erstkaufrate ist nur eine vorgeschlagene Schutzkennzahl. Akzeptable Grenze sowie Umgang mit Erstattungen, Stornierungen und Attribution müssen vor einem Test vereinbart werden.
- Nenner der Erstkaufrate
- Nicht festgelegt. Vor der Durchführung genau festlegen, welche zugeteilten Nutzerpfade den Nenner der Erstkaufrate bilden. Nach Sichtung der Ergebnisse darf er nicht gewählt oder geändert werden.
Warum diese Entscheidung
Die geprüften Berichte stützen eine Untersuchung des mobilen Nutzerpfads, der Zielgruppenzusammensetzung, des Ereignis-Taggings und der Release-Historie. Sie belegen nicht, dass die Seitenreihenfolge den Rückgang verursacht hat oder eine Botschaft gewonnen hat. Der Growth Lead entscheidet über das weitere Vorgehen; Analytics verantwortet das Messdesign. Beide Kandidaten bleiben zurückgestellt, bis die offenen Definitionen vor der Durchführung vereinbart sind.
Nächster Schritt
Nach den Diagnoseprüfungen festhalten, welche Frage (falls überhaupt eine) gerechtfertigt ist, die Definitionen vor der Durchführung vervollständigen und die Zustimmung der Verantwortlichen einholen. In diesem Beispiel wird kein Experiment durchgeführt.
Weiter erkunden: Was die geprüften Berichte entscheiden können und was nicht
Die Berichte belegen die beobachtete Veränderung bei bezahlten mobilen Nutzern und behalten die Empfehlung bei, mobilen Nutzerpfad, Ereignis-Tagging und Release-Historie zu prüfen. Die aggregierten Botschaftszahlen mischen Zielgruppen, Geräte und Kanäle; sie wählen daher keinen Gewinner und erklären den Rückgang nicht.
- Bedingte Hypothese zur Nachweisreihenfolge: nur erwägen, wenn die Diagnosebelege einen Test der Seitenreihenfolge stützen; der Bericht selbst belegt keine Ursache.
- Separater Botschaftsvergleich: nur für die andere Frage erwägen, welche Botschaft besser wirkt, mit vergleichbarer Zielgruppe, Gerät, Kanal und Zeitraum.
- Der Growth Lead entscheidet über das weitere Vorgehen. Analytics verantwortet Ereignisdefinitionen, Zuteilung, Messdesign und die Prüfung der Aussagekraft.
Vollständige Referenz: Offene Bereitschaftsentscheidungen vor einem Test
Offen sind: Zuteilungseinheit und -methode; ausreichende Stichprobe für die gewählte Frage; Ende der Beobachtung und Abbruchverfahren; Grenze und Ausschlüsse der Erstkauf-Schutzkennzahl; sowie der Nenner der Erstkaufrate. Analytics verantwortet Definitionen und Aussagekraft; der Growth Lead entscheidet über Start oder Zurückstellung. Alles vor der Durchführung festlegen und dokumentieren, auch den Nenner. Hier werden keine statistischen Regeln erfunden oder nach Sichtung der Ergebnisse bestimmt.