Phase 6 von 6
Messen und lernen
Was ist der nächste Test, und welches Ergebnis würde die Entscheidung ändern?
Ein Test ist nur dann nützlich, wenn die Entscheidungsregel vor dem Ergebnis feststeht. Dies ist ein vorgeschlagener nächster Schritt, kein abgeschlossenes Experiment.
Die Ausarbeitung · Frage, Design, Daten und Entscheidungsregel
Die Karte für den nächsten Test
Eine Frage, ein Design und eine Regel. So kann das Team stoppen oder ausrollen, ohne nachträglich eine neue Interpretation zu erfinden.
- Frage
- Steigt die Quiz-Abschlussrate, wenn der Dosierungsnachweis vor dem Preisschritt erscheint?Eine Frage zu Produkt und Kreation, nicht zum Mediaeinkauf.
- Design
- Die Reihenfolge im Quiz für bezahlten mobilen Traffic in Großbritannien per A/B-Test vergleichen; Kreation und Zielgruppe bleiben gleich.Zufällige Zuteilung; siebentägiges Beobachtungsfenster.
- Benötigte Daten
- Zuteilung, quiz_start, quiz_complete und Erstkauf auf Verlaufsebene.Einzelne beibehaltene Verläufe, keine Gesamtzahl roher Events.
- Entscheidungsregel
- Ausrollen, wenn die Abschlussrate um mindestens 5 Prozentpunkte steigt, ohne dass die Erstkaufrate sinkt.Erst nach Ablauf des siebentägigen Fensters auswerten. Wird die Schutzkennzahl verfehlt, den Rollout stoppen.
Warum diese Entscheidung
Die Zuordnung zum letzten Klick kann keinen inkrementellen Effekt belegen. Wenn das Team eine kausale Aussage braucht, muss das Studiendesign sie stützen können – eine selbstbewusstere Formulierung reicht nicht.
Nächster Schritt
Die Testkarte, Datenanforderungen und zuständige Person fließen in die nächste Recherche oder Planungsänderung ein.
Weiter erkunden: Attribution und inkrementeller Effekt
Die gemessenen Ergebnisse beschreiben in diesem synthetischen Beispiel beibehaltene Verläufe und zugeordnete Käufe. Sie belegen weder einen Bekanntheitszuwachs noch den tatsächlich erzielten Kundenwert oder einen inkrementellen Effekt.
- Gemessen: Quizabschluss von Nutzern bezahlter mobiler Werbung in zwei Gruppen nach jeweils sieben Tagen Beobachtung; zugeordnete Erstkäufe, sofern die aufgezeichneten Daten dies stützen.
- Nicht gemessen: Veränderung der Bekanntheit, tatsächlich erzielter Kundenwert, vollständige Akquisitionsökonomie und inkrementeller Effekt.
- Die Last-Click-Attribution ordnet für den Abgleich einen Erfolg zu; sie belegt nicht, was ohne die Kampagne geschehen wäre.
- Für eine kausale Aussage braucht es eine Kontrollgruppe oder eine zufällige Zuteilung.
- Prüfen, ob sich die gemeldete Seitenänderung auf den mobilen Ablauf ausgewirkt hat, und den Supporthinweis dazu untersuchen.
Vollständige Referenz: Ausgearbeiteter Mess- und Testplan
Frage, Zuteilungseinheit, primäre Kennzahl und Schutzkennzahl vorab registrieren. Beobachtungsfenster vor dem Start festlegen. Ausschlüsse und fehlende Daten dokumentieren. Nach Sichtung des Ergebnisses keine neue Erfolgskennzahl hinzufügen. Die Entscheidung veröffentlichen – auch wenn sie lautet, nicht fortzufahren.