Dies ist der dritte Beitrag in unserer Serie über Inkrementaltests. In unserem ersten Beitragstellte Omri Cohen einige der Gründe vor, warum Werbetreibende Inkrementalitätstests einsetzen, und gab eine kurze Beschreibung, wie ein Inkrementalitätstest aussieht. In unserem zweiten Beitragging Tomer Shadi näher auf eine der Hauptmotivationen für den Inkrementalitäts-Testansatz ein-die Tatsache, dass die Attribution nicht in der Lage ist, den zusätzlichen Wert von bezahlten Medienkanälen zu erfassen. In diesem Beitrag werden wir uns mit der Methodik des Inkrementellen Testens befassen-wie sie sich von den üblichen A/B-Tests unterscheidet, wie man Test- und Kontrollgruppen erstellt und warum es so wichtig ist, den richtigen Test aufzusetzen.
Beginnen wir mit einer Auffrischung dessen, was ein Inkrementalitäts-Test ist, aus unserem ersten Beitrag:
"Ein Inkrementalitäts-Test vergleicht den Umsatz oder relevante KPI zwischen einer Testgruppe und einer Kontrollgruppe. Indem die Testgruppe einer Werbetaktik ausgesetzt wird und die Kontrollgruppe nicht, können Marketingexperten die betroffenen Variablen leicht isolieren, die unmittelbaren Auswirkungen auf das Geschäft eindeutig bewerten und die nächsten Schritte datengestützt formulieren."
Anhand dieser Beschreibung können wir die drei Stufen eines Inkrementalitätstests:
- Vorbereitung - Teile einen Teil meines adressierbaren Marktes in die Gruppen A und B auf
- Intervention - Setzen Sie eine der Gruppen einer neuen Variable aus, die sich auf die Leistung auswirken könnte, und geben Sie ihr genügend Zeit, damit sich ein Unterschied bemerkbar macht.
- Messung - Untersuche die Leistung der Gruppen A und B vor und nach der Intervention, um die Auswirkungen zu verstehen
In diesem Beitrag konzentrieren wir uns auf die erste Phase und bereiten dich darauf vor, die beste Art von Split für einen Inkrementalitätstest auszuwählen.
A/B-Test vs. Inkrementaltest: Der entscheidende Unterschied
Bis hierhin denkst du vielleicht, dass das alles ähnlich klingt wie ein herkömmlicher A/B-Test, bei dem du Dinge wie Betreffzeilen, Bilder oder Landing Pages testest, um zu sehen, welche Variante am besten abschneidet. Aber in Wahrheit ist ein Inkrementalitäts-Test etwas ganz anderes. Bei Inkrementalitätstests versuchen wir, die Auswirkungen des Tests auf Geschäftskennzahlen wie Umsatz, Neukunden oder Website-Besucher zu messen. Bei traditionellen A/B-Tests geht es oft um die Optimierung der Medien, und wir suchen nach den Auswirkungen auf spezifischere Leistungskennzahlen der Kampagne wie CTR, zugewiesene Konversionsrate usw. Wie in Tomers Beitrag beschrieben, können wir uns nicht auf die Attribution verlassen, um die Auswirkungen auf Unternehmensebene zu verstehen. dürfen sich die Leistungsdaten, die wir zur Messung der Wirkung in einem Inkrementalitäts-Test verwenden, nicht auf die Attribution stützen.
Die Messung der Auswirkungen auf die Geschäftskennzahlen bedeutet auch, dass wir sehr genau überlegen müssen, wie wir unseren Split-Test einrichten. Bei einem Inkrementalitäts-Test sollte die Aufteilung in die Gruppen A und B so erfolgen, dass der Eingriff in die eine Gruppe nur geringe oder gar keine Auswirkungen auf die andere Gruppe hat. Ohne diese Garantie können die Ergebnisse des Tests die Auswirkungen der Intervention völlig verfehlen oder stark übertreiben. Mit anderen Worten: Du brauchst einen sauberen Split mit minimalem Crossover. Schauen wir uns drei der gängigsten Split-Typen an, die in traditionellen A/B-Tests verwendet werden, und prüfen wir, welche davon für einen Inkrementalitätstest geeignet sind:
- Auktionssplit
- Aufteilung des Publikums
- Geo-Split
Für jede Art von Split bewerten wir sie anhand der oben genannten Kriterien sowie allgemeinerer Kriterien, die für alle Arten von A/B-Test-Splits wichtig sind:
- Die Fähigkeit, Auswirkungen zu messen, ohne sich auf Zuschreibungen zu verlassen
- Die Fähigkeit, in einer Gruppe zu intervenieren, ohne die andere zu beeinträchtigen
- Gute Korrelation zwischen den Leistungsmetriken in beiden Gruppen
- Die Zufälligkeit der Aufteilung
Auktion Split
So funktioniert es: Bei einem auktionsbasierten Split wird eine Nutzerin oder ein Nutzer in Echtzeit nach dem Zufallsprinzip der Gruppe A oder B zugewiesen, d. h. wenn sie oder er gerade mit einer Anzeige konfrontiert werden soll. Dieser Ansatz wird von Google in seinem Produkt Drafts & Experiments verwendet (eine kürzlich veröffentlichte Beta-Version bietet auch die Möglichkeit, einen Cookie-basierten Audience Split zu wählen).
Vorteile: Theoretisch ermöglicht dies eine völlig zufällige Aufteilung, was aus statistischer Sicht ideal ist und zu einer guten Korrelation zwischen den Gruppen führen sollte.
Nachteile: Eine auktionsbasierte Aufteilung hat einen potenziellen Nachteil: Die zufällige Zuweisung erfolgt bei jeder Auktion, so dass ein und derselbe Nutzer mit Werbung aus den Gruppen A und B konfrontiert werden kann.
Richtig für Inkrementaltests?: NEIN! Dieser Fehler schließt einen solchen Ansatz für jede Art von Inkrementalitätsprüfung aus, da die Wahrscheinlichkeit hoch ist, dass ein Eingriff in einer Gruppe Auswirkungen auf die andere Gruppe hat. Da es außerdem keine saubere Trennung der Nutzer/innen zwischen den Gruppen A und B gibt, ist die Betrachtung von Leistungsdaten ohne Zuordnung wirklich wertlos, da es keine Möglichkeit gibt, nicht zugeordnete Konversionen oder Umsätze mit den Gruppen A oder B in Verbindung zu bringen.
Aufteilung des Publikums
So funktioniert es: Bei einem Audience Split werden die Nutzer/innen nach dem Zufallsprinzip, aber reproduzierbar, den Gruppen A und B zugeordnet, so dass dieselben Nutzer/innen immer der gleichen Gruppe zugeordnet werden. Dies geschieht in der Regel mithilfe von Hash-Cookies oder anderen Formen der Benutzerkennung.
Vorteile: Wie bei der Aufteilung über eine Auktion entsteht auch hier eine sehr zufällige Aufteilung von zwei Gruppen, die gut miteinander verbunden sind.
Nachteile: Es gibt viele Einschränkungen, wenn es um inkrementelle Tests geht. Erstens ist der Split nur so gut wie die Fähigkeit deiner Testtechnologie, eindeutige Nutzer zu identifizieren, was in der heutigen Welt mit mehreren Bildschirmen und Apps schwieriger ist. Cookie-basierte Audience Splits ordnen wahrscheinlich mehrere Geräte/Browser desselben Nutzers verschiedenen Gruppen zu, so dass echte Audience-basierte Splits nur für Publisher möglich sind, die einen hohen Prozentsatz an geräteübergreifenden Logins haben (der Ansatz, den Facebook bei seinen Lift-Tests verwendet). Um die Wirkung zu messen, ohne sich auf die Attribution zu verlassen, musst du in der Lage sein, Transaktionen anhand der Nutzerkennung entweder der Gruppe A oder der Gruppe B zuzuordnen, ohne dass ein Klick oder eine Impression vorausgegangen sein muss. Facebook ist in der Lage, diese Zuordnung für Transaktionen vorzunehmen, die von seinem Pixel aufgezeichnet werden, aber es ist nicht transparent-Sie legen die Zuordnungen auf Nutzerebene nicht offen, damit Technologien von Drittanbietern die Leistung anhand von Daten außerhalb von Facebook bewerten können. Ein weiterer Schwachpunkt der zielgruppenbasierten Splits ist, dass sie nicht für die Messung von Offline-Wirkungen, z. B. in Geschäften oder Call Centern, oder für Offline-Werbung wie TV und Radio verwendet werden können. Das liegt daran, dass es sehr schwierig ist, Online-Nutzerkennungen zuverlässig mit Offline-Transaktionen zu verbinden.
Richtig für Inkrementaltests?: NEIN! Angesichts der vielen Nachteile, die diese Art von Tests mit sich bringt, müssen wir auch in diesem Fall Nein sagen.
Geo Split
Wie es funktioniert: Ein geobasierter Split ordnet die Nutzer/innen Gruppen zu und nutzt so die Möglichkeit, sowohl traditionelle als auch digitale Marketingkampagnen geo-targeting zu betreiben. Geosplits funktionieren in der Regel auf der Ebene der Stadt oder des DMA-Städte oder DMAs werden nach dem Zufallsprinzip den Gruppen A und B zugewiesen.
Vorteile: Geo-Splits vereinfachen die Messung erheblich, da man sowohl Online- als auch Offline-Transaktionen nach geografischen Gesichtspunkten betrachten kann, ohne eine Attribution vornehmen zu müssen. Da sie nicht auf Nutzeridentifikatoren beruhen, haben sie außerdem das Potenzial, die Wahrscheinlichkeit zu verringern, dass die eine Gruppe die andere beeinflusst. Ein weiterer Vorteil ist, dass ein geobasierter Split sehr transparent ist, d.h. du kannst die Ergebnisse des Tests leicht anhand verschiedener Datenquellen auswerten - auch anhand von Daten, die bei der Planung des Tests nicht berücksichtigt wurden. Daher ist ein Geo-Split der einzige Ansatz, mit dem du Halo-Effekte messen kannst, z. B. die Auswirkung von Investitionen in einen Kanal auf den Umsatz, der einem anderen zugeschrieben wird.
Nachteile: Geo-Splits sind weniger zufällig als publikums- oder auktionsbasierte Splits, aber mit einer Split-Methode, die aktiv versucht, ausgewogene und gut korrelierte Gruppen zu bilden, wird dieses Problem überwunden.
Richtig für Inkrementaltests?: Ja... wenn man es richtig macht! Bei Skai verwenden wir den geobasierten Ansatz für A/B-Tests und Inkrementalitätstests seit mehr als vier Jahren (sieh dir diese Fallstudien mit Belk und Experian um einen Einblick in unsere Arbeit zu bekommen). Wir haben Ansätze des maschinellen Lernens angewendet, um unseren eigenen Algorithmus zu entwickeln, der Geo-Splits mit ausgewogenen und gut korrelierten Gruppen erstellt. Wir haben festgestellt, dass die Vorteile des geobasierten Ansatzes erheblich dazu beitragen, dass wir erfolgreiche Tests durchführen können, die aussagekräftige Ergebnisse liefern und einer analytischen Prüfung standhalten.
Diese Liste ist sicher nicht vollständig, aber du wirst keine andere Art von Split finden, die sich so gut für einen Inkrementalitäts-Test eignet wie ein Geo-Split.
Blick in die Zukunft
Halte Ausschau nach unserem nächsten Beitrag in dieser Reihe, in dem wir uns auf verschiedene Methoden für den Messteil eines Inkrementalitäts-Tests konzentrieren werden, sowie auf einige andere Dinge, über die du nachdenken solltest, wie z.B. den Umgang mit Conversion-Latenz, Ansätze zum Testen mehrerer Marketing-Taktiken, -Strategien oder -Publisher und wie du die Erkenntnisse aus Inkrementalitäts-Tests für dein Geschäft nutzen kannst.
Möchtest du mehr darüber erfahren, wie Skai dir dabei helfen kann, deine digitalen Marketingbemühungen besser zu testen, auszuführen und zu koordinieren? Dann kontaktiere uns noch heute um ein Gespräch zu vereinbaren.