A/B-Tests sind ein wichtiger Bestandteil des Marketings und Marketingexperimente im Allgemeinen sind der Schlüssel zu einer guten Leistung. In diesem Artikel gehen wir auf einige der wichtigsten Testregeln ein, die du beachten solltest, um einen fairen und erfolgreichen Test zu gewährleisten.
A/B-Tests sind ein Konzept, das in der digitalen Werbung sehr oft verwendet wird. Die unangenehme Wahrheit ist, dass die meisten Agenturen und Direktwerber Tests starten, ohne die wichtigsten Faktoren eines Experimentes. Warum führst du einen A/B-Test durch, was solltest du beachten und wie entscheidest du dich für eine einzige Erfolgsmetrik?
A/B-Tests - Schritt für Schritt
Der erste Schritt, den du vor dem Start eines A/B-Tests machen solltest, ist die Entscheidung für eine Erfolgsmetrik und eine Einschränkung (falls nötig). Übliche Erfolgskennzahlen sind Umsatz, Conversions, Gewinn oder Klicks. Eine Einschränkung wäre, dass die Kennzahlen direkt mit einem KPI übereinstimmen, z. B. ROAS, CPA, CPC oder Ausgaben. Wenn du dich nicht im Voraus für eine Erfolgsmetrik und eine Einschränkung entscheidest, besteht die Gefahr, dass dein subjektives Empfinden ins Spiel kommt.
A/B-Tests erfordern, dass du jeweils nur eine Variable testest. Das bedeutet, dass alles - und ich meine alles - konstant ist. Wenn du zum Beispiel die manuelle Gebotsabgabe mit der Googles Smart Bidding Ziel CPA. Die einzige Variable wäre in diesem Fall die intelligente Gebotsabgabe, also müssen alle anderen Einstellungen in der Test- und der Kontrollgruppe gleich sein - Standort-Targeting, Budget, Anzeigen, Keywords usw. Als Nächstes solltest du berücksichtigen, wie viel Volumen du testest und ob die Daten ausreichen - zu wenig und die Ergebnisse könnten ungenau sein und zu viel ist nicht nötig, also lass den Test nicht zu lange laufen, was das Budget und deine Zeit verschwenden kann. Eine gute Regel ist, dass du vor dem A/B-Split mindestens 100 tägliche Conversions im gesamten Test haben solltest.
Die nächste Regel besagt, dass du deinen "wahren Norden" kennen musst, besonders wenn du eine Gebotsstrategie testest. Wenn du eine Gebotsstrategie testest, solltest du sicherstellen, dass beide Gruppen auf dieselbe Conversion-Quelle bieten. Googles Smart Bidding verwendet jedoch traditionell ein eigenes Pixel, um Conversions zu verfolgen, ist es möglich, deine eigenen Konversionsdaten für die Gebotsabgabe in Google Ads zu importieren. Denke daran, bevor du eine Gebotsstrategie testest: "Optimieren sich beide Gebotslösungen auf unseren wahren Norden und dieselbe Kennzahl?"
Die letzte Regel, die oft übersehen wird, ist die, dass es einen Ausgangszeitraum gibt, in dem keine weiteren Änderungen an der Kontroll- und Testgruppe vorgenommen werden. So hast du nach Abschluss des Tests eine Vergleichsmöglichkeit, um den Anstieg der Besucherzahlen in der Testgruppe und der Kontrollgruppe zu messen. Außerdem hast du so die Möglichkeit, die tatsächlichen Ergebnisse nach dem Split zu überprüfen, um sicherzustellen, dass der Traffic tatsächlich korrekt auf die beiden Gruppen aufgeteilt wurde.
Während der Baseline ist es wichtig sicherzustellen, dass beide Gruppen auf die gleiche Weise verwaltet/optimiert werden. Dazu gehören neue Anzeigentexte, neue Keywords, Budgets usw. Meiner Erfahrung nach ist eine zwei- bis dreiwöchige Baseline ausreichend, um einen Vergleich zu erstellen, bevor du den Test startest.
A/B-Split-Ansätze
Nachdem wir uns nun mit den Regeln befasst haben, die vor dem Start eines Tests zu beachten sind, wollen wir uns die verschiedenen Split-Methoden ansehen, die dir als Marketer zur Verfügung stehen.
Die drei gängigsten Split-Methoden sind:
- Geografische Aufteilung ("Geo-Split")
- Google Entwürfe & Experimente (D&E)
- Kampagnensplit
Geo-Splits sind am ausgeklügeltsten, weil damit der Inkrementaleffekt des Tests gemessen werden kann, er ist transparent und diese Methode ermöglicht verlagsübergreifende Tests.
Google's Drafts & Experiments ist eine weitere gängige Aufteilungsmethode. In diesem Tool gibt es zwei D&E-Einstellungen: Cookie-basierter und suchbasierter Split. Bei Cookie-basierten Splits wird nur eine Version deiner Kampagne angezeigt, auch wenn die Nutzer/innen das gleiche Keyword mehrmals suchen. Bei der suchbasierten Aufteilung werden die Nutzer/innen jedes Mal, wenn sie nach diesen Stichwörtern suchen, zufällig beiden Gruppen zugewiesen. So kannst du schneller Ergebnisse sehen, aber du riskierst, dass der Test ungültig ist. "Warum?", magst du fragen. Da der Split die Nutzer/innen nach dem Zufallsprinzip einer Gruppe zuordnet, ist es möglich, dass dieselben Nutzer/innen sowohl die Test- als auch die Kontrollkampagne sehen, wenn sie mehr als einmal suchen.
Letztendlich ist ein Cookie-basierter Split die bevorzugte D&E-Methode, da sie sicherstellt, dass ein Nutzer nicht sowohl der Test- als auch der Kontrollgruppe ausgesetzt ist, was das Ergebnis beeinflussen könnte.
Wie lange sollte man einen A/B-Test durchführen?
Nachdem wir uns nun mit den Testrichtlinien, Split-Methoden und Einstellungen befasst haben, können wir uns nun dem Zeitplan für die Tests widmen. Die Wahrheit ist, dass A/B-Tests Zeit brauchen. Abhängig von deinem Testvolumen und deiner Bandbreite kann ein Test zwischen 10 und 15 Wochen dauern. Nachfolgend findest du ein Beispiel für einen Testzeitplan. 
In diesem Beispiel wird der Test in drei verschiedene Teile unterteilt - die Definitionder Hypothese, das Experiment und der Bewertungszeitraum.
Die Hypothese
Das Aufstellen einer Hypothese ist ein Schritt, der von Marketingfachleuten oft vergessen wird. Normalerweise warten sie einfach bis zum Ende und schauen dann, ob die Testgruppe die Kontrollgruppe geschlagen hat. Eine Hypothese darüber aufzustellen, was passieren wird, ist jedoch der Schlüssel zu einer datengesteuerten Entscheidungsfindung. Wenn du nach dem Test die tatsächlichen Ergebnisse mit deiner Hypothese vergleichst, kannst du besser einschätzen, wie genau du mit deiner Vermutung liegst. Mit der Zeit kannst du herausfinden, ob du die Auswirkungen überschätzt oder unterschätzt, wie Gebotsänderungen deinen Kampagnen helfen könnten.
Der Versuchszeitraum
Innerhalb des Versuchszeitraums gibt es drei verschiedene Teile:
- Die Basislinie
- Hochfahren und Testen
- Abklingzeit
Die Baseline dient zu Vergleichszwecken und während dieser Zeit sollten keine Änderungen an den beiden Gruppen vorgenommen werden. Die Hochlaufphase und der Test sind der eigentliche Start des Experiments. Die Abkühlphase ist nicht Teil der Test-Evaluierungsphase. In dieser Zeit kannst du das Optimierungstool deaktivieren, das du für beide oder eine der A/B-Gruppen testest.
Die Bewertung
Wenn der Test erfolgreich deaktiviert wurde, kannst du zur Auswertung übergehen. War der Test statistisch signifikant? Wie hoch ist deine Risikotoleranz und dein Vertrauensniveau? Vermarkter haben eine neue Stufe der Raffinesse erreicht und müssen sich sicher sein, dass neue Gebotsstrategien eine mathematisch belegte Statistik haben, bevor sie eine neue digitale Strategie auf breiter Front übernehmen.
Wie laufen deine A/B-Tests?
Mit über einem Jahrzehnt Erfahrung in der erfolgsbasierten Werbung, Kenshoo SaaS-Lösungen an, mit denen du deine wahre Marketing-Inkrementalität messen kannst. Wenn du mehr darüber erfahren möchtest, wie Skai dir dabei helfen kann, die tatsächliche Wirkung deiner digitalen Strategie zu ermitteln, kontaktiere uns bitte.
Mehr wie dies
