Inkrementalitätsprüfung und Marketing: Eine Skai

Inkrementalitätstests: Eine Lösung für die Marketingmessung

Publisher führen ständig neue Kampagnentypen, Optimierungen, Anzeigenformate und Targeting-Möglichkeiten ein. Werbetreibende haben eine noch nie dagewesene Möglichkeit, Botschaften an ihre Zielgruppen zu übermitteln. Dennoch stehen sie unter wachsendem Druck, schnell die Methoden zu ermitteln, die ihre Geschäftsziele erreichen. Könnte Inkrementalitätsprüfung die nächste große Lösung für die Marketingmessung sein?

Unterschiedliche Zuordnungs- und Messmethoden erhöhen die Komplexität. Unterschiedliche Indikatoren für Wert und Umsatz können je nach Quelle widersprüchliche Aussagen machen. Wie können Marken fundierte, datengestützte Entscheidungen treffen, um die Auswirkungen der verschiedenen Werbeinvestitionen auf ihr Geschäft zu prognostizieren?

Während Marken nach präziseren Methoden zum Nachweis der Wirksamkeit suchen, ist das Testen der Inkrementalität zu einem der heißesten Themen in der Online-Werbung geworden. Skai hat Erkenntnisse aus über fünf Jahren plattformübergreifender Inkrementalitätsmessung gesammelt.

Wie misst man den Aufwand am besten?

Ein Paradebeispiel für das Problem, mit dem sich Vermarkter konfrontiert sehen, ist, wenn sie die Auswirkungen von Retargeting-Strategien verstehen müssen. Oder wie der branchenweite Hype um Videoanzeigen die Vermarkter dazu bringt, auf die Einnahmen zu achten, die durch ihre Investitionen in die Videoerstellung erzielt werden.

In ähnlicher Weise hat der Aufstieg der mobilen Werbung die Skepsis geweckt, dass viele Attributions-Tools diese Investitionen falsch einschätzen. Werbetreibende haben die vernünftige Aufgabe, den Mehrwert neuer und aufkommender Kanäle im Vergleich zu bewährten Methoden zu ermitteln. Marken sind sich jedoch nach wie vor unsicher über den wahren Wert der verschiedenen Targeting-Strategien, Kanäle und Werbeformate.

Bis heute ist die Werbebranche nicht in der Lage, Klarheit zu schaffen. Das Problem wird noch dadurch verschärft, dass es keinen einheitlichen Ansatz für die Messung gibt. Zu den Herausforderungen gehören Datenquellen, die nicht miteinander verknüpft sind, Upper-Funnel-Metriken, geräteübergreifende Annäherungen und Online- vs. Offline-Aktivitäten. Marketingfachleute berichten oft, dass sie Schwierigkeiten haben, die Auswirkungen bestimmter Maßnahmen auf das Geschäft zu messen. Wie bei jeder Messmodellierung kann die Datenqualität über Erfolg oder Misserfolg entscheiden.

Finde die Auswirkungen auf das Geschäft

Beim Inkrementalitätstest im Marketing werden die Marketingergebnisse zwischen einer Testgruppe und einer Kontrollgruppe verglichen. Mit dieser Methode können Marketingfachleute die betroffenen Variablen leicht isolieren. Sie sind in der Lage, die unmittelbaren Auswirkungen auf das Geschäft klar zu beurteilen und datengestützte Maßnahmen zu formulieren.

Mit Inkrementalitätstests können Werbetreibende besser verstehen, ob die KPIs ein direktes Ergebnis ihrer eigenen Kampagnen sind oder ob es sich um Fremdeinflüsse handelt. Die fortschrittliche KI-Technologie hilft diesen Tests, statistische Signifikanz zu erreichen, selbst wenn es sich um Kampagnen mit geringem Volumen und kleinem Budget handelt.

Außerdem ermöglicht eine kanalübergreifende Testmethode die Messung und den Einblick in die indirekten Auswirkungen der Taktik. Dies wird allgemein als "Halo-Effekt" bezeichnet. Mit Inkrementalitätstests lassen sich die Auswirkungen auf das Geschäft mithilfe konsistenter, vergleichbarer und koordinierter Datenquellen leicht nachvollziehen.

Inkrementalitätsprüfungen sind etwas, das das Data Science Team von Skaiim Laufe der Zeit entwickelt hat. Unsere Methodik nutzt Best Practices für das Testen, die an eine Vielzahl spezifischer Anwendungsfälle für die Aufzugsmessung angepasst sind.

Unser Team besteht aus Datenwissenschaftlern, die sich in verschiedenen Branchen auskennen und Erfahrung mit der Skalierung von inkrementellen Tests über verschiedene Plattformen und Strategien haben. Wenn dein Team vor Herausforderungen in den Bereichen Testen, Attribution oder Messung steht, helfen wir dir gerne und würden uns freuen, mit dir ins Gespräch zu kommen!

Inkrementalitätsprüfung: Die 5 Lücken der Attributionsmessung

Die Attribution nutzt Modelle, um Werbeinvestitionen zu messen. Ein großer Vorteil der Attributionsmodellierung ist die Kontinuität der Daten. Das bedeutet, dass eine Marke ihre Marketingpläne nicht mitten im Prozess ändern muss, um verwertbare Erkenntnisse zu gewinnen. Ein gut formuliertes Modell kann sogar regelmäßige Schwankungen und Neuausrichtungen berücksichtigen. Die Daten können auf einzelne Keywords und Anzeigen und sogar auf kanalübergreifende Customer Journeys eingegrenzt werden.

Die Attribution hat sich zwar als weitgehend skalierbare Lösung über alle Branchen hinweg erwiesen, stellt aber auch neue Herausforderungen an die Berichterstattung.

Inkrementalitätstest vs. Attribution #1 - Attribution ist nur so gut wie die Daten

Werbetreibende müssen in der Lage sein, die gesamte Consumer Journey zu erfassen, um Anzeigen und deren Wirkung zu verfolgen. Aber die Customer Journey kann schwierig zu verfolgen sein, vor allem, wenn sie über mehrere Kanäle und Geräte verläuft!

Ein ideales Attributionsmodell identifiziert einzelne Nutzer/innen über alle Geräte und Kanäle hinweg, aber wenn das nicht leicht zu bewerkstelligen ist, wird die Datenqualität beeinträchtigt. Wenn die Messung fragwürdig ist, ist die Modellierung bestenfalls ungenau.

Viele Werbetreibende haben Grund zu der Annahme, dass mobile Werbung in der Tat effektiver ist, als ihre Berichte zeigen. Aber sie kann unterbewertet werden, weil das Tracking der Geräte unzureichend ist. Bei linearen Messungen wird oft ein großer Teil der Konversionen übersehen, die auf mobilen Geräten beginnen, aber auf Desktop-Geräten enden. Diese Ungenauigkeit zeigt sich besonders bei mobil-lastigen Publishern wie Facebook, Snap, Pinterest und Twitter. Ebenso bedeutet der Mangel an ausreichenden Daten zur Messung der Wirkung von Videos, dass Video-Promotions regelmäßig unterbewertet werden.

In diesen Szenarien erweisen sich Inkrementalitätsprüfungen als besonders wertvoll, da sie sich auf einzelne Investitionen konzentrieren. Sie können die Auswirkungen auf das Gesamtergebnis des Unternehmens direkt messen und machen es überflüssig, jeden Schritt in der Customer Journey zu identifizieren und zu messen.

Die Inkrementalitätsprüfung ermöglicht die Messung von Ursache und Wirkung und beseitigt das Rätselraten.

Inkrementalitätstests vs. Attribution #2 - Attributionsmodelle sind subjektiv und intransparent

Jeder Weg zur Conversion mit mehreren Schritten kann zu Unsicherheiten darüber führen, wie und wie viel jeder Schritt zum endgültigen Kauf beigetragen hat. Konkurrierende Zurechnungsmodelle liefern widersprüchliche Aussagen darüber, wie jeder einzelne Schritt zur endgültigen Aktion beiträgt.

Heute stellen viele Unternehmen sogar KI-Teams ein, um interne Attributionsmodelle auf der Grundlage von maschinellem Lernen zu entwickeln. Das kann zwar zu mehr Effizienz und robusten Datensätzen führen, aber auch zu noch subjektiveren Modellen.

Da Werbetreibende nach den neuesten und fortschrittlichsten Attributionsmodellen suchen, werden alte Modelle schnell veraltet und überflüssig. In den letzten Jahren hat die Vielfalt der verfügbaren Attributionsmodelle die Datenteams vor zusätzliche Herausforderungen gestellt. Werbetreibende haben Schwierigkeiten, die unterschiedlichen Berichte zu koordinieren, sogar zwischen einzelnen Branchen, Unternehmen, Teams und Zeiträumen.

In Fällen, in denen die Subjektivität der Attribution Anlass zur Sorge gibt, bietet das Inkrementalitäts-Testing zusätzliche Sicherheit. Indem eine bestimmte Investition in der Customer Journey getestet wird, können Inkrementalitätstests deren direkte Auswirkungen messen. Mit Inkrementalitätstests lassen sich auch Halo-Effekte auf das Ökosystem von Investitionen messen, ohne dass Annahmen getroffen werden müssen.

Inkrementalitätsprüfung vs. Attribution #3 - Attribution ist keine Insel

Ein wichtiger Vorteil der Attribution ist, dass sie laufende Geschäftsschwankungen berücksichtigt. Das kann bei großen Budgetänderungen, Feiertagen und besonderen Ereignissen der Fall sein. Diese ganzheitliche Analyse, bei der eine Reihe von Inputs bewertet wird, lässt Raum für Unklarheiten über den tatsächlichen Wert einzelner Investitionen. Es besteht die Tendenz, Korrelation mit Kausalität zu verwechseln. Für Unternehmen, die von der Saisonabhängigkeit betroffen sind, müssen Werbetreibende feststellen, ob das Wachstum auf ihre Kampagnen oder auf externe Faktoren zurückzuführen ist.

Diese Lücke zeigt sich häufig bei Aktionen im oberen Trichter und den ersten Nutzerinteraktionen. Zum Beispiel wird bei der Attribution oft eine hohe Anzahl von Impressionen den Display-Anzeigen zugeschrieben. Im Jahr 2017 berichtete die New York Times, dass Chase bei zwei sehr unterschiedlichen Werbekampagnen fast ununterscheidbare Ergebnisse erzielte. Bei der einen wurden Display-Anzeigen auf 400.000 Websites geschaltet, bei der anderen auf nur 5.000 Websites! Die Tatsache, dass eine Kampagne mit 400.000 Websites die gleichen Ziele erreichen konnte wie eine mit 5.000 Websites, deutet darauf hin, dass die tatsächliche Wirkung der geschalteten Display-Anzeigen nicht übereinstimmt.

Inkrementalitätstests im Marketing können helfen, Unklarheiten zu bekämpfen, indem sie einzelne Investitionen isolieren und fremde Parameter standardisieren. Diese Messung ist unabhängig von Einflüssen wie Saisonalität, Geografie und Cross-Marketing.

Inkrementalitätstests vs. Attribution #4 - Attribution greift bei traditionellen Medien zu kurz

Erfolgreiche Attribution erfordert umfassende Daten für Engagement und Konversionsmaßnahmen. Trichter mit Offline-Komponenten - insbesondere traditionelle Formate wie TV, Radio und Plakate - werden dadurch erschwert, dass Impressionen und Engagement nicht gemessen werden können. In diesen Fällen können statistische Erkenntnisse nicht schlüssig mit bestimmten Verbrauchern in Verbindung gebracht werden. Es ist praktisch unmöglich, die tatsächliche Wirkung von Offline-Promotions zu ermitteln.

Diese Lücke bedeutet oft, dass Conversions nur unzureichend den Offline-Anzeigen zugeschrieben werden, wodurch die Wirkung der Offline-Kanäle untergraben wird. In diesem Fall können Werbetreibende mit Inkrementalitätstests den Unterschied zwischen einer Testgruppe, die mit der Offline-Werbung konfrontiert wurde, und einer Kontrollgruppe, die dies nicht getan hat, messen.

Inkrementalitätstests vs. Attribution #5 - Attribution greift bei zukünftigen Investitionen zu kurz

Bei der Attributionsmodellierung wird versucht, die Kausalität zwischen Conversion-Aktionen und bereits getätigten Investitionen zu ermitteln. Mit der Aufnahme neuer Publisher und Werbemethoden in den Verbrauchertrichter müssen die Vermarkter jedoch den Wert neuer Investitionen berücksichtigen. Attributionsmodelle sind historischer Natur und verfügen daher nicht über ausreichende Daten, um diese Berechnungen durchzuführen. Werbetreibende müssen Investitionen tätigen und die Auswirkungen im Nachhinein und nicht im Voraus messen.

2017 führte Skai die volle Unterstützung für Pinterest-Kampagnen ein. Während einige Werbetreibende sofort zugriffen, stellten andere den Wert der Investition in einen neuen Kanal in Frage. Durch den Einsatz kleiner Testbudgets konnten die Kunden jedoch die Auswirkungen der Einführung einer neuen Plattform auf ihre Verbraucherströme quantifizieren.

Mithilfe eines Inkrementalitätstests stellten die Skai Belk und iCrossing fest, dass Pinterest-Werbung ihre Online-ROAS um das 2,9-fache und ihre In-Store-ROAS um das 31,4-fache erhöhte!

Die Inkrementalitätsprüfung kann verwendet werden, um zukünftige Investitionen zu bewerten. Sie können kleine Budgets nutzen, um den Wert der neuen Investition mit statistischer Sicherheit zu bewerten.

Angesichts dieser Lücken stehen Werbetreibende, die Entscheidungen auf der Grundlage von Attribution treffen sollen, vor noch mehr Fragen. Wie kann die Attribution direkt in Nutzeraktionen umgesetzt werden? Können die Modelle im Laufe einer Werbeaktion angepasst werden? Können Werbetreibende feststellen, welche Szenarien einen Wechsel des Modells rechtfertigen?

In den letzten drei Jahren hat sich die Art und Weise, wie Vermarkter die Attributionsmodellierung und die Ergebnisse bewerten, verändert. Vor einem Jahrzehnt hielten Marketingspezialisten vollständige Trichter für messbar und die Daten für genau und umsetzbar. Heute fühlen sie sich jedoch vergleichsweise eingeschränkt, da vor allem der Mobilfunk die Messmethoden durcheinanderbringt und neue Lösungen erfordert. Proaktive Werbetreibende kombinieren heute oft Attributions- mit Inkrementalitätstests. Mithilfe von Inkrementalitätstests können Werbetreibende die Attributionsmessung validieren und die Modellierung anpassen, um die tatsächliche Werbeleistung besser zu messen.

Inkrementelle Tests: Die Auswahl des richtigen Splits

Die drei Stufen eines Inkrementalitätstests sind:

1. Vorbereitung - Einen Teil meines adressierbaren Marktes in A- und B-Gruppen aufteilen
2. Intervention - Setzen Sie eine der Gruppen einer neuen Variable aus und geben Sie ihr genügend Zeit, damit sich ein Unterschied bemerkbar macht.
3. Messung - Untersuche die Leistung der Gruppen A und B vor und nach der Intervention, um die Auswirkungen zu verstehen

Inkrementaltest vs. A/B-Test: Der entscheidende Unterschied

Bis jetzt denkst du vielleicht, dass das alles ähnlich klingt wie die traditionellen A/B-Tests. Du kannst Dinge wie Betreffzeilen, Bilder oder Landing Pages testen, um herauszufinden, welche Variante am besten abschneidet.

Aber die Wahrheit ist, dass eine Inkrementalitätsprüfung etwas ganz anderes ist.

Bei Inkrementalitäts-Tests messen wir die Auswirkungen des Tests auf Geschäftskennzahlen wie Umsatz, Neukunden oder Website-Besucher. Bei traditionellen A/B-Tests geht es oft um die Optimierung der Medien. Wir suchen nach den Auswirkungen auf spezifischere Leistungskennzahlen der Kampagne wie CTR, attributierte Konversionsrate usw. Wir können uns jedoch nicht auf die Attribution verlassen, um die Auswirkungen auf Unternehmensebene zu verstehen.Die Leistungsdaten, die wir verwenden, um die Auswirkungen eines Inkrementalitäts-Tests zu messen, dürfen sich nicht auf die Attribution stützen.

Die Messung der Auswirkungen auf die Geschäftskennzahlen bedeutet auch, dass wir sehr genau überlegen müssen, wie wir unseren Split-Test einrichten. Bei einem Inkrementalitäts-Test sollte die Aufteilung in die Gruppen A und B so erfolgen, dass der Eingriff in die eine Gruppe wenig bis gar keine Auswirkungen auf die andere Gruppe hat. Andernfalls kann es passieren, dass die Ergebnisse des Tests die Wirkung der Intervention völlig verfehlen oder stark übertreiben. Mit anderen Worten: Du brauchst eine saubere Aufteilung mit minimalen Überschneidungen.

Schauen wir uns drei der gängigsten Split-Typen an, die bei traditionellen A/B-Tests verwendet werden. Welche davon sind für einen Inkrementalitäts-Test geeignet?

• Auktionssplit
• Aufteilung des Publikums
• Geo-Split

Für jede Art von Split bewerten wir sie anhand der oben genannten Kriterien sowie allgemeinerer Kriterien, die für alle Arten von A/B-Test-Splits wichtig sind:

• Die Fähigkeit, Auswirkungen zu messen, ohne sich auf Zuschreibungen zu verlassen
• Die Fähigkeit, in einer Gruppe zu intervenieren, ohne die andere zu beeinträchtigen
• Gute Korrelation zwischen den Leistungsmetriken in beiden Gruppen
• Die Zufälligkeit der Aufteilung

Auktion Split

So funktioniert es: Bei einer auktionsbasierten Aufteilung wird ein/e Nutzer/in in Echtzeit zufällig der Gruppe A oder B zugewiesen, d.h. wenn er/sie gerade mit einer Anzeige konfrontiert wird.

Vorteile: Theoretisch ermöglicht dies eine völlig zufällige Aufteilung. Das ist aus statistischer Sicht ideal und sollte zu einer guten Korrelation zwischen den Gruppen führen.

Nachteile: Eine auktionsbasierte Aufteilung hat einen potenziellen Nachteil: Die Zufallszuweisung erfolgt bei jeder Auktion. So kann ein und derselbe Nutzer mit Werbung aus den beiden Gruppen A und B konfrontiert werden.

Richtig für Inkrementaltests?: NEIN! Dieser Makel schließt einen solchen Ansatz für jede Art von Inkrementalitätsprüfung aus. Die Wahrscheinlichkeit ist hoch, dass sich ein Eingriff in eine Gruppe auch auf die andere auswirkt. Da es außerdem keine saubere Trennung der Nutzer/innen zwischen den Gruppen A und B gibt, hat es keinen Sinn, die Leistungsdaten ohne Zuordnung zu betrachten. Es gibt keine Möglichkeit, nicht zugewiesene Konversionen oder Umsätze mit Gruppe A oder B in Verbindung zu bringen.

Aufteilung des Publikums

So funktioniert es: Beim Audience Split werden die Nutzer/innen nach dem Zufallsprinzip, aber reproduzierbar, den Gruppen A und B zugewiesen, so dass dieselben Nutzer/innen immer der gleichen Gruppe zugeordnet werden. Dies geschieht in der Regel mithilfe von Hash-Cookies oder anderen Formen einer Benutzerkennung.

Vorteile: Wie bei der Aufteilung über eine Auktion entsteht auch hier eine sehr zufällige Aufteilung von zwei Gruppen, die gut miteinander verbunden sind.

Nachteile: Es gibt viele Einschränkungen, wenn es um inkrementelle Tests geht. Erstens ist der Split nur so gut wie die Fähigkeit deiner Testtechnologie, eindeutige Nutzer/innen zu identifizieren, was in der heutigen Welt mit mehreren Bildschirmen und Apps schwieriger ist. Cookie-basierte Audience Splits werden wahrscheinlich mehrere Geräte/Browser desselben Nutzers verschiedenen Gruppen zuordnen. Echte zielgruppenbasierte Splits sind nur für Verlage möglich, die einen hohen Prozentsatz an geräteübergreifenden Logins haben. Um die Wirkung zu messen, ohne sich auf die Attribution zu verlassen, musst du in der Lage sein, Transaktionen entweder der Gruppe A oder der Gruppe B zuzuordnen.

Facebook ist in der Lage, diese Zuordnung für Transaktionen vorzunehmen, die von seinem Pixel aufgezeichnet werden, aber es ist nicht transparent. Es legt die Zuordnungen auf Nutzerebene nicht offen, damit Technologien von Drittanbietern die Leistung bewerten können. Ein weiterer Schwachpunkt der zielgruppenbasierten Splits ist, dass sie nicht zur Messung der Offline-Wirkung verwendet werden können. Zum Beispiel in Geschäften, Call Centern oder bei Offline-Werbung wie TV und Radio. Das liegt daran, dass es sehr schwierig ist, Online-Nutzerkennungen zuverlässig mit Offline-Transaktionen zu verbinden.

Richtig für Inkrementaltests?: NEIN! Da diese Art des Testens viele Nachteile hat, ist sie auch nicht der beste Ansatz.

Geo Split

Wie es funktioniert: Bei einem geobasierten Split werden die Nutzer/innen in Gruppen eingeteilt, die sowohl bei traditionellen als auch bei digitalen Marketingkampagnen die Möglichkeit des Geotargetings nutzen. Geosplits funktionieren in der Regel auf Stadt- oder DMA-Ebene - Städte oder DMAs werden nach dem Zufallsprinzip den Gruppen A und B zugeordnet.

Vorteile: Geo-Splits vereinfachen die Messung erheblich, da man sowohl Online- als auch Offline-Transaktionen einfach nach Geodaten betrachten kann, ohne eine Zuordnung vornehmen zu müssen. Sie haben das beste Potenzial, die Wahrscheinlichkeit zu verringern, dass Eingriffe in eine Gruppe die andere beeinflussen. Ein weiterer Vorteil ist, dass eine geo-basierte Aufteilung sehr transparent ist. Du kannst die Ergebnisse des Tests ganz einfach anhand mehrerer Datenquellen auswerten - auch solcher, die bei der Planung des Tests nicht berücksichtigt wurden. Es ist die einzige Methode, mit der du Halo-Effekte messen kannst, z. B. die Auswirkungen von Investitionen in einen Kanal auf die Einnahmen, die einem anderen Kanal zugeschrieben werden.

Nachteile: Geo-Splits sind weniger zufällig als publikums- oder auktionsbasierte Splits. Aber die Verwendung einer Split-Methode zur Bildung ausgewogener und gut korrelierter Gruppen überwindet dieses Problem.

Richtig für Inkrementaltests?: Ja ... wenn man es richtig macht! Bei Skai verwenden wir seit mehr als vier Jahren den geobasierten Ansatz für A/B-Tests und Inkrementalitätstests. Wir haben mit Hilfe von maschinellem Lernen unseren eigenen Algorithmus entwickelt, der Geo-Splits mit ausgewogenen und gut korrelierten Gruppen erstellt. Mit dem geobasierten Ansatz können erfolgreiche Tests durchgeführt werden, die aussagekräftige Ergebnisse liefern und einer analytischen Prüfung standhalten.

Diese Liste ist sicher nicht vollständig, aber du wirst keine andere Art von Split finden, die sich so gut für einen Inkrementalitäts-Test eignet wie ein Geo-Split.

Was ist als Nächstes zu tun?

Möchtest du mehr darüber erfahren, wie Skai dir helfen kann, deine digitalen Marketingaktivitäten besser zu testen, auszuführen und zu steuern? Kontaktiere uns noch heute, um ein Gespräch zu vereinbaren

Ein Treffen von Skai buchen