Voici le troisième article de notre série sur les tests d'incrémentalité. Dans notre premier articleOmri Cohen a présenté certaines des raisons pour lesquelles les annonceurs utilisent les tests d'incrémentalité et a donné une brève description de ce à quoi ressemble un test d'incrémentalité. Dans notre deuxième articleTomer Shadi a approfondi l'une des principales motivations de l'approche des tests d'incrémentalité-l'incapacité de l'attribution à capturer la valeur incrémentale générée par les canaux de médias payants. Dans ce billet, nous allons explorer la méthodologie des tests d'incrémentalité-en quoi elle diffère des tests A/B les plus courants, les différentes approches pour créer des groupes de test et de contrôle, et pourquoi il est vraiment important de mettre en place le bon test.
Commençons par un rappel de ce qu'est un test d'incrémentalité depuis notre premier article :
"Un test d'incrémentalité compare le revenu ou l'ICP pertinent généré entre un groupe de test et un groupe de contrôle. En exposant le groupe test à une tactique publicitaire par rapport au groupe de contrôle non exposé, les spécialistes du marketing peuvent facilement isoler les variables affectées, évaluer clairement l'impact commercial immédiat et formuler les prochaines étapes en toute confiance, données à l'appui."
À partir de cette description, nous pouvons définir les trois étapes d'un test d'incrémentalité. trois étapes d'un test d'incrémentalité:
- Préparation - Diviser une partie de mon marché adressable en groupes A et B
- Intervention - Exposer l'un des groupes à une nouvelle variable susceptible d'influer sur les performances, en laissant suffisamment de temps pour que toute différence devienne apparente.
- Mesure - Examiner les performances des groupes A et B avant et après l'intervention pour comprendre l'impact.
Dans cet article, nous nous concentrerons sur la première étape et nous vous préparerons à sélectionner le meilleur type de fractionnement pour un test d'incrémentalité.
Test A/B vs Test d'incrémentalité : La différence cruciale
Jusqu'à présent, vous pensez peut-être que tout cela ressemble aux tests A/B traditionnels, qui consistent à tester des éléments tels que les lignes d'objet, les images ou les pages d'atterrissage pour voir quelle variante est la plus performante. En réalité, un test d'incrémentalité est très différent. Dans les tests d'incrémentalité, nous essayons de mesurer l'impact du test sur les indicateurs commerciaux tels que le chiffre d'affaires, les nouveaux clients ou les visiteurs du site. Dans les tests A/B traditionnels, il s'agit souvent d'optimiser les supports et nous cherchons à mesurer l'impact sur des indicateurs de performance de campagne plus spécifiques tels que le CTR, le taux de conversion attribué, etc. Comme le souligne Tomer dans son article, nous ne pouvons pas nous fier à l'attribution pour comprendre l'impact au niveau de l'entreprise. les données de performance que nous utilisons pour mesurer l'impact dans un test d'incrémentalité ne doivent pas reposer sur l'attribution.
Mesurer l'impact sur les indicateurs commerciaux signifie également que nous devons être très attentifs à la manière dont nous mettons en place notre test d'incrémentation. Dans un test d'incrémentalité, la répartition entre les groupes A et B doit être faite de telle sorte que l'intervention effectuée sur un groupe n'aura que peu ou pas d'impact sur l'autre groupe. Sans cette garantie, les résultats du test risquent d'ignorer totalement ou d'exagérer considérablement l'impact de l'intervention. En d'autres termes, vous avez besoin d'une séparation nette avec un minimum de croisements. Examinons trois des types de fractionnement les plus courants utilisés dans les tests A/B traditionnels et voyons lesquels, le cas échéant, conviennent à un test d'incrémentalité :
- Séparation des enchères
- Répartition du public
- Géo-division
Pour chaque type de fractionnement, nous l'évaluerons en fonction des critères mentionnés ci-dessus ainsi que de critères plus généraux qui sont importants pour tous les types de fractionnement des tests A/B :
- Capacité à mesurer l'impact sans dépendre de l'attribution
- Capacité d'intervenir dans un groupe sans affecter l'autre
- Bonne corrélation entre les mesures de performance dans les deux groupes
- Le caractère aléatoire de la répartition
Séparation des enchères
Comment cela fonctionne-t-il ? Une répartition basée sur les enchères affecte de manière aléatoire un utilisateur au groupe A ou B en temps réel, c'est-à-dire lorsqu'il est sur le point d'être exposé à une publicité. Cette approche est utilisée par Google dans son produit Drafts & Experiments (une version bêta récemment publiée offre également la possibilité de sélectionner une répartition de l'audience basée sur les cookies).
Avantages : Théoriquement, cela permet une répartition totalement aléatoire, ce qui est idéal d'un point de vue statistique et devrait conduire à une bonne corrélation entre les groupes.
Inconvénients : Une répartition basée sur les enchères présente un défaut potentiel : l'attribution aléatoire se produit à chaque enchère, de sorte que le même utilisateur peut être exposé à la publicité des deux groupes A et B.
Convient-il pour les tests d'incrémentalité ? NON ! Ce défaut exclut une telle approche pour tout type de test d'incrémentalité, car la probabilité est élevée qu'une intervention dans un groupe ait un impact sur l'autre. En outre, comme il n'y a pas de séparation nette des utilisateurs entre les groupes A et B, il n'y a pas vraiment d'intérêt à examiner les données de performance sans attribution, car il n'y a aucun moyen d'associer les conversions ou les revenus non attribués aux groupes A ou B.
Répartition du public
Comment cela fonctionne-t-il ? Une division d'audience affecte les utilisateurs aux groupes A et B de manière aléatoire mais reproductible, de sorte que le même utilisateur sera toujours affecté au même groupe. Pour ce faire, on utilise généralement des cookies hachés ou d'autres formes d'identification de l'utilisateur.
Avantages : À l'instar d'une répartition basée sur les enchères, cette méthode crée également une répartition très aléatoire de deux groupes bien corrélés.
Inconvénients : Les tests d'incrémentalité présentent de nombreuses limites. Tout d'abord, la qualité de la répartition dépend de la capacité de votre technologie de test à identifier des utilisateurs uniques, ce qui est plus difficile dans le monde multi-écrans et rempli d'applications d'aujourd'hui. Les tests d'audience basés sur les cookies sont susceptibles d'affecter plusieurs appareils/navigateurs d'un même utilisateur à des groupes différents, ce qui rend les véritables tests d'audience possibles uniquement pour les éditeurs qui ont un pourcentage élevé de connexions inter-appareils (l'approche utilisée par Facebook dans ses tests d'audience). Pour mesurer l'impact sans s'appuyer sur l'attribution, il faut pouvoir affecter les transactions au groupe A ou B sur la base de l'identifiant de l'utilisateur, sans qu'il soit nécessaire qu'il y ait eu un clic ou une impression au préalable. Facebook est en mesure d'effectuer cette attribution pour les transactions enregistrées par son pixel, mais elle n'est pas transparente.-il n'expose pas les attributions d'audience au niveau de l'utilisateur pour permettre à des technologies tierces d'évaluer les performances sur la base de données externes à Facebook. Une autre faiblesse des divisions basées sur l'audience est qu'elles ne peuvent pas être utilisées pour mesurer les impacts hors ligne, tels que dans les magasins ou les centres d'appel, ou les publicités hors ligne telles que la télévision et la radio. En effet, il est très difficile de relier de manière fiable les identifiants des utilisateurs en ligne aux transactions hors ligne.
Convient-il pour les tests d'incrémentalité ? NON ! Compte tenu du nombre important d'inconvénients liés à ce type de test, nous devrions conclure à un non sur ce point également.
Geo Split
Comment cela fonctionne-t-il ? Une répartition géographique affecte les utilisateurs à des groupes, ce qui permet de cibler géographiquement les campagnes de marketing traditionnelles et numériques. La répartition géographique fonctionne généralement au niveau de la ville ou du DMA.-Les villes ou DMA sont assignées de manière aléatoire aux groupes A et B.
Avantages : Les divisions géographiques simplifient considérablement les mesures puisqu'il est possible d'examiner facilement les transactions en ligne et hors ligne par zone géographique sans avoir à procéder à une attribution. En outre, comme elles ne reposent pas sur les identifiants des utilisateurs, elles permettent de réduire les risques d'intervention sur un groupe pour influencer l'autre. Un autre avantage est qu'une répartition géographique est très transparente, ce qui signifie que vous pouvez facilement évaluer les résultats du test par rapport à de multiples sources de données - même celles qui n'ont pas été prises en compte lors de la planification du test. En tant que telle, la répartition géographique est la seule approche qui vous permette de mesurer les effets de halo, tels que l'impact de l'investissement dans un canal sur les revenus attribués à un autre.
Inconvénients : Les répartitions géographiques sont moins aléatoires que les répartitions basées sur l'audience ou les enchères, mais l'utilisation d'une méthodologie de répartition qui tente activement de créer des groupes équilibrés et bien corrélés permet de surmonter ce problème.
C'est bien pour les tests d'incrémentalité... : Oui... si c'est fait correctement ! À la Skai, nous utilisons l'approche géographique pour les tests A/B et les tests d'incrémentalité depuis plus de quatre ans (voir ces études de cas avec Belk et Experian pour voir une partie de notre travail). Nous avons appliqué des approches d'apprentissage automatique pour créer notre propre algorithme qui crée des séparations géographiques avec des groupes équilibrés et bien corrélés. Nous avons constaté que les avantages de l'approche géographique sont significatifs dans notre capacité à mener des tests réussis qui donnent des résultats significatifs et qui résistent à un examen analytique approfondi.
Bien que cette liste ne soit certainement pas exhaustive, vous ne trouverez pas d'autre type de fractionnement qui se prête aussi bien à un test d'incrémentalité que le fractionnement géographique.
Perspectives d'avenir
Gardez l'œil ouvert pour le prochain article de cette série, dans lequel nous nous concentrerons sur différentes méthodologies pour la partie mesure d'un test d'incrémentalité, ainsi que sur d'autres points à prendre en compte tels que : la gestion de la latence de conversion ; les approches pour tester plusieurs tactiques de marketing, stratégies ou éditeurs ; et comment utiliser les enseignements des tests d'incrémentalité pour influer sur votre activité.
Vous souhaitez en savoir plus sur la manière dont Skai peut vous aider à mieux tester, exécuter et orchestrer vos efforts de marketing numérique ? Contactez nous dès aujourd'hui pour organiser une discussion.