Test d'incrémentalité : Une solution pour la mesure du marketing
Les éditeurs lancent sans cesse de nouveaux types de campagnes, d'optimisations, de formats publicitaires et de possibilités de ciblage. Les annonceurs disposent d'une opportunité sans précédent de transmettre des messages à leur public. Pourtant, ils sont de plus en plus contraints d'identifier rapidement les méthodes qui permettent d'atteindre les objectifs de l'entreprise. Les tests d'incrémentalité pourraient-ils être la prochaine grande solution en matière de mesure marketing ?
Les différentes méthodes d'attribution et de mesure ajoutent à la complexité. Les différents indicateurs de valeur et de revenus peuvent raconter des histoires contradictoires en fonction de la source d'approvisionnement. Comment les marques peuvent-elles prendre des décisions éclairées et fondées sur des données afin de prévoir l'impact de différents investissements publicitaires sur leur activité ?
Alors que les marques recherchent des méthodes plus précises pour prouver leur efficacité, les tests d'incrémentalité sont devenus l'un des sujets les plus brûlants de la publicité en ligne. Skai dispose d'informations tirées de plus de cinq ans de mesures de l'incrémentalité sur différentes plates-formes.
Comment mesurer au mieux les efforts déployés ?
Un excellent exemple du problème auquel sont confrontés les spécialistes du marketing est lorsqu'ils doivent comprendre l'effet des stratégies de reciblage. Ou comment l'engouement du secteur pour les publicités vidéo rend les spécialistes du marketing vigilants quant aux revenus générés par leur investissement dans la création de vidéos.
De même, l'essor de la publicité mobile a suscité le scepticisme quant au fait que de nombreux outils d'attribution évaluent mal ces investissements. Les annonceurs sont raisonnablement chargés de déterminer l'incrémentalité des canaux nouveaux et émergents par rapport aux méthodes éprouvées. Cependant, les marques restent incertaines quant à la valeur réelle des différentes stratégies de ciblage, des canaux et des formats publicitaires.
Jusqu'à présent, l'industrie de la publicité n'a pas été en mesure d'apporter des éclaircissements. Le problème est exacerbé par l'absence d'une approche unifiée de la mesure. Parmi les défis à relever, citons les sources de données cloisonnées, les mesures de l'entonnoir supérieur, les approximations entre appareils et l'activité en ligne par rapport à l'activité hors ligne. Les spécialistes du marketing déclarent souvent avoir des difficultés à mesurer l'impact commercial de tactiques spécifiques. Comme pour toute modélisation de mesure, la qualité des données peut faire ou défaire les résultats.
Déterminer l'impact sur l'entreprise
Les tests d'incrémentalité en marketing comparent les résultats marketing entre un groupe test et un groupe de contrôle. Grâce à cette méthode, les spécialistes du marketing peuvent facilement isoler les variables affectées. Ils sont en mesure d'évaluer clairement l'impact commercial immédiat et de formuler des actions basées sur des données.
Grâce aux tests d'incrémentalité, les annonceurs peuvent mieux comprendre si les indicateurs clés de performance sont le résultat direct de leurs propres campagnes ou s'ils sont le fruit d'effets extérieurs. La technologie avancée de l'IA permet à ces tests d'atteindre une signification statistique, même s'il s'agit de campagnes à faible volume et à petit budget.
En outre, une méthodologie de test cross-canal permet de mesurer et de comprendre les effets indirects de la tactique. C'est ce que l'on appelle généralement "l'effet de halo". Les tests d'incrémentalité permettent de suivre facilement les implications commerciales en utilisant des sources de données cohérentes, comparables et coordonnées.
Les tests d'incrémentalité ont été développés au fil du temps par l'équipe de science des données de la Skai. Notre méthodologie, qui s'appuie sur les meilleures pratiques en matière de tests, s'est adaptée à une variété de cas d'utilisation spécifiques en matière de mesure de l'élévation.
Notre équipe est composée de data scientists spécialisés dans différents secteurs d'activité et ayant une expérience dans la mise à l'échelle des tests d'incrémentalité à travers les plateformes et les stratégies. Si votre équipe est confrontée à des défis liés aux tests, à l'attribution ou à la mesure, nous sommes impatients de vous aider et nous serions ravis d'entrer en contact avec vous!
Test d'incrémentalité : Les 5 lacunes de la mesure de l'attribution
L'attribution utilise des modèles pour mesurer les investissements publicitaires. L'un des grands avantages de la modélisation d'attribution est la continuité des données, ce qui signifie qu'une marque n'a pas besoin de modifier ses plans de marketing en cours de route pour obtenir des informations exploitables. En fait, un modèle bien formulé peut tenir compte des fluctuations et des réalignements réguliers. Les données peuvent être ramenées à des mots-clés et des publicités individuels, voire à des parcours de consommateurs cross-canal.
Si l'attribution s'est avérée être une solution largement modulable dans tous les secteurs, elle pose également une nouvelle série de défis en matière de rapports.
Test d'incrémentalité vs Attribution #1 - La qualité de l'attribution dépend de celle des données
Les annonceurs doivent être en mesure de rendre compte de l'ensemble du parcours du consommateur afin d'assurer le suivi des publicités et de leur impact. Mais les parcours des consommateurs peuvent être difficiles à suivre, en particulier ceux qui se déroulent sur plusieurs canaux et appareils !
Un modèle d'attribution idéal identifie les utilisateurs individuels à travers les appareils et les canaux, mais dans les cas où cela n'est pas facile à réaliser, la qualité des données est compromise. Lorsque la mesure est douteuse, la modélisation est au mieux imprécise.
De nombreux annonceurs ont des raisons de penser que la publicité mobile est, en fait, plus efficace que ne l'indiquent leurs rapports. Mais elle peut être sous-évaluée en raison d'un suivi insuffisant des appareils. Les mesures linéaires négligent souvent un volume important de conversions qui commencent sur un appareil mobile mais se terminent sur un appareil de bureau. Cette imprécision est particulièrement évidente chez les éditeurs à forte composante mobile tels que Facebook, Snap, Pinterest et Twitter. De même, le manque de données suffisantes pour mesurer l'impact des vidéos signifie que les promotions vidéo sont régulièrement sous-évaluées.
Dans ces scénarios, les tests d'incrémentalité s'avèrent particulièrement utiles en se concentrant sur les investissements individuels. Ils permettent de mesurer directement l'impact sur les résultats globaux de l'entreprise et éliminent la nécessité d'identifier et de mesurer chaque étape du parcours du consommateur.
Les tests d'incrémentalité permettent de mesurer la relation de cause à effet et éliminent les conjectures.
Test d'incrémentalité vs Attribution #2 - Les modèles d'attribution sont subjectifs et non transparents
Tout chemin vers la conversion comportant plusieurs étapes peut créer une incertitude quant à la manière dont chaque étape a contribué à l'achat final et à l'importance de cette contribution. Des modèles d'attribution concurrents dépeignent des histoires contradictoires sur la façon dont chaque étape est liée à l'action finale.
Aujourd'hui, de nombreuses entreprises recrutent même des équipes d'IA pour développer des modèles d'attribution internes basés sur l'apprentissage automatique. Si cela peut se traduire par une plus grande efficacité et des ensembles de données robustes, cela conduit à des modèles encore plus subjectifs.
Alors que les annonceurs recherchent les modèles d'attribution les plus récents et les plus avancés, les anciens modèles deviennent rapidement obsolètes et redondants. Ces dernières années, l'étendue des modèles d'attribution disponibles a posé des défis supplémentaires aux équipes chargées des données. Les spécialistes du marketing s'efforcent de coordonner des rapports disparates, même entre les différents secteurs, entreprises, équipes et périodes de temps.
Dans les cas où la subjectivité de l'attribution est une source d'inquiétude, les tests d'incrémentalité apportent une assurance supplémentaire. En testant un investissement spécifique dans le parcours client, les tests d'incrémentalité peuvent mesurer son impact direct. Les tests d'incrémentalité peuvent également mesurer les effets de halo sur l'écosystème des investissements sans faire d'hypothèses.
Test d'incrémentalité vs Attribution #3 - L'attribution n'est pas une île
L'un des principaux avantages de l'attribution est qu'elle tient compte des fluctuations constantes de l'activité. Cela peut se produire lors de changements budgétaires importants, de vacances ou d'événements spéciaux. Cette analyse globale, qui évalue un ensemble de données, laisse place à l'ambiguïté en ce qui concerne la valeur réelle des investissements individuels. Elle tend à confondre corrélation et causalité. Pour les entreprises touchées par la saisonnalité, les annonceurs doivent déterminer si la croissance est le résultat de leurs campagnes ou de facteurs externes.
Cet écart se manifeste fréquemment dans les actions du tunnel supérieur et les interactions initiales de l'utilisateur. Par exemple, l'attribution attribue souvent un volume élevé d'impressions aux publicités affichées. En 2017, le New York Times a rapporté que Chase a constaté des résultats presque indiscernables entre deux promotions très différentes. L'une a diffusé des publicités display sur 400.000 sites web et l'autre sur seulement 5.000 sites ! Le fait qu'une campagne sur 400 000 sites puisse conduire aux mêmes objectifs que sur 5 000 sites suggère une déconnexion dans l'effet réel de ces publicités display diffusées.
Les tests d'incrémentalité en marketing peuvent aider à combattre l'ambiguïté en isolant les investissements individuels et en normalisant les paramètres étrangers. Cette mesure est indépendante d'influences telles que la saisonnalité, la géographie et le marketing croisé.
Test d'incrémentalité vs Attribution #4 - L'attribution n'est pas à la hauteur avec les médias traditionnels
Une attribution réussie nécessite des données complètes sur les actions d'engagement et de conversion. Les entonnoirs comportant des éléments hors ligne - en particulier les formats traditionnels tels que la télévision, la radio et les panneaux d'affichage - sont compliqués par l'impossibilité de mesurer les impressions et l'engagement. Dans ces cas, les données statistiques extractibles ne peuvent pas être reliées de manière concluante à des consommateurs spécifiques. Il est pratiquement impossible d'isoler l'impact réel des promotions hors ligne.
Cette lacune signifie souvent que les conversions sont attribuées de manière inadéquate aux publicités hors ligne, ce qui sape l'effet des canaux hors ligne. Dans ce cas, le test d'incrémentalité permet aux annonceurs de mesurer la différence entre un groupe test, qui a été exposé à la publicité hors ligne, et un groupe de contrôle qui ne l'a pas été.
Test d'incrémentalité vs Attribution #5 - L'attribution n'est pas à la hauteur des investissements futurs
La modélisation de l'attribution tente d'identifier la causalité entre les actions de conversion et les investissements préexistants. Cependant, avec l'ajout de nouveaux éditeurs et de nouvelles méthodes publicitaires dans l'entonnoir du consommateur, les spécialistes du marketing doivent prendre en compte la valeur des nouveaux investissements. Les modèles d'attribution sont de nature historique et ne disposent donc pas de données suffisantes pour effectuer ces calculs. Les annonceurs en sont réduits à faire des investissements et à en mesurer l'impact après coup plutôt qu'à l'avance.
En 2017, Skai a lancé une prise en charge complète des campagnes Pinterest. Alors que certains annonceurs ont adopté immédiatement, d'autres se sont interrogés sur la valeur de l'investissement dans un nouveau canal. Mais en utilisant de petits budgets de test, les clients ont pu quantifier l'effet de l'introduction d'une nouvelle plateforme dans leurs parcours consommateurs.
En utilisant un test d'incrémentalité, les clients de laSkai Belk et iCrossing ont déterminé que la publicité sur Pinterest a augmenté leur ROAS en ligne de 2,9 fois et leur ROAS en magasin de 31,4 fois !
Le test d'incrémentalité peut être utilisé pour évaluer les investissements futurs. Il permet d'utiliser de petits budgets pour évaluer la valeur du nouvel investissement avec une confiance statistique.
Conscients de ces lacunes, les annonceurs chargés de prendre des décisions basées sur l'attribution se posent encore plus de questions. Comment l'attribution peut-elle être directement traduite en actions des utilisateurs ? Les modèles peuvent-ils être ajustés au cours d'une promotion ? Les annonceurs peuvent-ils déterminer quels scénarios justifient un changement de modèle ?
Au cours des trois dernières années, nous avons constaté une évolution dans la manière dont les spécialistes du marketing évaluent la modélisation et les résultats de l'attribution. Il y a dix ans, les spécialistes du marketing considéraient que les entonnoirs complets étaient mesurables et que les données étaient précises et exploitables. Aujourd'hui, ils se sentent comparativement limités, le mobile, en particulier, perturbant la mesure et nécessitant de nouvelles solutions. Aujourd'hui, les annonceurs proactifs combinent souvent l'attribution avec des tests d'incrémentalité. Les spécialistes du marketing peuvent utiliser les tests d'incrémentalité pour valider les mesures d'attribution et ajuster la modélisation afin de mieux mesurer la performance réelle des publicités.
Test d'incrémentalité : Choisir la bonne division
Les trois étapes d'un test d'incrémentalité sont les suivantes :
- Préparation - Diviser une partie de mon marché potentiel en groupes A et B
- Intervention - Exposer l'un des groupes à une nouvelle variable en laissant suffisamment de temps pour que toute différence devienne apparente.
- Mesure - Examiner les performances des groupes A et B avant et après l'intervention pour comprendre l'impact.
Test d'incrémentalité vs. test A/B : La différence cruciale
Jusqu'à présent, vous pensez peut-être que tout cela ressemble aux tests A/B traditionnels. Il permet de tester des éléments tels que les lignes d'objet, les images ou les pages d'atterrissage afin de déterminer la variante la plus performante.
Mais la vérité est qu'un test d'incrémentation est très différent.
Dans les tests d'incrémentalité, nous mesurons l'impact du test sur les indicateurs commerciaux tels que le chiffre d'affaires, les nouveaux clients ou les visiteurs du site. Dans les tests A/B traditionnels, il s'agit souvent d'optimiser les supports. Nous recherchons l'impact sur des indicateurs de performance de campagne plus spécifiques tels que le CTR, le taux de conversion attribué, etc. Cependant, nous ne pouvons pas nous fier à l'attribution pour comprendre l'impact au niveau de l'entreprise.Les données de performance que nous utilisons pour mesurer l'impact d'un test d'incrémentalité ne doivent pas reposer sur l'attribution.
Mesurer l'impact sur les indicateurs commerciaux signifie également que nous devons être très attentifs à la manière dont nous mettons en place notre test d'incrémentation. Dans un test d'incrémentalité, la répartition entre les groupes A et B doit être faite de telle sorte que l'intervention effectuée sur un groupe n'ait que peu ou pas d'impact sur l'autre groupe. Si ce n'est pas le cas, les résultats du test risquent d'ignorer totalement ou d'exagérer considérablement l'impact de l'intervention. En d'autres termes, il faut une séparation nette avec un minimum de croisements.
Examinons trois des types de fractionnement les plus courants utilisés dans les tests A/B traditionnels. Lesquels, le cas échéant, sont appropriés pour un test d'incrémentalité ?
- Séparation des enchères
- Répartition du public
- Géo-division
Pour chaque type de fractionnement, nous l'évaluerons en fonction des critères mentionnés ci-dessus ainsi que de critères plus généraux qui sont importants pour tous les types de fractionnement des tests A/B :
- Capacité à mesurer l'impact sans dépendre de l'attribution
- Capacité d'intervenir dans un groupe sans affecter l'autre
- Bonne corrélation entre les mesures de performance dans les deux groupes
- Le caractère aléatoire de la répartition
Séparation des enchères
Comment cela fonctionne-t-il ? Une répartition basée sur des enchères affecte aléatoirement un utilisateur au groupe A ou B en temps réel, c'est-à-dire lorsqu'il est sur le point d'être exposé à une publicité.
Avantages : Théoriquement, cela permet une répartition totalement aléatoire. Ceci est idéal d'un point de vue statistique et devrait conduire à une bonne corrélation entre les groupes.
Inconvénients : une répartition basée sur les enchères présente un défaut potentiel, à savoir que l'attribution aléatoire a lieu à chaque enchère. Ainsi, le même utilisateur peut être exposé à la publicité des deux groupes A et B.
Convient-il pour les tests d'incrémentalité ? NON ! Ce défaut exclut une telle approche pour tout type de test d'incrémentalité. La probabilité est grande qu'une intervention dans un groupe ait un impact sur l'autre. En outre, comme il n'y a pas de séparation nette des utilisateurs entre les groupes A et B, il n'y a pas vraiment d'intérêt à examiner les données de performance sans attribution. Il n'y a aucun moyen d'associer les conversions ou les revenus non attribués au groupe A ou au groupe B.
Répartition du public
Comment cela fonctionne-t-il ? Une division d'audience affecte les utilisateurs aux groupes A et B de manière aléatoire mais reproductible, de sorte que le même utilisateur sera toujours affecté au même groupe. Pour ce faire, on utilise généralement des cookies hachés ou d'autres formes d'identifiant d'utilisateur.
Avantages : À l'instar d'une répartition basée sur les enchères, cette méthode crée également une répartition très aléatoire de deux groupes bien corrélés.
Inconvénients : les tests d'incrémentalité présentent de nombreuses limites. Tout d'abord, la qualité de la répartition dépend de la capacité de votre technologie de test à identifier des utilisateurs uniques, ce qui est plus difficile dans le monde multi-écrans et rempli d'applications d'aujourd'hui. Les tests d'audience basés sur les cookies sont susceptibles d'affecter plusieurs appareils/navigateurs d'un même utilisateur à des groupes différents. Les véritables répartitions basées sur l'audience ne sont possibles que pour les éditeurs qui ont un pourcentage élevé de connexions inter-appareils. Afin de mesurer l'impact sans dépendre de l'attribution, vous devez être en mesure d'attribuer les transactions au groupe A ou B. Cela est basé sur l'identifiant de l'utilisateur, sans la nécessité d'un clic ou d'une impression préalable.
Facebook est en mesure d'effectuer cette attribution pour les transactions enregistrées par son pixel, mais ce n'est pas transparent. Il n'expose pas les attributions d'audience au niveau de l'utilisateur pour permettre aux technologies tierces d'évaluer les performances. Une autre faiblesse des divisions basées sur l'audience est qu'elles ne peuvent pas être utilisées pour mesurer l'impact hors ligne. Par exemple, dans les magasins ou les centres d'appel, ou pour les publicités hors ligne telles que la télévision et la radio. En effet, il est très difficile de relier de manière fiable les identifiants des utilisateurs en ligne aux transactions hors ligne.
Convient-il pour les tests d'incrémentalité ? NON ! Compte tenu des nombreux inconvénients de ce type de test, ce n'est pas non plus la meilleure approche.
Geo Split
Comment cela fonctionne-t-il ? Une répartition géographique affecte les utilisateurs à des groupes, ce qui permet de cibler géographiquement les campagnes de marketing traditionnelles et numériques. La répartition géographique fonctionne généralement au niveau de la ville ou du DMA - les villes ou les DMA sont assignés de manière aléatoire aux groupes A et B.
Avantages : Les divisions géographiques simplifient considérablement les mesures puisqu'il est possible d'examiner facilement les transactions en ligne et hors ligne par zone géographique sans avoir à procéder à une attribution. Elles offrent le meilleur potentiel pour réduire le risque d'intervention sur un groupe influençant l'autre. Un autre avantage est qu'une répartition basée sur la géographie est très transparente. Vous pouvez facilement évaluer les résultats du test par rapport à plusieurs sources de données, même celles qui n'ont pas été prises en compte lors de la planification du test. C'est la seule approche qui permette de mesurer les effets de halo, tels que l'impact de l'investissement dans un canal sur les revenus attribués à un autre.
Inconvénients : les répartitions géographiques sont moins aléatoires que les répartitions basées sur l'audience ou les enchères. Mais l'utilisation d'une méthodologie de répartition pour créer des groupes équilibrés et bien corrélés permet de surmonter ce problème.
C'est bien pour les tests d'incrémentalité... : Oui... si c'est fait correctement ! À la Skai, nous utilisons l'approche géographique pour les tests A/B et les tests d'incrémentalité depuis plus de quatre ans. Nous avons appliqué des approches d'apprentissage automatique pour créer notre propre algorithme qui crée des répartitions géographiques avec des groupes équilibrés et bien corrélés. L'approche basée sur la géographie permet d'effectuer des tests réussis qui donnent des résultats significatifs et qui résistent à un examen analytique approfondi.
Bien que cette liste ne soit certainement pas exhaustive, vous ne trouverez pas d'autre type de fractionnement qui se prête aussi bien à un test d'incrémentalité que le fractionnement géographique.
Que faire ensuite ?
Vous souhaitez en savoir plus sur la façon dont Skai peut vous aider à mieux tester, exécuter et orchestrer vos efforts de marketing numérique ? Contactez-nous dès aujourd'hui pour organiser une discussion