Les tests A/B constituent un élément essentiel du marketing et, d'une manière générale, les expériences marketing sont indispensables pour obtenir d'excellents résultats. Dans cet article, nous allons passer en revue certaines des règles fondamentales à respecter pour garantir un test équitable et concluant.
Le test A/B est un concept qui est souvent évoqué dans le domaine de la publicité numérique. La vérité est que la plupart des agences et des annonceurs directs lancent des tests sans tenir compte des facteurs les plus importants d'une d'une expérience. Pourquoi réaliser un test A/B, que faut-il prendre en compte et comment décider d'un indicateur de succès unique ?
Tests A/B pas à pas
La première étape à franchir avant de lancer un test A/B consiste à choisir un indicateur de réussite et une contrainte (si nécessaire). Les indicateurs de succès les plus courants sont le chiffre d'affaires, les conversions, les bénéfices ou les clics. Une contrainte serait que les mesures correspondent directement à un ICP, par exemple le ROAS, le CPA, le CPC ou les dépenses. Si vous ne décidez pas à l'avance de l'indicateur de réussite et de la contrainte, vous courez le risque de voir vos sentiments subjectifs entrer en jeu.
Letest A/B exige que vous ne testiez qu'une seule variable à la fois. Cela signifie que tout - et je dis bien tout - est constant. Par exemple, si vous testez l'enchère manuelle par rapport à l'enchère intelligente de Google, le CPA cible est constant. CPA cible de l'enchère intelligente de Google. La seule variable, dans ce cas, serait l'enchère intelligente, de sorte que tous les autres paramètres doivent être identiques dans le groupe de test et le groupe de contrôle - ciblage géographique, budget, annonces, mots clés, etc. Ensuite, vous devez tenir compte de la quantité de données que vous testez et si elle est suffisante - trop peu et les résultats risquent de ne pas être exacts et trop n'est pas nécessaire, il n'est donc pas nécessaire de laisser courir trop longtemps, ce qui pourrait gaspiller le budget et votre temps. Une bonne règle à suivre est d'avoir au moins 100 conversions quotidiennes dans l'ensemble du test avant le fractionnement A/B.
La règle suivante consiste à connaître votre "vrai nord", en particulier si vous testez une stratégie d'enchères. Si vous testez une stratégie d'enchères, assurez-vous que les deux groupes soumissionnent pour la même source de conversion. Le Smart Bidding de Google utilise traditionnellement son propre pixel pour suivre les conversions, il est possible d'importer vos propres données de conversion dans Google Ads pour les enchères.. N'oubliez pas de tenir compte de ce point avant de lancer des tests de stratégie d'enchères : "Les deux solutions d'enchères sont-elles optimisées en fonction de notre vrai nord et de la même mesure ?"
La dernière règle que l'on oublie généralement est de prévoir une période de référence au cours de laquelle aucun autre changement n'est apporté au groupe de contrôle et au groupe d'essai. Cela vous donne un élément de comparaison lorsque le test est terminé et que vous mesurez l'effet de levier du test par rapport aux groupes de contrôle. Cela vous permet également de vérifier les données réelles après la répartition afin de garantir que le trafic est effectivement réparti correctement entre chaque groupe.
Pendant la période de référence, il est important de s'assurer que les deux groupes sont gérés/optimisés de la même manière. Y compris le nouveau texte de l'annonce, les nouveaux mots-clés, les budgets, etc. D'après mon expérience, une période de référence de deux à trois semaines est suffisante pour établir une comparaison avant de lancer le test.
Approches fractionnées A/B
Maintenant que nous avons abordé les règles à prendre en compte avant de lancer un test, passons en revue les différentes méthodologies de fractionnement qui s'offrent à vous en tant que spécialiste du marketing.
Les trois méthodes de fractionnement les plus courantes sont les suivantes :
- Division géographique ("Geo-Split")
- Google Drafts & Experiments (D&E)
- Fractionnement de la campagne
La répartition géographique est la plus sophistiquée car elle peut être utilisée pour mesurer l'effet d'incrémentation du test, elle est transparente et cette méthode permet de réaliser des tests entre éditeurs.
La fonctionnalité «Drafts & Experiments » de Google est une autre méthode courante de test A/B. Cet outil propose deux types de configuration : Segmentation basée sur les cookies et segmentation basée sur les recherches. La répartition basée sur les cookies n'affichera qu'une seule version de votre campagne, même si l'utilisateur effectue plusieurs recherches avec le même mot-clé. La répartition basée sur la recherche attribue aléatoirement les utilisateurs aux deux groupes à chaque fois qu'ils recherchent ces mots-clés. Cela peut vous aider à obtenir des résultats plus rapidement, mais vous vous exposez au risque d'un test invalide. « Pourquoi, me direz-vous ? » Comme la répartition attribue aléatoirement un utilisateur à un groupe, il est possible que le même utilisateur voie à la fois la campagne test et la campagne de contrôle s’il effectue plusieurs recherches.
En fin de compte, la méthode de D&E privilégiée est celle du fractionnement basé sur les cookies, car elle permet de s'assurer qu'un utilisateur n'est pas exposé à la fois au groupe test et au groupe témoin, ce qui pourrait influencer les résultats.
Quelle est la durée d'un test A/B ?
Maintenant que nous avons abordé les lignes directrices des tests, les méthodes de fractionnement et les paramètres, nous pouvons passer au calendrier des tests. La vérité est que les tests A/B prennent du temps. En fonction de votre volume de test et de votre bande passante, un test peut prendre entre 10 et 15 semaines. Vous trouverez ci-dessous un exemple de calendrier de test à titre de référence. 
Dans cet exemple, le test est divisé en trois parties différentes : définition de l'hypothèse, de l'expérience et de la période d'évaluation.
L'hypothèse
La définition d'une hypothèse est souvent une étape oubliée par les spécialistes du marketing. En général, ils se contentent d'attendre la fin et de regarder si le groupe test a battu le groupe témoin. Cependant, la définition d'une hypothèse sur ce que vous pensez qu'il va se passer est la clé d'une prise de décision fondée sur des données. Une fois le test terminé, le fait de pouvoir comparer les résultats réels à votre hypothèse vous aidera à mieux comprendre dans quelle mesure vous avez deviné ce qui pourrait se passer. Au fil du temps, vous pourrez savoir si vous surestimez l'impact ou si vous sous-estimez la façon dont les changements d'enchères peuvent aider vos campagnes.
La période d'expérimentation
La période d'expérimentation comprend trois parties différentes :
- La ligne de base
- Montée en puissance et test
- Refroidissement
La période de référence sert à des fins de comparaison et aucun changement ne doit être apporté à l'un ou l'autre groupe pendant cette période. La période de montée en puissance et de test correspond au moment où vous lancez l'expérience. La période de refroidissement ne fait pas partie de la période d'évaluation des tests. Cette période vous permet de désactiver l'outil d'optimisation que vous testez sur les deux groupes A/B ou sur l'un d'entre eux.
L'évaluation
Une fois que le test a été désactivé avec succès, vous pouvez passer à l'étape de l'évaluation. Le test était-il statistiquement significatif ? Quelle est votre tolérance au risque et votre niveau de confiance ? Les spécialistes du marketing sont passés à un nouveau niveau de sophistication et doivent avoir la certitude que les nouvelles stratégies d'appel d'offres reposent sur des statistiques mathématiquement prouvées avant d'adopter à grande échelle une nouvelle stratégie numérique.
Comment se déroulent vos tests A/B ?
Avec plus d'une décennie d'expérience dans la publicité basée sur la performance, Kenshoo propose des solutions SaaS pour mesurer l'incrémentalité réelle de votre marketing. Si vous souhaitez en savoir plus sur la manière dont Skai peut vous aider à identifier l'impact réel de votre stratégie numérique, n'hésitez pas à nous contacter.
