Faites le calcul de puissance avant de dépenser un euro sur un test d'incrémentalité

La plupart des programmes de test d’incrémentalité échouent pour une raison que personne ne publie : l’expérience n’a jamais été assez large pour détecter le lift qu’elle cherchait. Un résultat plat est alors lu comme la preuve que le canal ne sert à rien, alors qu’il prouve seulement que le dispositif ne voyait pas. La question de la taille d’échantillon vient avant celle du design, pas après.

• La puissance statistique décide si un test peut réussir, et elle se joue avant le lancement.
• Un résultat nul issu d’un test sous-dimensionné ne dit rien sur le canal.
• Expérimentation géographique et groupe de contrôle utilisateur répondent à des questions différentes.
• Un test dont le résultat ne changerait aucun budget ne vaut pas d’être lancé.
• Les outils de lift natifs mesurent leur propre canal, ce qui est un conflit qu’il faut nommer.

Le test d’incrémentalité répond à une question que l’attribution ne peut pas traiter

Un test d’incrémentalité mesure une causalité, là où tout modèle d’attribution mesure une corrélation. Cette distinction justifie à elle seule l’existence de la méthode. Un modèle d’attribution observe qu’une conversion a suivi une publicité et attribue le crédit ; il n’a aucun moyen de savoir si la conversion aurait eu lieu sans elle.

Le mécanisme est une expérience contrôlée randomisée. Un groupe est exposé à la campagne, un groupe de contrôle comparable ne l’est pas, et l’écart de résultat entre les deux constitue le lift de conversion incrémental. Tout le reste de la discipline consiste à construire un groupe témoin crédible quand on ne peut pas randomiser les individus directement.

L’écart ainsi révélé est en général le plus large à un endroit précis. Le retargeting et le search de marque affichent tous deux d’excellents retours parce qu’ils interceptent des utilisateurs déjà en route vers l’achat. Quand le groupe témoin convertit à un taux presque identique au groupe exposé, le retour déclaré était de la captation, pas de la création. C’est ce constat qui déplace du budget média, et aucun modèle d’attribution ne le produira jamais.

La plupart des tests échouent parce que personne n’a fait le calcul de puissance

Décidez avant le lancement si l’effet qui vous intéresse est détectable à votre volume de conversions. C’est l’étape qui sépare une expérience d’un tirage à pile ou face coûteux, et elle est sautée dans l’écrasante majorité des programmes.

Deux définitions rendent la chose concrète. La puissance statistique est la probabilité de détecter un effet réel quand il existe ; 80 % est la convention de travail. L’effet minimal détectable est le plus petit lift que votre test sait distinguer du bruit à cette puissance. Si votre effet minimal détectable est de 25 % et que le lift réel est de 12 %, le test ne remontera rien, et le canal sera accusé d’un défaut de conception.

La conséquence est inconfortable et mérite d’être dite franchement. Un résultat nul issu d’un test sous-dimensionné n’est pas une preuve d’absence d’effet. C’est une absence de preuve, et confondre les deux a coupé plus de budgets performants que n’importe quelle mauvaise campagne.

La formule de taille d’échantillon qui décide si un test d’incrémentalité vaut le coup

Utilisez une seule approximation avant de concevoir quoi que ce soit. Pour une comparaison à deux groupes à 80 % de puissance et 95 % de confiance, la taille d’échantillon par groupe vaut environ :

n par groupe = 16 x p x (1 – p) / d au carré

Où p est votre taux de conversion de référence et d le lift absolu que vous voulez détecter. Deux exemples chiffrés, tous deux recalculables :

• Taux de conversion de référence de 2 %, détection d’un lift relatif de 10 %. Le lift absolu d vaut 0,002. n = 16 x 0,02 x 0,98 / 0,000004, soit environ 78 400 par groupe, ou près de 157 000 utilisateurs au total.
• Même base, détection d’un lift relatif de 20 %. d vaut 0,004. n tombe à environ 19 600 par groupe, soit près de 39 000 au total.

Doubler l’effet que vous acceptez de détecter divise le besoin d’échantillon par quatre, parce que le terme est au carré. Cette seule relation devrait gouverner toute la discussion de design. Si votre canal génère 8 000 sessions par mois et que vous visez un lift de 10 % sur une base de 2 %, il faut environ 20 mois de trafic. Ne lancez pas. Acceptez un effet minimal détectable plus grossier, mutualisez des marchés, ou basculez sur du marketing mix modeling.

Faire ce calcul en premier transforme une ambition de mesure floue en oui ou non. C’est aussi le moyen le plus rapide de découvrir qu’une expérience déjà planifiée ne peut pas fonctionner. Construire le socle de données qui alimente ce raisonnement relève d’un travail de mesure situé en amont de tout test isolé, parce que des bases fiables sont précisément l’entrée dont la formule dépend.

Coupure géographique et groupe utilisateur ne résolvent pas le même problème

Choisissez le design depuis la contrainte, pas depuis la préférence. Un groupe de contrôle au niveau utilisateur randomise les individus à l’intérieur d’une plateforme et donne la lecture la plus propre disponible, mais il ne fonctionne que là où la plateforme maîtrise la diffusion, et il mesure un canal isolé.

Une expérimentation géographique suspend ou augmente le budget sur des régions appariées et compare des résultats business totaux. Elle absorbe les conversions offline, les parcours multi-appareils et les canaux sans contrôle utilisateur. Le prix est la précision : les territoires diffèrent d’une façon dont les individus ne diffèrent pas, la qualité de l’appariement pilote donc le résultat, et il faut en général au moins 20 à 30 régions comparables par groupe pour que le design tienne.

La règle pratique est simple. Si la question porte sur une plateforme et que les conversions ont lieu en ligne, prenez le groupe utilisateur. Si elle porte sur l’impact business total, le chiffre d’affaires offline ou un canal non randomisable, prenez la géographie et acceptez l’intervalle de confiance plus large. Une étude de brand lift répond à une troisième question, celle de la perception et non du revenu, et ne remplace ni l’une ni l’autre.

Un test d’incrémentalité ne rentabilise sa dépense que s’il peut changer un budget

Écrivez la règle de décision avant le lancement. Énoncez en une phrase ce que vous ferez à chaque issue possible : si le lift dépasse X, on augmente de Y ; s’il passe sous Z, on réalloue. Si personne ne sait terminer cette phrase, le test est un projet de recherche et doit être dépriorisé.

Ce filtre élimine une part surprenante des expériences proposées. Tester un canal qui pèse 2 % du budget média produit un résultat que personne n’appliquera, quel qu’il soit. Tester les deux plus grosses lignes du plan produit un résultat qui réalloue de l’argent réel. Séquencez par enjeu budgétaire, pas par facilité de mise en place.

Un conflit mérite d’être nommé. Les outils de lift natifs mesurent la contribution incrémentale de la plateforme qui les a construits, avec la donnée que cette plateforme maîtrise. Ils sont utiles et ils ne sont pas neutres, raison pour laquelle un test géographique indépendant sur le même canal vaut d’être mené avant toute réallocation majeure.

Le search de marque est l’endroit où le test d’incrémentalité cesse d’être théorique

Le search de marque produit le constat le plus reproduit de la discipline et le plus mal lu. Les tests sérieux sur ce canal aboutissent quelque part entre “l’essentiel n’était pas incrémental” et “cela a défendu du chiffre d’affaires que nous aurions perdu”, et les deux conclusions circulent comme des vérités générales. Elles ne le sont pas. Chacune est la lecture d’une enchère, sur une fenêtre.

Un chiffre de lift sur la marque périme dès que l’enchère change

La part de clics de marque réellement incrémentale dépend de qui d’autre enchérit. Quand vous êtes seul dans l’enchère, le résultat organique allait capter le clic de toute façon et le clic payant est proche du gaspillage pur. Quand un concurrent est présent, ce même clic payant défend du chiffre d’affaires qui partirait chez lui.

Menez votre coupure un mois calme et le search de marque paraît inutile. Menez-la pendant une offensive concurrente et il paraît indispensable. Aucun des deux résultats n’est faux, et aucun ne se généralise au-delà de sa fenêtre de mesure. C’est le seul endroit où un test annuel unique est structurellement le mauvais instrument, parce que la variable sous-jacente bouge tous les jours.

Le livrable durable est une règle, pas un pourcentage

Transformez le constat en politique. Elle tient en trois points : maintenir la couverture payante quand quelqu’un enchérit sur vos termes, la relâcher quand personne ne le fait, et quand vous la maintenez, cesser de surpayer la première position.

C’est ce troisième point que la plupart des équipes ratent. La position deux suffit en général à défendre une requête de marque, et elle abaisse volontairement le taux de clic payant, donc une part plus large des clics revient au résultat organique que vous possédez déjà gratuitement. Le coût mixte par visite de marque baisse pendant que la captation totale reste stable. C’est le moment où le SEA et le SEO cessent de se disputer le même clic et commencent à se le répartir sur un critère de coût. Beaucoup de comptes décrivent cette synergie. Très peu l’instrumentent.

Exécuter cette règle en continu plutôt qu’une fois par trimestre

Rien de tout cela ne survit à une exécution manuelle, parce que la composition de l’enchère change quotidiennement et que personne ne vérifie quotidiennement. Primelis a construit Signal pour appliquer cette politique sans intervention humaine : l’outil détecte que vous êtes seul enchérisseur et met les annonces de marque en pause, ajuste les enchères selon la pression concurrentielle en temps réel, et réactive la couverture dès qu’un concurrent entre dans l’enchère.

Le point de conception qui compte pour la mesure, c’est qu’il lit le payant et l’organique ensemble plutôt que de juger la ligne payante seule. La répartition du trafic de marque entre organique et payant devient un seul chiffre au lieu de deux, et c’est la seule vue dans laquelle la décision de couper est sûre. Le résultat est exactement ce qu’un test d’incrémentalité était censé produire : du budget de marque qui ne se déclenche que lorsqu’il change l’issue.

Un test d’incrémentalité rentable commence par l’arithmétique, pas par la plateforme

Un test d’incrémentalité est la seule méthode qui sépare les conversions que votre média a causées de celles qu’il a simplement croisées. Il rentabilise son coût quand le calcul de puissance passe en premier, quand le design suit la contrainte plutôt que la mode, et quand la règle de décision est écrite avant le lancement.

Commencez cette semaine par de l’arithmétique plutôt que par une plateforme. Prenez votre taux de conversion de référence, décidez du plus petit lift qui changerait un budget, et passez la formule. Si l’échantillon nécessaire dépasse ce que votre trafic délivre en un trimestre, vous venez de vous épargner un test voué à l’échec. Apportez les chiffres à une revue mesure de 30 minutes avec nos 200+ spécialistes, qui interviennent sur 300+ marques mondiales, et repartez avec un design capable de trancher.