Aller au contenu
Chandler Nguyen
IA8 min de lecture

Mesurer l'incrémentalité marketing avec l'IA

L'incrémentalité mesure ce qui ne se serait pas produit sans le marketing. L'IA aide à concevoir les tests, estimer les effets depuis plus de données, et lire dans qui l'effet est concentré. Elle ne retire pas le besoin d'un contrôle. Sans contrefactuel, un modèle fait juste sonner causal une corrélation.

L'incrémentalité est la mesure de ce qui ne se serait pas produit sans le marketing. L'IA aide à trois endroits : concevoir de meilleurs tests, estimer les effets depuis des données plus nombreuses et plus bruitées, et lire dans quelles parties de l'audience ou du mix l'effet est concentré. Elle ne fournit pas le contrefactuel. Sans contrôle approprié, un modèle fera sonner causal une corrélation avec grande confiance.

Cette dernière phrase est tout le risque. L'IA rend plus facile de produire un chiffre qui ressemble à de l'incrémentalité, et la partie la plus dure du métier est encore de décider contre quoi comparer. Les équipes qui sautent cette étape et passent au modèle finissent avec des estimations élégantes qu'elles ne peuvent pas défendre quand quelqu'un pose la question évidente : comparé à quoi ?

Ce que l'incrémentalité veut vraiment dire

L'incrémentalité répond à une question contrefactuelle : combien de conversions, de ventes ou de résultats de marque sont survenus à cause du marketing, plutôt qu'en arrivant de toute façon. Les gens qui auraient acheté sans voir la pub ne sont pas incrémentaux, quelle que soit la façon dont la pub les a touchés. L'attribution compte le crédit ; l'incrémentalité mesure la causalité, et ce sont des questions différentes qui se contredisent souvent.

C'est pourquoi les données d'attribution seules ne peuvent pas établir l'incrémentalité. Un rapport en last-click donnera le crédit à la pub sur laquelle quelqu'un a cliqué, mais il ne peut pas te dire si cette personne aurait converti de toute façon. Pour le savoir, tu as besoin d'un groupe qui n'a pas reçu le marketing et d'un moyen de comparer. Ce groupe est le contrefactuel, et aucune sophistication de modèle ne le remplace.

Pourquoi l'attribution n'est pas l'incrémentalité

L'attribution et l'incrémentalité répondent à des questions différentes, et les confondre produit des décisions de budget sûres d'elles et fausses. L'attribution alloue le crédit à travers les points de contact pour les conversions qui ont eu lieu ; l'incrémentalité estime combien de ces conversions dépendaient du marketing. Un canal peut sembler fort en attribution et être presque zéro incrémental, ou sembler faible et porter la campagne.

L'implication pratique est que l'incrémentalité devrait porter plus de poids que l'attribution pour les décisions de budget, et l'attribution est utile surtout pour l'optimisation en vol. Quand les deux se contredisent, fais confiance à l'expérience. C'est la discipline exposée dans le cadre de mesure plus large de comment mesurer l'impact marketing de l'IA, et elle est encore plus importante quand l'IA génère l'analyse.

Les trois travaux de l'IA en incrémentalité

L'IA aide à trois points, et ça vaut la peine d'être précis sur chacun, parce que la valeur et le risque sont différents à chaque fois. Conception : générer des structures de test, des calculs de puissance et des designs de holdout candidats plus vite qu'un humain, puis laisser le choix à une personne. Estimation : ajuster des modèles qui tirent un signal de données grandes ou clairsemées là où les comparaisons simples échouent. Et segmentation : trouver où l'effet est concentré, pour qu'une moyenne mélangée ne cache pas un canal qui ne marche que pour une audience.

Dans chaque cas le modèle est un outil dans un design causal, pas un remplacement. Le design, en particulier, est là où le jugement domine encore, parce qu'un test mal conçu ne donne rien à estimer au modèle. L'IA peut proposer des designs ; un humain qui comprend le business doit en choisir un qui puisse réellement tourner.

Les principales méthodes et où l'IA aide

Différentes méthodes d'incrémentalité conviennent à différentes situations, et le rôle de l'IA varie selon la méthode. Le tableau ci-dessous cartographie les approches courantes.

MéthodeQuand elle convientRôle de l'IA
Géo holdoutNiveau canal, région séparableConception, estimation d'effet, hétérogénéité
SwitchbackTemporel, piloté par enchèreConception, analyse séquentielle
Ghost bids / PSACanaux search et enchèreEstimation, courbes dépense-réponse
Contrôle appariéQuand un holdout est impossibleAppariement, contrôles de biais
MMMNiveau portefeuille, toujours en marcheAjustement plus rapide, test de scénarios

Plus une méthode dépend d'un contrefactuel conçu, moins il faut faire confiance à l'IA pour inventer le design seule. Plus elle dépend de l'estimation à partir des données, plus l'IA ajoute. Utilise le tableau pour choisir la méthode adaptée à la situation plutôt que de te rabattre sur celle que le modèle gère le plus facilement.

Le danger de la causalité sûre d'elle

Le mode d'échec est un modèle qui trouve une relation dans des données observationnelles et la présente comme incrémentale. Les méthodes modernes peuvent sonner autoritaires tout en reposant sur des hypothèses qui ne tiennent pas — tendances parallèles qui ne sont pas parallèles, contrôles contaminés, dépense qui répond à la demande plutôt que de la causer. La sortie ressemble à une estimation causale et est en réalité une corrélation sophistiquée.

La défense est de garder le contrefactuel explicite et de tester les hypothèses. Si le design dit que deux groupes sont comparables, vérifie-le. Si un holdout est censé être propre, vérifie qu'aucun autre changement n'a touché un côté. Et sois prêt à rapporter que les données ne peuvent pas répondre à la question, qui est une réponse plus utile qu'un chiffre que tu ne peux pas défendre.

Combiner expérience et modèle

Les systèmes de mesure les plus forts associent une expérience conçue à un modèle qui étend sa conclusion. Un géo holdout te donne une estimation propre et crédible pour un canal dans une fenêtre définie ; un modèle utilise cette estimation pour calibrer une vue plus large à travers canaux et périodes. L'expérience ancre la causalité, et le modèle fournit une couverture là où tu ne peux pas faire tourner un test.

Cette association est aussi comment tu gères les canaux où un holdout est impraticable. Tu fais plus confiance au modèle là où il a été calibré contre de vraies expériences et moins là où il ne l'a pas été. Avec le temps, une bibliothèque d'expériences passées devient la base de preuves qui garde le modèle toujours en marche honnête, et elle compose comme le fait une couche de mémoire client.

Un point de départ pratique

Commence par fixer la question contrefactuelle pour chaque canal majeur : contre quoi comparerais-tu, et peux-tu réellement faire tourner cette comparaison ? Là où tu peux, fais tourner un holdout et traite-le comme l'ancre. Là où tu ne peux pas, utilise un contrôle apparié ou un modèle, et étiquette l'estimation comme plus faible. Puis utilise l'IA pour la conception, l'estimation et la segmentation dans ce cadre, et rapporte chaque estimation avec sa méthode et sa confiance.

Puis bâtis l'habitude de comparer les incréments du modèle à la prochaine expérience. Quand ils divergent, l'expérience gagne et le modèle est recalibré. Cette boucle est ce qui transforme une pile d'estimations en un système de mesure digne de confiance, et c'est la même discipline que l'IA soit impliquée ou non.

La décroissance de l'attribution et pourquoi ça compte

L'écart entre un rapport et une décision n'est pas nouveau ; j'en ai parlé il y a des années dans ne perds pas de temps sur le reporting, et l'IA rend le chiffre plus facile à produire sans le rendre plus causal. Les données d'attribution décroissent pour des raisons sans rapport avec la campagne : changements de vie privée, perte d'identifiants, trous de mesure, et modélisation côté plateforme qui remplit les trous avec des estimations. À mesure que la décroissance augmente, l'attribution dérive plus loin de la vérité, qui est exactement le moment où les équipes s'y appuient plus parce que les signaux plus propres ont disparu. L'incrémentalité devient plus précieuse à mesure que l'attribution s'affaiblit, pas moins.

C'est la raison pratique d'investir dans les tests maintenant. Le contrefactuel est la seule mesure qui ne dépend pas de suivre une personne à travers l'internet ; elle dépend de comparer des groupes. Dans un monde d'attribution qui décroît, l'estimation fondée sur un test est la durable, et le rôle du modèle est de l'étendre plus loin dans le plan qu'une seule expérience ne pourrait l'atteindre seule. Le corollaire est de dater tes estimations. Un chiffre d'incrémentalité d'il y a deux ans n'est pas un fait sur aujourd'hui ; l'enchère, l'audience et le créatif ont tous changé. Reteste de façon continue et traite les vieilles estimations comme des a priori plutôt que des vérités. Un système de mesure qui n'expire jamais est un système de mesure qui est discrètement périmé.

FAQ

L'IA peut-elle nous dire l'incrémentalité sans un test ?

Non. Elle peut estimer à partir de données observationnelles, et l'estimation repose sur des hypothèses qu'un test vérifierait. Sans contrefactuel, tu lis une corrélation et l'appelles causalité, quelle que soit la sophistication de la méthode. Utilise l'IA pour soutenir un test conçu, pas pour le remplacer.

Devrait-on arrêter d'utiliser l'attribution ?

Non, mais rétrograde-la. L'attribution est utile pour l'optimisation en vol et pour comprendre le chemin vers la conversion. Pour les décisions de budget, l'incrémentalité devrait porter plus de poids, et quand les deux se contredisent, c'est l'expérience qu'il faut croire.

À quelle fréquence faire tourner des tests d'incrémentalité ?

Assez pour ancrer le modèle, typiquement par canal majeur de façon continue plutôt que tout d'un coup. Chaque expérience propre recalibre la vue toujours en marche et élève la confiance partout. Quelques bons tests par an, bien conçus, battent un flot constant de tests faibles.

Et si on ne peut pas faire tourner un holdout ?

Utilise un contrôle apparié, un switchback, ou un modèle, et rapporte l'estimation comme plus faible. Étiquette clairement la méthode et la confiance, et traite toute décision qui dépend d'une estimation faible comme provisoire. Être explicite sur la limite est plus crédible que de présenter chaque estimation comme égale.

La version courte

L'incrémentalité mesure ce qui ne se serait pas produit sans le marketing, et l'IA aide à concevoir les tests, estimer les effets, et trouver où ils se concentrent. Elle ne fournit jamais le contrefactuel, donc garde un contrôle et étiquette chaque estimation avec sa méthode. Le billet comment mesurer l'impact marketing de l'IA couvre les métriques opérationnelles, et le guide Exécution place la mesure dans le workflow plus large. Le parcours pour team leads la travaille à travers le modèle opérationnel.

Si tu fais tourner de l'incrémentalité, j'aimerais savoir à quelle méthode tu fais le moins confiance — c'est en général la réponse honnête.

À bientôt, Chandler


Cet article est en français, mais le contenu du cours (vidéos, templates et guides d'accompagnement) est proposé en anglais, japonais, chinois simplifié et coréen ; ce site est disponible en 13 langues.