80% des décisions business reposent sur une corrélation qu'on prend pour une causalité. Et c'est un désastre en production.
On observe que les clients qui reçoivent de l'email marketing achètent 30% plus. Conclusion : envoyer plus de mails augmente les ventes.
Problème : les clients qui reçoivent des mails sont peut-être déjà de meilleurs clients. Le mail n'est pas la cause. C'est une corrélation. On appelle ça du confounding.
Vous testez rigoureusement. Vous envoyez un mail à un groupe aléatoire, pas à l'autre. Résultat : l'impact réel est 5%, pas 30%. 25% du lift était du confounding.
C'est pas rare. C'est la norme.
Chez Bomzai, on pousse les équipes vers l'inférence causale rigoureuse. Parce que quand on teste comme il faut, les décisions deviennent plus sûres et le ROI double.
A/B testing rigoureux : la source de vérité
Un A/B test rigoureux est une Randomized Controlled Trial (RCT) appliquée aux données. Vous divisez aléatoirement les utilisateurs en deux groupes. Un reçoit l'intervention (traitement). L'autre non (contrôle). Vous mesurez la différence.
C'est simple en théorie. En pratique, tout le monde bâcle ça.
Les bâcles classiques : randomisation pas aléatoire (vous sélectionnez les participants, oups). Taille d'échantillon trop petite (un jour de test, c'est pas significatif). Métrique pas pré-spécifiée (on teste 10 métriques, on en trouve 1 significative juste par chance - false positive).
Un A/B test rigoureux exige : randomisation claire, power analysis pour la taille, durée suffisante, métrique pré-spécifiée. Les A/B tests rigoureux réduisent de 30% le taux d'erreur des recommandations.
Beaucoup d'équipes font du « A/B testing » sans la rigueur. C'est du cargo-culting : la forme sans le contenu. Et ça coûte cher en mauvaises décisions.
Analyse contrefactuelle : qu'aurait-il se passé ?
Souvent, on ne peut pas créer des groupes aléatoires. L'intervention est passée. Ou c'est éthiquement impossible.
L'analyse contrefactuelle estime : « qu'aurait-il se passé sans intervention ? »
Techniques : propensity score matching (trouver des homologues dans le groupe de contrôle), synthetic controls (construire un groupe de contrôle synthétique), ou causal forest (ML pour l'inférence causale).
Exemple : une promotion a augmenté les ventes de 20%. L'analyse contrefactuelle estime que sans promotion, elles auraient augmenté de 15% anyway (seasonalité). Le vrai impact : 5%.
C'est puissant. Mais ça demande de la sophistication statistique. Et c'est là que beaucoup s'arrêtent.
Uplift modeling : qui bénéficie vraiment ?
Uplift modeling est une technique de ML qui répond à une question subversive : pour chaque client, est-ce que cette intervention génère une augmentation (positive uplift), rien, ou une diminution (negative uplift) ?
Exemple : on teste une offre de 20% de réduction. Pour les clients price-sensitive, c'est positif (uplift +10% revenu). Pour les loyal customers, c'est négatif (uplift -5% : ils auraient acheté anyway mais à plein prix).
Le modèle crée une segmentation basée sur la causalité. Au lieu de cibler « tous les clients mid-tier », cibler « les clients mid-tier chez lesquels cette offer génère du uplift ».
L'impact : 2-3x supérieur à une segmentation standard. C'est énorme.
Culture d'expérimentation
La causalité rigoureuse n'est pas un projet ponctuel. C'est une culture.
Vous créez une plateforme d'experimentation (Optimizely, VWO, ou custom Airflow + dbt) où chaque équipe exécute des A/B tests. Vous définissez des standards : taille d'échantillon, durée minimale, métrique pré-spécifiée, stopping rules. Vous collectez les résultats dans un catalog d'expérimentations.
Les bonnes organisations exécutent 100-500 expériences par an. C'est une cadence d'apprentissage. Les mauvaises en font 5-10 : c'est de l'anecdotisme.
La culture d'experimentation génère 2-3x plus de learning que l'approach réactive. Et l'apprentissage se traduit en décisions meilleures.
Infrastructure pour la causalité
La causalité rigoureuse exige des outils. Platform d'experimentation : Optimizely, VWO, ou custom (dbt + exposures tracking). Analyse causale : causalml (package Python), DoWhy (causal graphs), stan (Bayesian inference). Visualization : graphes causaux explicites (Causal DAG). Infrastructure : exposition tracking (qui a reçu quelle intervention, quand), logging robuste, data warehouse à jour.
Les meilleures organisations investissent 20-30% du budget data/analytics dans la causalité rigoureuse.
Le changement que ça crée
Quand on adopte l'inférence causale rigoureuse, les choses changent. Les décisions sont moins anecdotiques. Les ROI estimés sont plus conservateurs mais plus fiables. Et les organisations découvrent souvent que des initiatives qu'elles croyaient rentables ne le sont pas réellement.
C'est pas agréable à découvrir. Mais c'est honnête. Et ça force les décisions meilleures.
L'inférence causale est la différence entre l'analytics qui raconte des histoires et l'analytics qui prouve la vérité. Et franchement, c'est la seule qui compte en production.
Commencez par les A/B tests rigoureux. Puis évoluez vers les analyses contrefactuelles et l'uplift modeling. Vous allez découvrir que votre ROI estimé était gonflé. Mais vos vraies décisions seront meilleures.
C'est l'investissement le plus rentable en analytics. Les organisations qui le font gagnent 2-3x en ROI par rapport à celles qui font de l'analytics superficielle.