80% das decisões de negócio se baseiam em uma correlação que se toma por causalidade. E isso é um desastre em produção.
Observamos que os clientes que recebem email marketing compram 30% mais. Conclusão: enviar mais emails aumenta as vendas.
Problema: os clientes que recebem emails talvez já sejam melhores clientes. O email não é a causa. É uma correlação. Chamamos isso de confounding.
Você testa rigorosamente. Envia um email para um grupo aleatório, não envia para o outro. Resultado: o impacto real é 5%, não 30%. 25% do lift era confounding.
Não é raro. É a norma.
Na Bomzai, incentivamos as equipes a adotar a inferência causal rigorosa. Porque quando testamos como se deve, as decisões se tornam mais seguras e o ROI dobra.
A/B testing rigoroso: a fonte da verdade
Um A/B test rigoroso é um Randomized Controlled Trial (RCT) aplicado aos dados. Você divide aleatoriamente os usuários em dois grupos. Um recebe a intervenção (tratamento). O outro não (controle). Você mede a diferença.
É simples na teoria. Na prática, todo mundo faz mal feito.
Os erros clássicos: randomização não aleatória (você seleciona os participantes, ops). Tamanho de amostra muito pequeno (um dia de teste não é significativo). Métrica não pré-especificada (testamos 10 métricas, encontramos 1 significativa apenas por chance - falso positivo).
Um A/B test rigoroso exige: randomização clara, power analysis para o tamanho, duração suficiente, métrica pré-especificada. Os A/B tests rigorosos reduzem em 30% a taxa de erro das recomendações.
Muitas equipes fazem "A/B testing" sem o rigor. É cargo-culting: a forma sem o conteúdo. E isso custa caro em más decisões.
Análise contrafactual: o que teria acontecido?
Muitas vezes, não é possível criar grupos aleatórios. A intervenção já aconteceu. Ou é eticamente impossível.
A análise contrafactual estima: "o que teria acontecido sem intervenção?"
Técnicas: propensity score matching (encontrar equivalentes no grupo de controle), synthetic controls (construir um grupo de controle sintético), ou causal forest (ML para inferência causal).
Exemplo: uma promoção aumentou as vendas em 20%. A análise contrafactual estima que sem promoção, elas teriam aumentado 15% de qualquer forma (sazonalidade). O impacto real: 5%.
É poderoso. Mas exige sofisticação estatística. E é aí que muitos param.
Uplift modeling: quem realmente se beneficia?
Uplift modeling é uma técnica de ML que responde a uma pergunta subversiva: para cada cliente, essa intervenção gera um aumento (positive uplift), nada, ou uma diminuição (negative uplift)?
Exemplo: testamos uma oferta de 20% de desconto. Para os clientes sensíveis a preço, é positivo (uplift +10% de receita). Para os clientes fiéis, é negativo (uplift -5%: eles teriam comprado de qualquer forma, mas a preço cheio).
O modelo cria uma segmentação baseada na causalidade. Em vez de segmentar "todos os clientes mid-tier", segmentar "os clientes mid-tier nos quais essa oferta gera uplift".
O impacto: 2-3x superior a uma segmentação padrão. É enorme.
Cultura de experimentação
A causalidade rigorosa não é um projeto pontual. É uma cultura.
Você cria uma plataforma de experimentação (Optimizely, VWO, ou custom Airflow + dbt) onde cada equipe executa A/B tests. Define padrões: tamanho de amostra, duração mínima, métrica pré-especificada, stopping rules. Coleta os resultados em um catálogo de experimentações.
As boas organizações executam 100-500 experimentos por ano. É uma cadência de aprendizado. As ruins fazem 5-10: é anedotismo.
A cultura de experimentação gera 2-3x mais aprendizado do que a abordagem reativa. E o aprendizado se traduz em decisões melhores.
Infraestrutura para a causalidade
A causalidade rigorosa exige ferramentas. Plataforma de experimentação: Optimizely, VWO, ou custom (dbt + exposures tracking). Análise causal: causalml (pacote Python), DoWhy (causal graphs), stan (Bayesian inference). Visualização: grafos causais explícitos (Causal DAG). Infraestrutura: exposure tracking (quem recebeu qual intervenção, quando), logging robusto, data warehouse atualizado.
As melhores organizações investem 20-30% do orçamento de data/analytics em causalidade rigorosa.
A mudança que isso gera
Quando adotamos a inferência causal rigorosa, as coisas mudam. As decisões são menos anedóticas. Os ROIs estimados são mais conservadores mas mais confiáveis. E as organizações frequentemente descobrem que iniciativas que acreditavam ser rentáveis na verdade não são.
Não é agradável de descobrir. Mas é honesto. E isso força decisões melhores.
A inferência causal é a diferença entre o analytics que conta histórias e o analytics que prova a verdade. E francamente, é o único que importa em produção.
Comece pelos A/B tests rigorosos. Depois evolua para as análises contrafactuais e o uplift modeling. Você vai descobrir que seu ROI estimado estava inflado. Mas suas decisões reais serão melhores.
É o investimento mais rentável em analytics. As organizações que o fazem ganham 2-3x em ROI em relação àquelas que fazem analytics superficial.
