A IA não só reflete os preconceitos. Ela os captura, codifica nos parâmetros e reproduz em grande escala com aparência de objetividade. O problema se amplia com a industrialização: 88% das empresas usam IA em pelo menos uma função, mas só 33% conseguem implantá-la em escala (McKinsey, State of AI 2025). Quando um viés fica num protótipo, afeta alguns testes. Quando entra em produção, afeta milhares de decisões por dia.
No último 24 de fevereiro, a France 2 exibia Somos todos sexistas?. Marie Portolano e Jamy Gourmaud colocaram 50 voluntários em experimentos científicos para flagrar os vieses inconscientes. Resultado: todo mundo caiu da cadeira, inclusive quem tinha certeza de estar acima disso. Viés é exatamente isso: a gente carrega sem enxergar. Agora imagine entregar esses mesmos vieses a um algoritmo que processa milhares de decisões por segundo: triagem de currículos, concessão de crédito, geração de imagens. É assim que se constrói o problema da IA sexista: os nossos desvios humanos, reproduzidos em escala industrial, com a autoconfiança de uma máquina que se acha objetiva.
O viés de alocação: quando o algoritmo distribui as chances
O viés de alocação é o algoritmo que decide quem consegue um crédito, um emprego, um atendimento, com os preconceitos de ontem codificados nos dados. Aqui vão três casos documentados, verificados, publicados em periódicos com revisão por pares.
Na saúde: o algoritmo que destinava menos cuidado a pacientes negros. Em 2019, uma equipe da UC Berkeley liderada por Ziad Obermeyer publica na Science um estudo sobre o algoritmo da Optum (UnitedHealth Group), usado para 200 milhões de pacientes americanos. O algoritmo usava os custos de saúde como indicador de gravidade. Só que os pacientes negros gastavam em média US$ 1.800 a menos por ano, com as mesmas patologias, não porque estivessem mais saudáveis, mas porque tinham acesso desigual ao cuidado. Resultado: o algoritmo destinava menos recursos a eles. Corrigir esse viés teria feito a proporção de pacientes negros que recebem ajuda complementar subir de 17,7% para 46,5%. Uma diferença de 28 pontos, sobre 200 milhões de pessoas.
No recrutamento: os LLMs que nunca selecionam candidatos negros. Em março de 2025, um estudo publicado na PNAS Nexus testa os cinco principais LLMs (GPT-3.5, GPT-4o, Gemini 1.5, Claude 3.5, Llama 3) em 361.000 currículos fictícios, com competências idênticas, mas nomes que sinalizam etnia e gênero. Nomes de sonoridade branca são favorecidos em 85% das comparações diretas. Candidatos homens negros nunca são classificados à frente de um candidato branco: zero por cento de preferência, sem exceção. Esses vieses se traduzem em 1 a 3 pontos de diferença nas probabilidades de contratação. E, quando um recrutador humano discrimina 10 candidatos por dia, um algoritmo discrimina 10.000 por hora.
No crédito: o Apple Card e o scoring de gênero invisível. No fim de 2019, David Heinemeier Hansson descobre que o Apple Card concede a ele 20 vezes mais crédito do que à mulher, com o mesmo patrimônio. Steve Wozniak confirma uma proporção parecida com a própria esposa. O Departamento de Serviços Financeiros de Nova York abre uma investigação. O Goldman Sachs responde que gênero não é um fator. O regulador conclui, em 2021, que não houve discriminação intencional. Mas o caso expõe um problema estrutural: quando o algoritmo reproduz desigualdades históricas sem usar o gênero de forma explícita, provar o viés fica praticamente impossível. É o proxy bias: o gênero não está na equação, mas está em todo lugar nos dados.
O viés de estereótipo nos LLMs: o vocabulário que cria a diferença
Com os grandes modelos de linguagem, o viés mudou de forma. Já não se fala só de dados tabulares que discriminam em silêncio. Fala-se de textos gerados na hora, em que o estereótipo se esconde na escolha dos adjetivos.
Em fevereiro de 2025, um pesquisador digita uma frase em finlandês no Google Tradutor. O finlandês é uma língua inteiramente sem gênero. Existe um único pronome, « hän », para designar todo mundo. Nenhuma indicação de gênero na frase de origem. Resultado em inglês: "He is a doctor. She is a nurse." O algoritmo decidiu sozinho quem era médico e quem era enfermeira, inventando uma distinção que não existia no texto de origem. O Google corrigiu, desde então, alguns casos flagrantes, mas a correção de superfície não basta: assim que uma frase completa é processada, os estereótipos voltam. O viés está cravado nos dados de treinamento, não na interface.
A UNESCO publicou em março de 2024 um estudo que documenta o mesmo fenômeno em grande escala: os LLMs descrevem mulheres em papéis domésticos quatro vezes mais do que homens. As palavras associadas a nomes femininos? « Casa », « família », « filhos ». Aos nomes masculinos? « Comércio », « executivo », « salário ». Em 2024, com bilhões de parâmetros.
O experimento do Gemini sobre data engineering. Teste você mesmo: peça ao Gemini para descrever um data engineer e, em seguida, uma data engineer. Para o data engineer, o retrato se constrói em torno da potência e da arquitetura: « robusto », « espírito lógico », « resolução de problemas complexos », ele « cria sistemas ». Para a data engineer, o vocabulário muda: « precisão cirúrgica », « atenção aos detalhes », « visão transversal », « colaboração com os tomadores de decisão ». Ela é descrita como « elo indispensável da cadeia de valor ». O mesmo pipeline, dois retratos.
O que esse vocabulário revela não é detalhe de estilo. O homem constrói, cria, resolve. A mulher apoia, coordena, facilita. Os atributos masculinos valorizam uma competência autônoma e a capacidade de agir sobre os sistemas. Os atributos femininos valorizam qualidades relacionais e uma posição de apoio na cadeia. É exatamente o que os sociólogos chamam de subvalorização do trabalho feminino: com as mesmas competências, as tarefas associadas às mulheres são descritas como menos estratégicas, menos centrais, menos decisivas. O algoritmo não diz "ela é menos competente". Ele diz "ela é valiosa porque se adapta aos outros". Não é neutro. É uma hierarquia implícita codificada na escolha das palavras.
Há também uma dimensão de atribuição social: a data engineer não "cria" sistemas, ela os "entende" e "colabora" em torno deles. Ela é definida pelas relações com os outros atores, não pelos atos técnicos. Esse deslocamento fica invisível se a gente lê os dois retratos em separado. Fica evidente assim que se colocam lado a lado.
Quando o Gemini analisa as próprias respostas, identifica três vieses no próprio texto. Ele os nomeia e explica o mecanismo. E vai reproduzi-los mesmo assim na pergunta seguinte. É isso que dá vertigem: o modelo diagnostica o próprio viés com lucidez e não consegue se livrar dele sozinho.
Quem fiscaliza? O marco regulatório que está se formando
Até pouco tempo atrás, a resposta era: pouca gente. Mas as coisas mudam, e rápido.
O AI Act europeu, adotado em 2024, entra em aplicação plena em 2 de agosto de 2026 para os sistemas de alto risco: recrutamento, scoring de crédito, educação, justiça. Esses sistemas têm que ser documentados, auditáveis, transparentes, com intervenção humana obrigatória. O Escritório Europeu de IA (AI Office), criado no âmbito da Comissão Europeia, supervisiona a aplicação do regulamento com mais de 140 especialistas. As multas podem chegar a 15 milhões de euros ou 3% do faturamento mundial.
Na França, a CNIL é designada autoridade de controle do AI Act e anunciou uma intensificação dos controles sobre sistemas de RH a partir do outono de 2026. A DGCCRF e a Arcom completam o arcabouço. O Défenseur des droits também tem um papel central: o relatório de novembro de 2024 (Algoritmos, sistemas de IA e serviços públicos) documenta os riscos concretos para os usuários dos serviços públicos franceses. Um marco já existe. A questão é a execução.
As ferramentas técnicas que atacam o problema
A engenharia começou a se organizar diante desse problema. Existem várias abordagens, desde que entrem num pipeline de produção, e não fiquem esquecidas num notebook.
IBM AI Fairness 360 propõe, em especial, o Re-weighing, que redistribui os pesos estatísticos para o modelo dar a mesma importância aos resultados favoráveis, seja qual for o gênero, e o Disparate Impact Remover, que torna o gênero estatisticamente invisível para o aprendizado.
Microsoft Fairlearn ataca o problema na origem do treinamento: os algoritmos de redução forçam o modelo a manter desempenho parecido para todos os grupos de gênero. Às vezes, ser justo implica um leve custo em precisão global. É o compromisso entre equidade e desempenho, e é um compromisso documentado, não uma deriva.
AWS SageMaker Clarify integra a detecção de viés direto no pipeline de desenvolvimento, usando os valores de Shapley (emprestados da teoria dos jogos). Se o gênero aparece como fator determinante onde não deveria, o sistema alerta.
A Anthropic e a Constitutional AI seguem um caminho diferente: em vez de corrigir os vieses depois, o modelo é treinado para se autocriticar segundo uma « constituição » de princípios explícitos. Experimentos feitos com o público americano mostraram que uma constituição escrita junto com os cidadãos reduzia os scores de viés, um exemplo promissor de abordagem sistêmica.
Todas essas ferramentas têm uma coisa em comum: funcionam quando estão integradas num pipeline industrial, governado e monitorado o tempo todo. Um toolkit de correção de viés que fica na fase experimental é como um extintor que nunca chega a ser instalado. 80% dos projetos de Data e IA nunca passam dessa fase. É exatamente aí que os vieses se fixam para ficar.
A diversidade das equipes: um imperativo técnico tanto quanto ético
Os dados que treinam uma IA são escolhidos por humanos. As métricas de equidade são definidas por humanos. Os limiares de aceitabilidade são fixados por humanos. Se esses humanos formam um grupo homogêneo, em gênero, em origem, em disciplina, os pontos cegos dos vieses coletivos deles viram os pontos cegos da IA deles. É matemática.
O BCG resume a questão com o princípio 10-20-70: o valor da IA vem 10% dos algoritmos, 20% da tecnologia e 70% das pessoas, dos processos e da transformação cultural. Uma auditoria de viés algorítmico sem uma equipe diversa para interpretar trata 30% do problema.
A Capgemini promove o Ethics by Design: equipes diversas em gênero E em disciplinas (engenharia, ciências sociais, direito). A Accenture automatizou a equidade nos próprios processos: fim da exigência de diploma STEM para alguns cargos técnicos, investimento em startups que usam IA para corrigir as diferenças de remuneração. Usar a tecnologia para corrigir o que a tecnologia ajudou a construir.
Na Bomzai, vivemos essa convicção no dia a dia. As nossas equipes são pluridisciplinares por construção: engenheiros de dados, especialistas em IA, especialistas de negócio, perfis vindos das ciências sociais. Porque acompanhamos os clientes em sistemas em produção, governados e monitorados ao longo do tempo, a questão do viés faz parte do nosso cotidiano operacional. Um modelo em produção sem auditoria de viés é um risco regulatório, reputacional e, simplesmente, ético.
Não se nasce enviesado: o viés se programa. E o que se programou dá para corrigir, desde que se queira de verdade, com equipes que se pareçam com o mundo que constroem e com sistemas que entram em produção com salvaguardas, não só com boas intenções.
Quando se fala de dados e de IA, a tendência é sacar os gráficos e o jargão técnico. O que me interessa é a pessoa por trás da máquina. O código, no fundo, é sempre uma história de gente.
Principais fontes: Obermeyer et al., Science 2019 · An et al., PNAS Nexus 2025 · UNESCO, Bias Against Women and Girls in LLMs 2024 · McKinsey, State of AI 2025 · BCG, AI Adoption 2024 · AI Act, União Europeia 2024 · Défenseur des droits, relatório 2024.
