80% dos fracassos de projetos de IA estão ligados à qualidade dos dados, não à complexidade dos modelos. No entanto, a maioria das organizações se precipita na escolha do algoritmo sem auditar seriamente seus dados previamente.
Aqui estão as 6 dimensões de qualidade a avaliar sistematicamente.
1. Completude
Definição: porcentagem de valores não nulos para cada campo crítico.
Um dataset com 40% de valores ausentes em um campo-chave não permitirá treinar um modelo confiável. Meça a completude por tabela, por coluna e por período temporal para detectar tendências.
Limite recomendado: > 95% para os campos utilizados como features de um modelo.
2. Exatidão
Definição: os dados refletem a realidade?
Um endereço de email sintaticamente válido mas que não existe é completo porém inexato. A exatidão se mede por comparação com uma fonte de verdade (referencial externo, verificação em campo).
3. Consistência
Definição: os mesmos dados são idênticos em diferentes sistemas?
Se o faturamento do Q4 difere entre o CRM, o ERP e o data warehouse, é um problema de consistência. Identifique as fontes mestras (golden sources) e meça as discrepâncias.
4. Atualidade
Definição: com que frequência os dados são atualizados?
Um modelo de scoring treinado com dados de 6 meses não será pertinente para previsões em tempo real. Defina o SLA de atualidade adequado para cada caso de uso.
5. Unicidade
Definição: ausência de duplicatas.
As duplicatas distorcem as agregações, enviesam os modelos e degradam a experiência do usuário. Implemente regras de deduplicação e controles automatizados.
6. Conformidade
Definição: os dados respeitam os formatos e regras de negócio esperados?
Um código postal de 4 dígitos no Brasil, uma data em formato americano em um sistema brasileiro, um montante negativo para um faturamento — essas anomalias devem ser detectadas automaticamente.
Como integrar esses controles
A avaliação da qualidade não deve ser um exercício pontual. Integre verificações automatizadas em seus pipelines de dados:
- Great Expectations ou Soda para os testes de qualidade nos pipelines
- Monte Carlo ou Anomalo para o monitoramento contínuo
- dbt tests para a validação na camada de transformação
A qualidade dos dados não é um projeto, é uma disciplina contínua.
