Sejamos claros: um arquivo Excel com a lista de suas tabelas e suas descrições não é um catálogo de dados. É um documento morto que ninguém consulta e que ninguém atualiza. E, no entanto, ainda é o que encontramos na maioria das organizações.
Um catálogo de dados ativo é um sistema vivo. Ele coleta os metadados automaticamente das suas ferramentas — dbt, Airflow, Snowflake, Looker. Ele rastreia o lineage de ponta a ponta. Ele oferece uma busca poderosa. Ele orquestra a governança. E sobretudo, está sempre atualizado porque não depende da boa vontade de alguém para ser mantido.
Passivo vs ativo: dois mundos diferentes
O catálogo passivo é o inventário estático. Uma wiki Confluence, um Google Sheet compartilhado. Raramente atualizado, ninguém acredita nele. Quando um analista procura "receita", ele abre o Slack e pergunta à equipe de dados. Três dias depois, talvez tenha uma resposta.
O catálogo ativo inverte essa lógica. Um analista procura "receita" — encontra imediatamente cinco data products candidatos: Revenue, Revenue_Forecast, GMV. Ele compara seus SLAs, vê quem os utiliza, clica, acessa. Sem meses de investigação. A adoção de um catálogo ativo versus passivo? Mais 65%. É um número que vimos se confirmar em nossos casos de uso em produção.
As peças essenciais
A arquitetura de um catálogo ativo se baseia em quatro pilares. Primeiro, a ingestão automática de metadados: conectores para dbt para o lineage SQL, para Airflow para os DAGs, para Snowflake para o profiling e uso, para Looker para os dashboards. Tudo é sincronizado permanentemente.
Em seguida, um motor de busca poderoso. Full-text sobre tabelas, colunas, tags, glossário de negócio. O usuário digita uma palavra, encontra o que procura em dez segundos. Não em três dias.
O lineage visual vem complementar o conjunto. De onde vem esta coluna? Quais transformações ela sofreu? Onde é consumida? Se a coluna "discount_rate" muda, o lineage mostra o impacto em cascata: 15 tabelas dependentes, 45 dashboards afetados. É a rastreabilidade industrial aplicada aos dados. Quando uma métrica está errada, o lineage aponta o suspeito em cinco minutos.
Por fim, a camada de inteligência: colaboração, avaliações, anotações. Os usuários contribuem. Eles avaliam a qualidade, adicionam comentários, sinalizam problemas.
Qualidade automatizada: sem discussão, testes
Francamente, a qualidade dos dados não se garante com reuniões. Ela se automatiza. Cada tabela do catálogo tem testes — null checks, unicidade, integridade referencial, lógica de negócio. Os resultados são em tempo real.
O profiling automático detecta anomalias: distribuição de valores, outliers, mudanças de padrão. Um score de qualidade sintético agrega tudo isso — 85/100 significa 3 testes com falha e 1 anomalia de profiling. Os proprietários veem o score diariamente, com alertas em caso de queda.
Observamos que essa abordagem detecta 80% dos problemas de qualidade antes que impactem as análises. É industrialização da qualidade, não controle artesanal.
A integração que muda tudo
Um catálogo só é útil se for utilizado. E só é utilizado se se integrar nos fluxos de trabalho existentes. Quando um analista escreve uma consulta sobre "revenue_forecast" em seu IDE, uma tooltip aparece: "Data product Revenue Forecast — Owner: CFO office — SLA 99,5% — Última atualização há 2 horas — Nota 4,5/5." Um clique no proprietário abre uma mensagem direta.
Em paralelo, os negócios usam o marketplace integrado ao catálogo para encontrar seus dados de forma autônoma. Resultado: 90% das solicitações são em self-service. Apenas 10% chegam à equipe de dados para questões complexas. A carga operacional é dividida por cinco. É um resultado mensurável que constatamos nas organizações que operam seu catálogo seriamente.
A adoção: o verdadeiro desafio
Implantar um catálogo sem adoção é jogar dinheiro pela janela. A adoção exige um sponsor executivo que diga claramente "o catálogo é nosso sistema de verdade". Champions de dados em cada domínio. Um treinamento mínimo — 30 minutos bastam. E momentum.
O calendário que recomendamos na Bomzai: mês 1-2, ingestão dos metadados. Mês 2-3, mapeamento completo dbt, Airflow, Snowflake. Mês 3-4, campanha de comunicação interna — webinars, demos, canal Slack dedicado. Mês 4-6, iteração rápida sobre o feedback dos usuários.
O ponto de virada se situa em torno de 30-40% de adoção regular. Nesse estágio, o catálogo se torna autossustentável: os usuários contribuem, as anotações se enriquecem, a qualidade dos dados melhora. É um círculo virtuoso que co-construímos com várias organizações, e funciona desde que se opere o catálogo como um produto — não como um projeto que se entrega e se esquece.
