Catálogo de data products self-service

Contexto

Grande banco de varejo (20.000 funcionários, 5 bilhões de euros de PNB). Equipes de dados de 50 pessoas saturadas com demandas ad hoc (200/mês). Nenhum catálogo de data products self-service. Áreas de negócio 100% dependentes da equipe de dados para qualquer dataset. Time-to-data de 4 semanas em média. A empresa busca industrializar sua abordagem de dados, não recomeçar do zero.

Problema & Desafio

200 demandas data ad hoc/mês: equipe de 50 data engineers saturada, backlog de 6 semanas. Time-to-data médio de 4 semanas → áreas de negócio frustradas, shadow IT em crescimento. Nenhum catálogo de dados – as áreas de negócio não sabem quais dados existem e estão disponíveis. 60% das demandas são repetições de datasets já criados → reuso zero. Shadow IT estimado em 15%: áreas de negócio criando suas próprias extrações não governadas. Custo da equipe data: 5M€/ano, dos quais 70% em resposta a demandas ad hoc.

Solução & Entregas

1. Catálogo de data products self-service ativado (Databricks Unity Catalog + portal web) 2. 80 data products publicados e documentados - cobrindo 75% das demandas recorrentes 3. Time-to-data reduzido de 4 semanas para 2 dias para os casos cobertos pelo catálogo - Demandas ad hoc reduzidas em 60%. equipe de dados refocada nos temas de alto valor - Self-service operacional para 200 usuários de negócio: treinamento e onboarding em serviço - Shadow IT eliminado: governança de acessos e rastreabilidade via Unity Catalog Solução industrializada com fundações padronizadas Bomzai - não é um protótipo.

Tecnologias