Infrastructure as Code completa

Contexto

Grande banco sistêmico buscando uma plataforma de dados unificada para substituir um mosaico de 8 ferramentas (Hadoop, Teradata, SAS, SPSS, Tableau, Power BI, Jupyter, Spark standalone). Os custos totais de licença atingem 8 milhões de euros/ano. A interoperabilidade entre ferramentas é baixa: os data engineers gastam 40% do seu tempo transferindo dados entre sistemas.

Problema & Desafio

8 ferramentas data com 8M€/ano de licenças e 0 interoperabilidade nativa. 40% do tempo dos data engineers em transferência de dados entre sistemas. Competências fragmentadas: cada ferramenta requer perfis especializados diferentes. Governança impossível: nenhuma visão unificada dos dados, dos acessos e dos usos. 300 usuários data frustrados com a complexidade do ecossistema.

Solução & Entregas

Plataforma Databricks Enterprise implantada como base unificada data + IA + analytics. Unity Catalog: governança centralizada dos dados, dos modelos ML e dos acessos para os 300 usuários. Migração progressiva das 8 ferramentas: Hadoop → Databricks (lakehouse), SAS/SPSS → ML Databricks, Tableau/Power BI mantidos com conectores. Workspaces por domínio de negócio: autonomia das equipes em um framework governado. Programa de treinamento: 300 usuários capacitados em 3 meses com certificações Databricks.

Tecnologias