Platform engineering de dados

Contexto

Operador de transporte público (8.000 funcionários). Equipes de dados (30 pessoas) sem plataforma self-service. Cada data engineer configura seu próprio ambiente (notebooks, clusters, dependências). Onboarding de 4 semanas, time-to-delivery de 6 semanas por projeto.

Problema & Desafio

30 data engineers sem plataforma comum, cada um gerencia seu próprio setup. Onboarding de um novo data engineer: 4 semanas para ser produtivo. Time-to-delivery de 6 semanas por projeto data → 40% gasto em configuração de ambiente. Nenhuma reprodutibilidade – resultados diferentes entre ambientes dev/staging/prod. Gestão de dependências caótica – conflitos de versão frequentes, 20% dos deploys falham. Diretoria de TI quer padronizar e acelerar → meta: onboarding 3 dias, delivery 2 semanas.

Solução & Entregas

– Platform engineering data operacional (Databricks + Terraform + templates de projeto padronizados) – Onboarding reduzido, passando de 4 semanas para 3 dias – ambiente pronto em 1 clique – Time-to-delivery reduzido de 6 para 2 semanas - templates de projetos pré-configurados – Reprodutibilidade total: ambientes dev/staging/prod idênticos via Infrastructure as Code – Deploys com falha reduzidos de 20% para 2%, gestão de dependências centralizada – Catálogo de componentes reutilizáveis → 30% do código mutualizado entre projetos

Tecnologias