Migração de workloads de analytics para Databricks

Contexto

Produtor de energias renováveis (1.000 funcionários, 600 milhões de euros de faturamento). Analytics em Spark on-premise (cluster Hadoop envelhecido). Custos de manutenção de 800 mil euros/ano, performances degradadas, competências Hadoop raras no mercado. Decisão de migrar para Databricks cloud.

Problema & Desafio

Cluster Hadoop on-premise envelhecendo – custos de manutenção 800K€/ano em alta. Performances degradadas: jobs Spark de 4h vs 30min esperados. Competências Hadoop impossíveis de encontrar, 2 vagas abertas há 12 meses não preenchidas. 80 jobs Spark e 200 notebooks a migrar para o cloud. Nenhuma documentação dos pipelines existentes – conhecimento concentrado em 2 pessoas. Diretoria quer a migração concluída em 6 meses para descomissionar o cluster antes da renovação.

Solução & Entregas

- Migração completa de 80 jobs Spark e 200 notebooks para Databricks cloud em 5 meses - Performance melhorada x8: jobs de 4h reduzidos para 30min graças ao Photon e ao auto-scaling - Custos reduzidos em 60%: 800K€/ano → 320K€/ano graças ao modelo pay-per-use cloud - Documentação completa dos pipelines criada durante a migração - risco de perda de conhecimento eliminado - Cluster Hadoop descomissionado dentro do prazo, zero custo de renovação - Equipe autônoma: treinamento Databricks de 5 data engineers - recrutamento Hadoop cancelado Primeiro resultado visível em 30 dias - industrialização completa em 3 meses.

Tecnologias