Migração Hadoop para Lakehouse na nuvem

Contexto

Banco de investimento (BFI) de um grupo bancário europeu, com um cluster Hadoop on-premise de 200 nós implantado em 2016. A infraestrutura suporta mais de 50 pipelines críticos de dados de mercado, riscos e compliance. A equipe de Big Data de 12 pessoas dedica 70% do seu tempo à manutenção e firefighting. O contrato de suporte Cloudera expira em 12 meses.

Problema & Desafio

Custos de infraestrutura Hadoop multiplicados por 3 em 5 anos (manutenção, licenças, recrutamento especializado). Dívida técnica significativa: versões obsoletas de Spark/Hive, scripts não versionados, 0 testes automatizados. Escassez crítica de competências Hadoop no mercado. Tempo de desenvolvimento de um novo pipeline: 6 semanas no mínimo. Incidentes de produção semanais impactando os reportings regulatórios.

Solução & Entregas

Plano de migração detalhado em 3 ondas ao longo de 12 meses com matriz de riscos. Re-engenharia dos 50+ pipelines para Spark no Databricks com testes automatizados. Nova base cloud (landing zone segura, networking, IAM) em conformidade com as exigências regulatórias. Framework CI/CD de dados com templates reutilizáveis e monitoramento. Programa de treinamento e capacitação da equipe existente (12 pessoas). Decomissionamento progressivo do cluster Hadoop. Resultados mensuráveis desde o primeiro mês de operação.

Tecnologias