Migration Hadoop vers Lakehouse cloud

Context

Banque d'investissement (BFI) d'un groupe bancaire européen, avec un cluster Hadoop on-premise de 200 nœuds déployé en 2016. L'infrastructure supporte 50+ pipelines critiques de données de marché, risques et conformité. L'équipe Big Data de 12 personnes passe 70% de son temps en maintenance et firefighting. Le contrat de support Cloudera expire dans 12 mois.

Problem & challenge

Coûts d'infrastructure Hadoop multipliés par 3 en 5 ans (maintenance, licences, recrutement spécialisé). Dette technique majeure : versions obsolètes de Spark/Hive, scripts non versionnés, 0 tests automatisés. Pénurie critique de compétences Hadoop sur le marché. Temps de développement d'un nouveau pipeline : 6 semaines minimum. Incidents de production hebdomadaires impactant les reportings réglementaires.

Solution & deliverables

Plan de migration détaillé en 3 vagues sur 12 mois avec matrice de risques. Re-engineering des 50+ pipelines vers Spark sur Databricks avec tests automatisés. Nouveau socle cloud (landing zone sécurisée, networking, IAM) conforme aux exigences régulateur. Framework CI/CD data avec templates réutilisables et monitoring. Programme de formation et montée en compétence de l'équipe existante (12 personnes). Décommissionnement progressif du cluster Hadoop. Résultats mesurables dès le premier mois d'exploitation.

Technologies