Migration workloads analytics vers Databricks

Contexte

Producteur d'énergies renouvelables (1 000 employés, 600M€ CA). Analytics sur Spark on-premise (cluster Hadoop vieillissant). Coûts de maintenance de 800K€/an, performances dégradées, compétences Hadoop rares sur le marché. Décision de migrer vers Databricks cloud.

Problème & Défi

Cluster Hadoop on-premise vieillissant – coûts de maintenance 800K€/an en hausse Performances dégradées : jobs Spark de 4h vs 30min attendues Compétences Hadoop introuvables, 2 postes ouverts depuis 12 mois non pourvus 80 jobs Spark et 200 notebooks à migrer vers le cloud Aucune documentation des pipelines existants – connaissance concentrée chez 2 personnes Direction veut la migration terminée en 6 mois pour décommissionner le cluster avant renouvellement

Solution & Livrables

- Migration complète de 80 jobs Spark et 200 notebooks vers Databricks cloud en 5 mois - Performances améliorées x8 : jobs de 4h ramenés à 30min grâce à Photon et l'auto-scaling - Coûts ramenés de 60% : 800K€/an → 320K€/an grâce au modèle pay-per-use cloud - Documentation complète des pipelines créée pendant la migration - risque de knowledge loss éliminé - Cluster Hadoop décommissionné dans les temps, zéro coût de renouvellement - Équipe autonome : formation Databricks de 5 data engineers - recrutement Hadoop annulé Premier résultat visible en 30 jours - industrialisation complète en 3 mois.

Technologies