Optimisation coûts Databricks

Contexte

Banque d'investissement (4 000 employés). Facture Databricks de 2M€/an en hausse de 45%/an. Aucune gouvernance FinOps Databricks : clusters toujours allumés, jobs non optimisés, SQL Warehouse surdimensionnés. DSI sous pression pour réduire les coûts sans impacter les équipes data.

Problème & Défi

→ Facture Databricks 2M€/an en hausse de 45% - budget non soutenable à horizon 2 ans - Clusters interactifs allumés 24/7 → utilisés en moyenne 4h/jour (utilisation 17%) → SQL Warehouses surdimensionnés : T-shirt XL pour des requêtes nécessitant un M - Jobs Spark non optimisés : 30% des jobs consomment 70% du budget → Aucune politique de cluster auto-termination ni de resource tagging - DSI doit réduire de 35% sans couper les projets data. equation impossible sans FinOps

Solution & Livrables

- Audit FinOps Databricks complet et plan d'optimisation en service en 6 semaines - Cluster policies implémentées : auto-termination 30min, instance pools, spot instances - SQL Warehouses rightsizés : serverless activé pour les workloads variables - Top 30% des jobs optimisés (partitionnement, caching, broadcast joins). coût unitaire passé de 50% - Facture passée de 38% (2M€ → 1,24M€/an). dépassement de l'objectif DSI de 35% - Gouvernance FinOps pérenne : dashboards coûts par équipe, alertes de dérive, revues mensuelles

Technologies