Architecture data Medallion complète

Contexte

Producteur d'énergie (4 000 employés, 2 Mds€ CA). Données brutes de production (compteurs, SCADA, météo) stockées en vrac dans un data lake S3 non structuré. Aucune couche de transformation, données non fiables, data scientists passant 70% de leur temps en préparation de données.

Problème & Défi

→ Data lake S3 non structuré → données brutes en vrac, aucune couche de transformation - Data scientists passent 70% de leur temps à préparer les données vs 30% attendu → Données compteurs et SCADA non fiables : 15% d'anomalies non détectées - Aucune couche curated : les mêmes transformations sont refaites par chaque équipe → Coût de stockage S3 en hausse de 50%/an car aucune politique de rétention - 8 cas d'usage IA bloqués faute de données propres et structurées

Solution & Livrables

– Architecture Medallion complète opérationnelle (Bronze → Silver → Gold) sur Databricks avec Delta Lake – Couche Bronze : ingestion automatisée de 12 sources (compteurs, SCADA, météo, ERP) avec historique – Couche Silver : transformations standardisées, déduplication, validation qualité, anomalies détectées à 98% – Couche Gold : datasets métier prêts à l'emploi. data scientists recentrés sur le ML (70% du temps vs 30% avant) – 8 cas d'usage IA débloqués grâce aux données fiables et structurées – Coûts de stockage optimisés de 35% grâce au partitionnement et aux politiques de rétention

Technologies