Industrialisation pipelines Data Engineering

Contexte

Opérateur de transport public urbain (bus, tramway, métro) gérant 500+ véhicules et 10 000 capteurs IoT. Les données opérationnelles (géolocalisation, affluence, maintenance) sont produites par des systèmes hétérogènes (SCADA, SAEIV, billettique). L'équipe data de 4 personnes gère 30+ pipelines développés artisanalement sur des scripts Python/cron sans versionnement ni tests.

Problème & Défi

Pipelines artisanaux en scripts Python/cron : aucun versionnement, aucun test, documentation inexistante. Pannes silencieuses fréquentes : les métiers découvrent les problèmes en constatant des dashboards vides. MTTR (temps de résolution) de 4 heures en moyenne car les scripts ne sont compris que par leur auteur. Déploiement d'un nouveau flux : 3 semaines minimum incluant configuration manuelle des serveurs. Aucun monitoring ni alerting : les incidents sont remontés par les utilisateurs.

Solution & Livrables

Framework CI/CD data industrialisé : templates de pipelines réutilisables, tests automatisés (unitaires, intégration, qualité), déploiement en un clic. Stack d'observabilité complète : monitoring temps réel de tous les pipelines, alerting intelligent avec escalade, dashboards opérationnels. Runbooks documentés pour chaque pipeline critique avec procédures de recovery. 30+ pipelines migrés et stabilisés. Formation de l'équipe (4 personnes) aux pratiques DataOps.

Technologies