Soyons clairs : un fichier Excel avec la liste de vos tables et leurs descriptions, ce n'est pas un catalogue de données. C'est un document mort que personne ne consulte et que personne ne met à jour. Et pourtant, c'est encore ce qu'on trouve dans la majorité des organisations.
Un catalogue de données actif, c'est un système vivant. Il collecte les métadonnées automatiquement depuis vos outils - dbt, Airflow, Snowflake, Looker. Il trace le lineage de bout en bout. Il offre une recherche puissante. Il orchestre la gouvernance. Et surtout, il est toujours à jour parce qu'il ne dépend pas de la bonne volonté de quelqu'un pour être maintenu.
Passif vs actif : deux mondes différents
Le catalogue passif, c'est l'inventaire statique. Un wiki Confluence, un Google Sheet partagé. Rarement à jour, personne n'y croit. Quand un analyste cherche "CA", il ouvre Slack et demande à l'équipe data. Trois jours plus tard, il a peut-être une réponse.
Le catalogue actif inverse cette logique. Un analyste cherche "CA" - il trouve immédiatement cinq data products candidats : Revenue, Revenue_Forecast, GMV. Il compare leurs SLA, voit qui les utilise, clique, accède. Pas de mois d'investigation. L'adoption d'un catalogue actif versus passif ? Plus 65 %. C'est un chiffre qu'on a vu se confirmer sur nos cas d'usage en production.
Les briques essentielles
L'architecture d'un catalogue actif repose sur quatre piliers. D'abord, l'ingestion automatique de métadonnées : des connecteurs vers dbt pour le lineage SQL, vers Airflow pour les DAG, vers Snowflake pour le profiling et l'usage, vers Looker pour les dashboards. Tout est synchronisé en permanence.
Ensuite, un moteur de recherche puissant. Full-text sur les tables, colonnes, tags, glossaire métier. L'utilisateur tape un mot, il trouve ce qu'il cherche en dix secondes. Pas en trois jours.
Le lineage visuel vient compléter l'ensemble. D'où vient cette colonne ? Quelles transformations a-t-elle subies ? Où est-elle consommée ? Si la colonne "discount_rate" change, le lineage montre l'impact en cascade : 15 tables dépendantes, 45 dashboards affectés. C'est la traçabilité industrielle appliquée à la donnée. Quand une métrique est fausse, le lineage pointe le suspect en cinq minutes.
Enfin, la couche d'intelligence : collaboration, ratings, annotations. Les utilisateurs contribuent. Ils notent la qualité, ajoutent des commentaires, signalent les problèmes.
Qualité automatisée : pas de discussion, des tests
Franchement, la qualité des données ne s'assure pas avec des réunions. Elle s'automatise. Chaque table du catalogue a des tests - null checks, unicité, intégrité référentielle, logique métier. Les résultats sont en temps réel.
Le profiling automatique détecte les anomalies : distribution des valeurs, outliers, changements de pattern. Un score de qualité synthétique agrège tout ça - 85/100 signifie 3 tests en échec et 1 anomalie de profiling. Les propriétaires voient le score quotidiennement, avec des alertes en cas de chute.
On a observé que cette approche détecte 80 % des problèmes de qualité avant qu'ils n'impactent les analyses. C'est de l'industrialisation de la qualité, pas du contrôle artisanal.
L'intégration qui change tout
Un catalogue n'est utile que s'il est utilisé. Et il n'est utilisé que s'il s'intègre dans les flux de travail existants. Quand un analyste écrit une requête sur "revenue_forecast" dans son IDE, une tooltip s'affiche : "Data product Revenue Forecast - Owner : CFO office - SLA 99,5 % - Dernière mise à jour il y a 2 heures - Note 4,5/5." Un clic sur le propriétaire ouvre un message direct.
En parallèle, les métiers utilisent la marketplace intégrée au catalogue pour trouver leurs données de manière autonome. Résultat : 90 % des demandes sont en self-service. Seuls 10 % arrivent à l'équipe data pour des questions complexes. La charge ops est divisée par cinq. C'est un résultat mesurable qu'on constate chez les organisations qui opèrent leur catalogue sérieusement.
L'adoption : le vrai défi
Déployer un catalogue sans adoption, c'est jeter de l'argent par la fenêtre. L'adoption exige un sponsor exécutif qui dit clairement "le catalogue est notre système de vérité". Des champions data dans chaque domaine. Une formation minimale - 30 minutes suffisent. Et du momentum.
Le calendrier qu'on recommande chez Bomzai : mois 1-2, ingestion des métadonnées. Mois 2-3, mapping complet dbt, Airflow, Snowflake. Mois 3-4, campagne de communication interne - webinars, démos, channel Slack dédié. Mois 4-6, itération rapide sur le feedback utilisateurs.
Le point de bascule se situe autour de 30-40 % d'adoption régulière. À ce stade, le catalogue devient auto-entretenu : les utilisateurs contribuent, les annotations s'enrichissent, la qualité des données s'améliore. C'est un cercle vertueux qu'on a co-construit avec plusieurs organisations, et il fonctionne à condition d'opérer le catalogue comme un produit - pas comme un projet qu'on livre et qu'on oublie.