Definition rapide
Ce que c est
Le data lineage est la carte interrogeable du flux de donnees: sources, transformations, destinations et owners. Il rend visible qui touche quoi et dans quel ordre.
D ou vient cette metrique ?
Remonter les tables et joins qui l alimentent.
Quelles transformations ?
Voir les SQL, DAGs et jobs qui modifient les donnees.
Quel impact si je change ?
Lister les dependances aval avant de deployer.
Qui possede et consomme ?
Owners, equipes utilisatrices, SLA et documentation.
Pourquoi c est crucial en 2026
Debug plus rapide
30-50% de temps gagne sur les incidents grace aux dependances visibles.
Conformite et PII
Tracer toutes les copies de champs sensibles pour GDPR/CCPA.
Deploiements sereins
Evaluer le blast radius et prévenir les parties prenantes avant un changement.
Types de lineage
Table-level vs colonne
Le niveau table donne la couverture large. Le niveau colonne sert pour les KPI, PII et migrations sensibles.
Design-time vs run-time
Le code (models, DAGs) decrit l intention, les logs d execution montrent la realite. Combine les deux.
Automatique vs curate
Les parseurs donnent l etendue, l humain apporte sens metier, owner et SLA. Un mix est gagnant.
Blocs essentiels
Assets
Sources, tables, vues, dashboards, modeles ML.
Flux
SQL, ETL/ELT, DAGs, APIs.
Metadonnees
Owner, SLA, sensibilite, tests, documentation.
Cas d usage clefs
Impact analyse
Voir quels dashboards, jobs et tables seront touches avant un changement.
Root cause
Retracer un KPI faux et identifier la transformation fautive.
Conformite
Tracer les champs PII et leurs copies aval.
Migrations
Plan de migration warehouse ou deprecation de colonne avec checklist claire.
Lineage vs provenance
Le lineage repond au quoi/où: flux et dependances. La provenance repond au qui/quand/pourquoi: propriete, historique de qualite, evidences d audit.
Pour l ingenierie et la vitesse, le lineage suffit. Pour l audit et la conformite, combine lineage + logs d acces et traces historisees.
Collecte du lineage
Logs de requetes warehouse
Snowflake, BigQuery, Databricks pour les relations runtime.
Manifestes dbt
Graph design-time des models, tests et sources.
Evenements OpenLineage
Airflow/Dagster emettent des evenements standards de lineage.
Documentation ciblee
Decrire les flux critiques: owner, SLA, objectif, definition metier.
Outils 2026
Entreprises & catalogue
Collibra, Informatica, IBM, Alation pour les environnements vastes.
Catalogues modernes
Atlan, Select Star, Metaphor avec UX orientee usage.
Open source
OpenLineage, Marquez, Apache Atlas pour pipelines controlees.
Specialises
dbt pour la transformation, Datadef pour diagrammes et docs visuelles.
Mise en oeuvre en 5 etapes
Delimite le scope: dashboards Gold, rapports reguliers, tables critiques.
Active les signaux automatiques: logs de requete, dbt, OpenLineage.
Ajoute du contexte: owners, SLA, etiquettes PII, definitions metier.
Relie aux workflows: checks d impact en revue, playbooks incidents, onboarding.
Maintiens la fraicheur: updates quotidiens/hebdo, revues mensuelles, alertes sur les trous.
Lineage alimente par l IA
Parsing SQL avance
LLM pour CTE complexes, SQL dynamique et joins implicites.
Detection PII
Etiquetage automatique des champs sensibles sur plusieurs tables.
Prediction d impact
Simuler les changements et lister les consommateurs touches.
Auto-documentation
Generer descriptions, runbooks et diagrammes.
Obstacles et solutions
Couverture
Commence par 20% des assets clefs, elargis chaque mois.
Fraicheur
Jobs automatiques + alertes quand des evenements manquent.
Adoption
Mettre le lineage dans les revues, onboarding et process incidents.
FAQ
Faut-il du lineage colonne partout ?
Non. Niveau table pour la couverture, niveau colonne pour Gold, PII et migrations sensibles.
Comment garder a jour ?
Refresh auto quotidien ou hebdo, monitoring des trous, revues trimestrielles avec les owners.
Combien de temps pour un POC ?
2 a 3 semaines avec logs warehouse + dbt. Puis extension equipe par equipe.
Comment mesurer le ROI ?
Temps de root cause reduit, moins d incidents severes, deploys plus rapides, moins de tickets support.
Rends le lineage visible
Cree en quelques minutes un diagramme et une documentation partageables.