Definizione
Che cos e
Il data lineage e il grafo interrogabile che mostra fonti, trasformazioni, destinazioni e proprietari. Rende esplicito chi tocca i dati e in quale sequenza.
Da dove viene questa metrica?
Risalire tabelle e join che la alimentano.
Quali trasformazioni?
SQL, DAG e job che modificano i dati.
Che impatto avra un cambio?
Elenco di dipendenze downstream prima del deploy.
Chi possiede e usa?
Owner, team fruitori, SLA e documentazione.
Perche conta nel 2026
Debug veloce
30-50% di tempo in meno sugli incident grazie a dipendenze visibili.
Compliance e PII
Traccia tutte le copie di campi sensibili per GDPR/CCPA.
Deploy sicuri
Valuta blast radius e avvisa gli stakeholder prima del rilascio.
Tipi di lineage
Table-level vs column-level
Livello tabella per copertura ampia, livello colonna per KPI, PII e migrazioni delicate.
Design-time vs run-time
Il codice mostra l intento, i log di esecuzione mostrano la realta. Servono entrambi.
Automatico vs curato
Parser per copertura, curazione umana per contesto (owner, SLA, definizioni).
Blocchi chiave
Asset
Fonti, tabelle, viste, dashboard, modelli ML.
Flussi
SQL, ETL/ELT, DAG, chiamate API.
Metadati
Owner, SLA, sensibilita, test, documentazione.
Casi d uso principali
Analisi di impatto
Vedi quali dashboard, job e tabelle saranno toccati prima di un cambio.
Root cause
Rintraccia un KPI errato e individua la trasformazione difettosa.
Compliance
Traccia campi PII e copie downstream.
Migrazioni
Migrazione di warehouse o deprecazione di colonne con checklist chiara.
Lineage vs provenance
Il lineage risponde a cosa/dove: flussi e dipendenze. La provenance copre chi/quando/perche: proprieta, storico qualita, audit trail.
Per velocita operativa serve il lineage; per audit serve aggiungere provenienza e log di accesso.
Raccolta del lineage
Log di query del warehouse
Snowflake, BigQuery, Databricks per relazioni runtime.
Manifesti dbt
Grafo design-time di modelli, test e fonti.
Eventi OpenLineage
Airflow/Dagster emettono eventi standard.
Documentazione mirata
Descrivi flussi critici: owner, SLA, scopo, definizione business.
Strumenti 2026
Enterprise e catalogo
Collibra, Informatica, IBM, Alation per grandi ambienti.
Cataloghi moderni
Atlan, Select Star, Metaphor con UX focalizzata.
Open source
OpenLineage, Marquez, Apache Atlas per pipeline controllate.
Specializzati
dbt per trasformazioni, Datadef per diagrammi e documentazione visiva.
Implementazione in 5 passi
Definisci lo scope: dashboard Gold, report regolatori, tabelle critiche.
Attiva segnali automatici: log di query, dbt, OpenLineage.
Aggiungi contesto: owner, SLA, tag PII, definizioni business.
Integra nei workflow: controlli di impatto in review, playbook incident, onboarding.
Mantieni fresco: aggiornamenti giornalieri/settimanali, review mensili, alert su buchi.
Lineage con IA
Parsing SQL avanzato
LLM per CTE complesse, SQL dinamico e join impliciti.
Rilevazione PII
Classificazione automatica di campi sensibili su piu tabelle.
Previsione impatto
Simula cambi e lista i consumatori toccati.
Auto-documentazione
Genera descrizioni, runbook e diagrammi.
Ostacoli e soluzioni
Copertura
Parti dal 20% di asset critici, espandi mensilmente.
Freshness
Job automatici + alert quando mancano eventi.
Adozione
Inserisci il lineage in review, onboarding e incident response.
FAQ
Serve il column-level ovunque?
No. Livello tabella per ampiezza, livello colonna per Gold, PII e cambi delicati.
Come lo tengo aggiornato?
Refresh automatico giornaliero/settimanale, monitoraggio dei buchi, review trimestrali con gli owner.
Quanto dura un POC?
2-3 settimane con log del warehouse + dbt, poi rollout graduale ai team.
Come misuro il ROI?
Tempo di root cause ridotto, meno incident severi, deploy piu rapidi, meno ticket.
Rendi visibile il lineage
Genera in pochi minuti un diagramma e una documentazione condivisibile.