Definicao rapida
O que e
Data lineage e o grafo consultavel do fluxo de dados: fontes, transformacoes, destinos e responsaveis. Torna explicito quem toca os dados e em qual ordem.
De onde vem esta metrica?
Subir pelas tabelas e joins que a alimentam.
Quais transformacoes?
SQL, DAGs e jobs que alteram os dados.
Que impacto tera uma mudanca?
Listar dependencias downstream antes do deploy.
Quem possui e usa?
Owners, times consumidores, SLA e documentacao.
Por que importa em 2026
Debug mais rapido
30-50% menos tempo em incidentes com dependencias visiveis.
Compliance e PII
Rastrear todas as copias de campos sensiveis para GDPR/CCPA.
Deploys seguros
Avaliar blast radius e avisar stakeholders antes de mudar.
Tipos de lineage
Table-level vs column-level
Tabela para cobertura ampla, coluna para KPI, PII e mudancas sensiveis.
Design-time vs run-time
Codigo mostra a intencao, logs de execucao mostram a realidade. Use ambos.
Automatico vs curado
Parser para escala, curacao humana para contexto (owner, SLA, definicoes).
Blocos chave
Ativos
Fontes, tabelas, views, dashboards, modelos ML.
Fluxos
SQL, ETL/ELT, DAGs, chamadas API.
Metadados
Owner, SLA, sensibilidade, testes, documentacao.
Casos de uso principais
Analise de impacto
Ver dashboards, jobs e tabelas afetados antes de mudar algo.
Root cause
Rastrear um KPI errado e achar a transformacao responsavel.
Compliance
Mapear campos PII e copias downstream.
Migracoes
Migrar warehouse ou descontinuar colunas com checklist claro.
Lineage vs provenance
Lineage responde ao que/onde: fluxos e dependencias. Provenance responde ao quem/quando/por que: propriedade, historico de qualidade e trilha de auditoria.
Para operacao rapida basta lineage; para auditoria junte logs de acesso e historico de alteracoes.
Coleta de lineage
Logs de consultas do warehouse
Snowflake, BigQuery, Databricks para relacoes de runtime.
Manifestos dbt
Grafo design-time de modelos, testes e fontes.
Eventos OpenLineage
Airflow/Dagster emitem eventos padronizados.
Documentacao direcionada
Descrever fluxos criticos: owner, SLA, objetivo, definicao de negocio.
Ferramentas 2026
Enterprise e catalogo
Collibra, Informatica, IBM, Alation para ambientes grandes.
Catalogos modernos
Atlan, Select Star, Metaphor com foco em UX.
Open source
OpenLineage, Marquez, Apache Atlas para pipelines controladas.
Especializados
dbt para transformacao, Datadef para diagramas e documentacao visual.
Implementacao em 5 passos
Defina o escopo: dashboards Gold, relatorios regulados, tabelas criticas.
Ative sinais automaticos: logs de consultas, dbt, OpenLineage.
Adicione contexto: owners, SLA, tags PII, definicoes de negocio.
Conecte aos fluxos: checks de impacto em review, playbooks de incidente, onboarding.
Mantenha fresco: atualizacoes diarias/semanais, revisoes mensais, alertas de lacunas.
Lineage com IA
Parsing SQL avancado
LLM para CTEs complexas, SQL dinamico e joins implicitos.
Deteccao de PII
Classificacao automatica de campos sensiveis em varias tabelas.
Previsao de impacto
Simular mudancas e listar consumidores afetados.
Auto-documentacao
Gerar descricoes, runbooks e diagramas.
Obstaculos e solucoes
Cobertura
Comece com 20% dos ativos criticos, expanda todo mes.
Freshness
Jobs automaticos + alertas quando eventos faltam.
Adocao
Coloque lineage em reviews, onboarding e resposta a incidentes.
FAQ
Preciso de column-level em tudo?
Nao. Nivel tabela para amplitude; nivel coluna para Gold, PII e mudancas delicadas.
Como manter atualizado?
Refresh automatico diario/semanal, monitorar lacunas, revisoes trimestrais com owners.
Quanto tempo para um POC?
2-3 semanas com logs do warehouse + dbt; depois rollout gradual por equipe.
Como medir ROI?
Tempo de root cause menor, menos incidentes severos, deploys mais rapidos, menos tickets.
Deixe o lineage visivel
Gere em minutos um diagrama e documentacao compartilhavel.