Data Lineage: как настроить в зоопарке технологий и зачем это нужно

Data Lineage — это важный инструмент для отслеживания пути данных от источника до конечного использования, включающий все этапы преобразования и перемещения данных.

В докладе рассмотрим, как настроить Data Lineage с использованием DataHub для разнородных источников и какие преимущества это принесет: принятие обоснованных решений, снижение операционных рисков, повышение доверия к данным, ускорение Time To Market.

Рассмотрим шаги для интеграции DataHub с различными системами, такими как Kafka, Trino, dbt, Airflow, PostgreSQL, ClickHouse, S3, Tableau, Metabase и т. д. и кратко познакомимся с реальными примерами успешного внедрения.