Как навести порядок в двух эксабайтах данных?

В компании с быстрорастущим объемом данных ориентироваться в них становится сложнее с каждым днем. В этой ситуации помогают каталоги данных, однако информация в них, как правило, заполняется пользователями собственноручно или берется из ERM-связей небольших БД. Мы же во внутреннем DataCatalog научились автоматически на основе логов ETL-операций и ad hoc-расчетов собирать Data Lineage системы YTsaurus.

Расскажем, как пытаемся стать единой точкой истины о всех данных компании. Будет интересно поставщикам и потребителям данных, дата-инженерам и дата-аналитикам, пользователям MapReduce-систем.