Инструменты Data Quality: как, зачем, почему. Опыт Т-Банка

Качество данных — это фундамент успешной работы с данными. Важную роль в этом процессе играют не только люди и процессы, но и инструменты контроля качества данных (DQ).

Существует множество подходов к внедрению инструментов DQ, и универсального решения для всех нет. Поделюсь опытом T-Банка по внедрению DQ-инструментов: от перехода с полностью in-house решения к модульному подходу на основе open source. Объясню, зачем, почему и как мы принимали эти решения.

Расскажу о выборе между open source-библиотеками Soda и Great Expectations, а также о том, какие части инструментов нам пришлось реализовать самостоятельно.

Обсудим методологию принятия решений по выбору подхода к имплементации DQ в зависимости от принятых подходов работы с данными. Рассмотрим различные варианты реализации DQ-инструментов и сравним их между собой. Вы узнаете, какие подходы лучше работают в разных ситуациях.

Доклад будет полезен как инженерам, так и руководителям, которые стремятся внедрить у себя эффективные инструменты контроля качества данных.