Data Quality as a Service — инструмент самообслуживания в большой компании

Расскажем про инструмент Data Quality, разработанный в MTC Web Services (MWS) для внедрения практик контроля качества данных. Сейчас инструментом пользуются более 150 продуктовых команд без привлечения сотрудников команды разработки.

Рассмотрим архитектуру решения и ее эволюцию под воздействием требований бизнеса и ограничений ИБ. Как мы организовали хранилище проверок с учетом параллельной работы большого количества команд. Какие механизмы были заложены в ядро инструмента для оптимизации нагрузки на источники данных. На примере продукта, создающего экосистемное хранилище данных, покажем, как инструмент встроен в процессы команды и каким образом десятки тысяч DQ-проверок помогают обеспечивать качество данных.