Мониторинг DWH: от метаданных до DataOps

Переезд на новый DWH — это не только миграция данных, но и выстраивание процессов контроля их качества. Практический кейс внедрения мониторинга хранилища Skyeng — с первых этапов разработки.

Обсудим:

• миграцию: какие решения приняли и какие уроки извлекли;
• метаданные и DQ-проверки: архитектуру и технологии;
• что мониторим: полноту, актуальность, качество данных, скорость BI и их востребованность;
• инструменты: отчеты, алерты, автоматизацию задач;
• как мониторинг изменил процессы компании и помог начать переход к DataOps;
• почему метаданные важны с самого начала и как внедрить мониторинг без больших затрат и сторонних вендоров.