Каждый байт на вес золота. Опыт построения DMP в рекламе Яндекса

Расскажу про платформу управления данными Logos. Она была создана в Рекламных технологиях Яндекса для построения надежных пайплайнов обработки данных с помощью YTsaurus. В дальнейшем обрела популярность за пределами рекламы, и сегодня под управлением Logos находятся данные многих сервисов Яндекса, включая Маркет, Алису, Плюс, Кинопоиск, Музыку и другие.

Расскажу про основные компоненты платформы. Как мы описываем данные и ETL-процессы их обработки, как устроено тестирование, приемка и релизный цикл, как мониторим продакшен-процессы и качество данных, организуем пересчеты данных в прошлое для разных сценариев, документируем данные и процессы. И еще много интересного.

Будет полезно дата-инженерам, разработчикам ETL-фреймворков и дата-платформ, дата-архитекторам и всем остальным, кто интересуется большими данными.