Платформа управления данными вокруг YTsaurus

В 2023 вышла в Open Source YTsaurus или просто YT — платформа распределенного хранения и обработки больших данных. Это ядро и сердце инфраструктуры данных в Яндексе.

В Такси, Еде, Лавке и Доставке — строится платформа управления данными и постоянно адаптируется к быстро меняющимся требованиям бизнеса и внешним фактором. Несколько раз менялась архитектура и аналитические базы данных. И все эти годы только YT выглядит залогом стабильности и постоянства. Он был в 2016 и есть в 2023. Где-то в середине-конце 2019 к нему подключили Spark, а недавно та же участь постигла и Flink.

Владимир поделится опытом построения платформы управления данными вокруг YT, расскажет, где он хорош, а где его можно дополнить различными фреймворками или другими аналитическими базами. Эта тема может быть полезна архитекторам и дата-инженерам, которые собираются строить новое DWH или пересматривать архитектуру имеющегося, и стоят перед тяжелым вопросом выбора технологий из мира Open Source.