Рецепт платформы потоковой обработки данных на Apache Flink

Apache Flink в инфраструктуре Яндекс Go работает более 4 лет. Но до недавнего момента воспользоваться им могли лишь некоторые продвинутые разработчики — так как Flink не такой дружелюбный, как может показаться на первый взгляд. Все изменилось, когда спрос на стриминг от различных DWH Яндекс Go побудил нас запустить проект по снижению порога входа в потоковую обработку данных.

Расскажу, какую инфраструктуру мы построили вокруг кластеров Apache Flink, начиная от одной и заканчивая сотней Flink job, и о том, какой API выбрали для описания пайплайнов. В итоге мы получили платформу, в которой DE могут легко создавать поставки, не сталкиваясь со сложностями управления Apache Flink job и используя удобный DSL.