Apache Flink под капотом: distributed, stateful, realtime

Apache Flink — фреймворк и движок для распределенной stateful-обработки потоков данных. В Авито его используют для realtime-обработки потока событий. Поскольку у них довольно высокая нагрузка, производительность очень важна. За время работы с ним они столкнулись с неявными сложностями Flink и осознали, насколько важно понимать устройство фреймворка под капотом. Валентина расскажет, что значит каждая из фич Apache Flink и как правильно с ними работать:

• Distributed: как распределяются и передаются данные?
• Stateful: как хранится состояние и что может пойти не так?
• Realtime: что такое время и как с ним правильно работать?

По каждому из аспектов спикер расскажет о проблемах, с которыми они сталкивались — почему они происходят и как их решать.