Организация потоковой обработки данных для Big Data

Спикер расскажет, как в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду с помощью Scala (Java), Apache Spark Streaming и PostgreSQL. Основной задачей было сделать универсальный, мощный и надежный инструмент потоковой обработки данных. Универсальность заключается в настройке обработки данных с помощью конфигураций и DSL.

Вы узнаете про создание пайплайнов обработки данных. Они будут запускаться параллельно и их можно объединять в цепочки обработки данных.

Доклад будет интересен разработчикам и архитекторам потоковой обработки данных, Big Data. Новички в потоковой обработке смогут почерпнуть для себя необходимый опыт создания подобного инструмента, а опытные коллеги посмотрят на задачи под другим углом.