Apache Spark SQL. Расширяй и управляй

Как настроить Apache Spark под свои задачи без переписывания фреймворка.

Apache Spark — признанный лидер в мире обработки больших данных. Но что делать, когда для ваших уникальных бизнес-задач стандартных возможностей недостаточно?

Расскажу о подходах к расширению функциональности Spark SQL без вмешательства в исходный код платформы. Вы узнаете о создании собственных источников данных, разработке пользовательских функций для специализированной обработки и внедрении правил оптимизации, адаптирующихся под различные запросы. Обсудим преимущества и ограничения таких подходов, а также их влияние на производительность и сопровождение системы.

Для кого: специалисты по работе с данными, архитекторы информационных систем и руководители, определяющие стратегию развития продуктов для обработки данных.

Для восприятия материала будет достаточно базового понимания принципов работы Apache Spark.