Поговорим о C++ библиотеке Velox, имеющей большой потенциал для ускорения Presto и Spark, а также других аналитических систем обработки данных и СУБД. Рассмотрим основные и наиболее зрелые на текущий момент интеграции этой библиотеки с существующими популярными OLAP-/ML-системами.

В первой части доклада немного погрузимся в историю концепции Deconstructed Database (модульные, pluggable компоненты СУБД) и поговорим о месте Velox в ней.

Во второй части поговорим о Native Execution в целом, преимуществах нативного исполнения и о том, чем полезна (или жизненно необходима) векторизация вычислений, особенно для аналитических нагрузок.

Далее обсудим те проблемы, с которыми столкнулась компания Meta* в оптимизации своей инфраструктуры, и решение, которое было принято для улучшения ситуации, а именно: написание C++ библиотеки Velox для ускорения разнообразных workload внутри компании.

В заключительной части обсудим интеграции Velox с Presto, Spark и PyTorch, их зрелость и применимость в текущих реалиях, а также взглянем на бенчмарки от создателей этих продуктов.

Будет полезно разработчикам СУБД, разработчикам движков исполнения запросов, дата-инженерам.

* Деятельность компании Meta запрещена на территории РФ.

Pavel Solodovnikov

Talks from 2024 season

Let's Ditch Java to Massively Accelerate Spark/Presto... Or Not Yet?

Pavel Solodovnikov