Spark — всё!

Поговорим про Spark. Что он дал дата-инженерам? Почему многие из нас используют именно его?

Spark уже более 15 лет. С какими проблемами мы сталкиваемся при его использовании? Появилось ли что-то получше? Можно ли его уже чем-то заменить?

Почему %SQLEngineName% тормозит? Как это исправить? Бенчмарки, open source и тому подобное.