Автоматический тюнинг Spark-приложений

Валерия расскажет про Hadoop-кластер, где запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов. Все расчёты очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, основанную на логах, которые пишет сам Spark.

Валерия покажет, как удобно в офлайн-режиме извлечь море информации из этих логов и на что смотреть при автоматическом тюнинге spark.executor.memory. Она также подробно расскажет, как устроена их система тюнинга и что позволяет им постоянно подстраиваться под изменения. Доклад будет интересен тем, кто уже имеет дело со Spark и представляет себе его устройство.