Начало основного контента

Тип доклада: Доклад

Автоматический тюнинг Spark-приложений

  • Доклад на русском языке

Валерия расскажет про Hadoop-кластер, где запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов. Все расчёты очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, основанную на логах, которые пишет сам Spark.

Валерия покажет, как удобно в офлайн-режиме извлечь море информации из этих логов и на что смотреть при автоматическом тюнинге spark.executor.memory. Она также подробно расскажет, как устроена их система тюнинга и что позволяет им постоянно подстраиваться под изменения. Доклад будет интересен тем, кто уже имеет дело со Spark и представляет себе его устройство.

  • #automation
  • #resource utilization
  • #apache spark

Спикеры

Приглашенные эксперты

Доклады