![](https://squidex.jugru.team/api/assets/srm/519d0a02-6e9e-45f9-88c6-4e72ff02f2b2/photo-2022-04-14-17.13.26.jpeg?cache=3600&width=74&height=74&mode=CropUpsize)
Валерия Дымбицкая
Компания: oneFactor
Тип доклада: Доклад
Валерия расскажет про Hadoop-кластер, где запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов. Все расчёты очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, основанную на логах, которые пишет сам Spark.
Валерия покажет, как удобно в офлайн-режиме извлечь море информации из этих логов и на что смотреть при автоматическом тюнинге spark.executor.memory. Она также подробно расскажет, как устроена их система тюнинга и что позволяет им постоянно подстраиваться под изменения. Доклад будет интересен тем, кто уже имеет дело со Spark и представляет себе его устройство.
Компания: oneFactor
Компания: МТC Digital