Для OK Hadoop — это ключевой компонент инфраструктуры данных: он активно используется как для реализации продуктовой аналитики, так и для продакшена рекомендательных систем. С точки зрения объемов это более 200 PB в HDFS, 70k vcores, 200 TB RAM.

Вся инфраструктура в Одноклассниках (и не только) разворачивается во внутреннем контейнерном облаке и этому есть причины:

унификация эксплуатации как железа, так и приложений;
кардинальное повышение утилизации доступного железа.

В прошлом году очередь дошла и до Hadoop. Михаил расскажет:

о причинах отказа от классических подходов по развертыванию и эксплуатации Hadoop-кластеров;
о том, как провести миграцию сотен петабайт так, чтобы пользователи этого не заметили;
о сложности жизни с соседями (теперь на одной машине с Hadoop может поселиться другая программа, претендующая на ресурсы);
и, конечно же, о том, какие преимущества получили в итоге (спойлер — значительные).

Vladimir Ermakov

Talks from 2023 season

Hadoop in the Cloud is OK

Mikhail Maryufich