Планирование миллиардов задач каждый день

Система YTsaurus позволяет сохранять и обрабатывать петабайты данных каждый день. На таком масштабе планировщик должен справляться с аллокацией миллиардов задач каждый день на кластере, состоящем более чем из 10 000 хостов.

Спикер расскажет историю планировщика в системе YTsaurus: как он из небольшого приложения, в котором все решения об аллокациях принимаются в одном потоке исполнения, превратился в высоконагруженный распределенный сервис.

Вы узнаете о вызовах, с которыми пришлось столкнуться, а также об идеях и подходах, которые применили в команде для масштабирования планировщика.