В «Одноклассниках» есть множество рекомендательных систем, которые в реальном времени обрабатывают запросы от миллионов пользователей каждый день. Чтобы поддерживать качество этих систем, ежедневно исполняются сотни пайплайнов, которые собирают датасеты и признаки, обучают модели и выкатывают их на прод, исполняют модели в пакетном режиме, заливают признаки в Feature Store и делают еще много чего. Но что будет, если какие-то из пайплайнов перестанут работать...?В докладе спикер рассмотрит:

Требования к системе исполнения пайплайнов (по возможностям, масштабируемости и надежности).
Развитие собственных систем и связанные сложности.
Замену старых систем на Airflow и причины.
Конфигурацию кластера Airflow (и запуска задач в нем), устойчивую к выводу дата-центра.
Вопросы инцидент-менеджмента.

Andrey Kuznetsov