Надежные и масштабируемые пайплайны в OK

В «Одноклассниках» есть множество рекомендательных систем, которые в реальном времени обрабатывают запросы от миллионов пользователей каждый день. Чтобы поддерживать качество этих систем, ежедневно исполняются сотни пайплайнов, которые собирают датасеты и признаки, обучают модели и выкатывают их на прод, исполняют модели в пакетном режиме, заливают признаки в Feature Store и делают еще много чего. Но что будет, если какие-то из пайплайнов перестанут работать...?В докладе спикер рассмотрит:

• Требования к системе исполнения пайплайнов (по возможностям, масштабируемости и надежности).
• Развитие собственных систем и связанные сложности.
• Замену старых систем на Airflow и причины.
• Конфигурацию кластера Airflow (и запуска задач в нем), устойчивую к выводу дата-центра.
• Вопросы инцидент-менеджмента.