Начало основного контента

Тип доклада: Доклад

Надежные и масштабируемые пайплайны в OK

  • Доклад на русском языке

В «Одноклассниках» есть множество рекомендательных систем, которые в реальном времени обрабатывают запросы от миллионов пользователей каждый день. Чтобы поддерживать качество этих систем, ежедневно исполняются сотни пайплайнов, которые собирают датасеты и признаки, обучают модели и выкатывают их на прод, исполняют модели в пакетном режиме, заливают признаки в Feature Store и делают еще много чего. Но что будет, если какие-то из пайплайнов перестанут работать...?В докладе спикер рассмотрит:


  • Требования к системе исполнения пайплайнов (по возможностям, масштабируемости и надежности).
  • Развитие собственных систем и связанные сложности.
  • Замену старых систем на Airflow и причины.
  • Конфигурацию кластера Airflow (и запуска задач в нем), устойчивую к выводу дата-центра.
  • Вопросы инцидент-менеджмента.
  • #datapipelines
  • #airflow
  • #ha

Спикеры

Приглашенные эксперты

Доклады