Доклад

Как мы улучшили процессы по работе с данными в Airflow: практические кейсы

На русском языке

Практическое использование Airflow в едином хранилище данных всего Транспортного комплекса Москвы. Как мы его использовали раньше, какие были вызовы и нюансы. Обсудим следующие темы:

  • Переход от sensors к datasets. Представлю примеры и сравню инструменты.
  • Кастомный удобный плагин для работы с датами в Airflow (и который себя отлично проявил в datasets).
  • Dynamic Tasks/DAGs. Покажу наши кейсы, где эти инструменты стали удобными в разработке и сопровождении.
  • Нетривиальные кейсы: MultiCron, плавающее окно для ожидания файла, кастомные вкладки в интерфейсе Airflow.

Будет интересно разработчикам, практикующим Airflow.

Спикеры

Доклады