Как мы улучшили процессы по работе с данными в Airflow: практические кейсы

Практическое использование Airflow в едином хранилище данных всего Транспортного комплекса Москвы. Как мы его использовали раньше, какие были вызовы и нюансы. Обсудим следующие темы:

• Переход от sensors к datasets. Представлю примеры и сравню инструменты.
• Кастомный удобный плагин для работы с датами в Airflow (и который себя отлично проявил в datasets).
• Dynamic Tasks/DAGs. Покажу наши кейсы, где эти инструменты стали удобными в разработке и сопровождении.
• Нетривиальные кейсы: MultiCron, плавающее окно для ожидания файла, кастомные вкладки в интерфейсе Airflow.

Будет интересно разработчикам, практикующим Airflow.