От хайпа до продакшена: data mesh на Airflow + dbt

Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад мы рассказывали про наш подход к интеграции dbt и Airflow, а сейчас хотим поделиться нашей библиотекой, которую выложили в open source.

Эта библиотека позволяет интегрировать dbt — относительно новый, но уже достаточно популярный инструмент для описания трансформаций и Airflow — известный всем оркестратор ETL-процессов.

Доклад будет состоять из трех частей:

• Сперва напомним, как у нас все устроено, при чем тут data mesh, dbt и Airflow. 
• Затем перейдем к анализу конкурентов, которых у нашей библиотеки dbt-af не так много.
• В конце покажем, насколько удобно dbt-af позволяет решать поставленные перед ней задачи.

Доклад, как и инструмент, будет полезен:

• DWH-командам, которые устали от гнета аналитиков;
• аналитикам, которые устали от медлительности DWH;
• всем, кому интересна практическая реализация data mesh с помощью доступных всем инструментов.

Библиотека: https://github.com/Toloka/dbt-af