Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад мы рассказывали про наш подход к интеграции dbt и Airflow, а сейчас хотим поделиться нашей библиотекой, которую выложили в open source.

Эта библиотека позволяет интегрировать dbt — относительно новый, но уже достаточно популярный инструмент для описания трансформаций и Airflow — известный всем оркестратор ETL-процессов.

Доклад будет состоять из трех частей:

Сперва напомним, как у нас все устроено, при чем тут data mesh, dbt и Airflow.
Затем перейдем к анализу конкурентов, которых у нашей библиотеки dbt-af не так много.
В конце покажем, насколько удобно dbt-af позволяет решать поставленные перед ней задачи.

Доклад, как и инструмент, будет полезен:

DWH-командам, которые устали от гнета аналитиков;
аналитикам, которые устали от медлительности DWH;
всем, кому интересна практическая реализация data mesh с помощью доступных всем инструментов.

Библиотека: https://github.com/Toloka/dbt-af

VKontakte Serialiser Optimisations

Speakers

Ilia Asadullin

Ilia Kokorin

Other talks on «Use Cases»