Оркестратор пайплайнов для небольшой команды инженеров и аналитиков: как мы используем Dagster

Особенность пайплайнов в Bestplace в том, что их пишут и дата-инженеры на Python, и аналитики в Jupyter-ноутбуках. Как сделать удобный оркестратор для тех и для других, при этом силами небольшой команды?

В 2020 году мы обратили внимание на Dagster, стали его ранними пользователями, взаимодействовали с его командой разработки и в итоге успешно используем его уже несколько лет.

Расскажем про опыт внедрения и эксплуатации Dagster, ghего преимущества для решения различных дата-инженерных задач, а также про сборку Dagster-пайплайнов из YAML и Jupyter-ноутбуков.