TEDI под микроскопом: CRD и Kubernetes-операторы для жизненного цикла «ETL-пробирок»

Проект TEDI уже давно служит основой для запуска и оркестрации ETL-задач. Однако рост нагрузки и сложность управления задачами потребовали от команды Т-Банка новой архитектуры.

Расскажу, как в Т-Банке построили инфраструктуру нового поколения поверх Kubernetes — через CRD, Ansible Operator и собственные плагины. Вы узнаете, как выглядит жизненный цикл ETL-задачи от кода в Git до продакшен-артефакта, что такое «пробирки», как устроена доставка DAGов, и как мы интегрировали все это в существующий DataOps.

Покажу и что не получилось: деградации, боттлнеки. Подскажу, на что стоит обратить внимание при внедрении Kubernetes в дата-инфраструктуру.

Технологии: Kubernetes (Ansible Operator, CRD), Apache Airflow (конфигурация внутри «пробирок»), DataOps-инструменты (контроль артефактов через GitLab/S3), TEDI, Kubernetes API.

Аудитория:

• дата-инженеры, которые хотят «продуктивизировать» ad-hoc ETL-задачи;
• DevOps, внедряющие GitOps для управления кастомными операторами;
• архитекторы, решающие проблемы согласованности артефактов и инфраструктуры.