CI/CD для большого хранилища данных

Разработка хранилища данных — сложная задача, причем не с технической, а с операционной точки зрения. Любое хранилище постоянно приходится дорабатывать — изменять ETL-процессы, переделывать таблицы, оптимизировать производительность.

Например, в Т-Банке работает около 100 дата-инженеров, и мы релизим изменения в хранилище почти каждый день. Постоянная параллельная разработка порождает целый ворох специфических проблем, для решения которых просто не существует готовых решений. Поэтому нам пришлось разработать свой инструмент для CI/CD в хранилище данных. Расскажу, зачем мы это сделали, какие проблемы решили и почему мы думаем, что наша система самая лучшая и прогрессивная на земле.