Как мы переезжали с PostgreSQL на Data Lake в AWS

В Whoosh работают на стеке AWS — PostgreSQL, S3, Redshift, а все модели данных строят в dbt и немного Python. Этот год для команды инженеров данных можно назвать годом переезда. У них была глобальная идея переехать с одного хранилища (PostgreSQL) — а это включает в себя всю отчетность для бизнеса и модели dbt — на рельсы Data Lake. Цель — оптимизация расходов, потому что Аврора (PostgreSQL) записывает в расход каждый запрос, тогда как Redshift — это MPP колоночная БД, расходы которой постоянны — n$/час (и работает она быстрее, да). Однако вследствие переезда выяснилось, что для геозадач это решение не совсем подходит: Redshift строится на базе 8-й версии Postgres (внезапно!), которая недостаточно хорошо поддерживает работу с геометрией, обрезает значения в ячейке больше определенной длины и совсем не дружит с JSON-ключами.

В процессе дополнительно вы услышите про то, как они настроили свою работу и как планируют развиваться дальше.