AI-augmented data preparation: Строим technology-agnostic data pipelines для современных стеков данных вместе с AI

Retable DataFrame DSL — это новый open source data pipelines DSL. C одной стороны, он сочетает в себе лучшие практики таких распространенных data-фреймворков, как Spark DataFrames и Python Pandas, с другой — является backend-agnostic. То есть не зависит от технологий бэкенда и позволяет исполнять data pipelines как поверх data warehouses в режиме ELT, так и в режиме ETL поверх data lakes, таких как Spark.

Евгений расскажет о современных тенденциях Modern Data Stack, о преимуществах и недостатках старого (ETL) и нового (ELT) подходов и причинах, которые привели к созданию своего независимого DSL. Также он поделится опытом, как удалось сочетать типизированный интерфейс для построения декларативных data pipelines, CI/CD-практики, скалируемость и возможность работать поверх любого стека — будь то Spark, Snowflake или генерация Pandas Code.