Data Streaming Lakehouse: как перелить данные в Paimon и не утонуть

В этом докладе мы разберем практический опыт построения Data Streaming Lakehouse, где данные обновляются и становятся доступны для аналитики в near real-time. Мы пройдем весь путь от источника до витрины: как настроить непрерывный захват изменений и сложить данные в распределенное хранилище, сохранив высокую скорость чтения для конечных пользователей.

Технологии: MySQL (источник), Apache Flink (потоковая обработка), Apache Paimon (табличный формат), HDFS (слой хранения), StarRocks (MPP/OLAP-движок для потребления).

Аудитория: дата-инженеры, архитекторы данных и DWH-разработчики.