Что происходит между SELECT и ДАННЫМИ

Когда мы рисуем архитектуру платформы данных, между приложением и базой обычно остается одна стрелка. На практике внутри этой стрелки живет отдельный архитектурный слой. В нем есть клиентский интерфейс, драйвер, протокол обмена, сетевой транспорт, сериализация, поиск метаданных, аутентификация, пакетная передача данных и сборка результата на стороне клиента.

Долгое время этот слой ассоциировался с JDBC и ODBC. Сегодня ситуация меняется. Аналитические системы все чаще работают с колоночными форматами, Apache Arrow, ADBC, Flight SQL, Spark Connect и нативными HTTP-протоколами движков. Из-за этого доступ к данным перестает быть просто настройкой драйвера и становится отдельным архитектурным выбором.

В докладе разберем, что на самом деле происходит между запросом и результатом, почему старые интерфейсы все еще нельзя просто заменить, где новые подходы помогают, а где добавляют сложности и как архитектору платформы данных выбирать между совместимостью, производительностью и зрелостью экосистемы.

Материал будет полезен:

— data engineers;

— архитекторам данных;

— разработчикам платформ данных;

— всем, кто взаимодействует с аналитическими инструментами, BI и Python-экосистемой.