Как мы строили lakehouse на Ozone

Как моя команда в компании «Островок!» разрабатывала и запускала Dota 2 — вторую версию нашей внутренней аналитической платформы, созданной для замены существующего решения на базе Vertica и HDFS. Расскажу о выборе архитектурных решений и переходе к S3-совместимой инфраструктуре с использованием Apache Ozone в связке с Trino, Spark и Iceberg.

Подробнее поговорим про:

• ограничения прежней платформы и предпосылки к переходу;
• анализ альтернатив: почему выбрали Apache Ozone как хранилище, совместимое с S3 API;
• особенности интеграции Ozone с Trino, Spark и Iceberg;
• архитектуру Dota 2: от ingestion до аналитики;
• практический опыт миграции пайплайнов и данных;
• уроки, инсайты и подводные камни, которые мы встретили на пути.