Для целей отказоустойчивости, масштабирования и увеличения производительности мы в ряде наших ключевых инфраструктурных сервисов заменили Apache Kafka на Redpanda. Как дошли до жизни такой и почему заменили именно на «красные» — про это и будет доклад.

Основные пункты:

чем нас не устроила Кафка: долгой сходимостью кластера при отключении одного или нескольких брокеров, такое себе масштабирование. Долгое — это несколько минут;
основная задача — найти решение, которое бы отлично переживало отключение брокеров и хорошо масштабировалось желательно из коробки;
какие альтернативы рассматривали — Pulsar, NATS, Redpanda;
тесты этих технологий, почему в итоге Redpanda и на основе каких результатов: время сходимости кластера и масштабируемость плюс производительность и простота;
итоговый переход исходного критичного сервиса на Redpanda и разительное снижение латенси на запись как бонус;
результаты исследования и особенности подготовки Redpanda для работы.

Roman Ananev

Talks from 2024 season

How We Swapped Apache Kafka for Redpanda

Roman Ananev