Как мы Apache Kafka на Redpanda меняли

Для целей отказоустойчивости, масштабирования и увеличения производительности мы в ряде наших ключевых инфраструктурных сервисов заменили Apache Kafka на Redpanda. Как дошли до жизни такой и почему заменили именно на «красные» — про это и будет доклад.

Основные пункты:

• чем нас не устроила Кафка: долгой сходимостью кластера при отключении одного или нескольких брокеров, такое себе масштабирование. Долгое — это несколько минут;
• основная задача — найти решение, которое бы отлично переживало отключение брокеров и хорошо масштабировалось желательно из коробки;
• какие альтернативы рассматривали — Pulsar, NATS, Redpanda;
• тесты этих технологий, почему в итоге Redpanda и на основе каких результатов: время сходимости кластера и масштабируемость плюс производительность и простота;
• итоговый переход исходного критичного сервиса на Redpanda и разительное снижение латенси на запись как бонус;
• результаты исследования и особенности подготовки Redpanda для работы.