Новости Kafka: KRaft, Queus, tiered storage (и немного про YDB)

Расскажу, что нового появляется в мире Kafka и как, по моему опыту, это помогает разработчикам при работе с Kafka:

• Куда делся Zookeeper и зачем переезжать на KRaft?
• Kafka теперь умеет в очереди, как RabbitMQ? В чем подвох?
• Как хранить петабайты в Kafka (и зачем)?
• Серверная балансировка в Kafka — панацея от шторма ребалансов.
• Другие новые фичи Kafka 4+.

Еще немного расскажу, что мы в YDB Topics дорабатываем, чтобы помочь пользователям с теми же проблемами, и почему мы не всегда идем по пути Kafka.

Последние 6 лет помогаю командам разработки работать с брокерами сообщений: с Kafka и c YDB Topics (опенсорс-аналог Kafka от Яндекса). На основе их проблем и болей расскажу, как новые фичи в брокерах помогут разработчикам решать частые проблемы.