Lightning Talks

Lightning talks — это отличный формат, чтобы динамично обсудить тему и найти единомышленников. Вас ждут 20-минутные доклады на профессиональные темы и живые обсуждения.

Выступите с блиц-докладом на свободную тему в любом формате. Записаться можно будет на флипчарте возле зала 3.

Вот какие доклады уже будут на Lightning Talks:

Как хайлоад-разработчику стать дата-инженером — Дмитрий Швеенков

Я пришел в аналитику и инженерию данных из мира «бекэнд и хайлоад». Во время решения сложных хайлоад-задач в бэкенде, у меня сформировались «стереотипы» по их решению. Эти стереотипы хорошо работают в бэкенде и не работают вовсе в инженерии данных. Применяя одинаковые паттерны, я делал ошибки или просто тратил время.

Многие вещи в аналитике кажутся «настолько дикими», что вызывают недоумение у бэкендера. Расскажу, как эти стереотипы ломаются в дата-инженерных подходах и начинают работать совершенно другие подходы.

Как мы ускорили Debezium JDBC sink connector в 30 раз и «занесли» это в опенсорс — Артем Дубинин

Debezium часто возникает в контексте работы с базами данных, в последнее время было много докладов на эту тему. Чаще всего про Debezium говорят как про инструмент извлечения данных в формате Change Data Capture. Но кроме этого Debezium представляет sink-коннектор JDBC, который позволяет перекладывать уже готовый поток в базу данных, — занимаясь не извлечением событий, а только их перемещением в таблицы базы данных.

Мы используем Debezium JDBC sink connector, чтобы строить перформанс-интеграции. Это универсальный коннектор, который обратной стороной своей универсальности создает сложность выполнения потока событий различных видов (insert, upsert, delete) эффективно.

Мы напрямую столкнулись с проблемой в перформансе, в нагрузочном тесте, которая не решалась никакими обходными путями. Пришлось понять весь поток обработки событий в Debezium JDBC connector, найти проблему и понять, как можно это исправить.