Инициирующая загрузка в NiFi

RU / День 1 / 17:15 / Зал 3

Apache NiFi хорош в потоковой загрузке небольших порций данных, но многие процессы подразумевают, что данные появились в источнике не одновременно с релизом потока в NiFi, а задолго до него. И в источнике есть накопленный объем данных, который сложно назвать небольшим. Кроме того, иногда возникает необходимость перегрузить данные из источника в связи с изменениями, произошедшими при процедуре обработки.

Брониславу хочется поделиться набором практик и рекомендаций по выполнению задач инициирующей загрузки и повторной загрузки данных, а также рассказать о проблемах, которые возникают при выполнении инициирующей загрузки.


Бронислав Житников
Бронислав Житников
Тинькофф

Работает в ИТ более 17 лет и около 15 лет занимается разработкой. Последние 2 года развивает проект загрузки сырых данных в компании как архитектор и владелец продукта. Развивает продукт на основе Apache NiFi в компании. Является администратором и активным участником сообщества пользователей NiFi в России (@nifiusers).

Место проведения