Инициирующая загрузка в NiFi

Apache NiFi хорош в потоковой загрузке небольших порций данных, но многие процессы подразумевают, что данные появились в источнике не одновременно с релизом потока в NiFi, а задолго до него. И в источнике есть накопленный объем данных, который сложно назвать небольшим. Кроме того, иногда возникает необходимость перегрузить данные из источника в связи с изменениями, произошедшими при процедуре обработки.

Брониславу хочется поделиться набором практик и рекомендаций по выполнению задач инициирующей загрузки и повторной загрузки данных, а также рассказать о проблемах, которые возникают при выполнении инициирующей загрузки.