Процессор метаданных для сбора и анализа данных

Автоматические конвейеры (пайплайны) используются везде: и для локальной работы, и для распределенных вычислений и map-reduce фреймворков. Но есть проблема описания таких пайплайнов, а именно их отдельных составляющих, таким образом, чтобы не надо было копировать код на все узлы и следить за тем, чтобы везде была одна и та же версия. И это не говоря уже о гетерогенных вычислениях, в которых разные узлы могут выполнять разные задачи и специализироваться на них. 

Александр расскажет, что такое пайплайн, какие есть подходы к его конфигурированию и какие проблемы с этим возникают. Он также разберет концепцию «процессора метаданных», которая используется в фреймворке DataForge. Эта концепция позволяет конфигурировать задачи локально или на вычислительных узлах таким образом, чтобы проблема валидации конфигурации не возникала и можно было бы полностью делать вычисления на разных узлах при помощи разного кода — даже на разных языках программирования. И, конечно, с автоматизированным распараллеливанием и кэшированием результатов.