![](https://squidex.jugru.team/api/assets/srm/886d0fce-5f7e-470c-bea6-a4873ad23f7f/image.jpg?cache=3600&width=74&height=74&mode=CropUpsize)
Александр Нозик
Компания: МФТИ
Тип доклада: Доклад
Автоматические конвейеры (пайплайны) используются везде: и для локальной работы, и для распределенных вычислений и map-reduce фреймворков. Но есть проблема описания таких пайплайнов, а именно их отдельных составляющих, таким образом, чтобы не надо было копировать код на все узлы и следить за тем, чтобы везде была одна и та же версия. И это не говоря уже о гетерогенных вычислениях, в которых разные узлы могут выполнять разные задачи и специализироваться на них.
Александр расскажет, что такое пайплайн, какие есть подходы к его конфигурированию и какие проблемы с этим возникают. Он также разберет концепцию «процессора метаданных», которая используется в фреймворке DataForge. Эта концепция позволяет конфигурировать задачи локально или на вычислительных узлах таким образом, чтобы проблема валидации конфигурации не возникала и можно было бы полностью делать вычисления на разных узлах при помощи разного кода — даже на разных языках программирования. И, конечно, с автоматизированным распараллеливанием и кэшированием результатов.
Компания: МФТИ
Компания: Klarna