![](https://squidex.jugru.team/api/assets/srm/9UxK36UxHYjv1QmD209gO/101851-1354407564-andrey-kuznetsov-pishem-gibkiye-payplayny-dlya-data-platform-s-dagster.jpg?cache=3600&width=74&height=74&mode=CropUpsize)
Андрей Кузнецов
Компания: Одноклассники
Тип доклада: Доклад
На сегодняшний день не так часто говорят про унификацию построения дата-пайплайнов — особенно в ситуации, когда приходится вырываться из Java/Scala-мира и строить цепочки из компонентов со смешанными языками и технологиями.
Как подружить Spark + Scala-джобы и Python-приложения? Dagster дает удобные компоненты для написания и отладки таких пайплайнов, при этом имеет большое число интеграций с де-факто стандартами систем оркестрации, вычисления и так далее.
В докладе Андрей расскажет, зачем это нужно и как писать на Dagster пайплайны с переиспользуемыми блоками и гибкой архитектурой.
Компания: Одноклассники
Компания: Dodo Engineering