
Phil Laszkowicz
FuturiceHow to master time and space
Applying MLOps to a high-performance geospatial data platform for the edge and cloud.
Applying MLOps to a high-performance geospatial data platform for the edge and cloud.
Присоединяйтесь к закрытию конференции, на котором мы обсудим наиболее интересные находки дня, а также то, что будет ждать нас завтра!
Обсуждаем зоопарк языков и технологий, с которыми имеют дело дата-инженеры.
Александр расскажет об основных характеристиках современной платформы данных, о различиях в архитектуре DWH, об используемых компонентах и open source дистрибутиве Hadoop.
Мария и Ольга расскажут, как на JVM стеке и open source-технологиях построить аналитическую систему, многократно расширяющую возможности бизнеса.
В докладе рассказывается о построении отказоустойчивой схемы работы кластера Apache NiFi при использовании Apache Kafka в качестве источника входных данных.
Доклад об опыте S7 в построении платформы данных.
Доклад Максима будет про плюсы и минусы различных решений для хранения данных: облака или bare metal, Hadoop&CO, Vertica, ClickHouse, ExaSol, GreenPlum (ArenaDataDB), RDBMS, Teradata и др.
Zoom-сессия, на которой постараемся собрать всех участников, спикеров, членов ПК и экспертов конференции, чтобы в неформальной обстановке шумной толпы подвести итоги конференции и пообщаться друг с другом, как в старые добрые доковидные времена. Только в Zoom, так как сейчас, к сожалению, ковидные времена.
Присоединяйтесь к подведению итогов SmartData вместе с Программным Комитетом: рассмотрим наиболее интересные доклады и обсуждения, а также доклады, к которым стоит вернуться после конференции.
Евгений расскажет о современных тенденциях Modern Data Stack, о преимуществах и недостатках старого (ETL) и нового (ELT) подходов и причинах, которые привели к созданию своего независимого DSL.
We'll talk about the evolution of big data at Spotify, from Python, Hadoop, Hive, Storm, Scalding to today's world of cloud, and serverless computing.
Поговорим о нескольких технологиях, которые помогут вам выжать из машины больше — JIT, BLAS и параллельность.
Сделать миграцию таблицы при остановленной БД не проблема. Но что делать, если нужно сделать миграцию «на горячую»? Николай расскажет вам об этом в виде практических советов для PostgreSQL.
Владислав расскажет про версионирование структуры баз данных на примере хранилища в Lamoda.
During this session, we'll talk about architecture, why Staroid used Kubernetes, what were the challenges, and how the company solved them. You will also see a working demo so you can get an idea of what the Serverless Spark experience looks like and how it benefits in your work.
Станислав хочет поделиться примером того, как можно заменить централизованный S3 для хранения сырых данных более доступным для решением, организовать политики так, чтобы обработка данных стала более эффективной. А также рассказать зачем там мультиграфы, гомоморфная криптография, многоходовые игры, доказательства с нулевым разглашением и прочий матан.
В докладе Павел расскажет чем вызвана фрагментация данных в его организации, и какие типичные сценарии аналитики из-за этого страдают. Также он объяснит, почему для Дойче Банка не сработал классический подход, и что они научились делать иначе.
Applying MLOps to a high-performance geospatial data platform for the edge and cloud.
Доклад о принципах построения с нуля новой базы данных для работы с логами и телеметрией.
Узнайте, что вас ждет в ближайшие 4 дня. Члены Программного комитета расскажут о расписании, интересных докладах и о том, в каком формате они пройдут. А команда организаторов конференции в свою очередь расскажет, как работает наша платформа, где будут проходить дискуссионные зоны, как подключаться к чатам и где задавать вопросы спикерам.
Паша с Виталиком поговорят о том, из чего выбирают дата-инженеры и почему решили сделать API для одного из самых популярных фреймворков для построения пайплайнов.
This talk is a gentle introduction to the latest and greatest of Delta Lake. You will learn what Delta Lake is and what challenges it aims to solve.
Присоединяйтесь к закрытию конференции, на котором мы обсудим наиболее интересные находки дня, а также то, что будет ждать нас завтра!
Мы представим новый продукт компании JetBrains — Big Data Tools и расскажем, какие задачи он решает, покажем демо, разберем примеры использования. На все ваши вопросы ответят разработчики, непосредственно участвующие в создании BDT.
Присоединяйтесь к закрытию конференции, на котором мы обсудим наиболее интересные находки дня, а также то, что будет ждать нас завтра!
Владимир расскажет про мотивацию, которая нужна для разработки собственного ETL-инструмента, про превращение ETL и DWH в DMP. Спикер поделится тем, какие проблемы возникают в процессе разработки DMP и расскажет про опыт их решения.
Зачем дружить Spark + Scala-джобы и Python-приложения? В докладе Андрей расскажет, зачем это нужно и как писать на Dagster пайплайны с переиспользуемыми блоками и гибкой архитектурой.
Существует не очень качественная модель DS в продакшене и теперь нет возможности ее переобучить или обновить. Чтобы избежать такого, приходите послушать доклад Михаила на эту тему.
Какой путь проделывают данные с носимых устройств до пользовательского интерфейса системы Цифровой рабочий.
В докладе мы поговорим о популярном сейчас подходе к обработке данных — обработке потоков, уделив особое внимание работе с состоянием.
На примере истории построения хранилища для сервиса расширенной веб-аналитики, Артур расскажет, как за последние 5 лет эволюционировала система хранения и генерации отчетов в его проекте.
Структура DWH не очень гибкая и исправить это помогают современные подходы к проектированию: Data Vault и Anchorn modeling. Подробнее о том, что выбрать, в своем докладе расскажут Николай и Евгений.
Поговорим о NiFi инициирующей загрузке и о том, как упростить себе жизнь в использовании NiFi.
In this talk, Jeff would talk about how to use Flink on Zeppelin to build your own streaming data analytics platform.
В докладе Александр расскажет, что отличает Kusto (Azure Data Explorer) от других решений, покажет, как сложная обработка лайв-стримов телеметрии размером в миллиарды строк (терабайты данных) может занимать секунды, и приоткроет занавес архитектуры на которой построен Kusto.
Присоединяйтесь к закрытию конференции, на котором мы обсудим наиболее интересные находки дня, а также то, что будет ждать нас завтра!