Jeff Zhang
Alibaba GroupFlink + Zeppelin: Streaming data analytics platform
In this talk, Jeff would talk about how to use Flink on Zeppelin to build your own streaming data analytics platform.
Доклады конференции SmartData 2020
Neville Li
SpotifyScio — data processing at Spotify
We'll talk about the evolution of big data at Spotify, from Python, Hadoop, Hive, Storm, Scalding to today's world of cloud, and serverless computing.
Дмитрий Бугайченко
СбербанкStateful streaming: Кейсы, паттерны, реализации
В докладе мы поговорим о популярном сейчас подходе к обработке данных — обработке потоков, уделив особое внимание работе с состоянием.
Евгений Ермаков
Яндекс.Такси
Николай Гребенщиков
Яндекс.ТаксиHighly Normalized Hybrid Model, Или как мы внедрили свою модель хранения данных
Структура DWH не очень гибкая и исправить это помогают современные подходы к проектированию: Data Vault и Anchorn modeling. Подробнее о том, что выбрать, в своем докладе расскажет Евгений.
Бронислав Житников
ТинькоффИнициирующая загрузка в NiFi
Поговорим о NiFi инициирующей загрузке и о том, как упростить себе жизнь в использовании NiFi.
Александр Слуцкий
MicrosoftKusto (Azure Data Explorer): Интерактивная платформа Big Data Майкрософта
В докладе Александр расскажет, что отличает Kusto (Azure Data Explorer) от других решений, покажет, как сложная обработка лайв-стримов телеметрии размером в миллиарды строк (терабайты данных) может занимать секунды, и приоткроет занавес архитектуры на которой построен Kusto.
Андрей Титов
NVIDIAAdvanced usage patterns of Scala UDF in PySpark
Андрей поделится своим опытом использования пользовательских функций в высокопроизводительных PySpark-приложениях.
Евгений Легкий
RetableRetable DSL: Строим technology-agnostic data pipelines для современных стеков данных
Евгений расскажет о современных тенденциях Modern Data Stack, о преимуществах и недостатках старого (ETL) и нового (ELT) подходов и причинах, которые привели к созданию своего независимого DSL.
Николай Аверин
MiroSQL-миграции в Postgres под нагрузкой
Сделать миграцию таблицы при остановленной БД не проблема. Но что делать, если нужно сделать миграцию «на горячую»? Николай расскажет вам об этом в виде практических советов для PostgreSQL.
Валентин Азанов
S7 ТехлабPredictive Maintenance в S7: Как данные помогают сделать ваш полет безопаснее
Доклад об опыте S7 в анализе телеметрии с различных бортов, о способах работы с такими данными, созданных инструментах и крутых инсайтах.
Павел Якунин
ТехЦентр Дойче БанкаБезопасные интерактивные большие данные в банке: Business intelligence на Clickhouse
В докладе Павел расскажет чем вызвана фрагментация данных в его организации, и какие типичные сценарии аналитики из-за этого страдают. Также он объяснит, почему для Дойче Банка не сработал классический подход, и что они научились делать иначе.
Михаил Марюфич
Mail.Ru GroupCI/CD для Ml-моделей и датасетов
Существует не очень качественная модель DS в продакшене и теперь нет возможности ее переобучить или обновить. Чтобы избежать такого, приходите послушать доклад Михаила на эту тему.
Николай Марков
Aligned Research GroupНизкий уровень работы с данными
Поговорим о нескольких технологиях, которые помогут вам выжать из машины больше — JIT, BLAS и параллельность.
Максим Стаценко
ЯндексОбзор технологий хранения больших данных. Плюсы, минусы, кому подойдет
Доклад Максима будет про плюсы и минусы различных решений для хранения данных: облака или bare metal, Hadoop&CO, Vertica, ClickHouse, ExaSol, GreenPlum (ArenaDataDB), RDBMS, Teradata и др.
Ольга Макарова
ivi
Мария Носарева
iviСегментация: Единое окно для знаний о пользователе
Мария и Ольга расскажут, как на JVM стеке и open source-технологиях построить аналитическую систему, многократно расширяющую возможности бизнеса.
Станислав Богатырев
NEO Saint Petersburg Competence CenterNeoFS: Хранение объектных данных по своим правилам
Станислав хочет поделиться примером того, как можно заменить централизованный S3 для хранения сырых данных более доступным для решением, организовать политики так, чтобы обработка данных стала более эффективной. А также рассказать зачем там мультиграфы, гомоморфная криптография, многоходовые игры, доказательства с нулевым разглашением и прочий матан.
Александр Ермаков
ArenadataПодходы к построению современной платформы данных. Проблематика и концепция реализации
Александр расскажет об основных характеристиках современной платформы данных, о различиях в архитектуре DWH, об используемых компонентах и open source дистрибутиве Hadoop.
Андрей Кузнецов
ОдноклассникиПишем гибкие пайплайны для дата-платформ с Dagster
Зачем дружить Spark + Scala-джобы и Python-приложения? В докладе Андрей расскажет, зачем это нужно и как писать на Dagster пайплайны с переиспользуемыми блоками и гибкой архитектурой.
Андрей Жуков
S7 ТехлабEnterprise data platform: Инфраструктура данных как полигон для проверки бизнес-гипотез
Доклад об опыте S7 в построении платформы данных.
Артур Хачуян
TazerosНаше хранилище для веб-аналитики
На примере истории построения хранилища для сервиса расширенной веб-аналитики, Артур расскажет, как за последние 5 лет эволюционировала система хранения и генерации отчетов в его проекте.
Владислав Шишков
LamodaВерсионирование структуры баз данных на примере хранилища
Владислав расскажет про версионирование структуры баз данных на примере хранилища в Lamoda.
Роман Коробейников
VirtualHealthПо пути из Kafka в NiFi: Как не сломать и не потерять
В докладе рассказывается о построении отказоустойчивой схемы работы кластера Apache NiFi при использовании Apache Kafka в качестве источника входных данных.
Moon soo Lee
Staroid, Inc.How we built Serverless Spark experience on Kubernetes
During this session, we'll talk about architecture, why Staroid used Kubernetes, what were the challenges, and how the company solved them. You will also see a working demo so you can get an idea of what the Serverless Spark experience looks like and how it benefits in your work.
Евгений Рыжик
MicrosoftKusto (Azure Data Explorer): Architecture and internals
Доклад о принципах построения с нуля новой базы данных для работы с логами и телеметрией.
Jacek Laskowski
The latest and greatest of Delta Lake
We don't have a complete description of the talk yet, but we are working on it. It will appear soon, stay tuned!
Алексей Коняев
КРОКОцифровка рабочего в режиме реального времени
Какой путь проделывают данные с носимых устройств до пользовательского интерфейса системы Цифровой рабочий.