Начало основного контента

Offline-день

 10:0019:45 (МСК)

Offline: Park Inn by Radisson Pulkovskaya, пл. Победы, 1, Санкт‑Петербург, Россия

Online-трансляция

Почему стоит идти

  • Пообщаться вживую

    Повидать старых знакомых. Обсудить актуальные проблемы. Прийти к новым идеям. Подискутировать и просто поболтать.
  • Сменить формат на офлайн

    Запастись свежими впечатлениями и новыми знакомствами. Сменить обстановку, отвлечься и с пользой провести время.

Трансляция

На Offline-дне конференции будет трансляция, которая доступна участникам с любым билетом. Если хотите познакомиться и пообщаться со спикерами и другими участниками вживую — ждем вас на площадке. А если не готовы добраться до площадки, то записи всех докладов и активностей будут ждать вас на этом сайте.

В программе

  • Время в программе указано для часового пояса МСК.

  • По мере приближения даты offline-дня программа может обновляться и дополняться.

  • Доклад

    Зал 1

    100 миллиардов сообщений в Kafka: загрузил и забыл

    Apache Kafka — прекрасный инструмент для надежной передачи сообщений между сервисами, но выгрузить его содержимое для офлайн-аналитики оказалось не такой простой задачей. Особенно, когда речь идет о сотне миллиардов сообщений в день, каждый день. На помощь приходит Apache Spark, но, к сожалению, его возможностей недостаточно для надежной и полностью автоматизированной работы на действительно больших объемах данных. Спикер расскажет о том, как выгружать из Apache Kafka в HDFS 100 миллиардов сообщений в день и перестать думать об этом.

    Доклад будет интересен разработчикам в Big Data, использующим Kafka для передачи больших объемов данных в Hadoop.

  • Доклад

    Зал 2

    Любовь и ненависть к Prefect 2.0 после Apache Airflow

    Спикер рассмотрит Prefect 2.0 и его основные концепты. Сравнит его с Apache Airflow, похвалит и поругает. Вы узнаете, для каких кейсов лучше всего подходит этот инструмент.

  • Доклад

    Зал 1

    Путь к модели данных для ежедневного апдейта 100 прошлых дней

    Рассказ про то, как выбирали модель данных для хранилища, в котором каждый день приходится обновлять последние 100 дней данных. Посмотрим на точечные замены блоков, подход таблиц с одним ключом, на Data Vault и пару других подходов и выберем из них победителя для этой задачи.

  • Доклад

    Зал 2

    Ingest-слой платформы данных: смешать, но не взбалтывать

    Рассказ о том, как в рамках платформы данных СберЗдоровья команда спикера построила Ingest-слой для внутренних и внешних источников и не забыла про работу с чувствительными данными и дата-каталог. Поскольку платформа должна абстрагировать компоненты под собой, то речь пойдет и про DSL, с помощью которого этим всем управляют.


  • Доклад

    Зал 1

    Как устроено выполнение SQL-запросов в Trino

    Trino — это высокопроизводительный распределенный SQL-движок для больших данных с serverless-архитектурой. В докладе подробно рассмотрим, как устроено выполнение запросов в Trino.

  • Доклад

    Зал 1

    Автоматический тюнинг Spark-приложений

    Валерия расскажет про Hadoop-кластер, где запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов. Все расчёты очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, основанную на логах, которые пишет сам Spark. Она объяснит, как устроена их система тюнинга и что позволяет им постоянно подстраиваться под изменения.

     

  • Доклад

    Зал 2

    NiFi-скрипты как элемент Less Code ETL

    В NiFi есть множество трансформаций, которые не требуют кодирования. Но далеко не все можно сделать с помощью коробочных трансформаций. Разрабатывать на каждую уникальную трансформацию процессор, это интересный, но дорогой вариант. В NiFi можно использовать scripting и получить более гибкий инструмент трансформации данных. Бронислав расскажет, когда следует выбрать скрипт и как это сделать наиболее эффективно. Этот доклад для активных пользователей NiFi, а так же для тех кто рассматривает NiFi в качестве ETL-инструмента для своих задач.

  • Доклад

    Зал 1

    Надежные и масштабируемые пайплайны в OK

    В «Одноклассниках» есть множество рекомендательных систем, которые в реальном времени обрабатывают запросы от миллионов пользователей каждый день. Чтобы поддерживать качество эти систем, ежедневно исполняются сотни пайплайнов, которые собирают датасеты и признаки, обучают модели и выкатывают их на прод, исполняют модели в пакетном режиме, заливают признаки в Feature Store и делают еще много чего. Но что будет, если какие-то из пайплайнов перестанут работать?

  • Доклад

    Зал 2

    Использование платформы GrowthBook для управления ML-экспериментами

    Поговорим об одном из способов организации пайплайна экспериментов на основе открытой платформы GrowthBook, когда ответственность за запуск и тестирование фичей лежит на команде ML-разработчиков. Предлагаемый подход призван уменьшить количество интеграций на стороне основной команды разработки и одновременно повысить скорость вывода в production новых версий моделей машинного обучения.

  • Доклад

    Зал 1

    Что такое DevOps в мире хранилищ данных?

    Через сервисы Почтатеха проходят петабайты данных. С ними работают десятки команд и подразделений, используя кучу фреймворков и технологий. Большинство этих данных хранится и развивается в DataCloud. Василий расскажет, как применяют DevOps-практики в работе с хранилищами данных и как благодаря этому уменьшить time-to-market.

  • Доклад

    Зал 2

    Как загрузить в каталог данных всё на свете и не умереть

    Мало создать удобный каталог данных, самая большая работа — это наполнить его метаданными, которые берутся из огромного количества разных источников.

    Иван расскажет, почему им пришлось перейти от pull-подхода наполнения каталога к push, про особенности технической реализации и проблемы, с которыми пришлось столкнуться.

    Доклад будет полезен тем, кто уже внедрил или думает о внедрении или разработке каталога данных.

  • Доклад

    Зал 1

    Восстановление распределенной базы данных после аварии

    Представьте, что вы редактировали документ, но по ошибке удалили его. Откат к Report3_release2FinalLast-Fixed!!!4.txt.bak.bak, сохраненному на флешке, и пара дополнений по памяти исправят проблему.

    А теперь представьте, что несколько человек редактировали документ в сети и сервер сгорел. Бэкап сервера и слаженная работа авторов документа решат проблему.

    И, наконец, представьте, что тысячи людей редактировали миллионы документов на сотнях серверов с асинхронной репликацией в запасной кластер, но ошибка в коде привела к потере каждого миллионного изменения в рамках каждого из кластеров. Есть ли решение у такой проблемы?

    Спикер расскажет, что делать, когда код-ревью, failover и сертификация не помогли избежать аварии распределенной базы данных.

  • Доклад

    Зал 1

    Закрытие конференции SmartData 2022

    Подводим итоги конференции, вспоминаем яркие моменты и рассказываем о дальнейших планах. Заходите в зал или подключайтесь к трансляции, чтобы ничего не пропустить!

  • Дискуссии

    Живое общение со спикерами между выступлениями. Без записи и ограничений по времени.
  • BoF-сессии

    Неформальные беседы без ведущих и спикеров. Здесь и рождаются новые идеи.
  • Круглые столы

    Спикеры и эксперты обсуждают актуальные вопросы индустрии.

Бонус

  • Обеды и кофе-брейки

    Шведский стол и напитки на выбор. Если у вас есть пищевые ограничения, напишите в наш саппорт. Мы найдем решение.
  • Нетворкинг

    Неформальная обстановка и разговоры по душам. Нетворкинг для всех участников, спикеров и экспертов.
Купить билет

COVID-19 free zone

На входе мы попросим вас предъявить QR-код, подтверждающий вакцинацию (российской или зарубежной вакциной), либо отрицательный ПЦР-тест, сделанный не ранее, чем за 48 часов до начала мероприятия. Также вы можете предъявить QR-код о перенесенном заболевании.

Если вы не успели получить результаты теста или у вас есть проблемы с тем, чтобы попасть на площадку, напишите в наш саппорт — мы вам поможем.

  • Как попасть на конференцию?

    Предъявить на выбор:

    • Отрицательный ПЦР-тест (он действителен в течение 48 часов).
    • QR-код, подтверждающий вакцинацию (российской или зарубежной вакциной).
    • QR-код о перенесенном заболевании.
  • А если я уже купил билет на offline? Деньги вернут?

    Деньги вернут, если вам не подойдет ни один из предложенных вариантов.

    • Можно подключиться к трансляции и посмотреть все в онлайне. Чтобы вернуть разницу между билетам «Double Online» и «Online+Offline», напишите в нашу поддержку: support@smartdataconf.ru.
    • Можно пройти экспресс-тест в день конференции. По этому вопросу также пишите в наш саппорт: support@smartdataconf.ru.
  • Какие меры безопасности будут приняты на площадке?
    • На площадке будут санитайзеры и одноразовые маски. Если к моменту проведения конференции не будет соответствующего требования, то обязательного масочного режима не будет.
    • На площадке постоянно дежурит бригада скорой медицинской помощи.

    Все вопросы и уточнения направляйте по адресу: support@smartdataconf.ru.

Вопросы и ответы

  • Где будет проходить Offline-день конференции?
    Offline-день пройдет 29 октября по адресу: Park Inn by Radisson Pulkovskaya: пл. Победы, 1, Санкт‑Петербург, Россия.
  • Когда будет известна программа и время проведения Offline-дня конференции?
    Мы будем публиковать программу частями на сайте конференции, начиная со второй половины сентября.
  • Какие активности будет включать в себя Offline-день конференции?

    На Offline-дне будут:

    • доклады основной программы;
    • круглые столы;
    • BoF-сессии — встречи по интересам без запланированного расписания;
    • дискуссии со спикерами Offline-дня и спикерами Online-дней, которые приедут на площадку.
  • Будет ли online-трансляция Offline-дня конференции?

    Мы будем вести прямую трансляцию большинства активностей Offline-дня: основных докладов, круглых столов и т. д.

    Дискуссии и BoF-сессии транслироваться и записываться не будут.

  • Я давно не был на offline и не помню, какой порядок действий был на offline-конференциях.
    Не переживайте, перед мероприятием мы вышлем вам памятку участника — там будет вся необходимая информация.
  • Могу ли я купить билет только на Offline-день конференции?
    Чтобы посетить Offline-день вам нужно купить билет «Online+Offline». Он дает право на участие в офлайн-дне конференции и доступ к записям онлайн-дня.
  • Как мне попасть на Offline-день, если у меня есть билет «Double Online»?
    Если у вас уже есть билет на онлайн-часть конференции, вы можете проапгрейдить его до «Online+Offline». Для этого напишите в поддержку: support@smartdataconf.ru
  • Как попасть на Offline-день, если компания оплатила мне только билет «Double Online»?
    Если компания, которая оплачивала ваш билет, не готова проапгрейдить его до Offline, то вы можете сделать это самостоятельно со скидкой. Скидка дается за прохождение опроса после окончания Online-части конференции.
  • Есть ли ограничения по количеству билетов на offline-день?

    Количество билетов ограничено вместимостью площадки проведения конференции.

    Так что лучше купить билет заранее, пока они в наличии.

  • Есть ли ковидные ограничения для посещения Offline-конференции?

    Для посещения площадки нужен QR-код о вакацинации, либо отрицательный ПЦР-тест, сделанный не ранее, чем за 48 часов до момента регистрации. Также вы можете предъявить QR-код о перенесенном заболевании.

    Если вы не успели получить результаты теста или у вас есть проблемы с тем, чтобы попасть на площадку, напишите в наш саппорт — мы вам поможем.

  • Что будет с Offline-днем в случае новой волны COVID-19?

    Мы видим рост заболеваемости COVID-19, поэтому вводим новые правила посещения офлайн-площадок.

    На входе мы попросим вас предъявить QR-код, подтверждающий вакцинацию (российской или зарубежной вакциной), либо отрицательный ПЦР-тест, сделанный не ранее, чем за 48 часов до начала мероприятия. Также вы можете предъявить QR-код о перенесенном заболевании. На площадках в Москве и Петербурге мы предусмотрим рассадку в соответствии с принципами социального дистанцирования. Это жесткие меры, но они обезопасят участников конференции.

    Если же ситуация ухудшится, и на законодательном уровне мероприятия будут отменять, мы перенесем offline-день в онлайн. Тогда спикеры будут выступать удаленно или из нашей студии. Для участников с билетом «Double Online» ничего не изменится. А участники с билетом «Online + Offline» смогут конвертировать свой билет в «Double Online» с возвратом разницы или перенести его на следующий год. Также можно будет сдать билет и целиком вернуть свои деньги.

    В любом случае мы не будем переносить конференции на следующий год.