Начало основного контента

Offline-день

 10:0022:30 (UTC+3)

Offline: Park Inn by Radisson Pulkovskaya, пл. Победы, 1, Санкт‑Петербург, Россия

Online-трансляция

Почему стоит идти

  • Пообщаться вживую

    Повидать старых знакомых. Обсудить актуальные проблемы. Прийти к новым идеям. Подискутировать и просто поболтать.
  • Сменить формат на офлайн

    Запастись свежими впечатлениями и новыми знакомствами. Сменить обстановку, отвлечься и с пользой провести время.

Трансляция

На Offline-дне конференции будет трансляция, которая доступна участникам с любым билетом. Если хотите познакомиться и пообщаться со спикерами и другими участниками вживую — ждем вас на площадке. А если не готовы добраться до площадки, то записи всех докладов и активностей будут ждать вас на этом сайте.

В программе

  • Смотреть запись

    Тип доклада: Обсуждение

    Открытие офлайн-части конференции SmartData 2022

    Говорим о расписании, сессиях и делимся информацией. Приходите в зал или подключайтесь онлайн, чтобы узнать, что вас будет ждать в ближайшее время!

  • Смотреть запись

    Тип доклада: Доклад

    100 миллиардов сообщений в Kafka: загрузил и забыл

    Apache Kafka — прекрасный инструмент для надежной передачи сообщений между сервисами, но выгрузить его содержимое для офлайн-аналитики оказалось не такой простой задачей. Особенно, когда речь идет о сотне миллиардов сообщений в день, каждый день. На помощь приходит Apache Spark, но, к сожалению, его возможностей недостаточно для надежной и полностью автоматизированной работы на действительно больших объемах данных. Спикер расскажет о том, как выгружать из Apache Kafka в HDFS 100 миллиардов сообщений в день и перестать думать об этом.

    Доклад будет интересен разработчикам в Big Data, использующим Kafka для передачи больших объемов данных в Hadoop.

  • Смотреть запись

    Тип доклада: Доклад

    Любовь и ненависть к Prefect 2.0 после Apache Airflow

    Спикер рассмотрит Prefect 2.0 и его основные концепты. Сравнит его с Apache Airflow, похвалит и поругает. Вы узнаете, для каких кейсов лучше всего подходит этот инструмент.

  • Смотреть запись

    Тип доклада: Интервью

    Интервью с Андреем Кузнецовым и Михаилом Марюфичем, Одноклассники

    Поговорим с Андреем и Михаилом про дата-инжиниринг в «Одноклассниках» и обсудим другие темы. Присоединяйтесь!

  • Смотреть запись

    Тип доклада: Доклад

    Путь к модели данных для ежедневного апдейта 100 прошлых дней

    Рассказ про то, как выбирали модель данных для хранилища, в котором каждый день приходится обновлять последние 100 дней данных. Посмотрим на точечные замены блоков, подход таблиц с одним ключом, на Data Vault и пару других подходов и выберем из них победителя для этой задачи.

  • Смотреть запись

    Тип доклада: Доклад

    Ingest-слой платформы данных: смешать, но не взбалтывать

    Рассказ о том, как в рамках платформы данных СберЗдоровья команда спикера построила Ingest-слой для внутренних и внешних источников и не забыла про работу с чувствительными данными и дата-каталог. Поскольку платформа должна абстрагировать компоненты под собой, то речь пойдет и про DSL, с помощью которого этим всем управляют.


  • Смотреть запись

    Тип доклада: Доклад

    Как устроено выполнение SQL-запросов в Presto/Trino

    Presto/Trino — это высокопроизводительный распределенный SQL-движок для больших данных с serverless-архитектурой. В докладе подробно рассмотрим, как устроено выполнение запросов в Presto/Trino.

  • Смотреть запись

    Тип доклада: Доклад

    Распределенный высоконагруженный feature store ОК

    Спикер расскажет, зачем в его команде написали собственный feature store ОК, как он устроен и как эксплуатируется.

  • Смотреть запись

    Тип доклада: Интервью

    Интервью с Максимом Стаценко и Татьяной Колмаковой, Яндекс

    Обсудим с Максимом и Татьяной дата-инжиниринг в Яндексе и другие темы. Присоединяйтесь!

  • Смотреть запись

    Тип доклада: Доклад

    Автоматический тюнинг Spark-приложений

    Валерия расскажет про Hadoop-кластер, где запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов. Все расчёты очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, основанную на логах, которые пишет сам Spark. Она объяснит, как устроена их система тюнинга и что позволяет им постоянно подстраиваться под изменения.

     

  • Смотреть запись

    Тип доклада: Доклад

    NiFi-скрипты как элемент Less Code ETL

    В NiFi есть множество трансформаций, которые не требуют кодирования. Но далеко не все можно сделать с помощью коробочных трансформаций. Разрабатывать на каждую уникальную трансформацию процессор, это интересный, но дорогой вариант. В NiFi можно использовать scripting и получить более гибкий инструмент трансформации данных. Бронислав расскажет, когда следует выбрать скрипт и как это сделать наиболее эффективно. Этот доклад для активных пользователей NiFi, а так же для тех кто рассматривает NiFi в качестве ETL-инструмента для своих задач.

  • Смотреть запись

    Тип доклада: Интервью

    Интервью с Денисом Ефаровым и Сергеем Михалевым, Одноклассники

    Поговорим с Андреем и Михаилом про дата-инжиниринг в «Одноклассниках» и обсудим другие темы. Присоединяйтесь!

  • Смотреть запись

    Тип доклада: Доклад

    Надежные и масштабируемые пайплайны в OK

    Спикер расскажет о том, какие системы для управления пайплайнами написали в «Одноклассниках», и как (и почему) заменили на кластер Airflow, устойчивый к отказу дата-центра.

  • Смотреть запись

    Тип доклада: Доклад

    Использование платформы GrowthBook для управления ML-экспериментами

    Поговорим об одном из способов организации пайплайна экспериментов на основе открытой платформы GrowthBook, когда ответственность за запуск и тестирование фичей лежит на команде ML-разработчиков. Предлагаемый подход призван уменьшить количество интеграций на стороне основной команды разработки и одновременно повысить скорость вывода в production новых версий моделей машинного обучения.

  • Смотреть запись

    Тип доклада: Доклад

    Что такое DevOps в мире хранилищ данных?

    Через сервисы Почтатеха проходят петабайты данных. С ними работают десятки команд и подразделений, используя кучу фреймворков и технологий. Большинство этих данных хранится и развивается в DataCloud. Василий расскажет, как применяют DevOps-практики в работе с хранилищами данных и как благодаря этому уменьшить time-to-market.

  • Смотреть запись

    Тип доклада: Доклад

    Как загрузить в каталог данных всё на свете и не умереть

    Мало создать удобный каталог данных, самая большая работа — это наполнить его метаданными, которые берутся из огромного количества разных источников.

    Иван расскажет, почему им пришлось перейти от pull-подхода наполнения каталога к push, про особенности технической реализации и проблемы, с которыми пришлось столкнуться.

    Доклад будет полезен тем, кто уже внедрил или думает о внедрении или разработке каталога данных.

  • Смотреть запись

    Тип доклада: Доклад

    Восстановление распределенной базы данных после аварии

    Представьте, что вы редактировали документ, но по ошибке удалили его. Откат к Report3_release2FinalLast-Fixed!!!4.txt.bak.bak, сохраненному на флешке, и пара дополнений по памяти исправят проблему.

    А теперь представьте, что несколько человек редактировали документ в сети и сервер сгорел. Бэкап сервера и слаженная работа авторов документа решат проблему.

    И, наконец, представьте, что тысячи людей редактировали миллионы документов на сотнях серверов с асинхронной репликацией в запасной кластер, но ошибка в коде привела к потере каждого миллионного изменения в рамках каждого из кластеров. Есть ли решение у такой проблемы?

    Спикер расскажет, что делать, когда код-ревью, failover и сертификация не помогли избежать аварии распределенной базы данных.

  • Смотреть запись

    Тип доклада: Обсуждение

    Закрытие конференции SmartData 2022

    Подводим итоги конференции, вспоминаем яркие моменты и рассказываем о дальнейших планах. Заходите в зал или подключайтесь к трансляции, чтобы ничего не пропустить!

  • Дискуссии

    Живое общение со спикерами между выступлениями. Без записи и ограничений по времени.
  • BoF-сессии

    Неформальные беседы без ведущих и спикеров. Здесь и рождаются новые идеи.
  • Круглые столы

    Спикеры и эксперты обсуждают актуальные вопросы индустрии.

Бонус

  • Обеды и кофе-брейки

    Шведский стол и напитки на выбор. Если у вас есть пищевые ограничения, напишите в наш саппорт. Мы найдем решение.
  • Нетворкинг

    Неформальная обстановка и разговоры по душам. Нетворкинг для всех участников, спикеров и экспертов.

COVID-19

Мы отменили ковидные ограничения на посещение площадки. Теперь вам не нужны ни QR-коды, ни ПЦР-тесты для прохода на площадку.

Однако если вы чувствуете недомогание, то лучше от посещения офлайна воздержаться. Важно позаботиться и о себе, и об окружающих.

Вы сможете посмотреть трансляцию конференции онлайн, а также вернуть разницу в стоимости билетов или обменять ваш билет на билет следующего сезона. Если вы не можете посетить площадку, напишите в наш саппорт — мы вам поможем.

  • Как попасть на конференцию?

    Для посещения конференции нужен только билет. QR-коды и ПЦР-тесты для прохода на площадку не требуются. Однако если вы чувствуете недомогание, то лучше от посещения офлайна воздержаться. Важно позаботиться и о себе, и об окружающих.

  • А если я уже купил билет на offline? Деньги вернут?

    Если вы заболели и не сможете посетить площадку, то деньги вернут, если вам не подойдет вариант просмотра онлайн-трансляции.

    Можно подключиться к трансляции и посмотреть все в онлайне. Чтобы вернуть разницу между билетам «Double Online» и «Online+Offline», напишите в нашу поддержку: support@smartdataconf.ru.

  • Какие меры безопасности будут приняты на площадке?
    • На площадке будут санитайзеры и одноразовые маски. Если к моменту проведения конференции не будет соответствующего требования, то обязательного масочного режима не будет.
    • На площадке постоянно дежурит бригада скорой медицинской помощи.

    Все вопросы и уточнения направляйте по адресу: support@smartdataconf.ru.

Вопросы и ответы

  • Где будет проходить Offline-день конференции?
    Offline-день пройдет 29 октября по адресу: Park Inn by Radisson Pulkovskaya: пл. Победы, 1, Санкт‑Петербург, Россия.
  • Когда будет известна программа и время проведения Offline-дня конференции?
    Мы будем публиковать программу частями на сайте конференции, начиная со второй половины сентября.
  • Какие активности будет включать в себя Offline-день конференции?

    На Offline-дне будут:

    • доклады основной программы;
    • круглые столы;
    • BoF-сессии — встречи по интересам без запланированного расписания;
    • дискуссии со спикерами Offline-дня и спикерами Online-дней, которые приедут на площадку.
  • Будет ли online-трансляция Offline-дня конференции?

    Мы будем вести прямую трансляцию большинства активностей Offline-дня: основных докладов, круглых столов и т. д.

    Дискуссии и BoF-сессии транслироваться и записываться не будут.

  • Я давно не был на offline и не помню, какой порядок действий был на offline-конференциях.
    Не переживайте, перед мероприятием мы вышлем вам памятку участника — там будет вся необходимая информация.
  • Могу ли я купить билет только на Offline-день конференции?
    Чтобы посетить Offline-день вам нужно купить билет «Online+Offline». Он дает право на участие в офлайн-дне конференции и доступ к записям онлайн-дня.
  • Как мне попасть на Offline-день, если у меня есть билет «Double Online»?
    Если у вас уже есть билет на онлайн-часть конференции, вы можете проапгрейдить его до «Online+Offline». Для этого напишите в поддержку: support@smartdataconf.ru
  • Как попасть на Offline-день, если компания оплатила мне только билет «Double Online»?
    Если компания, которая оплачивала ваш билет, не готова проапгрейдить его до Offline, то вы можете сделать это самостоятельно со скидкой. Скидка дается за прохождение опроса после окончания Online-части конференции.
  • Есть ли ограничения по количеству билетов на offline-день?

    Количество билетов ограничено вместимостью площадки проведения конференции.

    Так что лучше купить билет заранее, пока они в наличии.

  • Есть ли ковидные ограничения для посещения Offline-конференции?

    Мы отменили ковидные ограничения на посещение площадки. Теперь вам не нужны ни QR-коды, ни ПЦР-тесты для прохода на площадку.

    Однако если вы чувствуете недомогание, то лучше от посещения офлайна воздержаться. Важно позаботиться и о себе, и об окружающих.

  • Что будет с Offline-днем в случае новой волны COVID-19?

    Пока мы не видим рост заболеваемости COVID-19, поэтому отменяем ковидные ограничения при посещении офлайн-площадок. Теперь вам не нужны ни QR-коды, ни ПЦР-тесты для прохода на площадку. На площадке будут санитайзеры и одноразовые маски. Если к моменту проведения конференции не будет соответствующего требования, то обязательного масочного режима не будет.

    Если вы чувствуете недомогание, то лучше воздержаться от посещения офлайна. Важно позаботиться и о себе, и об окружающих.

    Если же ситуация ухудшится, и на законодательном уровне мероприятия будут отменять, мы перенесем offline-день в онлайн. Тогда спикеры будут выступать удаленно или из нашей студии. Для участников с билетом «Double Online» ничего не изменится. А участники с билетом «Online + Offline» смогут конвертировать свой билет в «Double Online» с возвратом разницы или перенести его на следующий год. Также можно будет сдать билет и целиком вернуть свои деньги.

    В любом случае мы не будем переносить конференции на следующий год.