Круглый стол: Что, если не Hadoop

Еще не так давно практически каждая компания, пытающаяся построить работу с большими данными, была вынуждена ставить большой вендорный пакет, тесно связанных между собой приложений экосистемы Hadoop. Можно даже сказать, что в промежутке между 2004 и 2014 годами сложно было себе представить лидеров индустрии, не использующих MapReduce для решения бизнес-задач. Однако же, в 2014 году тот же Google практически полностью отказался от ее использования и перешел на более новые решения и подходы. Сейчас, в 2021, на рынке существует уже целая масса разных решений для задач хранения и анализа больших данных.

На этом круглом столе мы обсудим, как ориентироваться в этом новом мире. А также, можно ли уже отказаться от экосистемы Hadoop и отправить ее на свалку истории, или же без нее по-прежнему никуда? Участники дискуссии постараются затронуть разные каверзные вопросы в духе «насколько удобно хранить сырые данные НЕ в HDFS» и «можно ли просто всех пересадить на SQL-движок». А также «можно ли вызвать демона словами Data Mesh, Delta Lake, Anchor» и «как делать Kappa-архитектуру в реальной жизни и что это вообще такое». Спикеры надеются, что это обсуждение зарядит энтузиазмом дата-инженеров и архитекторов, а менеджерам и тимлидам позволит получить новый взгляд на проблемы Data Governance и выбор инструментов под задачу.