Как жить с data swamp

Часто с накоплением данных в DWH оно превращается в data swamp, и создавать отчеты становится сложнее. Существуют ли подходы для создания отчетов, когда у вас есть data swamp? Да, один из таких подходов — это уменьшение размерности данных и их обработка вне data swamp.

Остается вопрос: где обрабатывать срез данных в 0.5-1 ТБ? Вариантов много: взять Spark, начать строить новый DWH и надеяться, что он не превратится в data swamp.

А можно по-другому? Да, нужен ноутбук с GPU и современные инструменты cuDF and CuPy.

Из доклада вы узнаете, какие есть тренды и как выбирать технические решения для обработки данных. Какие еще проблемы возникают и как их решать.