Доклад
S3 или HDFS или POSIX… или всё разом? Готовим DataLake по-китайски с CubeFS
- Платформы и Системы хранения
Современные аналитические платформы одновременно хотят S3 API для Lakehouse, HDFS API для hadoop-экосистемы, POSIX для ML/AI и legacy-сервисов, И всё это вместе с дешевым горизонтальным масштабированием, эффективным использованием ресурсов и минимизацией расходов на эксплуатацию. Китайские hyperscale-компании давно столкнулись с этой проблемой и построили свой unified storage.
В докладе расскажем, как появилось и что умеет распределенное хранилище CubeFS, как мы его готовили для использования в своих сценариях и с какими проблемами столкнулись по пути.