Как мы тестировали 5 способов загрузки данных в Greenplum и что из этого вышло

Из-за архитектурных особенностей Greenplum грузить данные классическим способом — не всегда хорошее решение. При росте объема данных загрузка данных на мастер ухудшает производительность кластера, и когда грузишь сотни гигабайт данных, приходится искать другие способы. Каждый из них обладает разной скоростью, пропускной способность и гибкостью с точки зрения объема данных.

Мы с командой решили протестировать и сравнить 5 способов загрузки данных: insert, copy, pxf, gpfdist, spark-connector. И выяснить, какой из них лучше подходит для той или иной задачи.