Доклад будет посвящен проблеме паразитной нагрузки на кластерах GreenPlum и способах ее предиктивного определения.

Суть проблемы: так как GreenPlum имеет неразделимые ресурсы и работает со скоростью самого медленного сегмента, могут возникать ситуации, при которых часть ресурсов недоутилизируется или утилизируется неравномерно, что негативно влияет на оптимальность выполняемых запросов. В высоконагруженных промышленных системах нет возможности в ручном режиме проанализировать оптимальность всех запросов. При этом некоторые запросы могут оказывать негативное влияние на все процессы на кластере GreenPlum.

Для решения этих проблем в компании разрабатывают систему сбора метрик по активным запросам. На основании этих метрик были выработаны критерии, по которым происходит классификация запросов для определения их степени оптимальности. Данное деление позволяет выдавать ряд рекомендаций для администраторов кластера или автоматизированных систем принятия решения о реакции на паразитную нагрузку. Также производится пост-анализ по истории запросов на кластере, для более оптимального управления нагрузкой. Спикер расскажет о инструментах и подходах, которые они используют.

Технологии: GreenPlum, Postgres hooks, ML.

Pavel Ternyuk

Talks from 2023 season

Predictive Analysis of Parasitic Load on GreenPlum Clusters

Pavel Ternyuk

Mark Lebedev