Предиктивный анализ паразитной нагрузки на кластерах GreenPlum

Доклад будет посвящен проблеме паразитной нагрузки на кластерах GreenPlum и способах ее предиктивного определения.

Суть проблемы: так как GreenPlum имеет неразделимые ресурсы и работает со скоростью самого медленного сегмента, могут возникать ситуации, при которых часть ресурсов недоутилизируется или утилизируется неравномерно, что негативно влияет на оптимальность выполняемых запросов. В высоконагруженных промышленных системах нет возможности в ручном режиме проанализировать оптимальность всех запросов. При этом некоторые запросы могут оказывать негативное влияние на все процессы на кластере GreenPlum.

Для решения этих проблем в компании разрабатывают систему сбора метрик по активным запросам. На основании этих метрик были выработаны критерии, по которым происходит классификация запросов для определения их степени оптимальности. Данное деление позволяет выдавать ряд рекомендаций для администраторов кластера или автоматизированных систем принятия решения о реакции на паразитную нагрузку. Также производится пост-анализ по истории запросов на кластере, для более оптимального управления нагрузкой. Спикеры расскажут о инструментах и подходах, которые они используют.

Технологии: GreenPlum, Postgres hooks, ML.