Как месяц искать утечку памяти в СХД и выяснить, что ее на самом деле нет

В процессе разработки системы хранения данных TATLIN.UNIFIED инженеры постоянно тестируют совместимость разных версий гипервизоров и ПО самой СХД. Ведь решения сторонних вендоров, например гипервизоры или базы данных, могут выдавать специфическое поведение и нагрузки, непохожие на синтетический трафик, сгенерированный специальными утилитами и бенчмарками.

В одном из таких тестов мы обнаружили странную проблему: при создании 2 000 виртуальных машин на кластере из нескольких VMWare ESXi на ресурсах TATLIN.UNIFIED в сервисе обработки данных начиналась утечка памяти на обоих контроллерах хранения.

Утечка памяти — относительно рядовая проблема для всех разработчиков системного ПО. Но в этом случае все оказалось интереснее: мы искали баг, которого не было в коде.

Доклад может быть полезен широкой аудитории, интересующейся разработкой, тестированием и отладкой высоконагруженных приложений и сложных enterprise-систем, а также людям, интересующимся системным программированием.