Использование платформы GrowthBook для управления ML-экспериментами

В зависимости от стадии зрелости компании можно встретить разные способы проведения цикла продуктовых гипотез:

• Некоторые используют всевозможные «костыли», чтобы на бэкенде или фронтенде разделить пользовательские группы. Этим процессом управляют продуктовые менеджеры.
• Кто-то предпочитает всё консолидировать в рамках команды разработки, которая целиком и полностью управляет ходом проведения теста.
• Другие выделяют отдельную команду для разработки собственных SDK или внедрения проприетарных/свободных инструментов для управления тестами.

Каждый из этих подходов имеет право на жизнь, так как позволяет оптимизировать ту или иную метрику разработки, жертвуя чем-то другим. Например, ускоряя TTM взамен на повышенную скорость накопления технического долга.

Поговорим об одном из способов организации пайплайна экспериментов на основе открытой платформы GrowthBook, когда ответственность за запуск и тестирование фичей лежит на команде ML-разработчиков. Предлагаемый подход призван уменьшить количество интеграций на стороне основной команды разработки и одновременно повысить скорость вывода в production новых версий моделей машинного обучения.