ИИ под замком: как мы развернули безопасный LLM-сервис для 3000 разработчиков

Задумывались о запуске собственного LLM-сервиса внутри компании и сразу сталкивались с множеством проблем? С одной стороны, можно интегрировать что-то мощное, затратив минимум ресурсов и времени. С другой стороны, ваши желания разбиваются о проблемы приватности, безопасности и качества моделей. В докладе расскажу, как мы в Kaspersky прошли сложный путь от идеи до собственного безопасного LLM-сервиса для 3000 разработчиков:

• Почему решили отказаться от облачных решений в пользу собственного LLM-сервиса — и как это повлияло на архитектуру.
• С какими проблемами мы столкнулись при использовании open source-технологий: от уязвимостей до нестабильности и багов.
• Как мы выстроили систему проверки и модерации, чтобы LLM можно было безопасно применять для чувствительных задач — без страха утечек или токсичного поведения.

Будет полезно архитекторам, ML-инженерам, DevOps-специалистам и всем, кто хочет внедрить LLM в компании — с контролем и без риска.