Модуль Keep
Модуль предоставляет возможность автоматизированного тестирования и аудита безопасности LLM и ИИ-агентов. Позволяет получить оценку устойчивости и сформировать отчёт с классификацией по OWASP.
Возможности
- Сканер уязвимостей — 175+ структурированных проб по категориям атак, параллельное выполнение
- Ручной и автоматизированный red-teaming — 9 типов атак (от прямой отправки промпта до многоходовой эскалации), с историей диалога и автоматической оценкой результата
- Пакетное тестирование — до 53 наборов данных, матричный запуск нескольких целей против нескольких типов атак одновременно
- Аналитическая панель — радарные диаграммы и тренды по категориям атак
Сценарии использования
- Аудит перед выводом агента в продуктив — полный прогон сканера уязвимостей и набора атак со структурированным отчётом до релиза
- Ручной red-teaming специалистом по безопасности — интерактивное исследование конкретной уязвимости с ветвлением диалога и точечным подбором техники обхода защиты
- Сравнение версий моделей перед обновлением — прогон одного и того же набора атак на старую и новую версию модели, чтобы убедиться в отсутствии регресса по устойчивости
- Регуляторный и внутренний комплаенс-отчёт — генерация отчёта с классификацией по OWASP LLM Top 10 для внутреннего аудита безопасности или в рамках требований регулятора
- Оценка сторонних моделей перед выбором — сравнение нескольких LLM-кандидатов (open-source или от разных провайдеров) по единому набору атак, чтобы выбрать модель для продакшена не только по качеству ответов, но и по устойчивости
- Проверка после дообучения/fine-tuning — прогон полного набора атак на модели после дообучения на клиентских данных, чтобы убедиться, что кастомизация не снизила защищённость