Модуль Proxy
ИИ-шлюз для всех запросов к LLM-моделям, векторным хранилищам, инструментам и MCP-серверам в организации. Позволяет контролировать доступ, расходы и безопасность на уровне пользователей, команд и организаций — приложения обращаются к одному API, не имея прямого доступа к ключам провайдеров.
Возможности
- Единый OpenAI-совместимый API — доступ к любым LLM (облачным и on-premise), векторным хранилищам, инструментам и MCP-серверам через одну точку входа
- Управление доступом через виртуальные ключи
- Guardrails и политики безопасности — фильтрация персональных данных, защита от prompt injection и настраиваемые правила проверки до и после вызова
- Кэширование и контроль затрат — снижение задержки и стоимости за счет повторного использования ответов
Сценарии использования
- Обеспечение непрерывности сервиса — автоматическое переключение на резервную модель при отказе основного провайдера
- Быстрое сравнение моделей перед выбором — тестирование нескольких LLM на одном и том же запросе прямо в интерфейсе, без интеграции каждой модели в приложение для проверки
- Прозрачная отчётность по расходам для финансов — детализация затрат по командам, проектам и моделям для планирования бюджета на ИИ вместо разрозненных счетов от разных провайдеров
- Управление доступом по JWT-токену пользователя — аутентификация запросов по JWT-токену из корпоративного SSO/OIDC-провайдера (Keycloak, Azure AD и т.п.) — без необходимости выдавать и хранить статические API-ключи. Права, лимиты и бюджет привязываются к личности пользователя автоматически, на основе данных токена
- Ограничение нагрузки (rate limiting) — контроль количества запросов и токенов на уровне пользователя, ключа или команды — защита от случайного или намеренного перерасхода бюджета.
- Контроль и фильтрация контента (guardrails) — проверка на утечку персональных данных и модерация контента на входе/выходе (совместно с модулем guard)