Модуль Touchstone
Модуль предоставляет возможность объективной оценки качества работы ИИ-систем и их вклада в достижение бизнес-целей.
Возможности
- Автоматизирует тестирование ИИ-агентов и цепочек: валидация ответов LLM; нагрузочное тестирование; отчётность и метрики
- Комплексная настраиваемая система оценки ИИ-агентов для точного измерения их вклада в достижение бизнес-целей (оценка производится на основании выбранных технических и бизнес-метрик)
Сценарии использования
- Оценка технических метрик: точность, релевантность, отсутствие галлюцинаций и другие
- Оценка бизнес-метрик: Task Completion Rate, Escalation Rate и другие
- Тестирование моделей: A/B тестирование моделей и промптов для определения оптимального соотношения цена/качество
- Дашборды: Визуализация ключевых показателей