Eval-гейт
Почему агента нельзя опубликовать, пока он не прошёл проверку качества.
Eval-гейт — это автоматическая проверка качества, через которую обязан пройти любой агент, прежде чем стать доступным клиентам. Пока агент не прошёл проверку, кнопка публикации на его странице недоступна.
Как это работает, коротко
- Платформа генерирует набор контрольных вопросов по загруженным документам — обычные, пограничные и такие, ответа на которые в базе нет (см. Eval-датасеты).
- По команде «Запустить eval» агент отвечает на каждый вопрос так же, как отвечал бы клиенту.
- Каждый ответ оценивает LLM-судья — беспристрастная модель, проверяющая обоснованность ответа и наличие ссылок на источники (см. Groundedness и оценка).
- Если доля успешных ответов достигает порога 0.85 (85%), прогон считается пройденным, и агента можно опубликовать (см. Публикация агента).
Зачем это бизнесу
Без такой проверки риск в том, что агент начнёт уверенно отвечать на вопросы, ответа на которые в базе знаний нет — то есть выдумывать факты о вашей компании перед реальными клиентами. Eval-гейт — механический барьер, который не пропустит такого агента к публикации, независимо от того, насколько убедительно он звучит. Это особенно важно после любой правки: изменение персоны, модели, привязанных баз знаний или скиллов автоматически снимает агента с публикации и требует повторного прогона.