Groundedness и оценка

Groundedness (обоснованность ответа) — главный критерий, по которому платформа оценивает качество агента. Проверяет её отдельная модель-судья: она не отвечает клиенту сама, а только выносит вердикт по каждому ответу агента из eval-прогона.

Что именно оценивает судья

Критерий зависит от типа вопроса (см. Eval-датасеты):

• Для обычных и пограничных вопросов (happy, edge) ответ засчитывается пройденным только при одновременном выполнении двух условий:
  1. все фактические утверждения в ответе подтверждаются найденным контекстом — модель не добавила ничего от себя;
  2. в ответе есть хотя бы одна ссылка вида [N] на источник.
• Для вопросов вне темы (oos) ответ засчитывается пройденным, только если агент честно признал, что не знает ответа, вместо того чтобы придумать правдоподобный факт. Предложить эскалацию на человека или попросить контакты — это допустимо и не мешает пройти проверку.

Судья видит тот же контекст, что и агент во время генерации ответа, — поэтому оценивает не «правильно ли в целом», а «опирается ли ответ конкретно на то, что агент нашёл».

Порог 0.85 — что это значит на практике

Итоговая оценка прогона — это доля вопросов, на которые агент ответил успешно (пройденные / всего вопросов). Прогон считается пройденным, если оценка не ниже 0.85, то есть агент должен успешно закрыть не менее 85% контрольных вопросов. Из восьми стандартных вопросов это означает не более одного провала.

Почему порог именно такой

Полные 100% на практике избыточно строгий порог — единичная неудачная формулировка модели не должна блокировать публикацию всей организации. Но и заметно ниже 85% означало бы, что агент регулярно ошибается на контрольных вопросах, — а это ровно то, что не должно происходить в разговоре с реальным клиентом.

Где посмотреть результат

На странице агента, в блоке «Контроль качества»: общий счёт и порог, а по каждому вопросу — тип, вердикт и краткое объяснение, которое дал судья. Это объяснение помогает понять, чего конкретно не хватило в ответе — ссылки, точности или честного отказа.