Eval-датасеты

Eval-датасет — это набор контрольных вопросов, на которых проверяется конкретный агент. Датасет генерируется автоматически: как только документы, загруженные при создании агента, заканчивают индексацию, платформа читает их заголовки и содержимое и составляет вопросы, специфичные именно для этой базы знаний.

Типы вопросов

Стандартный сгенерированный датасет состоит из 8 вопросов трёх типов:

• happy (4 вопроса) — обычные вопросы, ответ на которые точно есть в базе знаний. Проверяют, отвечает ли агент по делу.
• edge (2 вопроса) — пограничные или каверзные вопросы по деталям документов. Проверяют внимательность агента к нюансам.
• oos («out of scope», 2 вопроса) — вопросы заведомо не по теме базы знаний. Правильный ответ — честное «не знаю», а не выдуманный факт. Проверяют, что агент не начинает фантазировать, когда не находит подходящего контекста.

Откуда берутся

Вопросы генерирует сама платформа: дешёвая модель читает заголовки и фрагменты первых десяти документов источника и формулирует вопросы нужных типов. Это происходит автоматически после мастера создания агента или онбординга через API — отдельно запускать генерацию не нужно.

Можно ли дополнить своими вопросами

Сейчас в консоли нет отдельного экрана для ручного добавления вопросов в датасет — набор полностью формируется автоматически по загруженным документам. Если нужно перепроверить агента на новых материалах, самый надёжный способ — загрузить дополнительные документы в его базу знаний; следующий прогон eval будет учитывать обновлённое содержимое базы через поиск, даже если сам список вопросов не менялся.

Где посмотреть результат прогона по каждому вопросу

На странице агента в блоке «Контроль качества» после запуска eval видно каждый вопрос, метку его типа, вердикт (пройден/провален) и краткое объяснение вердикта — подробнее в разделе Groundedness и оценка.

Как дополнить или изменить датасет

В деталке агента, карточка «Eval-датасет»: добавляйте и правьте вопросы вручную (тип happy / edge / oos у каждого), либо нажмите «Пересобрать по базе» — платформа сгенерирует свежий набор по текущему скоупу знаний агента. После любой правки датасета последний прогон проверки считается устаревшим: перед публикацией агента прогоните eval заново.