Как проверить качество ИИ-помощника до расширения пилота

Как собрать набор вопросов, отделить качество поиска от качества ответа и проверить отсутствие оснований. Практический порядок оценки ИИ-пилота по документам.

Убедительная демонстрация ИИ-помощника показывает, что выбранный вопрос получил удачный ответ. Для решения о расширении пилота этого мало: нужно узнать, в каких рабочих ситуациях помощник полезен и какие ошибки остаются.

Начните с одного сценария и способа его проверки. Например, помощник объясняет правила из разрешённого набора инструкций, показывает основание и сообщает, когда данных недостаточно. Далее — авторский порядок оценки такого пилота, без обещания конкретной точности или экономии.

Подготовьте карточки вопросов

Для каждой карточки запишите вопрос, разрешённые источники, ожидаемый результат и существенные условия. Рядом укажите, какая ошибка делает ответ непригодным. Эталон должен проверяться человеком, который понимает содержание выбранных материалов.

В набор включите разные ситуации: прямой вопрос к одному разделу, ответ из нескольких документов, исключение из общего правила, устаревшую редакцию и вопрос без основания в корпусе. Отдельно подготовьте двусмысленный запрос, для которого правильная реакция — уточнение.

Количество карточек зависит от сценария. Достаточность нельзя установить по красивой круглой цифре: нужно проверить, представлены ли важные типы вопросов и последствия ошибок. Обезличенные авторские документы подходят для проверки механизма; качество на них не переносится автоматически на будущий рабочий корпус.

Не смешивайте правильность и полноту

Groundedness оценивает согласованность ответа с предоставленным контекстом, а completeness — полноту относительно ожидаемого ответа. Это различие описано в официальной документации RAG evaluators. Сами числовые оценки конкретного инструмента не являются готовым порогом приёмки вашей задачи.

Условный документ говорит: «Заявку подаёт сотрудник; для замены исправного оборудования нужно обоснование руководителя». Помощник отвечает только: «Заявку подаёт сотрудник». Фраза поддерживается документом, но на вопрос о замене исправного оборудования такой ответ неполон: существенное условие пропущено.

Теперь другой ответ: «Заявку согласуют за один день». Если такого срока в документе нет, основание отсутствует. Эти ошибки требуют разных исправлений. В первом случае проверяют полноту и сохранение условий, во втором — добавление неподтверждённых сведений.

Сохраните след проверки

Для разбора ошибки полезно иметь вопрос, найденные фрагменты, ответ, версию материалов и решение проверяющего. Сохраняйте только разрешённые сведения в согласованном месте; реальное закрытое содержимое не должно попадать в общедоступный отчёт.

Если нужный пункт не найден, исследуйте корпус и поиск. Если пункт найден, но искажён или пропущен, разберите формирование ответа. Не меняйте сразу все настройки: после нескольких одновременных изменений трудно установить причину улучшения или ухудшения.

Разделите материалы для настройки и контрольную проверку. После исправления повторно прогоните контрольные вопросы на той же зафиксированной версии. Удачный ответ на вопрос, по которому подбирали настройку, ещё не показывает поведение на других формулировках.

Проверьте отказ, доступ и действия

Вопрос без ответа в корпусе должен получать предусмотренную реакцию. Для одного сценария полезно сообщение о нехватке данных, для другого — уточнение или передача вопроса человеку. Формулировку и следующий шаг нужно согласовать заранее.

Добавьте случаи, когда пользователь не вправе читать документ. Результат проверки должен показывать соблюдение границы доступа, а не только отсутствие прямой цитаты в финальном ответе.

Риск document attack возникает, когда инструкции, внедрённые в сторонний материал, пытаются повлиять на поведение модели. Он описан в документации Microsoft о document attacks. Для пилота можно создать специальный условный документ с такой инструкцией и проверить, что приложение не выполняет запрещённое действие. Набор успешных тестов не устанавливает отсутствие всех возможных атак.

Если помощник получает право изменять данные, оценка ответов остаётся только частью проверки. Отдельно проверяют разрешённые действия, подтверждение, отмену и итоговое состояние. Поисковый пилот не даёт оснований автоматически открывать эти возможности.

Примите решение по ошибкам

Сведите результаты по категориям: поиск, неподтверждённые утверждения, пропущенные условия, вопросы без основания и нарушения границ доступа. Для каждой категории укажите наблюдённые случаи, влияние на рабочий сценарий и следующий эксперимент.

Решение может быть узким: оставить помощника только для поиска с проверкой человеком, исключить неподготовленный раздел или доработать корпус перед повторной оценкой. Расширяйте пилот после проверки выбранных исправлений. Оценка, которая заканчивается перечнем конкретных ограничений, полезнее общего вывода «ИИ работает хорошо».

Для обсуждения задачи подготовьте карточки вопросов, правила доступа и критерии непригодного ответа. Этот набор позволяет проверить пилот по содержанию, а не по впечатлению от демонстрации.

Состав работ по ИИ для рабочих задач

Ещё по теме