RAG: поиск по документам с генерацией ответа
Как RAG соединяет поиск и языковую модель. Что проверить в источниках, доступе и ответах, прежде чем применять подход к рабочей базе знаний.
Если ответ зависит от текущих инструкций и внутренних правил, общих знаний языковой модели недостаточно. RAG — retrieval-augmented generation — связывает подготовку ответа с поиском в выбранном корпусе материалов.
Подход полезно рассматривать для вопросов, где читателю нужны и объяснение, и основание в документе. До выбора модели стоит проверить более простой вариант: сможет ли человек быстро получить ответ через поиск и ссылку на нужный раздел.
01
Как соединяются поиск и ответ
В классической RAG-схеме приложение находит материалы по запросу и передаёт результаты языковой модели для формирования ответа. Такой механизм описан в обзоре RAG от Microsoft. Документ посвящён Azure AI Search; общую схему здесь используют для объяснения подхода, без выбора облачного сервиса.
Условный вопрос: «Какие сведения нужны для заявки на оборудование?» В рабочий пример можно включить утверждённую инструкцию и форму заявки. Для проверки ответа важно видеть, какие разделы были найдены и к какой редакции они относятся.
У задачи есть три отдельных результата: подготовленный корпус, найденный контекст и сформулированный ответ. Если необходимый пункт отсутствует в корпусе, настройка формулировок не создаст достоверное основание. Если пункт есть, но поиск его не нашёл, нужно разбирать поиск. Если контекст найден, но ответ искажает условие, проверяют этап формирования ответа.
02
Что подготовить в документах
Начните с ограниченного набора материалов с понятным владельцем. Для каждого документа запишите название, редакцию, дату актуальности и допустимый круг читателей. Отдельно решите, как исключать отменённые правила и обновлять изменённые.
Для условной инструкции о заявках можно задать правило приоритета: действующая утверждённая редакция используется как основание, старые версии доступны только для явно обозначенного сравнения. Это пример требования к корпусу, которое должна принять организация.
Полезно заранее проверить таблицы, приложения и ссылки между документами. Выберите вопрос, ответ на который расположен в нескольких местах, и установите, какой контекст нужен целиком. Не превращайте такой вопрос в проверку удобного фрагмента, если рабочий ответ требует ещё и исключения из другого раздела.
03
Доступ и доверие к содержимому
Для каждого сценария определите, какие документы может получить пользователь. Ограничение должно действовать до передачи недоступного материала модели. Обещание «модель не покажет секрет» не заменяет проверку разрешённого набора источников.
Внешний документ может содержать внедрённые инструкции, которые пытаются изменить поведение модели. Этот риск описан в документации Microsoft о document attacks.
Содержимое найденного файла нужно рассматривать как материал для ответа. Оно не должно автоматически давать разрешение отправлять сообщения, менять записи или открывать другие источники. Если помощнику планируют поручать действия, их права и подтверждения проектируют отдельно от поиска.
Перед пилотом составьте случаи недопустимого доступа и проверьте их наряду с обычными вопросами. Для теста достаточно специально подготовленных материалов с условными группами доступа; реальные закрытые документы не нужны для демонстрации механизма.
04
Как оценивать полезность
Оценка найденного контекста и оценка итогового ответа решают разные задачи. В документации RAG evaluators эти уровни выделены отдельно.
Для своего пилота подготовьте вопросы с проверяемыми основаниями и укажите, что считается правильным результатом. Включите случаи, когда ответа в материалах нет, формулировка двусмысленна или документы противоречат друг другу. Предусмотрите допустимую реакцию: уточнить вопрос, показать противоречие или сообщить о нехватке данных.
Ссылка на документ полезна только тогда, когда указанный раздел поддерживает ответ. Проверяйте и основной вывод, и условия, которые могут его изменить. Один успешный показ не устанавливает качество на всём корпусе.
05
Когда стоит проверять RAG в пилоте
Рассмотрите пилот, если выбраны конкретные вопросы, есть управляемый корпус и требуется ответ с объяснением по нескольким материалам. Если задача сводится к поиску номера, точного значения или готового пункта инструкции, сначала сравните RAG с поиском и структурированным запросом.
Для обсуждения подготовьте примеры вопросов, разрешённые документы, правила актуальности и допустимые ошибки. Это основа проверки подхода. Стоимость, размещение, доступность и состав интеграции определяются после уточнения задачи.