Извлекать соответствующие Внешние данные перед Каждым вызовом LLM RAG - это метод, при котором перед отправкой любого запроса в LLM извлекаются соответствующие фрагменты внешних данных и вставляются в запрос в качестве контекста. Внешние данные могут храниться в базе данных или файлах, таких как PDF-файлы или книги, включая описания продуктов и спецификации. Прикрепляя эти извлеченные фрагменты, модель получает точную информацию, необходимую для текущего вопроса.
Ограниченный контекст, Отсутствие надежного источника, Устаревшие знания Три основные проблемы мотивируют RAG: контекстные окна слишком малы, чтобы вместить большое количество информации, у моделей часто отсутствует надежный источник информации, относящейся к предметной области, и их знания могут быть устаревшими из‑за устаревших обучающих данных. Без устранения этих недостатков модель может потеряться, в ней могут отсутствовать необходимые детали или содержаться неправильные ответы. Системы RAG непосредственно устраняют эти пробелы, предоставляя свежую информацию, относящуюся к конкретной задаче, во время запроса.
Кодируйте подсказки и данные в векторы для поиска сходства Небольшая модель встраивания (только для кодировщика, в стиле BERT) преобразует текст пользователя в числовой вектор. База знаний разбита на небольшие блоки, и каждый блок также встраивается в векторы, превращая всю базу данных в векторизованные записи. Система векторного поиска, такая как FAISS, сравнивает вектор запроса с векторами базы данных, чтобы найти наиболее похожие фрагменты. Векторы - это просто массивы чисел; сходство указывает на содержание, связанное с вопросом.
Создайте расширенное приглашение на основе инструкции, контекста и вопроса Система формирует расширенное приглашение, состоящее из трех частей: инструкции о том, как должен вести себя LLM, извлеченного контекста из базы данных и исходного вопроса пользователя. Эти комбинированные входные данные отправляются LLM, который формирует ответ, основанный на предоставленном контексте. Если в базе данных нет соответствующей информации, система отвечает, что она не знает, что предпочтительнее, чем выдумывать ложные факты.
Точная поддержка продукта и широкая применимость Для поддержки клиентов создайте базу данных, содержащую информацию о вашем продукте — описания, спецификации и все нюансы — и позвольте агенту искусственного интеллекта отвечать на вопросы, используя полученные знания. Каждый пользовательский запрос внедряется, сопоставляется с базой данных о продукте и передается с полученным контекстом LLM для получения точных ответов. Этот подход применим ко многим сценариям и напрямую устраняет ограничение на небольшое контекстное окно. Существует множество вариантов RAG (например, CG, KG), и на основе ваших данных можно создать пользовательскую систему.