Генерация, дополненная поисковыми данными, и индексы

В этой статье рассказывается о важности и необходимости дополненной генерации (RAG) и индексации в генеративном ИИ.

Что такое RAG?

Сначала некоторые основы. Крупные языковые модели (LLM), такие как ChatGPT, обучены на общедоступных интернет-данных, которые были доступны в то время, когда они были обучены. Они могут отвечать на вопросы, связанные с данными, на которые они были обучены. Эти общедоступные данные могут быть недостаточно для удовлетворения всех ваших потребностей. Возможно, вам потребуется ответить на вопросы на основе частных данных. Или общедоступные данные могут быть просто устаревшими. Решением этой проблемы является извлечение дополненного поколения (RAG), шаблон, используемый в ИИ, использующий LLM для создания ответов с собственными данными.

Как работает RAG?

RAG — это шаблон, использующий данные с LLM для создания ответов, относящихся к данным. Когда пользователь задает вопрос, в хранилище данных выполняется поиск на основе ввода пользователя. Затем вопрос пользователя объединяется с соответствующими результатами и отправляется в LLM с помощью запроса (явные инструкции для модели искусственного интеллекта или машинного обучения), чтобы создать нужный ответ. Этот процесс можно проиллюстрировать следующим образом.

Что такое индекс и почему мне нужен?

RAG использует ваши данные для генерации ответов на вопросы пользователя. Чтобы RAG работал хорошо, нам нужно найти способ поиска и отправки данных простым и экономичным способом в LLM. Это достигается с помощью индекса. Индекс — это хранилище данных, которое позволяет эффективно искать данные. Этот индекс очень полезен в RAG. Индекс можно оптимизировать для LLM путем создания векторов (текстовые данные, преобразованные в числовые последовательности с помощью модели внедрения). Хороший индекс обычно имеет эффективные возможности поиска, такие как поиск по ключевым словам, семантические поиски, векторные поиски или сочетание этих. Этот оптимизированный шаблон RAG можно проиллюстрировать следующим образом.

Azure AI предоставляет ресурс индекса для использования с шаблоном RAG. Ресурс индекса содержит важные сведения, например, где хранится индекс, как получить доступ к индексу, какие режимы можно искать в индексе, имеют ли индекс векторы, что такое модель внедрения, используемая для векторов и т. д. Индекс ИИ Azure использует поиск ИИ Azure в качестве основного и рекомендуемого хранилища индексов. Поиск ИИ Azure — это ресурс Azure, поддерживающий получение информации по векторным и текстовым данным, хранящимся в индексах поиска.

Дальнейшие действия

• Создание векторного индекса