Многомодальный поиск в поиске ИИ Azure

Многомодальный поиск ссылается на возможность приема, понимания и получения информации в нескольких типах контента, включая текст, изображения, видео и звук. В службе "Поиск ИИ Azure" многомодальный поиск изначально поддерживает прием документов, содержащих текст и изображения, и получение их содержимого, что позволяет выполнять поиски, которые объединяют оба модальности.

Создание надежного многомодального конвейера обычно включает в себя:

1. Извлечение текста страниц и встроенных изображений из документов.

2. Описание изображений на естественном языке.

3. Внедрение текста и изображений в общее векторное пространство.

4. Хранение изображений для последующего использования в качестве заметок.

Многомодальный поиск также требует сохранения порядка сведений, отображаемых в документах и выполнения гибридных запросов , которые объединяют полнотекстовый поиск с векторным поиском и семантическим ранжированием.

На практике приложение, использующее многомодальный поиск, может отвечать на такие вопросы, как "Что такое процесс утверждения формы кадров?", даже если единственное достоверное описание процесса находится внутри внедренной схемы в PDF-файле.

Почему используйте многомодальный поиск?

Традиционно многомодальный поиск требует отдельных систем для обработки текста и изображений, часто требуя пользовательского кода и низкоуровневых конфигураций от разработчиков. Поддержание этих систем вызывает более высокие затраты, сложность и усилия.

Поиск ИИ Azure решает эти проблемы путем интеграции изображений в тот же конвейер извлечения, что и текст. С помощью одного многомодального конвейера можно упростить настройку и разблокировать сведения, находящиеся на диаграммах, снимках экранах, инфографиках, сканированных формах и других сложных визуальных элементах.

Многомодальный поиск идеально подходит для сценариев извлечения с дополнением для генерации (RAG). Интерпретируя структурную логику изображений, многомодальный поиск снижает вероятность того, что ваше приложение RAG или агент ИИ упустят важные визуальные детали. Он также предоставляет пользователям подробные ответы, которые можно отследить до исходных источников независимо от модальности источника.

Как работает многомодальный поиск?

Чтобы упростить создание многомодального конвейера, служба "Поиск ИИ Azure" предлагает мастер импорта данных на портале Azure. Мастер помогает настроить источник данных, определить параметры извлечения и обогащения и создать многомодальный индекс, содержащий текст, внедренные ссылки на изображения и векторные внедрения. Для получения дополнительной информации см. Краткое руководство: Многомодальный поиск на портале Azure.

Мастер выполняет следующие действия, чтобы создать многомодальный конвейер:

1. Извлечение содержимого: Выберите из навыка извлечения документов, навыка разметки документов или навыка "Распознавание содержимого Azure ", чтобы получить текст страницы, встроенные изображения и структурные метаданные. Каждый навык предлагает различные возможности для извлечения метаданных, обработки таблиц и поддержки формата файлов. Подробные сравнения см. в разделе "Параметры для извлечения многомодального содержимого".

2. Фрагмент текста:Умение разделения текста разбивает извлеченный текст на блоки, с которыми удобно работать, для использования в оставшемся конвейере, например, умение встраивания.

3. Создание описаний изображений:Навык запросов GenAI описывает изображения, создавая краткие описания на естественном языке для текстового поиска и встраивания с помощью крупной языковой модели (LLM).

4. Создание эмбеддингов: Технология создания эмбеддингов формирует векторные представления текста и изображений, обеспечивая возможность поиска по сходству и гибридное извлечение. Вы можете нативно использовать встраиваемые модели Azure OpenAI, Microsoft Foundry или Azure Vision.

   Кроме того, можно пропустить словизацию изображений и передать извлеченный текст и изображения непосредственно в многомодальную модель встраивания с помощью навыка AML или навыка многомодального встраивания Azure Vision. Дополнительные сведения см. в разделе "Параметры многомодального внедрения содержимого".

5. Сохраните извлеченные изображения:Хранилище знаний содержит извлеченные образы, которые можно вернуть непосредственно клиентским приложениям. При использовании мастера расположение образа хранится непосредственно в многомодальном индексе, что позволяет удобно извлекать данные во время запроса.

Параметры для извлечения мультимодального содержимого

Многомодальный конвейер начинается с взлома каждого исходного документа на фрагменты текста, встроенные изображения и связанные метаданные. На этом шаге служба "Поиск ИИ Azure" предоставляет три встроенных навыка.

• Навык извлечения документов
• Навыки оформления документов
• Функция "Понимание содержимого Azure"

Параметры внедрения мультимодального содержимого

В службе "Поиск ИИ Azure" извлечение знаний из изображений может следовать двумя взаимодополняющими путями: вербализация изображений или прямое встраивание. Понимание различий помогает выровнять затраты, задержку и качество ответа с потребностями вашего приложения.

Словесность изображений, за которой следует внедрение текста

С помощью этого метода навык запроса GenAI вызывает LLM во время поглощения данных, чтобы создать краткое естественно-языковое описание каждого извлеченного изображения, например, "Рабочий процесс доступа к персоналу на пяти шагах, начинающийся с утверждения руководителя". Описание хранится как текст и внедряется вместе с текстом окружающего документа, который затем можно преобразовать в векторный формат, вызвав модели внедрения Azure OpenAI, Microsoft Foundry или Azure Vision.

Поскольку изображение теперь выражается с помощью языка, Azure AI Search может:

• Интерпретация связей и сущностей, показанных на схеме.

• Предоставьте готовые подписи, которые LLM может дословно цитировать в ответе.

• Возвращает соответствующие фрагменты для приложений RAG или сценариев агента ИИ с заземленными данными.

Добавленная семантическая глубина подразумевает вызов LLM для каждого изображения и незначительное увеличение времени индексирования.

Прямые многомодальные внедрения

Второй вариант — передать извлеченные документом изображения и текст в многомодальную модель внедрения, которая создает векторные представления в одном пространстве векторов. Конфигурация проста, и во время индексирования не требуется LLM. Прямые встраивания хорошо подходят для визуального сходства и сценариев "найди что-то похожее на это".

Поскольку представление является чисто математическим, он не передает, почему два изображения связаны, и он не предлагает готовый контекст LLM для ссылок или подробных объяснений.

Объединение обоих подходов

Многие решения нуждаются в обоих путях кодирования. Схемы, блок-диаграммы и другие визуальные элементы с подробными объяснениями переданы словесно, чтобы семантическая информация была доступна для RAG и агентов ИИ. Снимки экрана, фотографии продуктов или рисунки внедрены непосредственно для эффективного поиска сходства. Вы можете настроить индекс и конвейер набора навыков Azure AI Search таким образом, чтобы они могли хранить две группы векторов и извлекать их параллельно.

Параметры запроса мультимодального содержимого

Если ваш многомодальный конвейер управляется навыком GenAI Prompt, вы можете выполнять гибридные запросы как по обычному тексту, так и по вербализованным изображениям в индексе поиска. Фильтры также можно использовать для сужения результатов поиска к определенным типам контента, таким как только текст или только изображения.

Хотя навык запроса GenAI поддерживает текстовые запросы к вектору через гибридный поиск, он не поддерживает запросы изображений к вектору. Только модели многомодального внедрения предоставляют векторизаторы, преобразующие изображения в векторы во время запроса.

Чтобы использовать изображения в качестве входных данных запроса для многомодального индекса, необходимо использовать навык AML или навык многомодального внедрения Azure Vision с эквивалентным векторизатором. Дополнительные сведения см. в разделе "Настройка векторизатора" в индексе поиска.

Руководства и примеры

Чтобы приступить к работе с многомодальным поиском в службе "Поиск ИИ Azure", вот коллекция содержимого, демонстрирующая создание и оптимизацию многомодальных индексов с помощью функций Azure.