Краткое руководство: Поиск мультимодального контента на портале Azure

В этом кратком руководстве вы используете мастер импорта и векторизации данных на портале Azure для начала работы с многомодальным поиском. Мастер упрощает процесс извлечения, фрагментирования, векторизации и загрузки текста и изображений в индекс, доступный для поиска.

В отличие от краткого руководства: Векторный поиск в портале Azure, которое обрабатывает простые изображения, содержащие текст, это краткое руководство поддерживает расширенную обработку изображений для мультимодальных сценариев RAG.

В этом кратком руководстве используется мультимодальный PDF-файл из репозитория azure-search-sample-data. Однако вы можете использовать разные файлы и все же завершить работу с этим быстрым запуском.

Необходимые компоненты

• Учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно .

• Служба поиска ИИ Azure. Мы рекомендуем уровень "Базовый" или "Выше".

• Учетная запись хранения Azure. Используйте хранилище BLOB-объектов Azure или Azure Data Lake Storage 2-го поколения (учетную запись хранения с иерархическим пространством имен) в учетной записи стандартной производительности (общего назначения версии 2). Уровни доступа могут быть горячими, прохладными или холодными.

• Поддерживаемый метод извлечения.

• Поддерживаемый метод внедрения.

• Знакомство с мастером. См. статью "Мастер импорта данных" на портале Azure.

Поддерживаемые методы извлечения

Для извлечения содержимого можно выбрать извлечение по умолчанию с помощью поиска ИИ Azure или расширенного извлечения с помощью Аналитики документов ИИ Azure. В следующей таблице описаны оба метода извлечения.

¹ Для выставления счетов необходимо присоединить мультисервисный ресурс Azure AI к набору навыков в службе поиска ИИ Azure. Если для создания набора навыков не используется подключение без ключа , оба ресурса должны находиться в одном регионе.

Поддерживаемые методы внедрения

Для встраивания контента можно выбрать вербализацию изображений (с последующей векторизацией текста) или мультимодальные эмбеддинги. Инструкции по развертыванию моделей приведены в следующем разделе. В следующей таблице описаны оба метода внедрения.

^{1 Конечная} точка ресурса Azure OpenAI должна иметь настраиваемый поддомен, например https://my-unique-name.openai.azure.com. Если вы создали ресурс на портале Azure, этот поддомен был автоматически создан во время настройки ресурса.

² ресурса Azure OpenAI (с доступом к моделям внедрения), созданным на портале Azure AI Foundry , не поддерживаются. Необходимо создать ресурс Azure OpenAI на портале Azure.

³ Для выставления счетов необходимо присоединить многосервисный ресурс Azure AI к набору навыков в службе поиска Azure AI. Если для создания набора навыков не используется подключение без ключа (предварительная версия), оба ресурса должны находиться в одном регионе.

⁴phi-4 доступно только для проектов Azure AI Foundry.

Требования к общедоступной конечной точке

Все предыдущие ресурсы должны иметь общедоступный доступ, чтобы портал Azure узлы могли получить к ним доступ. В противном случае мастер завершается ошибкой. После запуска мастера можно включить брандмауэры и частные конечные точки в компонентах интеграции для обеспечения безопасности. Дополнительные сведения см. в разделе "Безопасные подключения" в мастерах импорта.

Если частные конечные точки уже присутствуют и их невозможно отключить, альтернативой является запуск соответствующего сквозного потока из скрипта или программы на виртуальной машине. Виртуальная машина должна находиться в той же виртуальной сети, что и частная конечная точка. Ниже приведен пример кода Python для интегрированной векторизации. В том же репозитории GitHub есть примеры на других языках программирования.

Проверка доступного пространства

Если вы начинаете работу с бесплатной службой, вы ограничены тремя индексами, тремя источниками данных, тремя наборами навыков и тремя индексаторами. Перед началом работы убедитесь, что у вас достаточно места для дополнительных элементов. В этом кратком руководстве создается один из каждого объекта.

Настройка доступа

Перед началом работы убедитесь, что у вас есть разрешения на доступ к содержимому и операциям. Для авторизации рекомендуется использовать аутентификацию и доступ на основе ролей Microsoft Entra ID. Для назначения ролей необходимо быть владельцем или администратором доступа пользователей . Если роли не являются возможными, вместо этого можно использовать проверку подлинности на основе ключей .

Настройте необходимые роли и условные роли , определенные в этом разделе.

Обязательные роли

Поиск ИИ Azure и служба хранилища Azure необходимы для всех сценариев многомодального поиска.

Условные роли

На следующих вкладках рассматриваются все ресурсы, совместимые с мастером для многомодального поиска. Выберите только вкладки, которые применяются к выбранному методу извлечения и методу внедрения.

Подготовка примера данных

В этом кратком руководстве используется пример многомодального PDF-файла, но вы также можете использовать собственные файлы. Если вы пользуетесь бесплатным поисковым сервисом, используйте менее 20 файлов, чтобы оставаться в пределах бесплатной квоты для обработки данных.

Чтобы подготовить примеры данных для этого краткого руководства:

1. Войдите на портал Azure и выберите учетную запись хранения Azure.

2. В левой области выберитеконтейнеры> данных.

3. Создайте контейнер и отправьте пример PDF-файла в контейнер.

4. Создайте другой контейнер для хранения изображений, извлеченных из PDF-файла.

Развертывание моделей

Мастер предлагает несколько вариантов внедрения содержимого. Для словесного описания изображений требуется большая языковая модель (LLM) для составления описаний и модель встраивания для преобразования текста и содержимого изображения в векторы, в то время как для прямых многомодальных встраиваний требуется только одна модель встраивания. Эти модели доступны с помощью Azure OpenAI и Azure AI Foundry.

Чтобы развернуть модели для этого краткого руководства, выполните следующие действия.

1. Войдите на портал Azure AI Foundry.

2. Выберите ресурс Azure OpenAI или проект Azure AI Foundry.

3. В левой области выберите каталог моделей.

4. Разверните модели, необходимые для выбранного метода внедрения.

Запуск мастера

Чтобы запустить мастер для многомодального поиска, выполните следующие действия.

1. Войдите на портал Azure и выберите службу поиска ИИ Azure.

2. На странице "Обзор" выберите "Импорт и векторизация данных".

   

3. Выберите источник данных: Azure Blob Storage или Azure Data Lake Storage поколения Gen2.

   

4. Выберите multimodal RAG.

   

Подключение к данным

Для поиска ИИ Azure требуется подключение к источнику данных для приема содержимого и индексирования. В этом случае источник данных — это учетная запись хранения Azure.

Чтобы подключиться к данным, выполните приведенные далее действия.

1. На странице подключения к данным укажите подписку Azure.

2. Выберите учетную запись хранения и контейнер, в который вы отправили образцы данных.

3. Установите флажок "Проверка подлинности с помощью управляемого удостоверения ". Оставьте тип удостоверения назначенным системой.

   

4. Выберите Далее.

Извлеките содержимое

В зависимости от выбранного метода извлечения мастер предоставляет параметры конфигурации для взлома документов и фрагментирования.

Вставьте своё содержимое

На этом шаге мастер использует выбранный метод внедрения для создания векторных представлений текста и изображений.

Хранение извлеченных изображений

Следующим шагом является отправка изображений, извлеченных из документов в службу хранилища Azure. В службе "Поиск ИИ Azure" это дополнительное хранилище называется хранилищем знаний.

Чтобы сохранить извлеченные изображения, выполните следующие действия.

1. На странице вывода изображения укажите подписку Azure.

2. Выберите учетную запись хранения и контейнер для объектов BLOB, созданный для хранения изображений.

3. Установите флажок "Проверка подлинности с помощью управляемого удостоверения ". Оставьте тип удостоверения назначенным системой.

   

4. Выберите Далее.

Сопоставление новых полей

На странице "Дополнительные параметры" можно дополнительно добавить поля в схему индекса. По умолчанию мастер создает поля, описанные в следующей таблице.

Вы не можете изменить созданные поля или их атрибуты, но можно добавить поля, если источник данных предоставляет их. Например, Хранилище BLOB-объектов Azure предоставляет коллекцию полей метаданных.

Чтобы добавить поля в схему индекса, выполните следующие действия.

1. В разделе "Индекс" выберите "Предварительный просмотр" и "Изменить".

2. Выберите "Добавить поле".

3. Выберите исходное поле из доступных полей, введите имя поля для индекса и примите (или переопределите) тип данных по умолчанию.

4. Если вы хотите восстановить схему до исходной версии, нажмите кнопку "Сброс".

Планирование индексирования

Для источников данных, где базовые данные являются переменными, можно запланировать индексирование для записи изменений с определенным интервалом или определенными датами и временем.

Чтобы запланировать индексирование:

1. На странице "Дополнительные параметры" в разделе "Расписание индексирования" укажите расписание выполнения индексатора. Рекомендуем Once для этого краткого руководства.

   

2. Выберите Далее.

Завершение работы мастера

Последним шагом является проверка конфигурации и создание необходимых объектов для многомодального поиска. При необходимости вернитесь на предыдущие страницы мастера, чтобы настроить конфигурацию.

Чтобы завершить работу мастера, выполните следующие действия.

1. На странице проверки и создания укажите префикс для объектов, создаваемых мастером. Распространенный префикс помогает оставаться упорядоченным.

   

2. Нажмите кнопку создания.

Когда мастер завершит настройку, он создает следующие объекты:

• Индексатор, который управляет конвейером индексирования.

• Подключение к источнику данных для Хранилище BLOB-объектов Azure.

• Индекс с текстовыми полями, векторными полями, векторизаторами, векторными профилями и векторными алгоритмами. Во время рабочего процесса мастера невозможно изменить индекс по умолчанию. Индексы соответствуют REST API 2024-05-01-preview, чтобы можно было использовать предварительные версии функций.

• Набор, включающий следующие навыки:

  • Навык извлечения документов или навык макета документов извлекает текст и изображения из исходных документов. Навык разделения текста сопровождает извлечение документов для разбиения данных, в то время как макет документа имеет встроенное разбиение.

  • Навык создания подсказок GenAI озвучивает изображения естественным языком. Если вы используете прямые многомодальные встраивания, этот навык отсутствует.

  • Навык эмбеддинга Azure OpenAI, навык AML или многомодальный эмбеддинг Azure AI Vision вызывается один раз для векторизации текста и один раз для векторизации изображений.

  • Навык Формировщика обогащает вывод метаданными и генерирует новые изображения с контекстной информацией.

Проверка результатов

В этом кратком руководстве создается многомодальный индекс, поддерживающий гибридный поиск по тексту и изображениям. Если вы не используете прямые многомодальные встраивания, индекс не принимает изображения для входных данных запросов, для которых требуется навык AML или навык Azure AI Vision для многомодального встраивания с эквивалентным векторизатором. Дополнительные сведения см. в разделе "Настройка векторизатора" в индексе поиска.

Гибридный поиск объединяет полнотекстовые запросы и векторные запросы. При выполнении гибридного запроса поисковая система вычисляет семантику сходства между запросом и индексированных векторов и ранжирует результаты соответствующим образом. Для индекса, созданного в этом кратком руководстве, результаты отображают содержимое из поля content_text, которое тесно соответствует вашему запросу.

Чтобы запросить многомодальный индекс, выполните следующий запрос:

1. Войдите на портал Azure и выберите службу поиска ИИ Azure.

2. В левой области выберите управление поиском>индексы.

3. Выберите индекс.

4. Выберите параметры запроса и выберите "Скрыть векторные значения" в результатах поиска. Этот шаг делает результаты более читаемыми.

   

5. Введите текст, для которого требуется выполнить поиск. В наших примерах используется energy.

6. Чтобы запустить запрос, выберите "Поиск".

   

   Результаты JSON должны содержать текст и содержимое изображения, связанные с energy в вашем индексе. Если вы включили семантический рангировщик, @search.answers массив предоставляет краткие семантические ответы с высокой достоверности, чтобы быстро определить соответствующие совпадения.

   "@search.answers": [
      {
         "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
         "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
         "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
         "score": 0.9950000047683716
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
         "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "score": 0.9890000224113464
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
         "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
         "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
          "score": 0.9869999885559082
      }
   ]
   

Очистите ресурсы

В этом кратком руководстве используются платные ресурсы Azure. Если ресурсы больше не нужны, удалите их из подписки, чтобы избежать расходов.

Дальнейшие шаги

В этом кратком руководстве описан мастер импорта и векторизации данных , который создает все необходимые объекты для многомодального поиска. Дополнительные сведения о каждом шаге см. в следующих руководствах.

• Руководство по вербализации изображений и извлечению информации из документов
• Руководство по описанию изображений и навыку работы с макетом документов
• Учебное руководство: многомодальные встраивания и навык извлечения документов
• Руководство: Многомодальное встраивание и умение макета документов