Краткое руководство: многомодальный поиск на портале Azure

В этом кратком руководстве вы используете мастер импорта данных на портале Azure для начала работы с многомодальным поиском. Мастер упрощает процесс извлечения, фрагментирования, векторизации и загрузки текста и изображений в индекс, доступный для поиска.

В этом кратком руководстве используется многомодальный PDF-файл из репозитория azure-search-sample-data. Однако вы можете использовать разные файлы и все же завершить работу с этим быстрым запуском.

Prerequisites

• Учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно .

• Служба Поиск с использованием ИИ Azure. В этом кратком руководстве требуется уровень "Базовый" или более высокий для поддержки управляемых удостоверений.

• Учетная запись служба хранилища Azure. Используйте Хранилище BLOB-объектов Azure или Azure Data Lake Storage 2-го поколения (учетная запись хранения с иерархическим пространством имен) в учетной записи стандартной производительности (общего назначения версии 2). Уровни доступа могут быть горячими, прохладными или холодными.

• Поддерживаемый метод извлечения.

• Поддерживаемый метод внедрения.

• Знакомство с мастером. См. мастер импорта данных на портале Azure.

Поддерживаемые методы извлечения

Для извлечения содержимого выберите извлечение по умолчанию с помощью Поиск с использованием ИИ Azure или расширенное извлечение с помощью Azure Document Intelligence в Foundry Tools.

¹ В целях выставления счетов необходимо привязать вашу многосервисную учетную запись к набору навыков Поиск с использованием ИИ Azure. Мастеру требуется, чтобы служба поиска и учетная запись с несколькими службами были в одном и том же поддерживаемом регионе для навыка макета документов.

Поддерживаемые методы внедрения

Для внедрения содержимого выберите один из следующих методов:

• Вербализация изображений: Использует LLM для создания описаний изображений на естественном языке, а затем использует модель внедрения для векторизации обычного текста и вербализованных изображений.

• Многомодальные внедрения: Использует модель внедрения для непосредственного векторизации текста и изображений.

Портал поддерживает следующие модели для каждого метода. Инструкции по развертыванию приведены в следующем разделе.

¹ В целях выставления счетов необходимо привязать вашу многосервисную учетную запись к набору навыков Поиск с использованием ИИ Azure. Мастер требует, чтобы ваша служба поиска и учетная запись нескольких служб находились в одном поддерживаемом регионе для многомодального навыка Azure Vision с использованием вложений.

² Мастер поддерживает только бессерверные развертывания API для этой модели. Вы можете использовать использовать Azure CLI для подготовки бессерверного развертывания.

³ Конечная точка вашего ресурса Azure OpenAI должна иметь поддомен custom, например https://my-unique-name.openai.azure.com. Если вы создали ресурс на портале Azure, этот поддомен был автоматически создан во время настройки ресурса.

⁴ ресурсы Azure OpenAI (с доступом к моделям встраивания), созданные на портале Microsoft Foundry, не поддерживаются. На портале Azure необходимо создать ресурс OpenAI Azure.

Требования к общедоступной конечной точке

Все предыдущие ресурсы должны иметь общедоступный доступ, чтобы мастер смог получить к ним доступ. В противном случае мастер завершается ошибкой. После запуска мастера можно включить брандмауэры и частные конечные точки в компонентах интеграции для обеспечения безопасности. Дополнительные сведения см. в разделе "Безопасные подключения" в мастере импорта.

Если частные конечные точки уже присутствуют и их невозможно отключить, альтернативой является запуск соответствующего сквозного потока из скрипта или программы на виртуальной машине. Виртуальная машина должна находиться в той же виртуальной сети, что и частная конечная точка. Вот пример кода на Python для интегрированной векторизации. В том же репозитории GitHub есть примеры на других языках программирования.

Настройка доступа

Перед началом работы убедитесь, что у вас есть разрешения на доступ к содержимому и операциям. В этой быстрой настройке используется Microsoft Entra ID для аутентификации и доступа с авторизацией на основе ролей. Для назначения ролей необходимо быть владельцем или администратором доступа пользователей . Если роли недоступны, используйте аутентификацию по ключу.

Настройте необходимые роли и условные роли , определенные в этом разделе.

Обязательные роли

Поиск с использованием ИИ Azure и служба хранилища Azure требуются для всех сценариев многомодального поиска.

Условные роли

На следующих вкладках освещаются ресурсы, совместимые с вспомогательной программой для многомодального поиска. Выберите только вкладки, которые применяются к выбранному методу извлечения и методу внедрения.

Подготовка примера данных

В этом кратком руководстве используется пример многомодального PDF-файла, но вы также можете использовать собственные файлы. Если вы пользуетесь бесплатным поисковым сервисом, используйте менее 20 файлов, чтобы оставаться в пределах бесплатной квоты для обработки данных.

Чтобы подготовить примеры данных для этого краткого руководства:

1. Перейдите к учетной записи хранения Azure на портале Azure.

2. В левой области выберитеконтейнеры> данных.

3. Создайте контейнер и отправьте sample PDF в контейнер.

4. Создайте другой контейнер для хранения изображений, извлеченных из PDF-файла.

Подготовка моделей

Мастер предлагает несколько вариантов внедрения содержимого. Для словесного описания изображений требуется большая языковая модель (LLM) для составления описаний и модель встраивания для преобразования текста и содержимого изображения в векторы, в то время как для прямых многомодальных встраиваний требуется только одна модель встраивания. Эти модели доступны через Azure OpenAI и Foundry.

Сведения о развертывании моделей, необходимых для выбранного метода внедрения, см. в разделе "Развертывание моделей Microsoft Foundry" на портале Foundry.

Запуск мастера

1. Перейдите в службу поиска в портал Azure.

2. На странице "Обзор" выберите "Импорт данных".

   

3. Выберите источник данных: Хранилище BLOB-объектов Azure или Azure Data Lake Storage 2-го поколения.

   

4. Выберите multimodal RAG.

   

Запуск мастера

Мастер описывает несколько этапов настройки. В этом разделе рассматриваются все этапы последовательности.

Подключение к данным

Поиск с использованием ИИ Azure требуется подключение к источнику данных для приема содержимого и индексирования. В этом случае источником данных является ваша учетная запись служба хранилища Azure.

Чтобы подключиться к данным, выполните приведенные далее действия.

1. На странице Подключение к вашим данным выберите подписку Azure.

2. Выберите учетную запись хранения и контейнер, в который вы отправили образцы данных.

3. Установите флажок "Проверка подлинности с помощью управляемого удостоверения ". Оставьте тип удостоверения назначенным системой.

   

4. Нажмите кнопку Далее.

Извлеките содержимое

В зависимости от выбранного метода извлечения мастер предоставляет параметры конфигурации для взлома документов и фрагментирования.

Вставьте своё содержимое

На этом шаге мастер использует выбранный метод внедрения для создания векторных представлений текста и изображений.

Хранение извлеченных изображений

Следующим шагом является отправка изображений, извлеченных из документов в служба хранилища Azure. В Поиск с использованием ИИ Azure это дополнительное хранилище называется хранилищем knowledge.

Чтобы сохранить извлеченные изображения, выполните следующие действия.

1. На странице выходных данных Image выберите подписку Azure.

2. Выберите учетную запись хранения и контейнер для объектов BLOB, созданный для хранения изображений.

3. Установите флажок "Проверка подлинности с помощью управляемого удостоверения ". Оставьте тип удостоверения назначенным системой.

   

4. Нажмите кнопку Далее.

Добавление семантического ранжирования

На странице "Дополнительные параметры" можно дополнительно добавить семантический рейтинг для повторного просмотра результатов в конце выполнения запроса. Переранжирование перемещает наиболее семантически релевантные совпадения на верхние позиции.

Сопоставление новых полей

На странице "Дополнительные параметры" можно дополнительно добавить поля в схему индекса. По умолчанию мастер создает поля, описанные в следующей таблице.

Вы не можете изменить созданные поля или их атрибуты, но можно добавить поля, если источник данных предоставляет их. Например, Хранилище BLOB-объектов Azure предоставляет коллекцию полей метаданных.

Чтобы добавить поля в схему индекса, выполните следующие действия.

1. В разделе "Индекс" выберите "Предварительный просмотр" и "Изменить".

2. Выберите "Добавить поле".

3. Выберите исходное поле из доступных полей, введите имя поля для индекса и примите (или переопределите) тип данных по умолчанию.

4. Если вы хотите восстановить схему до исходной версии, нажмите кнопку "Сброс".

Ключевые моменты этого шага:

• Схема индекса предоставляет векторные и невекторные поля для блокированных данных.

• Режим синтаксического анализа документов создает блоки (один документ поиска на блок).

Планирование индексирования

Для источников данных, где базовые данные являются переменными, можно запланировать индексирование для записи изменений с определенным интервалом или определенными датами и временем.

Чтобы запланировать индексирование:

1. На странице "Дополнительные параметры" в разделе "Расписание индексирования" укажите расписание выполнения индексатора. Рекомендуем Once для этого краткого руководства.

   

2. Нажмите кнопку Далее.

Завершение работы мастера

Последним шагом является проверка конфигурации и создание необходимых объектов для многомодального поиска. При необходимости вернитесь на предыдущие страницы мастера, чтобы настроить конфигурацию.

Чтобы завершить работу мастера, выполните следующие действия.

1. На странице проверки и создания укажите префикс для объектов, создаваемых мастером. Распространенный префикс помогает оставаться упорядоченным.

   

2. Нажмите кнопку "Создать".

Созданные мастером объекты

Когда мастер завершит настройку, он создает следующие объекты:

Проверка результатов

В этом кратком руководстве создается многомодальный индекс, поддерживающий гибридный поиск по тексту и изображениям. Если вы не используете прямые многомодальные встраивания, индекс не принимает изображения в качестве входа для запросов, что требует использования навыков AML или многомодальные встраивания Azure Vision с эквивалентным векторизатором. Дополнительные сведения см. в разделе "Настройка векторизатора" в индексе поиска.

Гибридный поиск объединяет полнотекстовые запросы и векторные запросы. При выполнении гибридного запроса поисковая система вычисляет семантику сходства между запросом и индексированных векторов и ранжирует результаты соответствующим образом. Для индекса, созданного в этом кратком руководстве, результаты отображают содержимое из поля content_text, которое тесно соответствует вашему запросу.

Чтобы запросить многомодальный индекс, выполните следующий запрос:

1. Перейдите в службу поиска в портал Azure.

2. В левой области выберите управление поиском>индексы.

3. Выберите индекс.

4. Выберите параметры запроса и выберите "Скрыть векторные значения" в результатах поиска. Этот шаг делает результаты более читаемыми.

   

5. Введите текст, для которого требуется выполнить поиск. В наших примерах используется energy.

6. Чтобы запустить запрос, выберите "Поиск".

   

   Результаты JSON должны содержать текст и содержимое изображения, связанные с energy в вашем индексе. Если вы включили семантический рангировщик, @search.answers массив предоставляет краткие семантические ответы с высокой достоверности, чтобы быстро определить соответствующие совпадения.

   "@search.answers": [
      {
         "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
         "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
         "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
         "score": 0.9950000047683716
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
         "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "score": 0.9890000224113464
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
         "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
         "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
          "score": 0.9869999885559082
      }
   ]
   

Очистите ресурсы

При работе с собственной подпиской рекомендуется завершить проект, удалив ресурсы, которые больше не нужны. Ресурсы, оставленные работающими, могут стоить вам денег.

На портале Azure выберите All resources или Resource groups на панели слева, чтобы найти ресурсы и управлять ими. Вы можете удалить ресурсы по отдельности или удалить группу ресурсов, чтобы удалить все ресурсы одновременно.

Следующий шаг

В этом кратком руководстве описан мастер импорта данных , который создает все необходимые объекты для многомодального поиска. Подробные сведения о каждом шаге см. в руководстве по многомодальному использованию.