Быстрое начало: Поиск векторов в портале Azure

В этом кратком руководстве по быстрому старту вы используете мастер импорта данных Import data на портале Azure для начала работы с интегрированной векторизацией. Мастер разделяет ваше содержимое и вызывает модель встраивания, чтобы векторизировать фрагменты при индексировании и запросе.

В этом кратком руководстве используются текстовые PDF-файлы и простые изображения из репозитория azure-search-sample-data. Однако вы можете использовать различные файлы и завершить работу с этим кратким руководством.

Необходимые условия

• Учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно.

• Служба Поиск с использованием ИИ Azure. В этом кратком руководстве требуется уровень "Базовый" или более высокий для поддержки управляемых удостоверений.

• Поддерживаемый источник данных.

• Поддерживаемая модель внедрения.

• Знакомство с мастером. См. мастер импорта данных на портале Azure.

Поддерживаемые источники данных

Мастер поддерживает несколько источников данных Azure. Однако в этом кратком руководстве рассматриваются только источники данных, работающие со целыми файлами, которые описаны в следующей таблице.

Поддерживаемые модели внедрения

Портал поддерживает следующие модели внедрения для интегрированной векторизации. Инструкции по развертыванию приведены в следующем разделе.

¹ В целях выставления счетов необходимо присоединить учетную запись с несколькими службами к набору навыков Поиск с использованием ИИ Azure. Визард требует, чтобы ваша служба поиска и учетная запись нескольких служб находились в одном поддерживаемом регионе для навыка многомодальных внедрений Azure Vision.

² Мастер поддерживает только бессерверные развертывания API для этой модели. Вы можете использовать использовать Azure CLI для подготовки бессерверного развертывания.

³ Конечная точка вашего ресурса Azure OpenAI должна иметь пользовательский поддомен, например https://my-unique-name.openai.azure.com. Если вы создали ресурс на портале Azure, этот поддомен был автоматически создан во время настройки ресурса.

⁴ ресурса Azure OpenAI (с доступом к моделям встраивания), созданные на портале Microsoft Foundry, не поддерживаются. На портале Azure необходимо создать ресурс OpenAI Azure.

Требования к общедоступной конечной точке

Все предыдущие ресурсы должны иметь общедоступный доступ, чтобы мастер смог получить к ним доступ. В противном случае мастер завершается ошибкой. После запуска мастера можно включить брандмауэры и частные конечные точки в компонентах интеграции для обеспечения безопасности. Дополнительные сведения см. в разделе "Безопасные подключения" в мастере импорта.

Если частные конечные точки уже присутствуют и их невозможно отключить, альтернативным вариантом является запуск соответствующего сквозного потока из скрипта или программы на виртуальной машине. Виртуальная машина должна находиться в той же виртуальной сети, что и частная конечная точка. Ниже приведен пример кода Python для интегрированной векторизации. В том же репозитории GitHub есть примеры на других языках программирования.

Настройка доступа

Перед началом работы убедитесь, что у вас есть разрешения на доступ к содержимому и операциям. В этом быстром старте используется Microsoft Entra ID для аутентификации и авторизации на основе ролей. Для назначения ролей необходимо быть владельцем или администратором доступа пользователей . Если использовать роли невозможно, используйте аутентификацию на основе ключей.

Настройте необходимые роли и условные роли , определенные в этом разделе.

Обязательные роли

Поиск с использованием ИИ Azure предоставляет конвейер поиска векторов. Настройте доступ для себя и службы поиска для чтения данных, запуска конвейера и взаимодействия с другими Azure ресурсами.

В службе Поиск с использованием ИИ Azure:

1. Включите доступ на основе ролей.

2. Настройте управляемое удостоверение, назначаемое системой.

3. Назначьте следующие роли себе.

   • Участник службы поиска

   • Поставщик данных индекса поиска

   • Средство чтения индексов поиска

Условные роли

На следующих вкладках рассматриваются все ресурсы, совместимые с мастером для поиска векторов. Выберите только вкладки, которые применяются к выбранному источнику данных и модели внедрения.

Подготовка примеров данных

В этом разделе вы подготавливаете примеры данных для выбранного источника данных.

Подготовка модели внедрения

Мастер поддерживает несколько моделей внедрения из Azure OpenAI и каталога моделей Microsoft Foundry. Сведения о развертывании моделей, необходимых для выбранной модели встраивания, см. в разделе Развертывание моделей Microsoft Foundry на портале Foundry.

Запуск мастера

1. Перейдите в службу поиска на портале Azure.

2. На странице "Обзор" выберите "Импорт данных".

   

3. Выберите источник данных: Хранилище BLOB-объектов Azure, ADLS 2-го поколения или OneLake.

4. Выберите RAG.

   

Запуск мастера

Мастер описывает несколько этапов настройки. В этом разделе рассматриваются все этапы последовательности.

Подключение к данным

На этом шаге вы подключаете Поиск с использованием ИИ Azure к выбранному источнику data source для приема содержимого и индексирования.

Векторизация текста

На этом шаге мастер использует выбранную модель внедрения для векторизации фрагментированных данных. Встроенное разбиение на блоки и параметры не подлежат изменению. Эффективные параметры:

"textSplitMode": "pages",
"maximumPageLength": 2000,
"pageOverlapLength": 500,
"maximumPagesToTake": 0, #unlimited
"unit": "characters"

Векторизация и обогащение изображений

PDF-файлы медицинского плана включают корпоративный логотип, но в противном случае изображения отсутствуют. Этот шаг можно пропустить, если вы используете примеры документов.

Однако если содержимое содержит полезные изображения, можно применить ИИ одним или обоими способами:

• Используйте поддерживаемую модель встраивания изображений из каталога моделей Foundry Microsoft или API мультимодальных встраиваний Azure Vision (через учетную запись с множеством сервисов) для векторизации изображений.

• Используйте оптическое распознавание символов (OCR) для извлечения текста из изображений. Этот опция вызывает навык OCR.

Добавление семантического ранжирования

На странице "Дополнительные параметры" можно дополнительно добавить семантический рейтинг для повторного просмотра результатов в конце выполнения запроса. Переупорядочивание повышает наиболее семантически релевантные совпадения на верхние позиции.

Сопоставить новые поля

На странице "Дополнительные параметры " можно дополнительно добавить новые поля, при условии, что источник данных предоставляет метаданные или поля, которые не выбираются при первом проходе. По умолчанию мастер создает поля, описанные в следующей таблице.

Вы не можете изменить созданные поля или их атрибуты, но можно добавить новые поля, если источник данных предоставляет их. Например, Хранилище BLOB-объектов Azure предоставляет коллекцию полей метаданных.

Чтобы добавить поля в схему индекса, выполните следующие действия.

1. На странице "Дополнительные параметры" в разделе "Индекс" выберите "Предварительный просмотр" и "Изменить".

2. Выберите "Добавить поле".

3. Выберите исходное поле из доступных полей, введите имя поля для индекса и примите (или переопределите) тип данных по умолчанию.

4. Если вы хотите восстановить схему до исходной версии, нажмите кнопку "Сброс".

Ключевые моменты этого шага:

• Схема индекса предоставляет векторные и невекторные поля для блокированных данных.

• Режим синтаксического анализа документов создает блоки (один документ поиска на блок).

Планирование индексирования

Для источников данных, где базовые данные являются переменными, можно запланировать индексирование для записи изменений с определенным интервалом или определенными датами и временем.

Чтобы запланировать индексирование:

1. На странице "Дополнительные параметры" в разделе "Расписание индексирования" укажите расписание выполнения индексатора. Мы рекомендуем использовать Once для этого краткого руководства.

   

2. Нажмите кнопку "Далее".

Завершение работы мастера

Последним шагом является проверка конфигурации и создание необходимых объектов для векторного поиска. При необходимости вернитесь на предыдущие страницы мастера, чтобы откорректировать конфигурацию.

Чтобы завершить работу мастера, выполните следующие действия.

1. На странице проверки и создания укажите префикс для объектов, создаваемых мастером. Распространенный префикс помогает оставаться упорядоченным.

   

2. Нажмите кнопку "Создать".

Созданные мастером объекты

Когда мастер завершит настройку, он создает следующие объекты:

Проверка результатов

Обозреватель поиска принимает текстовые строки в качестве входных данных, а затем векторизирует текст для выполнения векторного запроса.

Чтобы запросить индекс вектора, выполните следующий запрос:

1. На портале Azure перейдите к Search Management>Indexes и выберите индекс.

2. Выберите параметры запроса и выберите "Скрыть векторные значения" в результатах поиска. Этот шаг делает результаты более читаемыми.

   

3. В меню "Вид " выберите представление JSON , чтобы можно было ввести текст для векторного запроса в параметре векторного text запроса.

   

   Запрос по умолчанию представляет собой пустой поиск ("*"), но включает параметры для получения количества совпадений. Это гибридный запрос, который выполняет текстовые и векторные запросы параллельно. Он также включает семантическое ранжирование и указывает, какие поля возвращать в результатах с помощью оператора select.

    {
      "search": "*",
      "count": true,
      "vectorQueries": [
        {
          "kind": "text",
          "text": "*",
          "fields": "text_vector,image_vector"
        }
      ],
      "queryType": "semantic",
      "semanticConfiguration": "my-demo-semantic-configuration",
      "captions": "extractive",
      "answers": "extractive|count-3",
      "queryLanguage": "en-us",
      "select": "chunk_id,text_parent_id,chunk,title,image_parent_id"
    }
   

4. Замените оба заполнителя звездочками (*) на вопрос, касающийся планов здравоохранения, например, Which plan has the lowest deductible?.

    {
      "search": "Which plan has the lowest deductible?",
      "count": true,
      "vectorQueries": [
        {
          "kind": "text",
          "text": "Which plan has the lowest deductible?",
          "fields": "text_vector,image_vector"
        }
      ],
      "queryType": "semantic",
      "semanticConfiguration": "my-demo-semantic-configuration",
      "captions": "extractive",
      "answers": "extractive|count-3",
      "queryLanguage": "en-us",
      "select": "chunk_id,text_parent_id,chunk,title"
    }
   

5. Чтобы запустить запрос, выберите "Поиск".

   

   Каждый документ является фрагментом исходного PDF-файла. В title поле показано, откуда поступает блок PDF. Каждый chunk длинный. Вы можете скопировать и вставить его в текстовый редактор, чтобы прочитать все значение.

6. Чтобы просмотреть все фрагменты из определенного документа, добавьте фильтр для title_parent_id поля для определенного PDF-файла. Вы можете проверить вкладку "Поля " индекса, чтобы убедиться, что поле можно фильтровать.

   {
      "select": "chunk_id,text_parent_id,chunk,title",
      "filter": "text_parent_id eq 'aHR0cHM6Ly9oZWlkaXN0c3RvcmFnZWRlbW9lYXN0dXMuYmxvYi5jb3JlLndpbmRvd3MubmV0L2hlYWx0aC1wbGFuLXBkZnMvTm9ydGh3aW5kX1N0YW5kYXJkX0JlbmVmaXRzX0RldGFpbHMucGRm0'",
      "count": true,
      "vectorQueries": [
          {
             "kind": "text",
             "text": "*",
             "k": 5,
             "fields": "text_vector"
          }
       ]
   }
   

Очистка ресурсов

При работе с собственной подпиской рекомендуется завершить проект, удалив ресурсы, которые больше не нужны. Ресурсы, которые остаются активными, могут обходиться вам в деньги.

На портале Azure выберите All resources или Resource groups на панели слева, чтобы найти ресурсы и управлять ими. Вы можете удалить ресурсы по отдельности или удалить группу ресурсов, чтобы удалить все ресурсы одновременно.

Следующий шаг

В этом кратком руководстве описан мастер импорта данных , который создает все необходимые объекты для интегрированной векторизации. Подробные сведения о каждом шаге см. в статье Set up integrated vectorization in Поиск с использованием ИИ Azure.