Создание векторного индекса

Общедоступна версия 2024-07-01 . Она поддерживает конфигурацию вектора, которая имеет следующие возможности:

• Алгоритм Hierarchical Navigable Small World (HNSW).
• Полный алгоритм K-ближайших соседей (KNN).
• Скалярное сжатие.
• Двоичное сжатие, доступное только в 2024-07-01 и более новых пакетах Пакета SDK Azure.
• Передискретизация.
• Перераспределение с использованием исходных векторов.

Если вы выберете HNSW в поле, вы можете выбрать исчерпывающий KNN во время запроса. Однако противоположность не работает. Если вы выберете исчерпывающий вариант для индексирования, вы не сможете позже запросить поиск HNSW, так как дополнительные структуры данных, обеспечивающие приблизительный поиск, не существуют.

Убедитесь, что у вас есть стратегия векторизации содержимого. Рекомендуется интегрировать векторизацию и векторизаторы времени запроса для встроенной кодировки.

1. Используйте REST API создания или обновления индекса для создания индекса.

2. vectorSearch Добавьте раздел в индекс, указывающий алгоритмы поиска, используемые для создания пространства внедрения.

    "vectorSearch": {
        "compressions": [
            {
                "name": "scalar-quantization",
                "kind": "scalarQuantization",
                "rerankWithOriginalVectors": true,
                "defaultOversampling": 10.0,
                    "scalarQuantizationParameters": {
                        "quantizedDataType": "int8"
                    }
            },
            {
                "name": "binary-quantization",
                "kind": "binaryQuantization",
                "rerankWithOriginalVectors": true,
                "defaultOversampling": 10.0
            }
        ],
        "algorithms": [
            {
                "name": "hnsw-1",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 4,
                    "efConstruction": 400,
                    "efSearch": 500,
                    "metric": "cosine"
                }
            },
            {
                "name": "hnsw-2",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 8,
                    "efConstruction": 800,
                    "efSearch": 800,
                    "metric": "hamming"
                }
            },
            {
                "name": "eknn",
                "kind": "exhaustiveKnn",
                "exhaustiveKnnParameters": {
                    "metric": "euclidean"
                }
            }
   
        ],
        "profiles": [
          {
            "name": "vector-profile-hnsw-scalar",
            "compression": "scalar-quantization",
            "algorithm": "hnsw-1"
          }
        ]
    }
   

   Ключевые моменты:

   • Имена для каждой конфигурации сжатия, алгоритма и профиля должны быть уникальными для его типа в индексе.

   • vectorSearch.compressions может иметь значение scalarQuantization или binaryQuantization. Скалярная квантизация сжимает значения с плавающей запятой в более узкие типы данных. Двоичная квантизация преобразует floats в двоичные 1-разрядные значения.

   • vectorSearch.compressions.rerankWithOriginalVectors использует исходные несжатые векторы для пересчета сходства и повторного вычисления верхних результатов, возвращаемых первоначальным поисковым запросом. Несжатые векторы существуют в индексе поиска, даже если stored значение false. Это необязательное свойство. Значение по умолчанию — "истина".

   • vectorSearch.compressions.defaultOversampling рассматривает более широкий набор потенциальных результатов для смещения сокращения информации от квантизации. Формула для потенциальных результатов состоит из k запроса с чрезмерным умножением. Например, если запрос указывает k значение 5, а перевыбор составляет 20, то запрос фактически требует 100 документов для повторного ранжирования, используя исходный несжатый вектор для этой цели. Возвращаются только самые лучшие k результаты. Это необязательное свойство. Значение по умолчанию — 4.

   • Для параметра vectorSearch.compressions.scalarQuantizationParameters.quantizedDataType нужно задать значение int8. Это единственный примитивный тип данных, поддерживаемый в настоящее время. Это необязательное свойство. По умолчанию — int8.

   • vectorSearch.algorithms имеет значение hnsw или exhaustiveKnn. Это алгоритмы приблизительных ближайших соседей (ANN), используемые для упорядочивания векторного содержимого во время индексирования.

   • vectorSearch.algorithms.m — это число двунаправленных ссылок. Значение по умолчанию — 4. Диапазон составляет от 4 до 10. Более низкие значения должны возвращать меньше шума в результатах.

   • vectorSearch.algorithms.efConstruction — это число ближайших соседей, используемых во время индексирования. Значение по умолчанию — 400. Диапазон составляет от 100 до 1000.

   • "vectorSearch.algorithms.efSearch — это число ближайших соседей, используемых во время поиска. Значение по умолчанию — 500. Диапазон составляет от 100 до 1000.

   • vectorSearch.algorithms.metric должно быть cosine, если вы используете Azure OpenAI, в противном случае используйте метрику сходства, связанную с моделью отображения, которую вы используете. Поддерживаемые значения: cosine, dotProducteuclideanи hamming (используется для индексирования двоичных данных).

   • vectorSearch.profiles добавьте слой абстракции для размещения более богатых определений. Профиль определён в vectorSearch и ссылка по имени делается в каждом векторном поле. Это сочетание конфигураций сжатия и алгоритмов. Это свойство назначается векторным полям и определяет алгоритм и сжатие полей.

2024-05-01-preview — это последняя предварительная версия. Он включает предыдущие предварительные версии.

Предварительная версия и стабильная версия API поддерживают те же vectorSearch конфигурации. Вы выберете предварительную версию по сравнению с стабильной версией по другим причинам, например дополнительные параметры сжатия или более новые векторизаторы , вызываемые во время запроса.

1. Чтобы создать индекс, используйте REST API создания или обновления индекса предварительной версии .

2. vectorSearch Добавьте раздел в индекс, указывающий параметры сжатия и алгоритмы поиска, используемые для создания пространства внедрения. Дополнительные сведения см. в разделе "Настройка квантизации векторов".

    "vectorSearch": {
        "compressions": [
            {
                "name": "my-scalar-quantization",
                "kind": "scalarQuantization",
                "rerankWithOriginalVectors": true,
                "defaultOversampling": 10.0,
                    "scalarQuantizationParameters": {
                        "quantizedDataType": "int8"
                    }
            }
        ],
        "algorithms": [
            {
                "name": "hnsw-1",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 4,
                    "efConstruction": 400,
                    "efSearch": 500,
                    "metric": "cosine"
                }
            },
            {
                "name": "hnsw-2",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 8,
                    "efConstruction": 800,
                    "efSearch": 800,
                    "metric": "hamming"
                }
            },
            {
                "name": "eknn",
                "kind": "exhaustiveKnn",
                "exhaustiveKnnParameters": {
                    "metric": "euclidean"
                }
            }
   
        ],
        "profiles": [
          {
            "name": "vector-profile-hnsw-1",
            "algorithm": "hnsw-1"
          }
        ]
    }
   

   Ключевые моменты:

   • Аргумент vectorSearch.compressions.kind должен иметь значение scalarQuantization.

   • vectorSearch.compressions.rerankWithOriginalVectors использует исходные несжатые векторы для пересчета сходства и повторного вычисления верхних результатов, возвращаемых первоначальным поисковым запросом. Несжатые векторы существуют в индексе поиска, даже если stored значение false. Это необязательное свойство. Значение по умолчанию — "истина".

   • vectorSearch.compressions.defaultOversampling рассматривает более широкий набор потенциальных результатов для смещения сокращения информации от квантизации. Формула для потенциальных результатов состоит из k запроса с чрезмерным умножением. Например, если запрос указывает k значение 5, а перевыбор составляет 20, то запрос фактически требует 100 документов для повторного ранжирования, используя исходный несжатый вектор для этой цели. Возвращаются только самые лучшие k результаты. Это необязательное свойство. Значение по умолчанию — 4.

   • Для параметра vectorSearch.compressions.scalarQuantizationParameters.quantizedDataType нужно задать значение int8. Это единственный примитивный тип данных, поддерживаемый в настоящее время. Это необязательное свойство. По умолчанию — int8.

   • vectorSearch.algorithms.kind имеет значение hnsw или exhaustiveKnn. Это алгоритмы приблизительных ближайших соседей (ANN), используемые для упорядочивания векторного содержимого во время индексирования.

   • vectorSearch.algorithms.m — это число двунаправленных ссылок. Значение по умолчанию — 4. Диапазон составляет от 4 до 10. Более низкие значения должны возвращать меньше шума в результатах.

   • vectorSearch.algorithms.efConstruction — это число ближайших соседей, используемых во время индексирования. Значение по умолчанию — 400. Диапазон составляет от 100 до 1000.

   • vectorSearch.algorithms.efSearch — это число ближайших соседей, используемых во время поиска. Значение по умолчанию — 500. Диапазон составляет от 100 до 1000.

   • vectorSearch.algorithms.metric должно быть cosine, если вы используете Azure OpenAI, в противном случае используйте метрику сходства, связанную с моделью отображения, которую вы используете. Поддерживаемые значения: cosine, dotProducteuclideanи hamming (используется для индексирования двоичных данных).

   • vectorSearch.profiles добавьте слой абстракции для размещения более богатых определений. Профиль определён в vectorSearch и ссылка по имени делается в каждом векторном поле. Это сочетание конфигураций сжатия и алгоритмов. Это свойство назначается векторным полям и определяет алгоритм и сжатие полей.

Дополнительные сведения о новых функциях предварительной версии см. в статье "Новые возможности поиска ИИ Azure".

Общедоступна версия 2024-07-01 .

1. Используйте REST API создания или обновления индекса , чтобы создать индекс и добавить поле вектора в коллекцию полей.

   {
     "name": "example-index",
     "fields": [
       {
           "name": "contentVector",
           "type": "Collection(Edm.Single)",
           "searchable": true,
           "retrievable": false,
           "stored": false,
           "dimensions": 1536,
           "vectorSearchProfile": "vector-profile-1"
       }
     ]
   }
   

2. Укажите поле вектора со следующими атрибутами. Вы можете сохранить одно созданное внедрение на поле. Для каждого поля вектора:

   • type должен быть типом векторных данных. Collection(Edm.Single) является наиболее распространенным для внедрения моделей.
   • dimensions — это количество измерений, созданных моделью внедрения. Для преобразования текста в ada-002 исправлено значение 1536. Для ряда моделей внедрения текста-3 существует диапазон значений. Если вы используете встроенную векторизацию и навык внедрения для создания векторов, убедитесь, что это свойство имеет то же значение измерений , которое используется навыком внедрения.
   • vectorSearchProfile — это имя профиля, определенного в другом месте индекса.
   • searchable должно быть true.
   • retrievable может иметь значение true или false. True возвращает необработанные векторы (1536 из них) в виде обычного текста и потребляет место в хранилище. Задайте значение true, если вы передаете результат вектора в нижнее приложение.
   • stored может иметь значение true или false. Он определяет, хранится ли дополнительная копия векторов для извлечения. Дополнительные сведения см. в разделе "Уменьшение размера вектора".
   • filterable, facetableи sortable должен иметь значение false.

3. Добавьте в коллекцию доступные для фильтрации поля, не являющиеся векторами, например, title, для которого filterable установлено в true, если вы хотите вызвать префильтрацию или постфильтрацию в векторном запросе.

4. Добавьте другие поля, определяющие вещество и структуру индексированного содержимого. Как минимум, вам нужен ключ документа.

   Кроме того, следует добавить поля, полезные в запросе или в ответе. В следующем примере показаны векторные поля заголовка и содержимого (titleVector и contentVector), эквивалентные векторам. Он также предоставляет поля для эквивалентного текстового содержимого (title и content) которые полезны для сортировки, фильтрации и чтения в результатах поиска.

   В следующем примере показана коллекция полей:

   PUT https://my-search-service.search.windows.net/indexes/my-index?api-version=2024-07-01&allowIndexDowntime=true
   Content-Type: application/json
   api-key: {{admin-api-key}}
   {
       "name": "{{index-name}}",
       "fields": [
           {
               "name": "id",
               "type": "Edm.String",
               "key": true,
               "filterable": true
           },
           {
               "name": "title",
               "type": "Edm.String",
               "searchable": true,
               "filterable": true,
               "sortable": true,
               "retrievable": true
           },
           {
               "name": "titleVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": true,
               "stored": true,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           },
           {
               "name": "content",
               "type": "Edm.String",
               "searchable": true,
               "retrievable": true
           },
           {
               "name": "contentVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           }
       ],
       "vectorSearch": {
           "algorithms": [
               {
                   "name": "hnsw-1",
                   "kind": "hnsw",
                   "hnswParameters": {
                       "m": 4,
                       "efConstruction": 400,
                       "efSearch": 500,
                       "metric": "cosine"
                   }
               }
           ],
           "profiles": [
               {
                   "name": "vector-profile-1",
                   "algorithm": "hnsw-1"
               }
           ]
       }
   }
   

2024-05-01-preview — это последняя предварительная версия. Он поддерживает те же определения векторных полей, что и стабильная версия, включая поддержку всех типов векторных данных.

1. Используйте REST API создания или обновления индекса предварительной версии для создания индекса и добавления поля вектора в коллекцию полей.

   {
     "name": "example-index",
     "fields": [
       {
           "name": "contentVector",
           "type": "Collection(Edm.Single)",
           "searchable": true,
           "retrievable": false,
           "stored": false,
           "dimensions": 1536,
           "vectorSearchProfile": "vector-profile-1"
       }
     ]
   }
   

2. Укажите поле вектора со следующими атрибутами. Вы можете сохранить одно созданное внедрение для каждого поля документа. Для каждого поля вектора:

   • type может быть Collection(Edm.Single), Collection(Edm.Half), Collection(Edm.Int16) или Collection(Edm.SByte).
   • dimensions — это количество измерений, созданных моделью внедрения. Для преобразования текста в ada-002 это значение 1536.
   • vectorSearchProfile — это имя профиля, определенного в другом месте индекса.
   • searchable должно быть true.
   • retrievable может иметь значение true или false. True возвращает необработанные векторы (1536 из них) в виде обычного текста и потребляет место в хранилище. Задайте значение true, если вы передаете результат вектора в нижнее приложение. Значение false является обязательным, если stored имеет значение false.
   • stored — это новое логическое свойство, которое применяется только к полям векторов. True сохраняет копию векторов, возвращаемых в результатах поиска. False отменяет копирование во время индексирования. Вы можете искать векторы, но вы не можете возвращать векторы в результатах.
   • filterable, facetableи sortable должен иметь значение false.

3. Добавьте фильтруемые поля невектора в коллекцию, например "title" с filterable заданным значением true, если требуется вызвать префильтрацию или послефильтрацию в векторном запросе.

4. Добавьте другие поля, определяющие вещество и структуру индексированного содержимого. Как минимум, вам нужен ключ документа.

   Кроме того, следует добавить поля, полезные в запросе или в ответе. В следующем примере показаны векторные поля заголовка и содержимого (titleVector и contentVector), эквивалентные векторам. Он также предоставляет поля для эквивалентного текстового содержимого (title и content) которые полезны для сортировки, фильтрации и чтения в результатах поиска.

   В следующем примере показана коллекция полей:

   PUT https://my-search-service.search.windows.net/indexes/my-index?api-version=2024-05-01-preview&allowIndexDowntime=true
   Content-Type: application/json
   api-key: {{admin-api-key}}
   {
       "name": "{{index-name}}",
       "fields": [
           {
               "name": "id",
               "type": "Edm.String",
               "key": true,
               "filterable": true
           },
           {
               "name": "firstVectorfield-float32-embeddings",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           },
           {
               "name": "secondVectorfield-float16-embeddings",
               "type": "Collection(Edm.Half)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           },
           {
               "name": "thirdVectorfield-int8-embeddings-for-my-custom-quantization-output",
               "type": "Collection(Edm.SByte)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           },
           {
               "name": "fourthVectorfield-for-binary-data",
               "type": "Collection(Edm.Byte)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           }
       ],
       "vectorSearch": {
           "algorithms": [
               {
                   "name": "hnsw-1",
                   "kind": "hnsw",
                   "hnswParameters": {
                       "m": 4,
                       "efConstruction": 400,
                       "efSearch": 500,
                       "metric": "cosine"
                   }
               }
           ],
           "profiles": [
               {
                   "name": "vector-profile-1",
                   "algorithm": "hnsw-1"
               }
           ]
       }
   }
   

Использование документов — индекс для загрузки векторных и невекторных данных в индекс. API push-уведомлений для индексирования идентичны во всех стабильных и предварительных версиях. Используйте любой из следующих API для загрузки документов:

• 2024-07-01
• 2024-05-01-превью

POST https://{{search-service-name}}.search.windows.net/indexes/{{index-name}}/docs/index?api-version=2024-07-01

{
    "value": [
        {
            "id": "1",
            "title": "Azure App Service",
            "content": "Azure App Service is a fully managed platform for building, deploying, and scaling web apps. You can host web apps, mobile app backends, and RESTful APIs. It supports a variety of programming languages and frameworks, such as .NET, Java, Node.js, Python, and PHP. The service offers built-in auto-scaling and load balancing capabilities. It also provides integration with other Azure services, such as Azure DevOps, GitHub, and Bitbucket.",
            "category": "Web",
            "titleVector": [
                -0.02250031754374504,
                 . . . 
                        ],
            "contentVector": [
                -0.024740582332015038,
                 . . .
            ],
            "@search.action": "upload"
        },
        {
            "id": "2",
            "title": "Azure Functions",
            "content": "Azure Functions is a serverless compute service that enables you to run code on-demand without having to manage infrastructure. It allows you to build and deploy event-driven applications that automatically scale with your workload. Functions support various languages, including C#, F#, Node.js, Python, and Java. It offers a variety of triggers and bindings to integrate with other Azure services and external services. You only pay for the compute time you consume.",
            "category": "Compute",
            "titleVector": [
                -0.020159931853413582,
                . . .
            ],
            "contentVector": [
                -0.02780858241021633,
                 . . .
            ],
            "@search.action": "upload"
        }
        . . .
    ]
}

API, работающие на принципе запросов, ссылаются на индексаторы, которые автоматизируют несколько шагов индексирования: от получения и обновления данных до интегрированной векторизации, которая кодирует содержимое для векторного поиска.

• Источники данных должны быть поддерживаемым типом.

• Наборы навыков предоставляют навык разделения текста для разделения данных на блоки, а также навыки, которые подключаются к моделям встраивания. Некоторые навыки общедоступны, в то время как другие все еще находятся в предварительной версии. Навыки и векторизаторы используются для создания внедрения. Навык, который вы выбираете для индексирования, должен быть связан с эквивалентным векторизатором для запросов. Для векторизации во время индексирования выберите из следующих навыков:

  • Навык azureOpenAIEmbedding
  • Навык пользовательского веб-API
  • Навыки многомодального внедрения в azure AI Vision (предварительная версия)
  • Навык AML (предварительная версия) для генерации встраиваний для моделей, размещенных в каталоге моделей Azure AI Foundry. Дополнительные сведения см. в статье "Использование моделей внедрения из каталога моделей Azure AI Foundry" для интегрированной векторизации.

• Индексы предоставляют определения векторных полей и конфигурации векторного поиска. В этой статье описываются эти определения.

• Индексаторы управляют конвейером индексирования. Дополнительные сведения см. в разделе "Создание индексатора".

Если вы знакомы с индексаторами и наборами навыков:

• Сопоставления полей, сопоставления выходных полей и параметры обнаружения удаления применяются к полям вектора и невектора одинаково.

• Если векторные данные получены из файлов, рекомендуется выбрать значение не по умолчанию parsingMode, например, json, jsonLines или csv на основе формы данных.

• Для источников данных индексаторы BLOB-объектов Azure и индексаторы NoSQL для Azure Cosmos DB с одним из упомянутых режимов разбора были протестированы и подтверждено, что они работают.

• Размеры всех векторов из источника данных должны совпадать и совпадать с их определением индекса для поля, с который они сопоставляются. Индексатор создает ошибку для любых документов, которые не соответствуют.

• Просмотрите индексы в управлении поиском>Индексы, чтобы увидеть размер индекса в целом и размер векторного индекса. Положительный размер индекса вектора указывает на наличие векторов.

• Используйте обозреватель поиска для запроса индекса. Обозреватель поиска имеет два представления: представление запросов (по умолчанию) и представление JSON.

  • Задайте параметры> запросаСкрыть векторные значения в результатах поиска для получения более доступных для чтения результатов.

  • Используйте представление JSON для векторных запросов. Вы можете вставить определение JSON векторного запроса, который требуется выполнить. Если индекс имеет назначение векторизатора, можно также использовать встроенное преобразование текста в вектор или изображения в вектор. Дополнительные сведения о поиске изображений см. в кратком руководстве. Поиск изображений в обозревателе поиска.

  • Используйте представление запроса по умолчанию для быстрого подтверждения того, что индекс содержит векторы. Режим запроса предназначен для полнотекстового поиска. Хотя его нельзя использовать для векторных запросов, можно отправить пустой поиск (search=*) для проверки содержимого. Содержимое всех полей, включая векторные поля, возвращается в виде обычного текста.

Дополнительные сведения см. в разделе "Создание векторного запроса".

Следующий пример REST API — это векторный запрос, но возвращает только невекторные поля (title, contentи category). Только поля, помеченные как retrievable можно вернуть в результатах поиска.

POST https://my-search-service.search.windows.net/indexes/my-index/docs/search?api-version=2024-07-01
Content-Type: application/json
api-key: {{admin-api-key}}
{
    "vector": {
        "value": [
            -0.009154141,
            0.018708462,
            . . . 
            -0.02178128,
            -0.00086512347
        ],
        "fields": "contentVector",
        "k": 5
    },
    "select": "title, content, category"
}