Векторное хранилище в Azure Cosmos DB для виртуального ядра MongoDB

Индексы DiskANN доступны на уровнях M40 и более поздних версиях. Чтобы создать индекс DiskANN, установите параметр "kind" в "vector-diskann", следуя приведённому ниже шаблону:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-diskann", 
                "dimensions": <integer_value>,
                "similarity": <string_value>,
                "maxDegree" : <integer_value>, 
                "lBuild" : <integer_value>, 
            } 
        } 
    ] 
}

Выполнение векторного поиска с помощью DiskANN

Чтобы выполнить векторный поиск, используйте стадию конвейера агрегирования $search и выполните запрос с оператором cosmosSearch. DiskANN позволяет выполнять высокопроизводительные поиски в больших наборах данных с дополнительными фильтрами, такими как геопространственные или текстовые фильтры.

{
  "$search": {
    "cosmosSearch": {
      "path": "<path_to_property>",
      "query": "<query_vector>",  
      "k": <num_results_to_return>,  
      "filter": {"$and": [
        { "<attribute_1>": { "$eq": <value> } },
        {"<location_attribute>": {"$geoWithin": {"$centerSphere":[[<longitude_integer_value>, <latitude_integer_value>], <radius>]}}}
      ]}
    }
  }
},

Включение DiskANN в новом кластере

Чтобы включить векторный индекс DiskANN в недавно подготовленном кластере Azure Cosmos DB для MongoDB (vCore), выполните следующие действия, чтобы выполнить регистрацию на уровне кластера с помощью Azure CLI:

1. Вход в Azure CLI

az login

2. Получите текущие параметры для флагов компонентов в кластере. Это гарантирует сохранение существующих флагов при добавлении новой функции.

az resource show --ids "/subscriptions/<sub id>/resourceGroups/<resource group name>/providers/Microsoft.DocumentDB/mongoClusters/<resource name of your Cosmos DB for MongoDB cluster>" --api-version <cluster's api version>

3. DiskANNIndex Добавьте флаг в список функций предварительной версии, не удаляя существующие.

az resource patch --ids "/subscriptions/<sub id>/resourceGroups/<resource group name>/providers/Microsoft.DocumentDB/mongoClusters/<resource name of your Cosmos DB for MongoDB cluster>" --api-version <cluster's api version> --properties "{\"previewFeatures\": [\"GeoReplicas\", \"DiskANNIndex\"]}" 

Пример использования индекса DiskANN с фильтрацией

Добавление векторов в базу данных

Чтобы использовать векторный поиск с геопространственными фильтрами, добавьте документы, которые включают как векторные представления, так и координаты местоположения. Векторы можно создать с помощью собственной модели, Azure OpenAI Embeddings, или другого API (например, Hugging Face на Azure).

from pymongo import MongoClient

client = MongoClient("<your_connection_string>")
db = client["test"]
collection = db["testCollection"]

documents = [
    {"name": "Eugenia Lopez", "bio": "CEO of AdventureWorks", "is_open": 1, "location": [-118.9865, 34.0145], "contentVector": [0.52, 0.20, 0.23]},
    {"name": "Cameron Baker", "bio": "CFO of AdventureWorks", "is_open": 1, "location": [-0.1278, 51.5074], "contentVector": [0.55, 0.89, 0.44]},
    {"name": "Jessie Irwin", "bio": "Director of Our Planet initiative", "is_open": 0, "location": [-118.9865, 33.9855], "contentVector": [0.13, 0.92, 0.85]},
    {"name": "Rory Nguyen", "bio": "President of Our Planet initiative", "is_open": 1, "location": [-119.0000, 33.9855], "contentVector": [0.91, 0.76, 0.83]}
]

collection.insert_many(documents)

Создание векторного индекса DiskANN

В следующем примере показано, как настроить векторный индекс DiskANN с возможностями фильтрации. Это включает создание векторного индекса для поиска сходства, добавление документов с векторными и геопространственных свойств и поля индексирования для дополнительной фильтрации.

db.command({
    "createIndexes": "testCollection",
    "indexes": [
        {
            "name": "DiskANNVectorIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": {
                "kind": "vector-diskann",
                "dimensions": 3,
                "similarity": "COS",
                "maxDegree": 32,
                "lBuild": 64
            }
        },
        { 
            "name": "is_open",
            "key": { 
                "is_open": 1 
            }      
        },
        {
            "name": "locationIndex",
            "key": {
                "location": 1
            }
        }
    ]
})

Эта команда создает векторный индекс DiskANN в поле contentVector в exampleCollection, что позволяет выполнять поиск сходства. Он также добавляет:

• Индекс в is_open поле, позволяющий фильтровать результаты на основе того, открыты ли предприятия.
• Геопространственный индекс в поле location для фильтрации по географической близости.

Выполнение векторного поиска

Чтобы найти документы с аналогичными векторами в пределах определенного географического радиуса, укажите queryVector поиск сходства и включите геопространственный фильтр.

query_vector = [0.52, 0.28, 0.12]
pipeline = [
    {
        "$search": {
            "cosmosSearch": {
                "path": "contentVector",
                "vector": query_vector,
                "k": 5,
                "filter": {
                    "$and": [
                        {"is_open": {"$eq": 1}},
                        {"location": {"$geoWithin": {"$centerSphere": [[-119.7192861804, 34.4102485028], 100 / 3963.2]}}}
                    ]
                }
            }
        }
    }
]

results = list(collection.aggregate(pipeline))
for result in results:
    print(result)

В этом примере поиск сходства векторов возвращает самые k близкие векторы на основе указанной COS метрики сходства, а фильтрация результатов включает только открытые предприятия в радиусе 100 миль.

[
  {
    similarityScore: 0.9745354109084544,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'CEO of AdventureWorks',
      is_open: 1,
      location: [-118.9865, 34.0145],
      contentVector: [0.52, 0.20, 0.23]
    }
  },
  {
    similarityScore: 0.9006955671333992,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'President of Our Planet initiative',
      is_open: 1,
      location: [-119.7302, 34.4005],
      contentVector: [0.91, 0.76, 0.83]
    }
  }
]

В этом результате показаны наиболее аналогичные документы к queryVector, ограниченные радиусом 100 миль и предприятиями, которые открыты. Каждый результат включает оценку сходства и метаданные, демонстрируя, как DiskANN в Cosmos DB для MongoDB поддерживает объединенные векторные и геопространственные запросы для обогащенных, чувствительных к расположению операций поиска.

Вы можете создавать индексы HNSW (иерархический навигаемый маленький мир) на уровнях производительности кластера M40 и более высоких. Чтобы создать индекс HSNW, необходимо создать векторный индекс с параметром "kind" , заданным "vector-hnsw" в следующем шаблоне:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": <integer_value>, 
                "efConstruction": <integer_value>, 
                "similarity": "<string_value>", 
                "dimensions": <integer_value> 
            } 
        } 
    ] 
}

Выполнение векторного поиска с помощью HNSW

Чтобы выполнить векторный поиск, используйте $search этап конвейера агрегирования запроса с оператором cosmosSearch .

{
    "$search": {
        "cosmosSearch": {
            "vector": <query_vector>,
            "path": "<path_to_property>",
            "k": <num_results_to_return>,
            "efSearch": <integer_value>
        },
    }
}

Пример использования индекса HNSW

В следующих примерах показано, как индексировать векторы, добавлять документы с свойствами векторов, выполнять векторный поиск и извлекать конфигурацию индекса.

use test;

db.createCollection("exampleCollection");

db.runCommand({ 
    "createIndexes": "exampleCollection",
    "indexes": [
        {
            "name": "VectorSearchIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": 16, 
                "efConstruction": 64, 
                "similarity": "COS", 
                "dimensions": 3
            } 
        } 
    ] 
});

Эта команда создает индекс HNSW для contentVector свойства в документах, хранящихся в указанной коллекции, exampleCollection. Свойство cosmosSearchOptions задает параметры для векторного индекса HNSW. Если в документе есть вектор, хранящийся в вложенном свойстве, можно задать это свойство с помощью пути нотации точек. Например, можно использовать text.contentVector, если contentVector является подсвойством text.

Добавление векторов в базу данных

Чтобы добавить векторы в коллекцию базы данных, сначала необходимо создать эмбеддинги с помощью собственной модели, Azure OpenAI Embeddings или другого API (например, Hugging Face на Azure). В этом примере новые документы добавляются с помощью примеров внедрения:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Выполнение векторного поиска

Продолжая последний пример, создайте другой вектор. queryVector Векторный поиск измеряет расстояние между queryVector и векторами в contentVector пути ваших документов. Количество результатов, возвращаемых поиском, можно установить, задав параметр k, установленный здесь на 2. Можно также задать efSearchцелое число, которое управляет размером списка векторов кандидатов. Более высокое значение может повысить точность, однако поиск будет медленнее в результате. Это необязательный параметр со значением по умолчанию 40.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    "$search": {
        "cosmosSearch": {
            "vector": "queryVector",
            "path": "contentVector",
            "k": 2,
            "efSearch": 40
        },
    }
  }
}
]);

В этом примере поиск вектора выполняется с использованием queryVector в качестве входных данных через оболочку Mongo. Результат поиска — это список двух элементов, которые наиболее похожи на вектор запроса, отсортированные по их оценке сходства.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]

Чтобы создать векторный индекс с помощью алгоритма IVF (алгоритма инвертированного файла), используйте следующий createIndexes шаблон и задайте значение для параметра "vector-ivf":

{
  "createIndexes": "<collection_name>",
  "indexes": [
    {
      "name": "<index_name>",
      "key": {
        "<path_to_property>": "cosmosSearch"
      },
      "cosmosSearchOptions": {
        "kind": "vector-ivf",
        "numLists": <integer_value>,
        "similarity": "<string_value>",
        "dimensions": <integer_value>
      }
    }
  ]
}

Выполнение векторного поиска с помощью IVF

Чтобы выполнить векторный поиск, используйте $search этап конвейера агрегирования в запросе MongoDB. Чтобы использовать cosmosSearch индекс, используйте новый cosmosSearch оператор.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <query_vector>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

Чтобы получить оценку сходства (searchScore) вместе с документами, найденными векторным поиском, используйте $project оператор, чтобы включить searchScore и переименовать его как <custom_name_for_similarity_score> в результатах. Затем документ также проецируется как вложенный объект. Обратите внимание, что оценка сходства вычисляется с помощью метрики, определенной в индексе вектора.

Пример использования индекса IVF

Индексирование инвертированного файла (IVF) — это метод, который упорядочивает векторы в кластерах. Во время векторного поиска векторный вектор сначала сравнивается с центрами этих кластеров. Затем поиск проводится в кластере, центр которого ближе всего к вектору запроса.

Параметр numLists определяет количество создаваемых кластеров. Один кластер подразумевает, что поиск осуществляется по всем векторам в базе данных, подобно поиску методом полного перебора или kNN. Этот параметр обеспечивает максимальную точность, но и максимальную задержку.

Увеличение значения приводит к увеличению numLists числа кластеров, каждый из которых содержит меньше векторов. Например, если numLists=2каждый кластер содержит больше векторов, чем если numLists=3, и т. д. Меньше векторов на кластер ускоряет поиск (более низкая задержка, более высокие запросы в секунду). Однако это повышает вероятность отсутствия наиболее аналогичного вектора в базе данных с вектором запроса. Это связано с несовершенным характером кластеризации, где поиск может сосредоточиться на одном кластере, в то время как фактический "ближайший" вектор находится в другом кластере.

Параметр nProbes определяет количество кластеров для поиска. По умолчанию оно имеет значение 1, то есть выполняется поиск только в кластере с центром, ближайшим к вектору запроса. Увеличение этого значения позволяет поиску охватывать больше кластеров, повышая точность, но и увеличивая задержку (таким образом уменьшая запросы в секунду), так как выполняется поиск большего числа кластеров и векторов.

В следующих примерах показано, как индексировать векторы, добавлять документы с свойствами векторов, выполнять векторный поиск и извлекать конфигурацию индекса.

Создание векторного индекса

use test;

db.createCollection("exampleCollection");

db.runCommand({
  createIndexes: 'exampleCollection',
  indexes: [
    {
      name: 'vectorSearchIndex',
      key: {
        "vectorContent": "cosmosSearch"
      },
      cosmosSearchOptions: {
        kind: 'vector-ivf',
        numLists: 3,
        similarity: 'COS',
        dimensions: 3
      }
    }
  ]
});

Эта команда создает vector-ivf индекс для vectorContent свойства в документах, хранящихся в указанной коллекции exampleCollection. Свойство cosmosSearchOptions задает параметры для индекса вектора IVF. Если в документе есть вектор, хранящийся в вложенном свойстве, можно задать это свойство с помощью пути нотации точек. Например, можно использовать text.vectorContent, если vectorContent является подсвойством text.

Добавление векторов в базу данных

Чтобы добавить векторы в коллекцию базы данных, сначала необходимо создать векторные представления с помощью собственной модели, Azure OpenAI Embeddings или другого API (например, Hugging Face на Azure). В этом примере новые документы добавляются с помощью шаблонных встраиваний:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Выполнение векторного поиска

Чтобы выполнить векторный поиск, используйте $search этап конвейера агрегирования в запросе MongoDB. Чтобы использовать cosmosSearch индекс, используйте новый cosmosSearch оператор.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <vector_to_search>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

Чтобы получить оценку сходства (searchScore) вместе с документами, найденными векторным поиском, используйте $project оператор, чтобы включить searchScore и переименовать его как <custom_name_for_similarity_score> в результатах. Затем документ также проецируется как вложенный объект. Обратите внимание, что оценка сходства вычисляется с помощью метрики, определенной в индексе вектора.

Векторы запросов и векторные расстояния (также известные как оценки сходства) с помощью $search"

Продолжая последний пример, создайте другой вектор. queryVector Векторный поиск измеряет расстояние между queryVector и векторами в пути vectorContent ваших документов. Вы можете задать количество результатов, возвращаемых поиском, установив параметр k, который здесь установлен на 2. Можно также задать nProbesцелое число, которое управляет количеством близлежащих кластеров, которые проверяются в каждом поиске. Более высокое значение может повысить точность, однако поиск будет медленнее в результате. Это необязательный параметр со значением по умолчанию 1 и не может быть больше значения, указанного numLists в векторном индексе.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    $search: {
      "cosmosSearch": {
        "vector": queryVector,
        "path": "vectorContent",
        "k": 2
      },
    "returnStoredSource": true }},
  {
    "$project": { "similarityScore": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
]);

В этом примере поиск вектора выполняется с использованием queryVector в качестве ввода через оболочку Mongo. Результат поиска — это список двух элементов, которые наиболее похожи на вектор запроса, отсортированные по их оценке сходства.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]