Векторное хранилище в виртуальном ядере Azure Cosmos DB для MongoDB

Индексы DiskANN доступны на уровнях M40 и более поздних версиях. Чтобы создать индекс DiskANN, задайте "kind" для параметра "vector-diskann" следующий шаблон:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-diskann", 
                "dimensions": <integer_value>,
                "similarity": <string_value>,
                "maxDegree" : <integer_value>, 
                "lBuild" : <integer_value>, 
            } 
        } 
    ] 
}

Выполнение векторного поиска с помощью DiskANN

Чтобы выполнить векторный поиск, используйте $search этап конвейера агрегирования и запрос с оператором cosmosSearch . DiskANN позволяет выполнять высокопроизводительные поиски в больших наборах данных с дополнительными фильтрами, такими как геопространственные или текстовые фильтры.

{
  "$search": {
    "cosmosSearch": {
      "path": "<path_to_property>",
      "query": "<query_vector>",  
      "k": <num_results_to_return>,  
      "filter": {"$and": [
        { "<attribute_1>": { "$eq": <value> } },
        {"<location_attribute>": {"$geoWithin": {"$centerSphere":[[<longitude_integer_value>, <latitude_integer_value>], <radius>]}}}
      ]}
    }
  }
},

Пример использования индекса DiskANN с фильтрацией

Добавление векторов в базу данных

Чтобы использовать векторный поиск с геопространственных фильтров, добавьте документы, которые включают как векторные внедрения, так и координаты расположения. Внедрение можно создать с помощью собственной модели, Azure OpenAI Embeddings или другого API (например, hugging Face в Azure).

from pymongo import MongoClient

client = MongoClient("<your_connection_string>")
db = client["test"]
collection = db["testCollection"]

documents = [
    {"name": "Eugenia Lopez", "bio": "CEO of AdventureWorks", "is_open": 1, "location": [-118.9865, 34.0145], "contentVector": [0.52, 0.20, 0.23]},
    {"name": "Cameron Baker", "bio": "CFO of AdventureWorks", "is_open": 1, "location": [-0.1278, 51.5074], "contentVector": [0.55, 0.89, 0.44]},
    {"name": "Jessie Irwin", "bio": "Director of Our Planet initiative", "is_open": 0, "location": [-118.9865, 33.9855], "contentVector": [0.13, 0.92, 0.85]},
    {"name": "Rory Nguyen", "bio": "President of Our Planet initiative", "is_open": 1, "location": [-119.0000, 33.9855], "contentVector": [0.91, 0.76, 0.83]}
]

collection.insert_many(documents)

Создание векторного индекса DiskANN

В следующем примере показано, как настроить векторный индекс DiskANN с возможностями фильтрации. Это включает создание векторного индекса для поиска сходства, добавление документов с векторными и геопространственных свойств и поля индексирования для дополнительной фильтрации.

db.command({
    "createIndexes": "testCollection",
    "indexes": [
        {
            "name": "DiskANNVectorIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": {
                "kind": "vector-diskann",
                "dimensions": 3,
                "similarity": "COS",
                "maxDegree": 32,
                "lBuild": 64
            }
        },
        { 
            "name": "is_open",
            "key": { 
                "is_open": 1 
            }      
        },
        {
            "name": "locationIndex",
            "key": {
                "location": 1
            }
        }
    ]
})

Эта команда создает векторный индекс DiskANN в contentVector поле exampleCollection, включив поиск сходства. Он также добавляет:

• Индекс в is_open поле, позволяющий фильтровать результаты на основе того, открыты ли предприятия.
• Геопространственный индекс в поле для фильтрации по географическому location расположению.

Выполнение векторного поиска

Чтобы найти документы с аналогичными векторами в пределах определенного географического радиуса, укажите queryVector поиск сходства и включите геопространственный фильтр.

query_vector = [0.52, 0.28, 0.12]
pipeline = [
    {
        "$search": {
            "cosmosSearch": {
                "path": "contentVector",
                "vector": query_vector,
                "k": 5,
                "filter": {
                    "$and": [
                        {"is_open": {"$eq": 1}},
                        {"location": {"$geoWithin": {"$centerSphere": [[-119.7192861804, 34.4102485028], 100 / 3963.2]}}}
                    ]
                }
            }
        }
    }
]

results = list(collection.aggregate(pipeline))
for result in results:
    print(result)

В этом примере поиск сходства векторов возвращает самые k близкие векторы на основе указанной COS метрики сходства, а фильтрация результатов включает только открытые предприятия в радиусе 100 миль.

[
  {
    similarityScore: 0.9745354109084544,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'CEO of AdventureWorks',
      is_open: 1,
      location: [-118.9865, 34.0145],
      contentVector: [0.52, 0.20, 0.23]
    }
  },
  {
    similarityScore: 0.9006955671333992,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'President of Our Planet initiative',
      is_open: 1,
      location: [-119.7302, 34.4005],
      contentVector: [0.91, 0.76, 0.83]
    }
  }
]

В этом результате показаны первые аналогичные документы queryVector, ограниченные радиусом 100 миль и открытыми предприятиями. Каждый результат включает оценку сходства и метаданные, демонстрируя, как DiskANN в Cosmos DB для MongoDB поддерживает объединенные векторные и геопространственные запросы для обогащенных, чувствительных к расположению операций поиска.

Вы можете создавать индексы HNSW (иерархические навигации по небольшому миру) на уровнях кластера M40 и более поздних версиях. Чтобы создать индекс HSNW, необходимо создать векторный индекс с параметром "kind" , заданным "vector-hnsw" в следующем шаблоне:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": <integer_value>, 
                "efConstruction": <integer_value>, 
                "similarity": "<string_value>", 
                "dimensions": <integer_value> 
            } 
        } 
    ] 
}

Выполнение векторного поиска с помощью HNSW

Чтобы выполнить векторный поиск, используйте $search этап конвейера агрегирования запроса с оператором cosmosSearch .

{
    "$search": {
        "cosmosSearch": {
            "vector": <query_vector>,
            "path": "<path_to_property>",
            "k": <num_results_to_return>,
            "efSearch": <integer_value>
        },
    }
}

Пример использования индекса HNSW.

В следующих примерах показано, как индексировать векторы, добавлять документы с свойствами векторов, выполнять векторный поиск и извлекать конфигурацию индекса.

use test;

db.createCollection("exampleCollection");

db.runCommand({ 
    "createIndexes": "exampleCollection",
    "indexes": [
        {
            "name": "VectorSearchIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": 16, 
                "efConstruction": 64, 
                "similarity": "COS", 
                "dimensions": 3
            } 
        } 
    ] 
});

Эта команда создает индекс HNSW для contentVector свойства в документах, хранящихся в указанной коллекции. exampleCollection Свойство cosmosSearchOptions задает параметры для векторного индекса HNSW. Если в документе есть вектор, хранящийся в вложенном свойстве, можно задать это свойство с помощью пути нотации точек. Например, можно использовать text.contentVector , если contentVector является подпропастерием text.

Добавление векторов в базу данных

Чтобы добавить векторы в коллекцию базы данных, сначала необходимо создать внедрения с помощью собственной модели, Azure OpenAI Embeddings или другого API (например , обнимать лицо в Azure). В этом примере новые документы добавляются с помощью примеров внедрения:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Выполнение векторного поиска

Продолжая последний пример, создайте другой вектор. queryVector Векторный поиск измеряет расстояние между queryVector векторами в contentVector пути к документам. Можно задать количество результатов, возвращаемых поиском k, задав параметр, который задан здесь 2 . Можно также задать efSearchцелое число, которое управляет размером списка векторов кандидатов. Более высокое значение может повысить точность, однако поиск будет медленнее в результате. Это необязательный параметр со значением по умолчанию 40.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    "$search": {
        "cosmosSearch": {
            "vector": "queryVector",
            "path": "contentVector",
            "k": 2,
            "efSearch": 40
        },
    }
  }
}
]);

В этом примере поиск вектора выполняется с помощью queryVector входных данных через оболочку Mongo. Результат поиска — это список двух элементов, которые наиболее похожи на вектор запроса, отсортированные по их оценке сходства.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]

Чтобы создать векторный индекс с помощью алгоритма IVF (инвертированного файла), используйте следующий createIndexes шаблон и задайте "kind" для параметра "vector-ivf"значение :

{
  "createIndexes": "<collection_name>",
  "indexes": [
    {
      "name": "<index_name>",
      "key": {
        "<path_to_property>": "cosmosSearch"
      },
      "cosmosSearchOptions": {
        "kind": "vector-ivf",
        "numLists": <integer_value>,
        "similarity": "<string_value>",
        "dimensions": <integer_value>
      }
    }
  ]
}

Выполнение векторного поиска с помощью IVF

Чтобы выполнить векторный поиск, используйте $search этап конвейера агрегирования в запросе MongoDB. Чтобы использовать cosmosSearch индекс, используйте новый cosmosSearch оператор.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <query_vector>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

Чтобы получить оценку сходства (searchScore) вместе с документами, найденными векторным поиском, используйте $project оператор, чтобы включить searchScore и переименовать его как <custom_name_for_similarity_score> в результатах. Затем документ также проецируется как вложенный объект. Обратите внимание, что оценка сходства вычисляется с помощью метрики, определенной в индексе вектора.

Пример использования индекса IVF

Индексирование инвертированного файла (IVF) — это метод, который упорядочивает векторы в кластерах. Во время векторного поиска векторный вектор сначала сравнивается с центрами этих кластеров. Затем поиск проводится в кластере, центр которого ближе всего к вектору запроса.

Параметр numLists определяет количество создаваемых кластеров. Один кластер подразумевает, что поиск выполняется по всем векторам в базе данных, а также к поиску подбора или kNN. Этот параметр обеспечивает максимальную точность, но и максимальную задержку.

Увеличение значения приводит к увеличению numLists числа кластеров, каждый из которых содержит меньше векторов. Например, если numLists=2каждый кластер содержит больше векторов, чем если numLists=3, и т. д. Меньше векторов на кластер ускоряет поиск (более низкая задержка, более высокие запросы в секунду). Однако это повышает вероятность отсутствия наиболее аналогичного вектора в базе данных с вектором запроса. Это связано с несовершенным характером кластеризации, где поиск может сосредоточиться на одном кластере, в то время как фактический "ближайший" вектор находится в другом кластере.

Параметр nProbes определяет количество кластеров для поиска. По умолчанию оно имеет значение 1, то есть выполняется поиск только в кластере с центром, ближайшим к вектору запроса. Увеличение этого значения позволяет поиску охватывать больше кластеров, повышая точность, но и увеличивая задержку (таким образом уменьшая запросы в секунду), так как выполняется поиск большего числа кластеров и векторов.

В следующих примерах показано, как индексировать векторы, добавлять документы с свойствами векторов, выполнять векторный поиск и извлекать конфигурацию индекса.

Создание векторного индекса

use test;

db.createCollection("exampleCollection");

db.runCommand({
  createIndexes: 'exampleCollection',
  indexes: [
    {
      name: 'vectorSearchIndex',
      key: {
        "vectorContent": "cosmosSearch"
      },
      cosmosSearchOptions: {
        kind: 'vector-ivf',
        numLists: 3,
        similarity: 'COS',
        dimensions: 3
      }
    }
  ]
});

Эта команда создает vector-ivf индекс для vectorContent свойства в документах, хранящихся в указанной коллекции. exampleCollection Свойство cosmosSearchOptions задает параметры для индекса вектора IVF. Если в документе есть вектор, хранящийся в вложенном свойстве, можно задать это свойство с помощью пути нотации точек. Например, можно использовать text.vectorContent , если vectorContent является подпропастерием text.

Добавление векторов в базу данных

Чтобы добавить векторы в коллекцию базы данных, сначала необходимо создать внедрения с помощью собственной модели, Azure OpenAI Embeddings или другого API (например , обнимать лицо в Azure). В этом примере новые документы добавляются с помощью примеров внедрения:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Выполнение векторного поиска

Чтобы выполнить векторный поиск, используйте $search этап конвейера агрегирования в запросе MongoDB. Чтобы использовать cosmosSearch индекс, используйте новый cosmosSearch оператор.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <vector_to_search>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

Чтобы получить оценку сходства (searchScore) вместе с документами, найденными векторным поиском, используйте $project оператор, чтобы включить searchScore и переименовать его как <custom_name_for_similarity_score> в результатах. Затем документ также проецируется как вложенный объект. Обратите внимание, что оценка сходства вычисляется с помощью метрики, определенной в индексе вектора.

Векторы запросов и векторные расстояния (ака оценки сходства) с помощью $search"

Продолжая последний пример, создайте другой вектор. queryVector Векторный поиск измеряет расстояние между queryVector векторами в vectorContent пути к документам. Можно задать количество результатов, возвращаемых поиском k, задав параметр, который задан здесь 2 . Можно также задать nProbesцелое число, которое управляет количеством близлежащих кластеров, которые проверяются в каждом поиске. Более высокое значение может повысить точность, однако поиск будет медленнее в результате. Это необязательный параметр со значением по умолчанию 1 и не может быть больше значения, указанного numLists в векторном индексе.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    $search: {
      "cosmosSearch": {
        "vector": queryVector,
        "path": "vectorContent",
        "k": 2
      },
    "returnStoredSource": true }},
  {
    "$project": { "similarityScore": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
]);

В этом примере поиск вектора выполняется с помощью queryVector входных данных через оболочку Mongo. Результат поиска — это список двух элементов, которые наиболее похожи на вектор запроса, отсортированные по их оценке сходства.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]