Измерение производительности Azure Cosmos DB для NoSQL с помощью платформы тестирования

Перейдите к существующей учетной записи API для NoSQL на портале Azure.

В меню ресурсов выберите Обозреватель данных.

На странице обозревателя данных выберите параметр "Создать контейнер " на панели команд.

В диалоговом окне создания контейнера создайте новый контейнер со следующими параметрами:

Если вы еще этого не сделали, войдите в Azure CLI с помощью команды az login.

Создайте переменные оболочки для следующих значений:

• Имя вашей существующей учетной записи Azure Cosmos DB для NoSQL под названием cosmosAccountName.
• Имя вашей первой группы ресурсов, содержащей ресурсы с именем sourceResourceGroupName.
• Имя второй пустой группы ресурсов с именем targetResourceGroupName.
• Существующий URI конечной точки учетной записи NoSQL для Azure Cosmos DB cosmosEndpoint
• Существующий первичный ключ учетной записи Azure Cosmos DB для NoSQL cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create С помощью команды создайте новую базу данных со следующими параметрами:

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

az cosmosdb sql container create С помощью команды создайте контейнер со следующими параметрами:

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Разверните платформу тестирования с помощью шаблона Azure Resource Manager, доступного по этой ссылке.

На странице настройки развертывания следующие параметры

Выберите Просмотр и создание и затем Создать, чтобы развернуть шаблон.

Дождитесь завершения развертывания.

Используйте az deployment group create для развертывания платформы тестирования с помощью шаблона Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Дождитесь завершения развертывания.

Перейдите к существующей учетной записи хранения Azure на портале Azure.

Перейдите в таблицу хранилища с именем ycsbbenchmarkingmetadata и найдите сущность с ключом секции ycsb_sql.

Обратите внимание на JobStatus поле сущности таблицы. Изначально состояние задания — Started, и оно включает метку времени в свойстве JobStartTime, но не в свойстве JobFinishTime.

Подождите, пока задание не приобретет состояние Finished и свойство JobFinishTime не будет содержать метку времени.

Перейдите к контейнеру хранилища в той же учетной записи с префиксом ycsbbenchmarking-*. Просмотрите выходные и диагностические BLOB-объекты для средства.

Откройте BLOB-файл aggregation.csv и изучите содержимое. Теперь у вас должен быть набор данных CSV с агрегированными результатами от всех клиентов теста.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Запросите запись задания в таблице хранилища с именем ycsbbenchmarkingmetadata, используя az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Просмотрите результаты этого запроса. Результаты должны содержать одно задание с JobStartTime, JobStatus и JobFinishTime свойствами. Изначально состояние задания — Started, и оно включает метку времени в свойстве JobStartTime, но не в свойстве JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

При необходимости запустите az storage entity query несколько раз, пока задание не приобретет состояние Finished, и в свойстве JobFinishTime не появится отметка времени.

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

Найдите имя последнего измененного контейнера хранилища с префиксом ycsbbenchmarking-* использования az storage container list и запроса JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Сохраните строку контейнера в переменной с именем storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Используйте [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) для запроса результатов задания в хранилище объектов Blob, хранящихся в ранее найденном контейнере.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Просмотрите результаты этого запроса. Теперь у вас должен быть набор данных CSV с агрегированными результатами от всех клиентов теста.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867