Измерение производительности Azure Cosmos DB для NoSQL с помощью платформы тестирования

В портале Azure перейдите к существующей учетной записи API для NoSQL.

В меню ресурсов выберите Обозреватель данных.

На странице обозревателя данных выберите параметр "Создать контейнер" на панели команд.

В диалоговом окне создания контейнера создайте новый контейнер со следующими параметрами:

Если вы еще этого не сделали, войдите в Azure CLI с помощью команды az login.

Создайте переменные оболочки для следующих значений:

• Имя вашей существующей учетной записи Azure Cosmos DB для NoSQL с именем cosmosAccountName.
• Имя вашей первой группы ресурсов с ресурсами под именем sourceResourceGroupName.
• Имя второй пустой группы ресурсов с именем targetResourceGroupName.
• URI конечной точки для существующей учетной записи NoSQL в Azure Cosmos DB cosmosEndpoint
• Существующий именованный первичный ключ учетной записи Azure Cosmos DB для NoSQL cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create С помощью команды создайте новую базу данных со следующими параметрами:

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

az cosmosdb sql container create С помощью команды создайте контейнер со следующими параметрами:

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Разверните платформу тестирования с помощью шаблона Azure Resource Manager, доступного по этой ссылке.

На странице кастомизированного развертывания следующие параметры

Выберите Обзор + создание, а затем Создать, чтобы развернуть шаблон.

Дождитесь завершения развертывания.

Используйте az deployment group create для развертывания платформы тестирования с помощью шаблона Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='[email protected]' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Дождитесь завершения развертывания.

Перейдите к существующей учетной записи хранилища Azure в портале Azure.

Перейдите в таблицу хранилища с именем ycsbbenchmarkingmetadata и найдите сущность с ключом секции ycsb_sql.

Обратите внимание на JobStatus поле сущности таблицы. Изначально статус задания — это Started, и он включает метку времени в свойстве JobStartTime, но не в свойстве JobFinishTime.

Подождите, пока задание не получит состояние Finished и пока в свойстве JobFinishTime не появится метка времени.

Перейдите к контейнеру хранилища в той же учетной записи с префиксом ycsbbenchmarking-*. Просмотрите выходные и диагностические объекты данных типа BLOB для инструмента.

Откройте блоб aggregation.csv и просмотрите содержимое. Теперь у вас должен быть набор данных CSV с агрегированными результатами от всех клиентов теста.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Выполните запрос в таблице хранилища с именем ycsbbenchmarkingmetadata для записи задания, используя az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Просмотрите результаты этого запроса. Результаты должны возвращать одно задание с JobStartTime, JobStatus и JobFinishTime свойствами. Изначально состояние задания — это Started, и оно включает метку времени в JobStartTime свойстве, но не в JobFinishTime свойстве.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

При необходимости запустите az storage entity query несколько раз, пока задание не получит статус Finished и не включит метку времени в свойстве JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

Найдите имя самого недавно измененного контейнера хранилища с префиксом ycsbbenchmarking-*, используя az storage container list и JMESPath запрос.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Сохраните строку контейнера в переменной с именем storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Используйте [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) для запроса результатов задания в объектном хранилище, содержащимся в ранее найденном контейнере.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Просмотрите результаты этого запроса. Теперь у вас должен быть набор данных CSV с агрегированными результатами от всех клиентов теста.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867