Измерение производительности Azure Cosmos DB для NoSQL с помощью платформы тестирования

Статья
08/15/2024

Существует больше вариантов, чем когда-либо, в типе базы данных для использования с рабочей нагрузкой данных. Одним из ключевых факторов выбора базы данных является производительность базы данных или службы, но производительность тестирования может быть громоздкой и подверженной ошибкам. Платформа тестирования для баз данных Azure упрощает процесс измерения производительности с помощью популярных средств тестирования с открытым исходным кодом с помощью рецептов низкой трения, реализующих распространенные рекомендации. В Azure Cosmos DB для NoSQL платформа реализует рекомендации по пакету SDK java и использует средство YCSB с открытым кодом. В этом руководстве вы используете эту платформу тестирования для реализации рабочей нагрузки чтения для ознакомления с платформой.

Необходимые компоненты

Учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно .
Учетная запись Azure Cosmos DB для NoSQL. Создайте учетную запись API для NoSQL.
- Обязательно запишите универсальный код ресурса (URI) конечной точки и первичный ключ для учетной записи.
Учетная запись хранения Azure. Создайте учетную запись служба хранилища Azure.
- Убедитесь, что вы заметите строка подключения для учетной записи хранения. Vies служба хранилища Azure строка подключения.
Вторая пустая группа ресурсов. Создайте группу ресурсов.
Интерфейс командной строки Azure (CLI).

Создание ресурсов учетной записи Azure Cosmos DB

Сначала вы создадите базу данных и контейнер в существующей учетной записи API для NoSQL.

Портал Azure
Azure CLI

Перейдите к существующей учетной записи API для NoSQL в портал Azure.
В меню ресурсов выберите Обозреватель данных.
На странице обозревателя данных выберите параметр "Создать контейнер" на панели команд.

В диалоговом окне создания контейнера создайте новый контейнер со следующими параметрами:

Параметр	Значение
Идентификатор базы данных	`ycsb`
Тип пропускной способности базы данных	Вручную
Объем пропускной способности базы данных	`400`
Идентификатор контейнера	`usertable`
Ключ секции	`/id`

Снимок экрана: диалоговое окно

Если вы еще этого не сделали, войдите в Azure CLI с помощью команды az login.

Создайте переменные оболочки для следующих значений:

Имя существующей учетной записи cosmosAccountNameAzure Cosmos DB для NoSQL.
Имя первой группы ресурсов с именем sourceResourceGroupNameресурсов.
Имя второй пустой группы ресурсов с именем targetResourceGroupName.
Существующий URI конечной точки учетной записи NoSQL для Azure Cosmos DB cosmosEndpoint
Существующий первичный ключ учетной записи Azure Cosmos DB для NoSQL cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create С помощью команды создайте новую базу данных со следующими параметрами:

Параметр	Значение
Идентификатор базы данных	`ycsb`
Тип пропускной способности базы данных	Вручную
Объем пропускной способности базы данных	`400`

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

az cosmosdb sql container create С помощью команды создайте контейнер со следующими параметрами:

Параметр Значение

Идентификатор базы данных ycsb

Идентификатор контейнера usertable

Ключ секции /id
```
az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"
```

Развертывание платформы тестирования в Azure

Теперь вы используете шаблон Azure Resource Manager для развертывания платформы тестирования в Azure с помощью рецепта чтения по умолчанию.

Портал Azure
Azure CLI

Разверните платформу тестирования с помощью шаблона Azure Resource Manager, доступного по этой ссылке.
На странице настраиваемого развертывания следующие параметры
Выберите "Рецензирование" и "Создать", чтобы развернуть шаблон.
Дождитесь завершения развертывания.

Совет

Развертывание может занять 5–10 минут.

Используйте az deployment group create для развертывания платформы тестирования с помощью шаблона Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='[email protected]' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Дождитесь завершения развертывания.

Совет

Развертывание может занять 5–10 минут.

Просмотр результатов теста

Теперь можно использовать существующую учетную запись служба хранилища Azure для проверки состояния задания теста и просмотра агрегированных результатов. Состояние сохраняется с помощью таблицы хранилища, а результаты объединяются в большой двоичный объект хранилища с помощью формата CSV.

Портал Azure
Azure CLI

Перейдите к существующей учетной записи служба хранилища Azure в портал Azure.
Перейдите в таблицу хранилища с именем ycsbbenchmarkingmetadata и найдите сущность с ключом секции ycsb_sql.
Обратите внимание на JobStatus поле сущности таблицы. Изначально состояние задания и Started включает метку времени в JobStartTime свойстве, но не JobFinishTime свойство.
Подождите, пока задание не имеет состояния Finished и включает метку времени в JobFinishTime свойство.

Совет

Выполнение задания может занять около 20–30 минут.
Перейдите к контейнеру хранилища в той же учетной записи с префиксом ycsbbenchmarking-*. Просмотрите выходные и диагностические BLOB-объекты для средства.
Откройте большой двоичный объект aggregation.csv и просмотрите содержимое. Теперь у вас должен быть набор данных CSV с агрегированными результатами от всех клиентов теста.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

Запрос записи задания в таблице хранилища с именем ycsbbenchmarkingmetadata using az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Просмотрите результаты этого запроса. Результаты должны возвращать одно задание с и JobStatusJobFinishTime свойствамиJobStartTime. Изначально состояние задания и Started включает метку времени в JobStartTime свойстве, но не JobFinishTime свойство.
```
{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}
```
При необходимости запустите az storage entity query несколько раз, пока задание не имеет состояния Finished и включает метку времени в свойстве JobFinishTime .
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
Совет

Выполнение задания может занять около 20–30 минут.

Найдите имя последнего измененного контейнера хранилища с префиксом ycsbbenchmarking-* использования az storage container list и запроса JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Сохраните строку контейнера в переменной с именем storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Используйте [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) для запроса результатов задания в хранилище BLOB-объектов, хранящихся в ранее расположенном контейнере.
```
az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"
```
Просмотрите результаты этого запроса. Теперь у вас должен быть набор данных CSV с агрегированными результатами от всех клиентов теста.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

Рецепты

Платформа тестирования для баз данных Azure включает в себя рецепты для инкапсулирования определений рабочих нагрузок, передаваемых базовому средству тестирования для интерфейса "1-Click". Определения рабочей нагрузки были разработаны на основе рекомендаций, опубликованных командой Azure Cosmos DB и командой средства тестирования. Рецепты проверены и проверены для согласованных результатов.

Вы можете увидеть следующие задержки для всех рецептов чтения и записи в репозитории GitHub.

Задержка чтения
Задержка записи

Распространенные проблемы

В этом разделе содержатся распространенные ошибки, которые могут возникнуть при запуске средства проверки производительности. Журналы ошибок для средства обычно доступны в контейнере в учетной записи служба хранилища Azure.

Снимок экрана: контейнер и большие двоичные объекты в учетной записи хранения.

Если журналы недоступны в учетной записи хранения, эта проблема обычно вызвана неправильным или отсутствующим хранилищем строка подключения. В этом случае эта ошибка отображается в файле agent.out в папке /home/benchmarking виртуальной машины клиента.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Эта ошибка указана в файле agent.out как в клиентской виртуальной машине, так и в учетной записи хранения, если URI конечной точки Azure Cosmos DB является неверным или недоступным.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Эта ошибка указана в файле agent.out как на клиентской виртуальной машине, так и в учетной записи хранения, если ключ Azure Cosmos DB неверный.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Следующие шаги

Дополнительные сведения о средстве тестирования см. в руководстве по началу работы.

Поделиться через