Создайте подключение данных Центра Интернета Вещей для Azure Data Explorer

1. В меню слева кластера Azure Data Explorer выберите базы данных , а затем выберите базу данных, содержащую целевую таблицу.

   

2. Выберите Подключение к базе данных и Добавить подключение к данным. В раскрывающемся списке выберите Центр Интернета вещей.

   

3. Заполните форму, указав следующую информацию.

   Параметр	Описание поля
   Имя подключения к данным	Имя подключения, которое вы хотите создать в Azure Data Explorer
   Подписка	Идентификатор подписки, где находится ресурс центров обработки событий.
   Центр Интернета вещей	Имя Центра Интернета вещей
   Политика общего доступа	Название политики общего доступа. Необходимо иметь разрешения на чтение
   Группа потребителей	Группа потребителей, определенная во встроенной конечной точке Центра Интернета вещей
   Свойства системы событий	Свойства системы событий Центра Интернета вещей. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.

   

   Примечание.

   • Свойства системы событий поддерживаются для событий с одной записью.
   • Для сопоставления CSV свойства добавляются в начале записи. Для сопоставления JSON свойства добавляются в соответствии с именем, отображаемым в раскрывающемся списке.

4. В зависимости от варианта использования может потребоваться включить маршрутизацию с несколькими базами данных. Дополнительные сведения о маршрутизации в базы данных см. в разделе Маршрутизация событий.

   Снимок экрана веб-интерфейса Azure Data Explorer, демонстрирующий параметр маршрутизации данных, установленный на "разрешить".

5. Заполните следующие параметры маршрутизации:

   Параметр	Рекомендуемое значение	Описание поля
   Имя таблицы	TestTable	Таблица, которую вы создали в testdb.
   Формат данных	JSON	Поддерживаемые форматы: AVRO, CSV, JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHE AVRO и W3CLOG.
   Картирование	TestMapping	Сопоставление, которое вы создали в testdb, которое сопоставляет входящие данные с именами столбцов и типами данных testdb. Если значение не указано, используется сопоставление идентификаторов данных, полученное из схемы таблицы.

   

   Примечание.

   • Данные JSON по умолчанию анализируются как multijson. Выберите "Игнорировать ошибки формата" , чтобы принять данные в строгом формате JSON.
   • Если выбраны свойства системы событий, необходимо включить системные свойства в схему таблицы и сопоставление.

6. Нажмите кнопку создания.

1. Установите пакет NuGet Microsoft.Azure.Management.Kusto.

2. Создайте учетную запись приложения Azure AD для аутентификации. Вам потребуется идентификатор каталога (клиента), идентификатор приложения и секрет клиента.

3. Выполните следующий код.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var iotHubConnectionName = "myiothubconnect";
   //The IoT hub that is created as part of the Prerequisites
   var iotHubResourceId = "/subscriptions/<iotHubSubscriptionId>/resourceGroups/<iotHubResourceGroupName>/providers/Microsoft.Devices/IotHubs/<iotHubName>";
   var sharedAccessPolicyName = "iothubforread";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var tableName = "StormEvents";
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var databaseRouting = "Multi";
   var iotHubConnectionData = new IotHubDataConnection(
       iotHubResourceId, consumerGroup, sharedAccessPolicyName,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, iotHubConnectionName, iotHubConnectionData);
   

   Параметр	Рекомендуемое значение	Описание поля
   идентификатор арендатора	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента. Также известен как идентификатор каталога.
   идентификатор подписки	xxxx-xxxxx-xxxx-xxxx-xxxx-xxxx	Идентификатор подписки, используемой для создания ресурсов.
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента приложения, которое может получить доступ к ресурсам в вашем клиенте.
   clientSecret	PlaceholderClientSecret	Секретный ключ приложения, которое может получить доступ к ресурсам в вашем арендаторе.
   имяГруппыРесурсов	testrg	Имя группы ресурсов, содержащей ваш кластер.
   Имя кластера	mykustocluster	Имя вашего кластера.
   имяБазыДанных	mykustodatabase	Имя целевой базы данных в вашем кластере.
   Имя подключения к IoTHub (iotHubConnectionName)	myiothubconnect	Желаемое имя вашего соединения с данными.
   имя таблицы	StormEvents	Имя целевой таблицы в целевой базе данных.
   mappingRuleName	StormEvents_CSV_Mapping	Имя сопоставления столбцов, связанного с целевой таблицей.
   формат данных	csv	Формат данных сообщения.
   идентификатор ресурса iotHub	Идентификатор ресурса	Идентификатор ресурса вашего центра Интернета вещей, в котором хранятся данные для обработки.
   ИмяПолитикиДоступа	iothubforread	Имя политики общего доступа, определяющей разрешения для устройств и служб на подключение к Центру Интернета вещей.
   группа потребителей	$Default	Группа потребителей вашего концентратора событий.
   расположение	Центральная часть США	Расположение ресурса подключения к данным.
   маршрутизация базы данных	Multi или Single	Маршрутизация базы данных для подключения. Если задано значение Single, подключение к данным направляется в одну базу данных в кластере, как указано в параметре databaseName . Если задать значение Multi, можно переопределить целевую базу данных по умолчанию с помощью свойства приема базы данных. Дополнительные сведения см. в разделе Маршрутизация событий.

1. Импортируйте необходимые библиотеки.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. Создайте учетную запись приложения Azure AD для аутентификации. Вам потребуется идентификатор каталога (клиента), идентификатор приложения и секрет клиента.

3. Выполните следующий код.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import IotHubDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The IoT hub that is created as part of the Prerequisites
   iot_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Devices/IotHubs/xxxxxx";
   shared_access_policy_name = "iothubforread"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   
   #Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=IotHubDataConnection(iot_hub_resource_id=iot_hub_resource_id, shared_access_policy_name=shared_access_policy_name,
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing))
   

   Параметр	Рекомендуемое значение	Описание поля
   идентификатор арендатора	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента. Также известен как идентификатор каталога.
   идентификатор подписки	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор подписки, используемой для создания ресурсов.
   идентификатор_клиента	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента приложения, которое может получить доступ к ресурсам в вашем клиенте.
   секрет клиента	xxxxxxxxxxxxxx	Секретный ключ приложения, которое может получить доступ к ресурсам в вашем арендаторе.
   имя_группы_ресурсов	testrg	Имя группы ресурсов, содержащей ваш кластер.
   cluster_name	mykustocluster	Имя вашего кластера.
   название_базы_данных	mykustodatabase	Имя целевой базы данных в вашем кластере.
   имя_подключения_данных	myeventhubconnect	Желаемое имя вашего соединения с данными.
   table_name	StormEvents	Имя целевой таблицы в целевой базе данных.
   mapping_rule_name	StormEvents_CSV_Mapping	Имя сопоставления столбцов, связанного с целевой таблицей.
   формат_данных	csv	Формат данных сообщения.
   iot_hub_resource_id (идентификатор_ресурса_iot_центра)	Идентификатор ресурса	Идентификатор ресурса вашего центра Интернета вещей, в котором хранятся данные для приема.
   имя_политики_совместного_доступа	iothubforread	Имя политики общего доступа, определяющей разрешения для устройств и служб на подключение к Центру Интернета вещей.
   группа потребителей	$Default	Группа потребителей вашего концентратора событий.
   расположение	Центральная часть США	Расположение ресурса подключения к данным.
   маршрутизация_базы_данных	Multi или Single	Маршрутизация базы данных для подключения. Если задано значение Single, подключение к данным направляется в одну базу данных в кластере, как указано в параметре databaseName . Если установить значение Multi, можно переопределить целевую базу данных по умолчанию, используя свойство приемабазы данных. Дополнительные сведения см. в разделе Маршрутизация событий.

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Центра Интернета вещей. Вы можете изменить и развернуть шаблон на портале Azure с помощью формы.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "IotHubs_iothubdemo_name": {
            "type": "string",
            "defaultValue": "iothubdemo",
            "metadata": {
                "description": "Specifies the IoT Hub name."
            }
        },
        "iothubpolices_iothubowner_name": {
            "type": "string",
            "defaultValue": "iothubowner",
            "metadata": {
                "description": "Specifies the shared access policy name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the IoT Hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
           "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the IoT Hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the IoT Hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2019-09-07",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "IotHub",
            "properties": {
                "iotHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Devices/IotHubs', parameters('IotHubs_iothubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "sharedAccessPolicyName": "[parameters('iothubpolices_iothubowner_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                 "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Чтобы удалить подключение Центра Интернета вещей из портала Azure, сделайте следующее:

1. Перейдите в ваш кластер. В меню слева выберите "Базы данных". Затем выберите базу данных, содержащую целевую таблицу.
2. В меню слева выберите подключения к данным. Затем установите флажок рядом с соответствующим подключением данных IoT Hub.
3. В верхней строке меню нажмите кнопку "Удалить".

Чтобы удалить подключение к Центру Интернета вещей, выполните следующую команду:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Чтобы удалить подключение к Центру Интернета вещей, выполните следующую команду:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)