Создание подключения к данным Центров событий для Azure Data Explorer

Предварительные требования

• Учетная запись Microsoft или идентификатор пользователя Microsoft Entra. Подписка Azure не требуется.
• Кластер Azure Data Explorer и база данных. Создайте кластер и базу данных.
• Прием потоковой передачи должен быть настроен в кластере Azure Data Explorer.

Получить данные

1. В меню слева выберите "Запрос".

2. Щелкните правой кнопкой мыши на базе данных, в которую нужно загрузить данные. Выберите Получить данные.

   

Источник

В окне "Получение данных" выбрана вкладка "Источник".

Выберите источник данных из доступного списка. В этом примере вы загружаете данные из Event Hubs.

Настройка

1. Выберите целевую базу данных и таблицу. Если вы хотите принять данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.

   Примечание.

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

   

2. Заполните следующие поля:

   Параметр	Описание поля
   Подписка	Идентификатор подписки, в которой размещается ресурс концентратора событий.
   Пространство имен концентратора событий	Имя, которое идентифицирует ваше пространство имен.
   концентратор событий;	Концентратор событий, который вы хотите
   Группа потребителей	Группа потребителей, определенная в событии
   Имя подключения к данным	Имя, которое идентифицирует ваше подключение для передачи данных.
   Расширенные фильтры
   Сжатие	Тип сжатия полезных данных сообщений концентратора событий.
   Свойства системы событий	Системные свойства концентратора событий. При наличии нескольких записей в сообщении о событии системные свойства добавляются в первую. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Дата начала доступа к событию	Подключение к данным извлекает существующие события в Центрах событий, созданные после даты начала извлечения событий. Можно получить только те события, которые сохранены в течение периода хранения Центров событий Event Hubs. Если дата начала получения события не указана, время по умолчанию — это время создания подключения к данным.

3. Выберите Далее

Проверка

Откроется вкладка "Проверка " с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

По желанию:

• Если данные, отображаемые в окне предварительного просмотра, не завершены, может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:

  • Отмена и получение новых данных: отменяет представленные данные и ищет новые события.

  • Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.

    Примечание.

    Чтобы увидеть предварительный просмотр ваших данных, концентратор событий должен быть активен и отправлять события.

• Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.

• Используйте раскрывающийся список файла определения схемы, чтобы изменить файл, из который выводится схема.

• Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. См. форматы данных, поддерживаемые Azure Data Explorer для приема.

• Изменение столбцов.

• Изучите дополнительные параметры на основе типа данных.

Изменить столбцы

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

• Тип таблицы — новая или существующая.
• Тип сопоставления: новый или существующий.

Сопоставление преобразований

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время инжеста. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне "Изменение столбцов ".

Преобразования сопоставления можно выполнять в столбце типа строка или дата/время с источником имеющим тип данных int или long. Поддерживаются следующие преобразования сопоставлений:

• DateTimeFromUnixSeconds;
• DateTimeFromUnixMilliseconds;
• DateTimeFromUnixMicroseconds;
• DateTimeFromUnixNanoseconds.

Дополнительные параметры на основе типа данных

В формате таблицы (CSV, TSV, PSV):

• Если вы используете табличные форматы в существующей таблице, можно открыть раскрывающееся меню сопоставления таблицы и выбрать "Use existing mapping". Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же.

• В противном случае создайте новое сопоставление.

• Чтобы использовать первую строку в качестве имен столбцов, выберите заголовок первой строки.

  

JSON:

• Чтобы определить деление данных JSON по уровням вложенности, выберите вложенные уровни от 1 до 100.

Итоги

В окне подготовки данных все три шага помечаются зелеными флажками при успешном завершении приема данных. Вы можете просмотреть команды, которые использовались для каждого шага, или выбрать плитку для запроса, визуализации или удаления загруженных данных.

Предварительные требования

• Подписка Azure. Создайте учетную запись free Azure.
• Кластер Azure Data Explorer и база данных. Создайте кластер и базу данных.
• Таблица назначения. Создайте таблицу или используйте существующую таблицу.
• Сопоставление загрузки для таблицы.
• Концентратор событий с данными для приема.

Получить данные

1. На портале Azure перейдите в кластер и выберите Databases. Затем выберите базу данных, содержащую целевую таблицу.

   

2. В меню слева выберите прием данных. Затем на верхней панели нажмите Добавить подключение к данным.

3. Заполните форму, указав следующую информацию, а затем нажмите кнопку Создать.

   Параметр	Рекомендуемое значение	Описание поля
   Имя подключения к данным	тест соединения хаба	Имя соединения, которое необходимо создать в Azure Data Explorer.
   Подписка		Идентификатор подписки, где находится ресурс концентратора событий.
   Пространство имен концентратора событий	Уникальное имя пространства имен	Имя, выбранное ранее и определяющее пространство имен.
   концентратор событий;	test-hub	Созданный вами концентратор событий.
   Группа потребителей	test-group	Группа потребителей, определенная в созданном вами концентраторе событий.
   Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей на сообщение о событии системные свойства добавляются в первую запись. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Сжатие	Не допускается	Тип сжатия полезных данных сообщений концентратора событий. Поддерживаемые типы сжатия: None, gzip.
   Управляемое удостоверение (рекомендуется)	Назначаемое системой	Управляемое удостоверение, используемое кластером Data Explorer для доступа к чтению из концентратора событий. Для управления доступом к концентратору событий рекомендуется использовать управляемые удостоверения. Примечание. При создании нового подключения к данным: * Системно назначаемые удостоверения создаются автоматически, если они еще не существуют; * Управляемому удостоверению автоматически назначается роль Центры событий Azure Data Receiver, и оно добавляется в кластер Data Explorer. Рекомендуется проверить, была ли назначена роль и было ли добавлено удостоверяющее средство в кластер.

   Примечание.

   Если у вас есть существующее подключение к данным, которое не использует управляемые удостоверения, рекомендуется обновить его для использования управляемых удостоверений.

Предварительные требования

• Подписка Azure. Создайте учетную запись free Azure.
• Кластер Azure Data Explorer и база данных. Создайте кластер и базу данных.
• Таблица назначения. Создайте таблицу или используйте существующую таблицу.
• Сопоставление загрузки для таблицы.
• Концентратор событий с данными для приема.

Получить данные

1. В портале Azure перейдите к экземпляру Event Hubs.

2. В боковом меню "Компоненты" выберите " Анализ данных с помощью Kusto".

3. Выберите Пуск, чтобы открыть мастер импорта данных для Azure Data Explorer.

   

   Примечание.

   • У вас должны быть по крайней мере разрешения пользователя базы данных.
   • Чтобы включить доступ между кластером и учетной записью хранения без общедоступного доступа, см. статью "Создание управляемой частной конечной точки".
   • Кластер и концентратор событий должны быть связаны с теми же клиентами. В противном случае используйте один из вариантов пакета SDK, например C# или Python.

4. Откроется боковая панель приема данных с выбранной вкладкой «Назначение». Выберите поля кластера и базы данных в раскрывающемся списке. Убедитесь, что выбран кластер, который работает. В противном случае вы не можете выбрать базу данных и продолжить процесс приема.

5. В разделе "Таблица" выберите "Создать таблицу " и введите имя новой таблицы. Кроме того, используйте существующую таблицу.

6. Выберите Далее: Источник.

7. В разделе Source type тип и сведения Event Hub заполняются автоматически на основе начатого вами экземпляра Event Hubs.

8. В разделе "Подключение к данным" введите следующие поля и нажмите кнопку "Далее: схема".

   Параметр	Рекомендуемое значение	Описание поля
   Подписка		Идентификатор подписки, где находится ресурс концентратора событий.
   Пространство имен концентратора событий		Имя, которое идентифицирует ваше пространство имен.
   концентратор событий;		Концентратор событий, который вы хотите использовать.
   Имя подключения к данным	TestDataConnection	Имя, которое идентифицирует ваше подключение для передачи данных.
   Группа потребителей		Группа потребителей, определенная в вашем концентраторе событий.
   Сжатие		Тип сжатия полезных данных сообщений концентратора событий.
   Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей в сообщении о событии системные свойства добавляются в первую. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Дата начала доступа к событию	Координированное мировое время (UTC)	Подключение к данным извлекает существующие события в Центрах событий, созданные после даты начала извлечения событий. Можно получить только те события, которые сохранены в течение периода хранения Центров событий Event Hubs. Если дата начала получения события не указана, время по умолчанию — это время создания подключения к данным.

9. Если потоковая передача включена для кластера, можно выбрать прием потоковой передачи. Если потоковая передача не включена для кластера, задайте задержку пакетной обработки данных. Для Центров событий рекомендуемое время пакетной обработки составляет 30 секунд.

   

10. Выберите формат данных. Для данных, отформатированных в формате CSV, пропустить первую запись, чтобы игнорировать строку заголовка файла. Для данных в формате JSON выберите Игнорировать ошибки формата данных, чтобы загрузить данные в формате JSON, или оставьте его невыбранным для загрузки данных в формате multijson. Выберите вложенные уровни, чтобы определить деление данных столбца таблицы.

11. Если данные, отображаемые в окне предварительного просмотра, не завершены, может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:

    • Отбросить и получить новые данные: отбрасывает текущие данные и производит поиск новых событий.
    • Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.

    Примечание.

    Чтобы увидеть предварительный просмотр ваших данных, концентратор событий должен быть активен и отправлять события.

12. Нажмите кнопку "Далее": сводка.

13. В окне Непрерывный прием из Event Hub установлен все шаги помечаются зелеными галочками после успешного завершения процесса.

Предварительные требования

• Подписка Azure. Создайте учетную запись free Azure.
• Кластер Azure Data Explorer и база данных. Создайте кластер и базу данных.
• Таблица назначения. Создайте таблицу или используйте существующую таблицу.
• Сопоставление загрузки для таблицы.
• Концентратор событий с данными для приема.

Шаблон ARM

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Центров событий. Вы можете редактировать и развернуть шаблон на портале Azure, используя форму.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Удалите подключение к данным через портал Azure, как описано на вкладке портала.

Чтобы удалить подключение концентратора событий с портала Azure, сделайте следующее:

1. Перейдите к своему кластеру. В меню слева выберите "Базы данных". Затем выберите базу данных, содержащую целевую таблицу.
2. В меню слева выберите подключения к данным. Затем установите флажок рядом с соответствующим подключением к данным концентратора событий.
3. В верхней строке меню нажмите кнопку "Удалить".