Получите данные из Центра событий Azure

Из этой статьи вы узнаете, как получить данные из Центров событий в базу данных KQL в Microsoft Fabric. Центры событий Azure — это платформа потоковой передачи больших данных и служба приема событий, которая может обрабатывать и направлять миллионы событий в секунду.

Чтобы передавать данные из Центров событий в аналитику в режиме реального времени, выполните два основных шага. Первый шаг выполняется в портале Azure, где вы определяете политику общего доступа для вашего экземпляра концентратора событий и сохраняете сведения, необходимые для последующего подключения через эту политику.

Второй шаг выполняется в аналитике в режиме реального времени в Fabric, где вы подключаете базу данных KQL к концентратору событий и настраиваете схему для входящих данных. На этом шаге создаются два подключения. Первое подключение, называемое "облачным подключением", подключает Microsoft Fabric к экземпляру концентратора событий. Вторая связь соединяет подключение к облаку с базой данных KQL. После завершения настройки данных события и схемы потоковые данные доступны для запроса с помощью набора запросов KQL.

Сведения о получении данных из Event Hubs с помощью Eventstream см. в разделе Добавление источника Azure Event Hubs в поток событий.

Предварительные условия

• Подписка Azure. Создайте бесплатную учетную запись Azure
• Концентратор событий
• Рабочая область с емкостью, поддерживающей Microsoft Fabric
• База данных KQL с разрешениями на редактирование

Настройка политики общего доступа в концентраторе событий

Прежде чем создать подключение к данным Центров событий, необходимо задать политику общего доступа (SAS) в концентраторе событий и собрать некоторые сведения, которые будут использоваться позже при настройке подключения. Дополнительные сведения об авторизации доступа к ресурсам Event Hubs см. в разделе "Подписи общего доступа".

1. Перейдите в портал Azure и выберите экземпляр центра событий, который хотите подключить.

2. В разделе "Параметры" выберите политики общего доступа

3. Нажмите кнопку +Добавить, чтобы добавить новую политику SAS или выберите существующую политику с разрешениями "Управление ".

   

4. Введите имя политики.

5. Выберите " Управление" и " Создать".

Сбор сведений о облачном подключении

В области политики SAS обратите внимание на следующие четыре поля. Вы можете скопировать эти поля и вставить их куда-нибудь, например, в блокнот, чтобы использовать на следующем этапе.

Источник

1. На нижней ленте базы данных KQL выберите " Получить данные".

   В окне "Получение данных" выбрана вкладка "Источник".

2. Выберите источник данных из доступного списка. В этом примере вы загружаете данные из Event Hubs.

   

Настройка

1. Выберите целевую таблицу. Если вы хотите принять данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.

   Примечание.

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

2. Выберите "Создать новое подключение" или выберите существующее подключение и перейдите к следующему шагу.

Создать новое подключение

1. Заполните параметры подключения в соответствии со следующей таблицей:

   

   Параметр	Description	Пример значения
   Пространство имен Event Hub	Поле d из приведенной выше таблицы.	eventhubpm15910.servicebus.windows.net
   концентратор событий;	Поле из приведенной выше таблицы. Имя экземпляра концентратора событий.	iotdata
   Связь	Чтобы использовать существующее облачное подключение между Fabric и Центрами событий, выберите имя этого подключения. В противном случае нажмите кнопку "Создать новое подключение".	Создание нового подключения
   Имя подключения	Имя нового облачного подключения. Это имя создается автоматически, но может быть перезаписано. Должен быть уникальным в клиенте Fabric.	Соединение
   Тип проверки подлинности	Заполняется автоматически. В настоящее время поддерживается только общий ключ доступа.	Ключ общего доступа
   Имя ключа общего доступа	Поле b из приведенной выше таблицы. Имя, которое вы присвоили политике общего доступа.	DocsTest
   Ключ общего доступа	Поле c из приведенной выше таблицы. Первичный ключ политики SAS.

2. Выберите Сохранить. Создается новое облачное подключение к данным между Fabric и Центрами событий.

Подключение облака к базе данных KQL

Независимо от того, создали ли вы новое облачное подключение или используете существующий, необходимо определить группу потребителей. При необходимости можно задать параметры, определяющие аспекты подключения между базой данных KQL и облачным подключением.

1. Заполните следующие поля в соответствии с таблицей:

   

   Параметр	Description	Пример значения
   Группа потребителей	Определяемая в вашем концентраторе событий соответствующая группа потребителей. Дополнительные сведения см . в разделе "Группы потребителей". После добавления новой группы потребителей необходимо выбрать эту группу из раскрывающегося списка.	NewConsumer
   Дополнительные параметры
   Сжатие	Сжатие данных событий, поступающих из концентратора событий. Параметры : None (по умолчанию) или сжатие Gzip.	Не допускается
   Свойства системы событий	Дополнительные сведения см. в разделе "Свойства системы концентратора событий". Если к одному сообщению о событии относится несколько записей, системные свойства добавляются к первой. См. свойства системы событий.
   Дата начала получения события	Подключение к данным извлекает существующие события концентратора событий, созданные с момента начала получения события. Он может извлекать только те события, которые сохраняются концентратором событий в течение установленного срока хранения. Часовой пояс — UTC. Если время не указано, по умолчанию используется время создания подключения к данным.

2. Нажмите кнопку "Далее", чтобы перейти на вкладку "Проверка".

Свойства системы событий

Системные свойства хранят свойства, заданные службой Концентраторов событий в момент постановки события в очередь. Подключение к данным в центр событий может встроить выбранный набор системных свойств в данные, загружаемые в таблицу, с учетом заданного сопоставления.

Проверка

Чтобы завершить процесс приема, нажмите кнопку Готово.

Необязательно.

• Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.

• Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Данные считываются из концентратора событий в виде объектов EventData. Поддерживаемые форматы: CSV, JSON, PSV, SCsv, SOHsv TSV, TXT и TSVE.

• Изменение столбцов.

• Изучите дополнительные параметры на основе типа данных.

• Если данные, отображаемые в окне предварительного просмотра, не завершены, может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:

  • Отбросить и получить новые данные: удаляет представленные данные и осуществляет поиск новых событий.
  • Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.

Изменить столбцы

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

• Тип таблицы — новая или существующая.
• Тип сопоставления может быть новым или существующим.

Преобразования отображений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования в момент загрузки данных. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне "Изменение столбцов ".

Преобразования сопоставления можно выполнять в столбце типа string или datetime, при условии, что источник имеет тип данных int или long. Дополнительные сведения см. в полном списке поддерживаемых трансформаций отображения .

Сопоставление схем для файлов Avro для центров событий

Одним из способов использования данных Центров событий является запись событий через Azure Event Hubs в хранилище объектов Blob Azure или Azure Data Lake Storage. Затем вы можете получать файлы записи, как они записываются с помощью подключения к данным сетки событий.

Схема файлов записи отличается от схемы исходного события, отправляемого в Центры событий. Следует проектировать схему целевой таблицы с учетом этого различия. В частности, полезные данные события представлены в файле сбора в виде массива байтов, и этот массив не декодируется автоматически при подключении к данным Сетки событий в Azure Data Explorer. Более подробную информацию о схеме файлов для данных записи Avro в Центрах событий Azure см. в статье "Изучение захваченных файлов Avro в Центрах событий Azure".

Чтобы правильно декодировать полезные данные события:

1. Сопоставьте поле Body записанного события со столбцом типа dynamic в целевой таблице.
2. Примените политику обновления, которая преобразует массив байтов в удобочитаемую строку с помощью функции unicode_codepoints_to_string().

Дополнительные параметры на основе типа данных

Табличные форматы данных (CSV, TSV, PSV):

• При приеме табличных форматов в существующей таблице можно выбрать Расширенные возможности>. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.

• Чтобы использовать первую строку в качестве имен столбцов, выберите Дополнительно>Первая строка как заголовок столбца.

  

JSON:

• Чтобы определить деление данных JSON на столбцы, выберите Дополнительно>уровни вложенности от 1 до 100.

• Если выбрать Расширенные>Пропускать строки JSON с ошибками, данные будут загружены в формате JSON. Если этот флажок не выбран, данные будут загружены в формате "multijson".

  

Итоги

В окне подготовки данных все три шага помечаются зелеными флажками при успешном завершении приема данных. Вы можете выбрать карточку для запроса, удалить загруженные данные или просмотреть панель сводки по загруженным данным.

Связанный контент

• Запрос данных в наборе запросов KQL
• Визуализация данных в отчете Power BI
• Одна логическая копия