Прием данных из Центров событий в Azure Synapse Data Explorer

Программа Microsoft Cloud Migration Factory (CMF) предназначена для поддержки клиентов при миграции в Fabric. Программа предлагает практические ресурсы клавиатуры без затрат для клиента. Эти ресурсы назначаются в течение 6–8 недель с предопределенной и согласованной областью. Номинации клиентов принимаются от команды учетных записей Microsoft или непосредственно путем отправки запроса на помощь команде CMF.

Azure Synapse Data Explorer — это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии. Azure Synapse Data Explorer позволяет загружать данные из Центров событий, Центров IoT и блобов, записанных в блоб-контейнеры.

Azure Synapse Data Explorer позволяет выполнять прием (загрузку) данных из Центров событий, платформы потоковой передачи больших данных и службы приема данных событий. Центры событий могут обрабатывать миллионы событий в секунду практически в режиме реального времени. В этой статье вы создадите центры событий, подключитесь к нему из Azure Synapse Data Explorer и просмотрите поток данных через систему.

Предварительные условия

• Подписка Azure. Создайте бесплатную учетную запись Azure.

• Создать пул Data Explorer с помощью Synapse Studio или портала Azure

• Создать базу данных Data Explorer.

  1. В Synapse Studio в области слева выберите элемент Данные.

  2. Выберите + (Добавить новый ресурс) >Пул Data Explorer, а затем используйте следующие сведения:

     Настройка	Предлагаемое значение	Описание
     Имя пула	contosodataexplorer	Имя пула Data Explorer, который вы будете использовать.
     Имя.	TestDatabase	Имя базы данных должно быть уникальным в пределах кластера.
     Срок хранения по умолчанию	365.	Интервал времени (в днях), в течение которого данные будут гарантированно доступны для запросов. Интервал времени измеряется с момента приема данных.
     Период кэширования по умолчанию	31	Интервал времени (в днях), в течение которого необходимо хранить часто запрашиваемые данные в хранилище SSD или ОЗУ, а не в долговременном хранилище.

  3. Чтобы создать базу данных, выберите Создать. Создание обычно занимает меньше минуты.

• Создайте целевую таблицу, в которую Центры событий будут отправлять данные

  1. В Synapse Studio в области слева выберите элемент Разработка.

  2. В разделе Скрипты KQL выберите + (Добавить новый ресурс) >Скрипт KQL. В области справа можно присвоить имя вашему сценарию.

  3. В меню Подключение к выберите contosodataexplorer.

  4. В меню Использование базы данных выберите TestDatabase.

  5. Вставьте следующую команду и выберите Выполнить, чтобы создать таблицу.

     .create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
     

     Совет

     Убедитесь, что таблица была успешно создана. В области слева выберите Данные, откройте дополнительное меню contosodataexplorer и выберите Обновить. В разделе contosodataexplorer разверните элемент Таблицы и убедитесь, что в списке присутствует таблица TestTable.

  6. Скопируйте следующую команду в окно и выберите Выполнить для сопоставления входящих данных JSON с именами столбцов и типами данных таблицы (TestTable).

     .create table TestTable ingestion json mapping 'TestMapping' '[{"column":"TimeStamp", "Properties": {"Path": "$.timeStamp"}},{"column":"Name", "Properties": {"Path":"$.name"}} ,{"column":"Metric", "Properties": {"Path":"$.metric"}}, {"column":"Source", "Properties": {"Path":"$.source"}}]'
     

• Для подключения к данным рекомендуется использовать управляемое удостоверение, назначаемое пользователем, или управляемое удостоверение, назначенное системой.

• Пример приложения, создающего данные и отправляющего их в концентратор событий. Загрузите пример приложения в систему.

• Visual Studio 2019 для запуска примера приложения.

Войдите на портал Azure

Войдите на портал Azure.

Создание концентратора событий

Создайте концентратор событий на портале Azure с помощью шаблона Azure Resource Manager.

1. Нажмите следующую кнопку, чтобы начать развертывание и создание концентратора событий. Чтобы закончить выполнение инструкций из этой статьи, щелкните правой кнопкой мыши и выберите ссылку Открыть в новом окне.

   

   Кнопка Развернуть в Azure перенаправит вас на портал Azure.

2. Выберите подписку, в которой нужно создать концентратор событий, и создайте группу ресурсов с именем test-hub-rg.

   

3. Заполните форму, указав следующую информацию.

   Используйте значения по умолчанию для всех параметров, отсутствующих в следующей таблице.

   Параметр	Рекомендуемое значение	Описание поля
   Подписка	Ваша подписка	Выберите подписку Azure, которую вы хотите использовать для центров событий.
   Группа ресурсов	test-hub-rg	Создание группы ресурсов
   Расположение	Западная часть США	Для работы над этой статьей выберите Западная часть США. Для производственной системы выберите регион, лучше всего соответствующий вашим потребностям. Создайте пространство имен Центров событий в том же расположении, что и кластер Azure Synapse Data Explorer, чтобы обеспечить лучшую производительность (самое важное для пространств имен Центров событий с высокой пропускной способностью).
   Имя пространства имен	Уникальное имя пространства имен	Выберите уникальное имя, идентифицирующее пространство имен. Например, mytestnamespace. К введенному имени добавляется имя домена servicebus.windows.net. Имя может содержать только буквы, цифры и дефисы. Имя должно начинаться с буквы и заканчиваться буквой или цифрой. Длина значения в символах должна быть от 6 до 50.
   Имя Центров событий	test-hub	Центры событий находятся внутри пространства имен, которое служит уникальным контейнером области. Имя Центров событий должно быть уникальным в пространстве имен.
   Имя группы потребителей	test-group	Группы потребителей позволяют каждому из нескольких потребляющих приложений иметь отдельное представление потока событий.

4. Выберите Review + create (Просмотреть и создать).

5. Просмотрите сводку созданных ресурсов. Выберите Создать, что подтверждает создание ресурсов в вашей подписке.

   

6. На панели инструментов щелкните Уведомления, чтобы отслеживать процесс подготовки. Успешное выполнение развертывания может занять несколько минут, но теперь можно перейти к следующему шагу.

   

Рекомендации по проверке подлинности

В зависимости от типа удостоверения, который используется для проверки подлинности в Центрах событий, может потребоваться несколько других конфигураций.

• Если вы выполняете проверку подлинности с помощью центров событий, используя управляемое удостоверение, назначаемое пользователем, перейдите в ваш центр событий >Сеть, затем в разделе под Разрешить доступ выберите Все сети и сохраните изменения.

  

• Если вы выполняете проверку подлинности через системную управляемую идентичность в Event Hubs, перейдите в Сеть Центров >Событий, а затем либо разрешите доступ из всех сетей, либо в разделе Разрешить доступ из выберите Выбранные сети, выберите Разрешить доверенным службам Microsoft обходить этот брандмауэр и сохраните изменения.

  

Подключение к центрам событий

Теперь вы подключаетесь к центрам событий из пула Обозревателя данных. Если это подключение установлено, данные, которые проходят через потоки Центров событий, попадают в тестовую таблицу, созданную ранее в этой статье.

1. Выберите уведомления на панели инструментов, чтобы убедиться, что развертывание Центров событий выполнено успешно.

2. В созданном пуле Azure Data Explorer выберите Databases>TestDatabase.

   

3. Выберите Подключение к базе данных и Добавить подключение к данным.

   

Создание подключения к данным (предварительная версия)

Заполните форму, указав следующую информацию, а затем нажмите кнопку Создать.

Целевая таблица

Существуют два варианта маршрутизации принятых данных: статическая и динамическая. В этой статье используется статическая маршрутизация, для которой нужно указать имя таблицы, формат данных и сопоставление в качестве значений по умолчанию. Если сообщение Центров событий содержит сведения о маршрутизации данных, эти сведения переопределят параметры по умолчанию.

1. Заполните следующие параметры маршрутизации:

   

   Параметр	Рекомендуемое значение	Описание поля
   Имя таблицы	TestTable	Таблица, созданная в базе данных TestDatabase.
   Формат данных	JSON	Поддерживаются форматы: Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO и W3CLOG.
   Сопоставление	TestMapping	Сопоставление, созданное вами в базе данных TestDatabase, которое сопоставляет входящие данные с именами столбцов и типами данных TestTable. Является обязательным для JSON, MULTILINE JSON и AVRO и необязательным для других форматов.

   Примечание.

   • Вы не обязаны указывать все значения для параметров маршрутизации по умолчанию. Принимаются также частично заполненные параметры.
   • Принимаются только события, поставленные в очередь после создания подключения к данным.

2. Нажмите кнопку создания.

Сопоставление свойств системы событий

Если вы выбрали в разделе Источник данных таблицы пункт Свойства системы событий, необходимо добавить системные свойства в схему и сопоставление таблицы.

Копирование строки подключения

При запуске примера приложения, указанного в предварительных требованиях, вам потребуется строка подключения для пространства имен Центров событий.

1. В пространстве имен Центров событий, которое вы создали, выберите политики совместного доступа, затем RootManageSharedAccessKey.

   

2. Скопируйте Строку подключения — первичный ключ. Вставьте его в следующий раздел.

   

Создание примера данных

Используйте пример приложения, загруженный для создания данных.

1. Откройте решение для примера приложения в Visual Studio.

2. В файле program.cs измените значение константы eventHubName на название вашего Event Hubs и измените значение константы connectionString на строку подключения, которую вы скопировали из пространства имен Event Hubs.

   const string eventHubName = "test-hub";
   // Copy the connection string ("Connection string-primary key") from your Event Hub namespace.
   const string connectionString = @"<YourConnectionString>";
   

3. Выполните сборку и запустите приложение. Приложение отправляет сообщения в Центры событий и выводит его состояние каждые 10 секунд.

4. После отправки нескольких сообщений перейдите к следующему шагу: просмотрите поток данных в центры событий и тестовую таблицу.

Просмотр потока данных

С помощью данных, создаваемых приложением, теперь можно увидеть поток этих данных из Центров событий в таблицу в кластере.

1. В портале Azure в разделе Центры событий вы увидите пик активности, когда приложение работает.

   

2. Чтобы проверить, сколько сообщений поступило в базу данных к этому моменту, выполните следующий запрос в тестовой базе данных.

   TestTable
   | count
   

3. Чтобы увидеть содержимое сообщений, выполните следующий запрос:

   TestTable
   

   Набор результатов должен выглядеть следующим образом:

   

   Примечание.

   • В Azure Synapse Data Explorer настроена политика агрегирования (пакетной обработки) для приема данных, которая предназначена для оптимизации приема. Политика пакетной обработки по умолчанию настроена на запечатывание пакета при выполнении одного из следующих условий: превышено максимальное время задержки в 5 минут, превышен общий размер в 1 ГБ или превышено количество в 1000 больших двоичных объектов. В связи с этим может возникнуть задержка. Дополнительные сведения см. на странице о политике пакетной обработки.
   • Прием данных концентратора событий содержит время отклика концентратора событий, равное 10 секундам или 1 МБ.
   • Настройте таблицу таким образом, чтобы она поддерживала потоковую передачу и устраняла задержку во времени отклика. См. статью Политика потоковой передачи.

Очистка ресурсов

Если вы еще не планируете использовать центры событий, очистите test-hub-rg, чтобы избежать затрат.

1. На портале Azure выберите Группа ресурсов слева, а затем созданную группу ресурсов.

   Если меню слева свернуто, выберите , чтобы его развернуть.

   

2. В разделе test-resource-group выберите Удалить группу ресурсов.

3. В новом окне введите имя удаляемой группы ресурсов (test-hub-rg) и нажмите кнопку Удалить.

Следующие шаги

• Анализ с помощью Data Explorer
• Мониторинг пулов в Data Explorer