Создание панелей мониторинга Power BI в режиме реального времени с помощью Stream Analytics без редактора кода

В этом руководстве показано, как использовать Stream Analytics без редактора кода для вычисления агрегатов в потоках данных в режиме реального времени и хранения их в Azure Synapse Analytics.

В этом руководстве описано следующее:

  • Развертывание генератора событий, отправляющего данные в концентратор событий
  • Создайте задание Stream Analytics с помощью редактора без кода
  • Проверка входных данных и схемы
  • Выберите поля для группировки и задайте агрегации, например, количество
  • Настройка Azure Synapse Analytics для записи результатов
  • Выполнение задания Stream Analytics
  • Визуализация данных в Power BI

Требования

Прежде чем начать, выполните следующие действия.

  1. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись.
  2. Разверните генератор событий TollApp в Azure. Используйте эту ссылку для развертывания шаблона Azure TollApp. interval Задайте для параметра значение 1. Используйте новую группу ресурсов для этого шага.
  3. Создайте рабочую область Azure Synapse Analytics с выделенным пулом SQL.
  4. Создайте таблицу с именем carsummary с помощью выделенного пула SQL. Выполните следующий скрипт SQL: 
    CREATE TABLE carsummary   
(  
    Make nvarchar(20),  
    CarCount int,
	times datetime
)
WITH ( CLUSTERED COLUMNSTORE INDEX ) ;

Использование бескодового редактора для создания задания Stream Analytics

  1. Найдите группу ресурсов, в которой развернут генератор событий TollApp.

  2. Выберите пространство имен Центров событий Azure.

  3. На странице пространства имен Центров событий выберите Центры событий в разделе "Сущности " в меню слева.

  4. Выберите entrystream экземпляр.

    Снимок экрана: выбор концентратора событий.

  5. В разделе «Функции» перейдите к «Обработка данных», затем выберите «пуск» на шаблоне «Начать с пустого холста».

    Снимок экрана: выбор кнопки

  6. Назовите задание carsummary и нажмите кнопку "Создать".

    Снимок экрана: страница задания New Stream Analytics.

  7. На странице конфигурации концентратора событий подтвердите следующие параметры и выберите Подключить.

    1. Для группы потребителей выберите "Использовать существующий", а затем выберите "По умолчанию".

    2. Для типа сериализации убедитесь, что выбран JSON.

    3. В режиме Authentication mode убедитесь, что используется строка подключения для соединения с вашим концентратором событий: строка подключения.

      Снимок экрана: страница конфигурации для концентратора событий.

  8. В течение нескольких секунд отображаются примеры входных данных и схемы. Вы можете удалить поля, переименовать поля или изменить типы данных.

    Снимок экрана: предварительный просмотр данных в концентраторе событий и полях.

  9. Выберите "Операции" на панели команд и выберите "Группировать по".

    Снимок экрана, показывающий меню

  10. Выберите элемент Группировка на холсте и подключите его к элементу концентратора событий.

    Снимок экрана: плитка

  11. Настройте элемент Группировка, указав следующие параметры:

    1. Агрегат в виде счетчика.

    2. Поле "Make", которое является вложенным полем внутри CarModel.

    3. Выберите Добавить.

      Снимок экрана параметра агрегирования на странице конфигурации

    4. В разделе "Параметры":

      1. Для агрегирования групп нажмите кнопку "Сделать".

      2. В окне времени убедитесь, что задано значение Tumbling.

      3. Для параметра Duration введите 3 минуты.

      4. В нижней части страницы нажмите кнопку Готово.

        Снимок экрана страницы конфигурации

  12. Выберите группировать по и обратите внимание на сгруппированные данные на вкладке "Предварительный просмотр данных" в нижней части страницы.

    Снимок экрана: вкладка

  13. На панели команд выберите "Операции" и "Управление полями".

  14. Подключить плитки Group by и Управление полями.

  15. На странице "Управление полями" выполните следующие действия:

    1. Добавьте поле Make, как показано на следующем рисунке, и нажмите кнопку "Добавить".

      Снимок экрана: добавление поля Make.

    2. Выберите Добавить.

      Снимок экрана: кнопка

  16. Выберите Добавить все поля на странице конфигурации Управление полями.

    Снимок экрана: страница

  17. Щелкните ... рядом с полями и выберите Изменить, чтобы переименовать их.

    • COUNT_make до CarCount

    • Window_End_Time до times

      Снимок экрана: страница

  18. Выберите "Готово" на странице "Управление полями ". Страница Управление полями должна выглядеть, как показано на следующем изображении.

    Снимок экрана: страница

  19. Выберите плитку "Управление полями" и просмотрите данные, поступающие в операцию на вкладке "Предварительный просмотр данных" в нижней части страницы.

    Снимок экрана: вкладка

  20. На панели команд выберите выходные данные и выберите Synapse.

    Снимок экрана панели команд с выбранной функцией Outputs Synapse.

  21. Подключите плитку Synapse к плитке Управление полями на холсте.

  22. На странице параметров Synapse выполните следующие действия:

    1. Если учетная запись хранения задания еще не задана, выберите учетную запись Azure Data Lake Storage в группе ресурсов. Это учетная запись хранения, используемая Synapse SQL для загрузки данных в хранилище данных.

      Снимок экрана: Synapse с выбором учетной записи хранения.

    2. Выберите подписку Azure, в которой находится Azure Synapse Analytics.

    3. Выберите базу данных выделенного пула SQL, который использовался для создания carsummary таблицы в предыдущем разделе.

    4. Введите имя пользователя и пароль для проверки подлинности.

    5. Введите имя таблицы как carsummary.

    6. Нажмите Подключиться. Вы увидите примеры результатов, записанные в таблицу Synapse SQL.

      Снимок экрана: параметры плитки Synapse.

  23. Выберите плитку Synapse и перейдите на вкладку "Предварительный просмотр данных" в нижней части страницы. Вы увидите данные, поступающие в выделенный пул SQL.

    Снимок экрана: предварительная версия данных для плитки Synapse.

  24. Нажмите кнопку Сохранить на верхней ленте, чтобы сохранить задание, а затем нажмите кнопку Пуск. Снимок экрана: кнопка

  25. На странице "Запуск задания Stream Analytics" нажмите «Пуск», чтобы выполнить задание.

    Снимок экрана: страница задания Start Stream Analytics.

  26. Затем вы увидите список всех заданий Stream Analytics, созданных с помощью редактора без кода. И в течение двух минут ваше задание переходит в состояние «Выполнение». Нажмите кнопку "Обновить" на странице, чтобы увидеть изменение состояния из "Создано" —> "Запуск".>

    Снимок экрана: список заданий.

Создание визуализации Power BI

  1. Скачайте последнюю версию Power BI Desktop.

  2. Используйте соединитель Power BI для Azure Synapse SQL.

    Снимок экрана Power BI Desktop с выбранными Azure и Synapse Analytics SQL.

  3. Подключитесь к базе данных с помощью DirectQuery и используйте этот запрос для получения данных из базы данных.

    SELECT [Make],[CarCount],[times]
FROM [dbo].[carsummary]
WHERE times >= DATEADD(day, -1, GETDATE())

    Снимок экрана, показывающий конфигурацию Power BI Desktop для подключения к базе данных Azure Synapse SQL.

    Перейдите на вкладку "База данных " и введите учетные данные (имя пользователя и пароль), чтобы подключиться к базе данных и запустить запрос.

  4. Выберите "Загрузить", чтобы загрузить данные в Power BI.

  5. Затем можно создать линейный график.

    • Ось X — время.
    • Ось Y — количество автомобилей.
    • Легенда в виде создаваемой диаграммы, которую можно опубликовать. Вы можете настроить автоматическое обновление страницы и задать для него значение 3 минут, чтобы получить представление в режиме реального времени. Снимок экрана: панель мониторинга Power BI с данными сводки автомобиля.

Другие параметры

Помимо Azure Synapse SQL, вы также можете использовать SQL базы данных в качестве результата редактора без кода для приема потоковых данных. Затем используйте соединитель Power BI для подключения к базе данных SQL с помощью DirectQuery для создания панели мониторинга в режиме реального времени.

Это также хороший вариант для создания панели мониторинга в режиме реального времени с помощью потоковых данных. Дополнительные сведения о выходных данных базы данных SQL см. в разделе "Преобразование и прием в базу данных SQL".

Очистка ресурсов

  1. Найдите экземпляр Event Hubs и просмотрите список заданий Stream Analytics в разделе Process Data. Остановите все выполняемые задания.
  2. Перейдите в группу ресурсов, которую вы использовали при развертывании генератора событий TollApp.
  3. Выберите команду Удалить группу ресурсов. Чтобы подтвердить удаление, введите имя группы ресурсов.

Следующие шаги

В этом руководстве вы создали задание Stream Analytics с помощью редактора без кода для определения агрегатов и записи результатов в Azure Synapse Analytics. Затем вы использовали Power BI для создания панели мониторинга в режиме реального времени, чтобы просмотреть результаты, полученные заданием.

Без обработки потока кода с помощью Azure Stream Analytics

  • Last updated on