Обработка и маршрутизация данных с потоками данных

Потоки данных упрощают настройку путей к данным для перемещения, преобразования и обогащения данных. С помощью потоков данных можно подключать различные источники данных и выполнять операции с данными. Компонент потока данных является частью Операции Интернета вещей Azure, которая развертывается как расширение Azure Arc. Поток данных настраивается с помощью пользовательского веб-интерфейса операций, Azure CLI или шаблонов Azure Resource Manager.

Конфигурации можно написать для различных вариантов использования, например:

  • Преобразуйте данные и отправьте их обратно в MQTT.
  • Преобразуйте данные и отправьте их в облако.
  • Отправка данных в облако или edge без преобразования.

Потоки данных не ограничиваются регионом, в котором развертывается экземпляр операций Интернета вещей. Потоки данных можно использовать для отправки данных в облачные конечные точки в разных регионах.

Note

Потоки данных заменяют компонент Data Processor, который был доступен только в предварительной версии из более ранних выпусков Операции Интернета вещей Azure. Параметр --include-dpaz iot ops init удален и больше не требуется— компоненты потоков данных развертываются автоматически.

Ключевые функции

В этом разделе описываются основные функции потоков данных.

Обработка и маршрутизация данных

Потоки данных обеспечивают прием, обработку и маршрутизацию сообщений в указанные приемники. Можно указать:

  • Источники: откуда вы принимаете сообщения.
  • Назначения: куда вы отправляете сообщения, включая поддержку динамической маршрутизации тем на основе содержимого сообщений для конечных точек MQTT.
  • Преобразования (необязательно): конфигурация операций обработки данных.

Возможности преобразования

Для выполнения различных операций можно применить преобразования к данным на этапе обработки. Эти операции могут включать:

  • Вычисления новых свойств: на основе существующих свойств в сообщении.
  • Переименование свойств: стандартизация или уточнение данных.
  • Преобразование единиц: преобразование значений в разные единицы измерения.
  • Стандартизация значений: масштабирование значений свойств в определяемый пользователем диапазон.
  • Контекстуализация данных: добавление ссылочных данных в сообщения для обогащения и получения инсайтов.

Подсказка

Дополнительные возможности обработки, включая условную маршрутизацию, агрегирование на основе времени и компонуемые конвейеры преобразования, см. в графах потоков данных.

Настройка и развертывание

Укажите конфигурацию с помощью веб-интерфейса интерфейса операций, Azure CLI или шаблонов Azure Resource Manager. На основе этой конфигурации оператор потока данных создает экземпляры потока данных, чтобы обеспечить высокий уровень доступности и надежности.

Льготы

  • Упрощённая настройка: лёгкое подключение источников данных и пунктов назначения.
  • Гибкие преобразования. Выполнение широких операций с данными.
  • Scalable configuration: используйте средства Azure для масштабируемых и управляемых конфигураций.
  • Высокий уровень доступности: собственный ресурс Kubernetes обеспечивает надежность.

С помощью потоков данных можно эффективно управлять путями данных. Вы можете убедиться, что данные точно отправляются, преобразуются и обогащены в соответствии с вашими операционными потребностями.

Реестр схем

Реестр схем, предлагаемая Azure Device Registry, представляет собой синхронизированное хранилище как в облаке, так и на периферии. Реестр схем хранит определения сообщений, поступающих из пограничных ресурсов, а затем предоставляет API для доступа к этим схемам на границе. Соединители southbound, такие как соединитель для OPC UA, могут создавать схемы сообщений и добавлять их в реестр схем или отправлять схемы в веб-интерфейс операций.

Потоки данных используют схемы сообщений для преобразования сообщения в формат, ожидаемый конечной точкой назначения.

Дополнительные сведения см. в разделе "Общие сведения о схемах сообщений".

Буферизация данных и сохраняемость дисков

Когда поток данных отправляет сообщения в конечную точку, конечный пункт назначения или сеть могут стать недоступными. Если доставка не может завершиться, поток данных не подтверждает исходное сообщение. Брокер MQTT сохраняет сообщение в очереди подписчика, а передача данных пытается повторно доставить его.

Сведения о поведении сбоев конечных точек, очередях подписчиков брокера, буфере сообщений с сохранением на диске, устойчивости брокера и потоке данных см. в разделе "Настройка буферизации данных и долговременного сохранения данных на диске для потоков данных".

Связанный контент

  • Last updated on