Настройка конечных точек потока данных

Чтобы приступить к работе с потоками данных, сначала создайте конечные точки потока данных. Конечная точка потока данных — это точка подключения для потока данных. Для потока данных можно использовать конечную точку в качестве источника или назначения. Некоторые типы конечных точек можно использовать как источники, так и назначения, а другие — только в качестве назначения. Поток данных должен иметь по крайней мере одну исходную конечную точку и одну конечную точку назначения.

Используйте следующую таблицу, чтобы выбрать тип конечной точки для настройки:

Потоки данных должны использовать локальную конечную точку брокера MQTT

При создании потока данных укажите исходные и целевые конечные точки. Поток данных перемещает данные из исходной конечной точки в конечную точку назначения. Вы можете использовать одну и ту же конечную точку для нескольких потоков данных и в качестве как источника, так и назначения в потоке данных.

Однако использование пользовательских конечных точек как источника, так и назначения в потоке данных не поддерживается. Это ограничение означает, что встроенный брокер MQTT в Операциях Интернета вещей Azure должен быть по крайней мере одной конечной точкой. Это может быть источник, пункт назначения или оба. Чтобы избежать сбоев развертывания потока данных, используйте конечную точку потока данных MQTT по умолчанию в качестве источника или назначения для каждого потока данных.

Конкретное требование заключается в том, что каждый поток данных должен иметь либо источник, либо пункт назначения, настроенный через конечную точку MQTT с узлом aio-broker. Поэтому не обязательно использовать конечную точку по умолчанию, и вы можете создать дополнительные конечные точки потока данных, указывающие на локальный брокер MQTT, при условии, что хост — aio-broker. Однако, чтобы избежать проблем с путаницей и удобством управления, рекомендуется использовать конечную точку по умолчанию.

В следующей таблице показаны поддерживаемые сценарии:

Повторное использование конечных точек

Подумайте о каждой конечной точке потока данных как о наборе параметров конфигурации, где указано, откуда данные должны поступать или куда направляться (host значение), как аутентифицироваться с этой конечной точкой, и другие настройки, такие как конфигурация TLS или предпочтения пакетной обработки. Поэтому необходимо только один раз создать его, а затем повторно использовать его в нескольких потоках данных, где эти параметры будут одинаковыми.

Чтобы упростить повторное использование конечных точек, фильтр раздела MQTT или Kafka не входит в конфигурацию конечной точки. Вместо этого вы указываете фильтр раздела в конфигурации потока данных. Это означает, что вы можете использовать одну конечную точку для нескольких потоков данных, использующих различные фильтры разделов.

Например, можно использовать конечную точку потока данных брокера MQTT по умолчанию. Его можно использовать как для исходного, так и для конечного пункта назначения с различными фильтрами тем:

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Аналогичным образом можно создать несколько потоков данных, использующих одну и ту же конечную точку MQTT для других конечных точек и разделов. Например, можно использовать ту же конечную точку MQTT для потока данных, который отправляет данные в конечную точку Центров событий.

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

Как и в примере MQTT, можно создать несколько потоков данных, которые используют одну конечную точку Kafka для разных разделов или одну конечную точку Data Lake для разных таблиц.

Следующие шаги

Создайте конечную точку потока данных:

• MQTT или Сетка событий
• Kafka или Центры событий
• Data Lake
• Microsoft Fabric OneLake
• Локальное хранилище