Condividi tramite

Elaborare e instradare i dati con i flussi di dati

  • Articolo

I flussi di dati consentono di connettere varie origini dati ed eseguire operazioni sui dati, semplificando la configurazione dei percorsi dati per spostare, trasformare e arricchire i dati. Il componente flusso di dati fa parte di Operazioni IoT di Azure, che viene distribuito come estensione di Azure Arc. La configurazione per un flusso di dati viene eseguita tramite le definizioni di risorse personalizzate (CRD) di Kubernetes.

È possibile scrivere configurazioni per diversi casi d'uso, ad esempio:

  • Trasformare i dati e inviarli nuovamente a MQTT
  • Trasformare i dati e inviarli al cloud
  • Inviare dati al cloud o alla rete perimetrale senza trasformarli

I flussi di dati non sono limitati all'area in cui è distribuita l'istanza di operazioni IoT. È possibile usare i flussi di dati per inviare dati agli endpoint cloud in aree diverse.

Funzionalità principali

Ecco le funzionalità principali dei flussi di dati.

Elaborazione e routing dei dati

I flussi di dati consentono l'inserimento, l'elaborazione e il routing dei messaggi ai sink specificati. e nello specifico:

  • Origini: da dove vengono inseriti i messaggi
  • Destinazioni: dove vengono svuotati i messaggi
  • Trasformazioni (facoltative): configurazione per le operazioni di elaborazione dei dati

Funzionalità di trasformazione

Le trasformazioni possono essere applicate ai dati durante la fase di elaborazione per eseguire varie operazioni, tra cui:

  • Calcolare nuove proprietà: in base alle proprietà esistenti nel messaggio
  • Rinominare le proprietà: per standardizzare o chiarire i dati
  • Convertire le unità: convertire valori in unità di misura diverse
  • Standardizzare i valori: dimensionare i valori delle proprietà in base a un intervallo definito dall'utente
  • Contestualizzare i dati: aggiungere dati di riferimento ai messaggi per arricchirli e ottenere informazioni dettagliate

Configurazione e distribuzione

La configurazione viene specificata usando i CRL di Kubernetes. In base a questa configurazione, l'operatore flusso di dati crea istanze del flusso di dati per garantire disponibilità elevata e affidabilità.

Vantaggi

  • Configurazione semplificata: connettere facilmente origini dati e destinazioni.
  • Trasformazioni flessibili: eseguire un'ampia gamma di operazioni di dati.
  • Configurazione scalabile: usare i CD Kubernetes per configurazioni scalabili e gestibili.
  • Disponibilità elevata: la risorsa nativa Kubernetes garantisce l'affidabilità.

Usando i flussi di dati, è possibile gestire in modo efficiente i percorsi dei dati. È possibile assicurarsi che i dati vengano inviati, trasformati e arricchiti in modo accurato per soddisfare le esigenze operative.

Registro schemi

Il Registro schemi, una funzionalità fornita da Registro dispositivi di Azure, è un repository sincronizzato nel cloud e nel perimetro. Il Registro di sistema dello schema archivia le definizioni dei messaggi provenienti dagli asset perimetrali e quindi espone un'API per accedere a tali schemi al perimetro. I connettori southbound come il connettore per OPC UA possono creare schemi di messaggio e aggiungerli al Registro schemi o i clienti possono caricare schemi nell'interfaccia utente Web dell'esperienza operativa.

I flussi di dati usano schemi di messaggio per trasformare il messaggio nel formato previsto dall'endpoint di destinazione.

Per altre informazioni, vedere Informazioni sugli schemi dei messaggi.

Archiviazione dei messaggi dell'endpoint del broker MQTT locale

Quando si usa il broker MQTT locale come endpoint di origine in un flusso di dati, i messaggi vengono archiviati durante una perdita di connettività tra il flusso di dati e l'endpoint di destinazione. Come scenario di esempio, si supponga di creare un flusso di dati usando il broker MQTT locale predefinito come endpoint di origine e Hub eventi di Azure come endpoint di destinazione. Se la connettività tra il flusso di dati e Hub eventi di Azure viene persa, i messaggi vengono archiviati nella coda dei messaggi del sottoscrittore del broker MQTT. Quando viene ripristinata la connettività, il flusso di dati invia i messaggi nella coda dei messaggi del sottoscrittore a Hub eventi di Azure.

La coda dei messaggi del broker MQTT locale viene archiviata in memoria per impostazione predefinita. È possibile configurare il broker MQTT per archiviare i messaggi su disco usando la configurazione del buffer dei messaggi supportata dal disco. Per altre informazioni sulla configurazione del broker MQTT, vedere Configurare le impostazioni broker per la disponibilità elevata, il ridimensionamento e l'utilizzo della memoria. Per altre informazioni sul buffer dei messaggi basato su disco, vedere Configurare il comportamento del buffer dei messaggi basato su disco.

Contenuto correlato