Rilevamento anomalie multivariate in Microsoft Fabric - Panoramica

Che cos'è il rilevamento anomalie multivariato?

Rilevamento anomalie univariate, implementato dalla funzione KQL series_decompose_anomalies(), monitora e rileva le anomalie in una singola variabile nel tempo. Il rilevamento delle anomalie multivariate estende questo approccio rilevando le anomalie nella distribuzione congiunta di più variabili nel tempo, ovvero analizza il modo in cui le variabili sono correlate e influenzano l'un l'altra come gruppo, anziché esaminare ogni variabile in isolamento. Il rilevamento delle anomalie multivariate è utile per monitorare l'integrità di sistemi IoT complessi, rilevare frodi nelle transazioni finanziarie e identificare modelli insoliti nel traffico di rete.

Si consideri, ad esempio, un sistema che monitora le prestazioni di una flotta di veicoli. Il sistema raccoglie dati su varie metriche, ad esempio velocità, consumo di carburante e temperatura del motore. Analizzando queste metriche insieme, il sistema può rilevare anomalie che non sarebbero evidenti analizzando singolarmente ogni metrica. Da solo, un aumento del consumo di carburante potrebbe essere dovuto a vari motivi accettabili. Tuttavia, un aumento improvviso del consumo di carburante combinato con una diminuzione della temperatura del motore potrebbe indicare un problema con il motore, anche se ogni metrica autonomamente è compresa nell'intervallo normale.

Come è possibile rilevare anomalie multivariate in Microsoft Fabric?

Il rilevamento di anomalie multivariate in Fabric sfrutta i potenti motori Spark e Eventhouse su un livello di archiviazione permanente condiviso. I dati iniziali possono essere inseriti in un eventhouse ed esposti in OneLake. È quindi possibile eseguire il training del modello di rilevamento anomalie usando il motore Spark e le stime delle anomalie sui nuovi dati di streaming possono essere eseguite in tempo reale usando il motore eventhouse. L'interconnessione di questi motori in grado di elaborare gli stessi dati nell'archiviazione condivisa consente un flusso semplice di dati dall'inserimento, tramite training del modello, alla stima delle anomalie. Questo flusso di lavoro è semplice e potente per il monitoraggio in tempo reale e il rilevamento di anomalie in sistemi complessi.

Sono disponibili due percorsi end-to-end ed è possibile scegliere in base alla complessità dello scenario:

• Rilevamento nativo delle anomalie in Eventhouse sui dati in tempo reale: esegui il rilevamento delle anomalie direttamente sui dati in streaming e storici nelle tabelle Eventhouse, senza training personalizzato né configurazione del modello. Iniziare con questo percorso quando i modelli predefiniti soddisfano le proprie esigenze e si vuole il percorso più semplice per ottenere informazioni dettagliate.
• Rilevamento multivariato personalizzato usando un modello addestrato in un notebook: usare il pacchetto Python basato su GAT descritto in questo articolo per addestrare un modello personalizzato in un notebook su dati storici, quindi attribuire un punteggio ai nuovi dati in streaming in tempo reale tramite Eventhouse e KQL. Scegliere questo percorso quando è necessario un algoritmo personalizzato o uno scenario specializzato che i modelli nativi non coprono.

Rilevamento anomalie di Eventhouse nativo

Eventhouse supporta il rilevamento anomalie nativo nelle tabelle live, quindi è possibile analizzare direttamente i dati in streaming e cronologici senza spostare dati o eseguire il training di un modello personalizzato. Usare questa opzione quando è necessario un avvio rapido con algoritmi predefiniti; scegliere il percorso multivariato personalizzato che segue quando è necessario un algoritmo personalizzato o una configurazione specializzata.

Componenti della soluzione

Questa soluzione usa i seguenti componenti di Azure:

• Eventhouse: i dati vengono inizialmente inseriti in un eventhouse, ovvero un motore di elaborazione dati in tempo reale in grado di gestire flussi di dati con velocità di trasmissione elevata.
• OneLake: i dati dell’eventhouse vengono esposti in OneLake, che è un livello di archiviazione permanente condiviso che fornisce una visualizzazione unificata dei dati.
• Pacchetto di rilevamento anomalie multivariato: la soluzione usa il pacchetto Python time series-anomaly-detector, implementando un algoritmo avanzato basato su una rete (GAT) che acquisisce le correlazioni tra diverse serie temporali e rileva anomalie in tempo reale. Il modello GAT viene sottoposto a training sui dati cronologici per apprendere le relazioni tra serie temporali diverse. Il modello addestrato può essere applicato per predire le anomalie sui nuovi dati di streaming. Si noti che questo algoritmo è quello usato nel servizio di IA per il Rilevamento anomalie in fase di ritiro. Per maggiori informazioni sull'algoritmo, vedere il blog e il documento.
• Fabric notebook: usato per il training offline del modello di rilevamento anomalie sui dati cronologici e per archiviare il modello sottoposto a training nel registro dei modelli MLflow di Fabric. I notebook supportano KQL, T-SQL, Python e Spark all'interno della stessa area di lavoro, consentendo l'esplorazione unificata, le trasformazioni, il training (per i modelli personalizzati) e la convalida delle anomalie sugli stessi dati supportati da Eventhouse.
• Queryset KQL: usato per la stima in tempo reale delle anomalie nei dati in ingresso.
• Endpoint di analisi SQL: espone una superficie T-SQL gestita allineata al modello di dati Eventhouse. È possibile eseguire query sulle anomalie rilevate e sulle metriche correlate usando T-SQL per l'analisi downstream e l'integrazione con gli strumenti di business intelligence o di creazione di report in Fabric governance.
• Integrazione degli agenti dati: le anomalie rilevate in Eventhouse possono essere utilizzate da agenti dati di Fabric per analizzare segnali in tempo reale e storici. La combinazione del rilevamento anomalie con agenti dati consente l'analisi delle conversazioni e i flussi di lavoro automatizzati sugli stessi dati eventhouse.

Passaggio successivo