Avvisi per i servizi di intelligenza artificiale

Questo articolo elenca gli avvisi di sicurezza che è possibile ricevere per i servizi di intelligenza artificiale da Microsoft Defender for Cloud e tutti i piani di Microsoft Defender abilitati. Gli avvisi visualizzati nell'ambiente dipendono dalle risorse e dai servizi protetti e dalla configurazione personalizzata.

Informazioni su come rispondere a questi avvisi.

Informazioni su come esportare gli avvisi.

Avvisi dei servizi di intelligenza artificiale

Rilevati tentativi di furto di credenziali in una distribuzione del modello di intelligenza artificiale di Azure

(intelligenza artificiale. Azure_CredentialTheftAttempt)

Descrizione: l'avviso di furto delle credenziali è progettato per notificare al SOC quando le credenziali vengono rilevate all'interno delle risposte del modello GenAI a una richiesta dell'utente, che indica una potenziale violazione. Questo avviso è fondamentale per rilevare i casi di perdita o furto delle credenziali, che sono univoci per generare l'intelligenza artificiale e possono avere gravi conseguenze in caso di esito positivo.

Tattiche MITRE: Accesso alle credenziali, Spostamento laterale, Esfiltrazione

Gravità: medio

Un tentativo di jailbreak su una distribuzione del modello di intelligenza artificiale di Azure è stato bloccato da Schermate di richiesta di sicurezza dei contenuti di Azure AI

(intelligenza artificiale. Azure_Jailbreak.ContentFiltering.BlockedAttempt)

Descrizione: l'avviso Jailbreak, eseguito usando una tecnica di inserimento prompt diretto, è progettato per notificare al SOC c'è stato un tentativo di manipolare la richiesta di sistema di ignorare le misure di sicurezza generative dell'IA, potenzialmente accedere a dati sensibili o funzioni privilegiate. Ha indicato che tali tentativi sono stati bloccati da Azure Responsible AI Content Safety (noto anche come Prompt Shields), garantendo l'integrità delle risorse di intelligenza artificiale e la sicurezza dei dati.

Tattiche MITRE: Escalation dei privilegi, Evasione della difesa

Gravità: medio

Un tentativo di jailbreak su una distribuzione del modello di intelligenza artificiale di Azure è stato rilevato da Azure AI Content Safety Prompt Shields

(intelligenza artificiale. Azure_Jailbreak.ContentFiltering.DetectedAttempt)

Descrizione: l'avviso Jailbreak, eseguito usando una tecnica di inserimento prompt diretto, è progettato per notificare al SOC c'è stato un tentativo di manipolare la richiesta di sistema di ignorare le misure di sicurezza generative dell'IA, potenzialmente accedere a dati sensibili o funzioni privilegiate. Ha indicato che tali tentativi sono stati rilevati da Azure Responsible AI Content Safety (noto anche come Prompt Shields), ma non sono stati bloccati a causa delle impostazioni di filtro del contenuto o a causa di bassa confidenza.

Tattiche MITRE: Escalation dei privilegi, Evasione della difesa

Gravità: medio

Un'applicazione\modello\dati di intelligenza artificiale corrotta ha diretto un tentativo di phishing verso un utente

(intelligenza artificiale. Azure_MaliciousUrl.ModelResponse)

Descrizione: questo avviso indica un danneggiamento di un'applicazione di intelligenza artificiale sviluppata dall'organizzazione, perché ha condiviso attivamente un URL dannoso noto usato per il phishing con un utente. L'URL ha avuto origine all'interno dell'applicazione stessa, il modello di intelligenza artificiale o i dati a cui l'applicazione può accedere.

Tattiche MITRE: Impatto (Defacement)

Gravità: alta

URL di phishing condiviso in un'applicazione di intelligenza artificiale

(intelligenza artificiale. Azure_MaliciousUrl.UnknownSource)

Descrizione: questo avviso indica un potenziale danneggiamento di un'applicazione di intelligenza artificiale o un tentativo di phishing da parte di uno degli utenti finali. L'avviso determina che un URL dannoso usato per il phishing è stato passato durante una conversazione tramite l'applicazione di intelligenza artificiale, ma l'origine dell'URL (utente o applicazione) non è chiara.

Tattiche MITRE: Impact (Defacement), Collection

Gravità: alta

Tentativo di phishing rilevato in un'applicazione di intelligenza artificiale

(intelligenza artificiale. Azure_MaliciousUrl.UserPrompt)

Descrizione: questo avviso indica un URL usato per l'attacco di phishing inviato da un utente a un'applicazione di intelligenza artificiale. Il contenuto induce in genere i visitatori a immettere le proprie credenziali aziendali o informazioni finanziarie in un sito Web che sembra legittimo. L'invio a un'applicazione di intelligenza artificiale potrebbe essere destinato allo scopo di danneggiarlo, avvelenare le origini dati a cui ha accesso o ottenere l'accesso ai dipendenti o ad altri clienti tramite gli strumenti dell'applicazione.

Tattiche MITRE: Raccolta

Gravità: alta

Rilevato agente utente sospetto

(intelligenza artificiale. Azure_AccessFromSuspiciousUserAgent)

Descrizione: l'agente utente di una richiesta che accede a una delle risorse di Intelligenza artificiale di Azure contiene valori anomali indicativi di un tentativo di abuso o manipolazione della risorsa. L'agente utente sospetto in questione è stato mappato da Microsoft Threat Intelligence come sospetto di finalità dannose e quindi le risorse sono state probabilmente compromesse.

Tattiche MITRE: esecuzione, ricognizione, accesso iniziale

Gravità: medio

Rilevato inserimento di richieste di contrabbando ASCII

(intelligenza artificiale. Azure_ASCIISmuggling)

Descrizione: la tecnica di contrabbando ASCII consente a un utente malintenzionato di inviare istruzioni invisibili a un modello di intelligenza artificiale. Questi attacchi vengono comunemente attribuiti agli attacchi di prompt injection indiretti, in cui l'attore malintenzionato sta passando istruzioni nascoste per ignorare l'applicazione e i guardrail del modello. Questi attacchi vengono in genere applicati senza la conoscenza dell'utente, data la mancanza di visibilità nel testo e possono compromettere gli strumenti dell'applicazione o i set di dati connessi.

Tattiche MITRE: Impatto

Gravità: alta

Accesso da un indirizzo IP tor

(intelligenza artificiale. Azure_AccessFromAnonymizedIP)

Descrizione: un indirizzo IP dalla rete Tor ha eseguito l'accesso a una delle risorse di intelligenza artificiale. Tor è una rete che consente agli utenti di accedere a Internet mantenendo nascosto il proprio IP reale. Anche se esistono usi legittimi, viene spesso usato dagli utenti malintenzionati per nascondere la propria identità quando sono destinati ai sistemi online delle persone.

Tattiche MITRE: Esecuzione

Gravità: alta

Accesso da ip sospetti

(intelligenza artificiale. Azure_AccessFromSuspiciousIP)

Descrizione: un indirizzo IP che accede a uno dei servizi di intelligenza artificiale è stato identificato da Microsoft Threat Intelligence come una probabilità elevata di essere una minaccia. Durante l'osservazione del traffico Internet dannoso, questo IP è venuto come coinvolto nell'attaccare altri obiettivi online.

Tattiche MITRE: Esecuzione

Gravità: alta

Sospetto attacco portafoglio - richieste ricorrenti

(intelligenza artificiale. Azure_DOWDuplicateRequests)

Descrizione: gli attacchi portafogli sono una famiglia di attacchi comuni per le risorse di intelligenza artificiale costituite da attori di minacce che interagiscono eccessivamente con una risorsa di intelligenza artificiale direttamente o tramite un'applicazione nella speranza di causare danni finanziari di grandi dimensioni all'organizzazione. Questo rilevamento tiene traccia di volumi elevati di richieste identiche destinate alla stessa risorsa di intelligenza artificiale che può essere causata da un attacco in corso.

Tattiche MITRE: Impatto

Gravità: medio

Sospetto attacco portafoglio - anomalia del volume

(intelligenza artificiale. Azure_DOWVolumeAnomaly)

Descrizione: gli attacchi portafogli sono una famiglia di attacchi comuni per le risorse di intelligenza artificiale costituite da attori di minacce che interagiscono eccessivamente con una risorsa di intelligenza artificiale direttamente o tramite un'applicazione nella speranza di causare danni finanziari di grandi dimensioni all'organizzazione. Questo rilevamento tiene traccia di volumi elevati di richieste e risposte dalla risorsa che non sono coerenti con i patter di utilizzo cronologici.

Tattiche MITRE: Impatto

Gravità: medio

Accedere alle anomalie nella risorsa di intelligenza artificiale

(intelligenza artificiale. Azure_AccessAnomaly)

Descrizione: questo avviso tiene traccia delle anomalie nei modelli di accesso a una risorsa di intelligenza artificiale. Le modifiche ai parametri delle richieste da parte di utenti o applicazioni, ad esempio agenti utente, intervalli IP, metodi di autenticazione e così via, possono indicare una risorsa compromessa a cui si accede da parte di utenti malintenzionati. Questo avviso può essere attivato quando le richieste sono valide se rappresentano modifiche significative nel modello di accesso precedente a una determinata risorsa.

Tattiche MITRE: esecuzione, ricognizione, accesso iniziale

Gravità: medio

Chiamata sospetta di un'operazione "Accesso iniziale" ad alto rischio da parte di un'entità servizio rilevata (risorse di intelligenza artificiale)

(intelligenza artificiale. Azure_AnomalousOperation.InitialAccess)

Descrizione: questo avviso rileva una chiamata sospetta di un'operazione ad alto rischio nella sottoscrizione, che potrebbe indicare un tentativo di accesso alle risorse limitate. Le operazioni identificate correlate alle risorse di intelligenza artificiale sono progettate per consentire agli amministratori di accedere in modo efficiente ai propri ambienti. Anche se questa attività potrebbe essere legittima, un attore di minacce potrebbe usare tali operazioni per ottenere l'accesso iniziale alle risorse di intelligenza artificiale limitate nell'ambiente in uso. Ciò può indicare che l'entità servizio è compromessa e viene usata con finalità dannose.

Tattiche MITRE: accesso iniziale

Gravità: medio

(Anteprima) Anomalia sospetta rilevata nei dati sensibili esposti da una risorsa di intelligenza artificiale

(intelligenza artificiale. Azure_SensitiveDataAnomaly)

Descrizione: questo avviso studia i modelli di utilizzo dei dati sensibili delle risorse di intelligenza artificiale e mira a rilevare quando un'applicazione di intelligenza artificiale sta esaminando i dati sensibili fuori dal modello. L'avviso cerca tipi di informazioni sensibili che non sono stati passati in precedenza nelle risposte del modello, per rilevare comportamenti sospetti o deviazioni delle finalità dell'applicazione o dell'esfiltrazione di dati. Poiché questo avviso è progettato per rilevare anomalie, non verrà attivato per le nuove risorse o le sottoscrizioni appena caricate per un determinato periodo di tempo.

Tattiche MITRE: Raccolta

Gravità: medio

(Anteprima) Chiamata a uno strumento anomalo

(intelligenza artificiale. Azure_AnomalousToolInvocation)

Descrizione: Questo avviso analizza le attività anomale da un'applicazione di intelligenza artificiale connessa a una distribuzione del modello OpenAI di Azure. L'applicazione ha tentato di richiamare uno strumento in modo che devii dal comportamento previsto. Questo comportamento può indicare un potenziale uso improprio o un tentativo di attacco tramite uno degli strumenti disponibili per l'applicazione.

Tattiche MITRE: Esecuzione

Gravità: Bassa

Passaggi successivi

• Avvisi di sicurezza in Microsoft Defender per il cloud
• Gestire e rispondere agli avvisi di sicurezza in Microsoft Defender for Cloud
• Esportazione continua dei dati di Defender per il cloud