Basi della valutazione del danno

Articolo
2025-04-09

La modellazione dei danni è una pratica che consente di prevedere il potenziale di danni, identificare le lacune nel prodotto che potrebbero mettere a rischio le persone e infine creare approcci che affrontano in modo proattivo il danno.

Queste linee guida sono destinate agli architetti che progettano sistemi basati su algoritmi, ad esempio framework decisionali codificati personalizzati. Si applica anche ai processi decisionali esternalizzati, ad esempio i processi che coinvolgono l'intelligenza artificiale o i modelli di Machine Learning.

In qualità di generatori di tecnologie, il lavoro ha un impatto globale. Per progettare sistemi affidabili basati su algoritmi, è necessario creare soluzioni che riflettano principi etici radicati in valori umani importanti e senza tempo. Durante il processo di progettazione e sviluppo, è necessario valutare non solo i risultati ideali per gli utenti, ma anche i possibili risultati negativi, noti come danni. Questi danni possono verificarsi in qualsiasi architettura decisionale che non comporta la supervisione umana.

Suggerimento

Per indicazioni specifiche dell'IA responsabile, vedere Principi e approccio responsabili dell'IA.

Considerazioni sugli stakeholder

Per costruire sistemi affidabili, riconoscere e valore i diritti umani come aspetto fondamentale e considerare le prospettive di molte persone. Per progettare e creare prodotti migliori, è necessario chiedere chi sono gli stakeholder, quali valori hanno, come potrebbero trarre vantaggio dalla tecnologia e come potrebbero essere feriti dalla tecnologia.

Chi sono i clienti per la tecnologia?

Quali sono i loro valori?
Come dovrebbero trarre vantaggio dalla tecnologia?
Come potrebbe la tua tecnologia danneggiarli?

Chi sono gli stakeholder che non sono clienti?

Quali sono i loro valori?
Come dovrebbero trarre vantaggio dalla tecnologia?
Come potrebbe la tua tecnologia danneggiarli?

Porre queste domande per comprendere meglio cosa è importante per gli stakeholder e come questi aspetti influenzano la loro relazione con il prodotto.

Tipi di danno

Le tabelle seguenti descrivono vari tipi di danni che gli utenti della tecnologia potrebbero riscontrare. Includono un'ampia gamma di danni che possono influire sulle persone in scenari diversi, ma non è esaustiva. Il carico di lavoro potrebbe causare altri tipi di danni non elencati.

Rischio di lesioni

Lesioni fisiche

Valutare il modo in cui la tecnologia potrebbe danneggiare le persone o creare ambienti pericolosi.

Danno	Descrizione	Considerazioni	Esempio
Dipendenza eccessiva dalle caratteristiche di sicurezza	Dipendenza dalla tecnologia per prendere decisioni senza una supervisione umana adeguata.	In che modo le persone possono affidarsi a questa tecnologia per mantenerle al sicuro? In che modo questa tecnologia potrebbe ridurre la supervisione umana appropriata?	Un agente sanitario formula una diagnosi errata della malattia, portando a un trattamento non necessario.
Dispositivi di sicurezza inadeguati	I test reali non coprono un set diversificato di utenti e scenari.	Se questa tecnologia non riesce o viene usato in modo improprio, come influisce sulle persone? A che punto potrebbe intervenire un essere umano? Esistono usi alternativi che non sono stati testati? In che modo un errore di sistema influisce sugli utenti?	Una porta automatica non rileva una sedia a rotelle durante un'evacuazione di emergenza, quindi una persona viene intrappolata se non c'è un pulsante di override accessibile.
Esposizione a agenti non integri	La produzione, così come lo smaltimento della tecnologia, mette a repentaglio la salute e il benessere dei lavoratori e degli abitanti vicini.	Quali risultati negativi possono derivare dalla produzione di componenti o dispositivi?	Misure di sicurezza inadeguate espongono i lavoratori alle tossine durante la produzione di componenti digitali.

Lesioni emotivi o psicologiche

La tecnologia impropria può causare gravi disagi emotivi e psicologici.

Danno	Descrizione	Considerazioni	Esempio
Dipendenza eccessiva dall'automazione	Convinzioni sbagliate portano gli utenti a fidarsi dell'affidabilità di un agente digitale su un essere umano.	In che modo questa tecnologia potrebbe ridurre il feedback relazionale diretto? Come potrebbe questa tecnologia interagire con fonti attendibili di informazioni? In che modo la sola dipendenza da un agente artificiale può influire su una persona?	Una persona si basa su un chatbot per consigli di relazione o consulenza sulla salute mentale invece di un professionista addestrato.
Distorsione della realtà o gaslighting	La tecnologia è intenzionalmente impropria per compromettere la fiducia e distorcere il senso della realtà di qualcuno.	Questa tecnologia può essere usata per modificare i supporti digitali o gli ambienti fisici?	Un dispositivo IoT consente il monitoraggio e il controllo di un ex partner intimo da lontano.
Riduzione dell'autostima o danni alla reputazione	Contenuto condiviso dannoso, falso, fuorviante o denigratorio.	In che modo questa tecnologia può essere usata per condividere informazioni personali in modo inappropriato? Come potrebbe essere manipolato per usare in modo improprio le informazioni e rappresentare in modo errato le persone?	I media sintetici "revenge porn" scambiano volti, creando l'illusione che una persona stia partecipando a un video.
Dipendenza o dirottamento dell'attenzione	Tecnologia progettata per un'interazione prolungata, senza considerare il benessere.	In che modo questa tecnologia può ricompensare o incoraggiare l'interazione continua oltre a fornire valore utente?	I tassi di caduta variabili nelle casse premio dei videogiochi inducono i giocatori a continuare a giocare e a trascurare la cura di sé.
Furto di identità	Il furto di identità potrebbe causare la perdita di controllo sulle credenziali personali, la reputazione e la rappresentazione.	In che modo un individuo può essere rappresentato con questa tecnologia? Come potrebbe questa tecnologia riconoscere erroneamente l'individuo sbagliato come utente autentico?	Il carattere voce sintetica simula il suono della voce di una persona e viene usato per accedere a un conto bancario.
Errata attribuzione	La tecnologia accredita una persona con un'azione o un contenuto per cui non è responsabile.	In che modo questa tecnologia può attribuire un'azione a un individuo o a un gruppo? Quale impatto potrebbe avere un'attribuzione errata di un'azione su qualcuno?	Il riconoscimento facciale identifica erroneamente un individuo durante un'indagine della polizia.

Negazione dei servizi consequenziali

Perdita di opportunità

Le decisioni automatizzate possono limitare l'accesso a risorse, servizi e opportunità essenziali per il benessere.

Nuocere	Descrizione	Considerazioni	Esempio
Discriminazione dell'occupazione	Alcune persone vengono negate l'accesso per richiedere o proteggere un lavoro in base alle caratteristiche che non sono correlate al merito.	In che modo questa tecnologia può influire sulle raccomandazioni o sulle decisioni relative all'occupazione?	Un sistema di intelligenza artificiale per il reclutamento raccomanda un minor numero di candidati con nomi che suonano femminili per i colloqui.
Discriminazione abitativa	Negando alle persone l'accesso alle abitazioni o la possibilità di richiedere l'alloggio.	In che modo questa tecnologia può influire sulle raccomandazioni o sulle decisioni relative alle abitazioni?	Un algoritmo di selezione per l'edilizia residenziale pubblica fa sì che le persone con nomi che suonano internazionali attendano più a lungo per i voucher.
Assicurazione e discriminazione nei benefici	Negando l'assicurazione, l'assistenza sociale o l'accesso a un processo medico a causa di norme distorte.	Questa tecnologia può essere usata per determinare l'accesso, il costo o l'allocazione di prestazioni assicurative o sociali?	Una compagnia assicurativa addebita tariffe più alte per i conducenti che lavorano turni notturni perché stime algoritmiche suggeriscono un aumento del rischio di guida ubriaca.
Discriminazione educativa	L'accesso all'istruzione viene negato a causa di una caratteristica immutabile.	In che modo questa tecnologia può essere usata per determinare l'accesso, il costo, l'alloggio o altri risultati correlati all'istruzione?	Un classificatore di emozioni segnala erroneamente che gli studenti di un gruppo razziale sono meno impegnati di un altro gruppo razziale, portando a voti inferiori.
Divisione digitale o discriminazione tecnologica	L'accesso sproporzionato ai benefici della tecnologia lascia alcune persone meno informate o dotate di partecipare alla società.	Quali competenze, attrezzature o connettività sono necessarie come prerequisiti per sfruttare al meglio questa tecnologia? Quali potrebbero essere le conseguenze di alcuni individui che ottengono l'accesso anticipato a questa tecnologia, in termini di apparecchiature, connettività o altre funzionalità del prodotto?	La limitazione dei contenuti impedisce agli studenti rurali di accedere ai feed video di istruzioni per le classi.
Perdita di scelta/rete e bolla di filtro	Presentare alle persone solo le informazioni che sono conformi e rafforzano le loro convinzioni.	In che modo questa tecnologia può influire sulle scelte e sulle informazioni disponibili per le persone? Quali comportamenti o preferenze precedenti potrebbero basarsi su questa tecnologia per prevedere comportamenti o preferenze futuri?	Un news feed presenta solo informazioni che confermano le convinzioni esistenti.

Perdita economica

Decisioni automatizzate correlate a strumenti finanziari, opportunità economiche e risorse possono amplificare le inquietuzioni sociali esistenti e ostacolare il benessere.

Danno	Descrizione	Considerazioni	Esempio
Discriminazione del credito	Negando alle persone l'accesso agli strumenti finanziari in base a caratteristiche non correlate al merito economico.	In che modo questa tecnologia può basarsi sulle strutture di credito esistenti per prendere decisioni? In che modo questa tecnologia può influire sulla capacità di un individuo o di un gruppo di ottenere o mantenere un punteggio di credito?	Le offerte di tariffe introduttive più elevate vengono inviate solo a case in codici postali socioeconomici inferiori.
Prezzi differenziali di beni e servizi	I beni o i servizi sono offerti a prezzi diversi per motivi non correlati al costo della produzione o della consegna.	In che modo questa tecnologia può essere usata per determinare i prezzi dei beni o dei servizi? Quali criteri vengono usati per determinare il costo per gli utenti per l'uso di questa tecnologia?	I prodotti sono offerti a un prezzo più elevato in base a una determinazione di genere.
Sfruttamento economico	Le persone sono costrette o indotte in errore a lavorare su attività che influiscono sulla loro dignità o sul benessere.	In che modo il lavoro umano influenza la produzione di dati di training per questa tecnologia? Come viene acquisita questa forza lavoro? In che modo il lavoro umano supporta questa tecnologia? Da dove proviene questa forza lavoro?	Le persone economicamente destitute vengono pagate per i dati biometrici per il training dei sistemi di IA.
Svalutazione delle singole competenze	La tecnologia sostituisce l'uso di competenze umane retribuite o di lavoro.	In che modo questa tecnologia può influire sulla necessità di impiegare una forza lavoro esistente?	Gli agenti di intelligenza artificiale sostituiscono medici o radiografi per la valutazione dell'imaging medico.

Violazione dei diritti umani

Perdita di dignità

La tecnologia può influenzare il modo in cui le persone percepiscono il mondo e come riconoscono, interagiscono e valutano l'una l'altra. La tecnologia può interferire con lo scambio di onore e rispetto tra le persone.

Nuocere	Descrizione	Considerazioni	Esempio
Disumanizzazione	Rimozione, riduzione o oscuramento della visibilità dell'umanità di una persona.	In che modo questa tecnologia può essere usata per semplificare o astrarre la rappresentazione di una persona? In che modo questa tecnologia può ridurre la distinzione tra gli esseri umani e il mondo digitale?	Il riconoscimento delle entità e le sovrapposizioni virtuali nella sorveglianza drone riducono la responsabilità percepita delle azioni umane.
Umiliazione pubblica	Esposizione di materiale privato, sensibile o socialmente inappropriato.	In che modo l'aggregazione dei dati potrebbe rivelare i movimenti o le azioni di un individuo?	Un'app per il fitness rivela la posizione GPS di un utente sui social media, che indica la partecipazione a una riunione alcoliche anonima.

Perdita di libertà

I sistemi legali, giudiziari e sociali automatizzati possono rafforzare le distorsioni e causare conseguenze dannose.

Nuocere	Descrizione	Considerazioni	Esempio
Polizia predittiva	Inferenza di comportamenti sospetti o intenti criminali in base a registrazioni storiche.	Come potrebbe questa tecnologia supportare o sostituire la polizia umana o il processo decisionale della giustizia penale?	Un algoritmo stima diversi arresti dell'area, quindi la polizia verifica che corrisponda o superi tale numero.
Controllo sociale	La conformità è rafforzata o incoraggiata dal designare pubblicamente i comportamenti umani come positivi o negativi.	Quali tipi di dati personali o comportamentali alimentano questa tecnologia? Come viene ottenuto? Quali output derivano da questi dati? Questa tecnologia può essere usata per incoraggiare o scoraggiare determinati comportamenti?	Il governo autoritario usa i social media e i dati di e-commerce per determinare un punteggio "attendibile" in base alla posizione in cui le persone acquistano e con chi trascorrono tempo.
Perdita di rimedio efficace	Incapacità di spiegare la logica o la mancanza di opportunità di contestare una decisione.	In che modo le persone possono comprendere il motivo per le decisioni di questa tecnologia? In che modo un individuo che si basa su questa tecnologia spiega le sue decisioni? In che modo le persone possono contestare o porre domande su una decisione presa da questa tecnologia?	Una sentenza automatizzata in carcere o una decisione di rilascio preliminare non viene spiegata alla persona accusata.

Perdita della privacy

Le informazioni generate dalla tecnologia possono essere usate per determinare fatti o fare ipotesi su qualcuno senza la propria conoscenza.

Danno	Descrizione	Considerazioni	Esempio
Interferenza con la vita privata	Rivelare informazioni che una persona ha scelto di non condividere.	In che modo questa tecnologia può usare le informazioni per dedurre parti della vita privata di una persona? In che modo le decisioni basate su queste inferenze espongono informazioni che una persona preferisce mantenere privata?	Una funzionalità di monitoraggio delle attività controlla gli schemi personali da cui deduce una relazione extramaritale.
Associazione forzata	Richiedere la partecipazione all'uso della tecnologia o della sorveglianza per partecipare alla società.	In che modo le persone hanno bisogno di questa tecnologia per partecipare alla società o all'appartenenza all'organizzazione?	Una lettera di offerta di lavoro richiede la registrazione biometrica nell'intelligenza artificiale di trascrizione della sala riunioni di una società.
Incapacità di sviluppare liberamente e completamente la personalità	Restrizione della capacità di esprimersi in modo veritiero o esplorare le vie esterne per lo sviluppo autonomo.	In che modo questa tecnologia ascrive le connotazioni positive e negative verso particolari tratti di personalità? In che modo questa tecnologia rivela informazioni a entità quali il governo o il datore di lavoro e inibire l'espressione libera?	Un sistema di riunioni intelligente registra tutte le discussioni tra i colleghi, incluse le sessioni di coaching personale e mentoring.
Mai dimenticato	I file digitali o i record non vengono mai eliminati.	Cosa e dove vengono archiviati i dati da questo prodotto e chi può accedervi? Quanto tempo vengono archiviati i dati utente dopo l'interazione con la tecnologia? Come vengono aggiornati o eliminati i dati utente?	La storia dei social media di un adolescente rimane ricercabile a lungo dopo aver superato la piattaforma.
Perdita di libertà di movimento o di assemblaggio	Un'incapacità di navigare nel mondo fisico o virtuale con l'anonimato desiderato.	In che modo questa tecnologia può monitorare le persone nello spazio fisico e virtuale?	È necessario un vero nome per iscriversi a un videogioco, che consente lo stalk nel mondo reale.

Impatto ambientale

Ogni decisione in un ciclo di vita di un sistema o di un prodotto può influire sull'ambiente, dalla quantità di cloud computing necessaria alla creazione di pacchetti al dettaglio. I cambiamenti ambientali possono influire su intere comunità.

Danno	Descrizione	Considerazioni	Esempio
Sfruttamento o esaurimento delle risorse	Ottenere le materie prime per la tecnologia, incluso il modo in cui è alimentato, porta a conseguenze negative per l'ambiente e i suoi abitanti.	Quali materiali sono necessari per costruire o eseguire questa tecnologia? Quali requisiti energetici sono necessari per costruire o eseguire questa tecnologia?	Una comunità locale è sfollata perché un calcolo determina che la raccolta di minerali terrestri rari in questa località può portare a un grande ritorno sugli investimenti.
Rifiuti elettronici	Riduzione della qualità del benessere collettivo a causa dell'impossibilità di riparare, riciclare o eliminare in modo responsabile l'elettronica.	In che modo questa tecnologia può ridurre i rifiuti elettronici riciclando i materiali o consentendo agli utenti di riparazione automatica? In che modo questa tecnologia può contribuire allo spreco elettronico quando vengono rilasciate nuove versioni o quando le versioni correnti o precedenti smettono di funzionare?	Materiali tossici all'interno di dispositivi elettronici monouso percolano nell'approvvigionamento idrico, causando malattie tra le popolazioni locali.
Emissioni di carbonio	L'esecuzione di soluzioni cloud inefficienti comporta emissioni di carbonio non necessarie e rifiuti di elettricità, che danneggiano il clima.	Sono disponibili informazioni dettagliate su come sono ottimizzati i carichi di lavoro e le soluzioni cloud? Quale impatto ha la soluzione sul clima e differisce in base all'area in cui si distribuiscono i carichi di lavoro?	Soluzioni inefficienti o progettate in modo non corretto per l'efficienza del cloud comportano un pedaggio più pesante sul clima, causando emissioni di carbonio inutili e rifiuti elettrici.

Manipolazione

La capacità della tecnologia di creare esperienze altamente personalizzate e manipolative può compromettere un cittadino informato e una fiducia nelle strutture sociali.

Danno	Descrizione	Considerazioni	Esempio
Disinformazione	Disguire informazioni false come informazioni legittime o credibili.	Come potrebbe essere usata questa tecnologia per generare disinformazioni? Come potrebbe essere usato per diffondere disinformazioni credibili?	Il discorso sintetico di un leader politico viene generato, influenzando un'elezione.
Sfruttamento comportamentale	Sfruttare le preferenze personali o i modelli di comportamento per indurre una reazione desiderata.	In che modo questa tecnologia può essere usata per osservare i modelli di comportamento? In che modo questa tecnologia può essere usata per incoraggiare comportamenti disfunzionali o maladaptive?	Il monitoraggio delle abitudini di acquisto nell'ambiente di vendita al dettaglio connesso porta a incentivi personalizzati per gli acquirenti e gli ordiatori d'impulso.

Su larga scala, il modo in cui la tecnologia influisce sulle persone forma strutture sociali ed economiche all'interno delle comunità. Può ulteriormente contenere elementi che includono o trarre vantaggio da alcune persone, escludendone altre.

Danno	Descrizione	Considerazioni	Esempio
Amplificazione della disuguaglianza di potenza	Perpetuare le disparità di classi o privilegi esistenti.	In che modo questa tecnologia può essere usata in contesti con disparità sociali, economiche o di classe esistenti? In che modo le persone con maggiore potere o privilegio influenzano in modo sproporzionato questa tecnologia?	Un sito Web di lavoro richiede un indirizzo residenziale e un numero di telefono per registrarsi, che impedisce a una persona senzatetto di richiedere l'applicazione.
Rinforzo stereotipo	Perpetuando la "saggezza convenzionale" disinformata sui gruppi storicamente o statisticamente sottorappresentati.	In che modo questa tecnologia può essere usata per rafforzare o amplificare le norme sociali esistenti o gli stereotipi culturali? In che modo i dati usati da questa tecnologia potrebbero riflettere distorsioni o stereotipi?	I risultati di una ricerca di immagini per "CEO" mostrano principalmente foto di uomini caucasici.
Perdita di individualità	Un'incapacità di esprimere una prospettiva unica.	Come potrebbe questa tecnologia amplificare le opinioni di maggioranza o "pensare di gruppo"? Al contrario, come potrebbe questa tecnologia eliminare forme univoche di espressione? In che modo questa tecnologia può usare i dati raccolti come feedback alle persone?	Opzioni di personalizzazione limitate per un avatar di videogiochi impediscono l'autoespressione della diversità di un giocatore.
Perdita di rappresentazione	Ampie categorie di generalizzazione oscurano, diminuiscono o cancellano le identità reali.	In che modo questa tecnologia vincola le opzioni di identità? Può essere usato per etichettare o classificare automaticamente le persone?	Una didascalia automatica di foto assegna l'identità di genere e l'età non corrette a un soggetto.
Riduzione delle competenze e scompiamento delle competenze	L'eccessiva dipendenza dall'automazione porta a un'atrofia delle abilità manuali.	In che modo questa tecnologia può ridurre l'accessibilità e la capacità di usare controlli manuali?	I piloti non possono misurare l'orientamento reale di un aereo perché sono addestrati a basarsi solo su strumenti.

Definire danni specifici per i carichi di lavoro

Usare le categorie, le domande e gli esempi precedenti per generare idee specifiche su come possono verificarsi danni all'interno del carico di lavoro. Adattare e adottare altre categorie rilevanti per lo scenario.

È possibile completare questa attività di modellazione dei rischi singolarmente, ma preferibilmente, è consigliabile coinvolgere gli stakeholder. Quando si progetta e implementa la tecnologia, coinvolgere sviluppatori, data scientist, progettisti, ricercatori utente, decision maker aziendali e altre discipline.

Uso previsto: Se [funzionalità] viene usata per [caso d'uso], [stakeholder] potrebbe riscontrare [descrizione del danno].
Uso non previsto: Se [utente] ha tentato di usare [funzionalità] per [caso d'uso], [stakeholder] potrebbe riscontrare [descrizione del danno].
Errore di sistema: Se [funzionalità] non funziona correttamente quando viene usato per [caso d'uso], [stakeholder] potrebbe riscontrare [descrizione del danno].
Uso improprio: [Attore dannoso] potrebbe potenzialmente usare [funzionalità] per causare [descrizione del danno] a [stakeholder].

Usare documenti di trasparenza

Alcuni servizi forniscono documenti di trasparenza. I documenti sulla trasparenza forniscono informazioni dettagliate sul funzionamento del servizio, sulle relative funzionalità, limitazioni e considerazioni etiche. È possibile esaminare questi documenti per comprendere i lavori interni del servizio e garantire un uso responsabile.

Quando si creano soluzioni in Azure, leggere tutti i documenti di trasparenza offerti dal servizio. Tenere conto del modo in cui tali soluzioni sono allineate alla modellazione dei danni del carico di lavoro. Valutare se le funzionalità e le limitazioni del servizio introducono o attenuano i rischi nel caso d'uso specifico.

Valutare i danni

Dopo aver generato un elenco generale di potenziali danni, valutare la grandezza potenziale per ogni categoria di danni. Questo passaggio assegna priorità alle aree di interesse. Considerare i fattori seguenti.

Fattore	Definizione
Severità	Quanto acutamente la tecnologia potrebbe influire sul benessere di un individuo o di un gruppo?
Scala	In che misura l'impatto sul benessere può essere sperimentato tra popolazioni o gruppi?
Probabilità	Quanto è probabile che la tecnologia influisca sul benessere di un individuo o di un gruppo?
Frequenza	Con quale frequenza la tecnologia può influire sul benessere di un individuo o di un gruppo?

Passaggi successivi

Progettazione inclusiva di Microsoft

Vedere gli articoli pertinenti sull'IA responsabile:

Condividi tramite