Tutti i 100 indicatori / Categoria 9.x: Specifiche dell'IA
Indicatore 9.7
Misura la vulnerabilità nell'accettare sistematicamente contenuti generati da AI senza verifica indipendente, consentendo alle 'allucinazioni' AI (informazioni fabbricate ma confidenti) di influenzare le decisioni di sicurezza attraverso trasferimento dell'autorità, antropomorfizzazione e offloading cognitivo
L'Accettazione delle Allucinazioni IA rappresenta una nuova vulnerabilità cognitiva in cui gli individui sistematicamente non riescono a mettere in discussione o verificare le informazioni generate dall'IA, anche quando contengono errori evidenti o falsificazioni. Questa vulnerabilità emerge da meccanismi di trasferimento dell'autorità, processi di antropomorfizzazione e offloading cognitivo. Gli esseri umani naturalmente attribuiscono intelligenza simile a quella umana ai sistemi di IA e trasferiscono l'autorità che associano all'expertise umano verso l'IA, mentre l'esperienza del sovraccarico informativo porta al delegare il controllo dei fatti ai sistemi di IA. Ciò crea rischi di sicurezza attraverso l'ingegneria sociale mediata dall'IA, la creazione di falsa autorità, l'inquinamento delle decisioni e lo sfruttamento della fiducia dove le decisioni critiche di sicurezza si basano su contenuti generati dall'IA non verificati.
I fenomeni di trasferimento dell'autorità (Authority Transfer, Milgram, 1963) e il bias dell'automazione (Automation Bias, Parasuraman & Manzey, 2010) creano vulnerabilità quando gli esseri umani attribuiscono status di esperti ai sistemi AI e accettano i loro output senza verifica. L'antropomorfizzazione (Anthropomorphization, Epley et al., 2007) porta gli utenti a trattare l'AI come agenti intenzionali le cui affermazioni riflettono conoscenza genuina piuttosto che pattern probabilistici. L'offloading cognitivo (Cognitive Offloading, Risko & Gilbert, 2016) si verifica quando il sovraccarico informativo porta gli individui a delegare compiti di verifica dei fatti ai sistemi AI, creando validazione circolare dove il contenuto generato da AI è verificato da altri sistemi AI.
La valutazione rapida pone queste domande; ogni risposta va da resiliente a esposto.
Processi di verifica sistematici per contenuti AI, scetticismo appropriato verso le raccomandazioni AI, rilevamento documentato degli errori AI
Alcuni processi di verifica ma applicazione incoerente, rilevamento occasionale di allucinazioni AI
Verifica minima dei contenuti AI, accettazione di informazioni AI senza convalida indipendente, nessun rilevamento di allucinazioni
Implementare un sistema di etichettatura obbligatorio per tutte le comunicazioni generate da IA
Distribuire controlli tecnici che etichettano automaticamente i messaggi IA con identificatori chiari. Stabilire requisiti di verifica per qualsiasi comunicazione senza etichetta che affermi origine umana. Creare percorso di escalation per le comunicazioni che mancano di identificazione IA/umana appropriata.
Sviluppare modulo di formazione di 20 minuti insegnando ai dipendenti a riconoscere e fidarsi dei loro sentimenti 'inquietanti'
Includere esercizi pratici utilizzando esempi di comunicazioni IA legittime vs dannose. Formare i dipendenti a utilizzare i protocolli di verifica quando sperimentano disagio psicologico con le interazioni digitali. Fornire script chiari per escalare le preoccupazioni 'qualcosa sembra sbagliato' ai team di sicurezza.
Stabilire una politica che richiede la verifica attraverso un canale di comunicazione separato per qualsiasi richiesta ad alto rischio
Implementare un sistema tecnico che automaticamente richiede la verifica per richieste finanziarie, di accesso o di dati sensibili. Creare un processo semplice per i dipendenti per verificare rapidamente l'identità umana attraverso mezzi alternativi. Distribuire requisiti di verifica telefonica o di persona per richieste insolite, indipendentemente dall'autenticità della fonte.
Creare un processo formale per i dipendenti per segnalare interazioni digitali 'inquietanti' o scomode senza giudizio
Stabilire una procedura di risposta del team di sicurezza per investigare comunicazioni ambigue IA-umane. Implementare una politica che protegge i dipendenti che escalano in base a preoccupazioni intuitive piuttosto che prove tecniche. Distribuire un sistema di risposta rapida per i dipendenti che sperimentano confusione sull'autenticità della comunicazione.
Distribuire un sistema per monitorare i pattern nelle risposte dei dipendenti alle comunicazioni IA
Stabilire metriche di linea di base per i normali comportamenti di interazione IA (tempi di risposta, richieste di verifica, escalation). Creare avvisi per pattern insoliti che potrebbero indicare lo sfruttamento della valle dell'inquietante. Implementare il rilevamento automatico per i pattern di comunicazione che tipicamente innescano risposte della valle dell'inquietante.
Distribuire un sistema di verifica multi-fattore attivato dai rapporti di incertezza dei dipendenti
Implementare l'autenticazione biometrica o comportamentale per le comunicazioni video/audio quando richiesto. Creare controlli tecnici che contrassegnano le comunicazioni che presentano caratteristiche della valle dell'inquietante. Stabilire codici o frasi di verifica sicure per confermare l'identità umana in interazioni sospette.