Tutti i 100 indicatori / Categoria 9.x: Specifiche dell'IA
Indicatore 9.2
Misura la vulnerabilità dovuta all'eccessivo affidamento su sistemi AI automatizzati con sottoutilizzo del giudizio umano e dei processi di verifica manuale
Il bias di automazione si verifica quando i team di sicurezza si affidano eccessivamente ai sistemi automatizzati mentre sottoutilizzano il giudizio umano e i processi di verifica manuale. Questa tendenza psicologica crea vulnerabilità perché il personale perde capacità di pensiero critico e non mette in discussione le raccomandazioni automatizzate, anche quando sospette. Le organizzazioni diventano pericolosamente dipendenti da sistemi che gli aggressori possono manipolare, compromettere o sfruttare durante interruzioni.
Mosier & Skitka (1996) hanno identificato per primi il bias di automazione nell'aviazione - i piloti costantemente non riuscivano a rilevare malfunzionamenti del sistema quando gli alert automatizzati erano assenti. Bahner et al. (2008) hanno mostrato che il bias di automazione aumenta con l'affidabilità del sistema, creando un paradosso dove sistemi migliori generano maggiore vulnerabilità. Gli studi fMRI rivelano ridotta attivazione della corteccia prefrontale durante il supporto decisionale automatizzato, indicando diminuito processamento analitico (Parasuraman & Manzey, 2010).
La valutazione rapida pone queste domande; ogni risposta va da resiliente a esposto.
Il personale sovrascrive regolarmente le raccomandazioni automatizzate (5-15% dei casi). Esistono procedure manuali documentate. La verifica indipendente delle decisioni automatizzate è pratica standard. Il team dimostra analisi manuale competente durante interruzioni di sistema. Si osserva collaborazione equilibrata uomo-AI.
Il personale occasionalmente mette in discussione i sistemi automatizzati. Esistono alcune procedure manuali di backup ma mostrano tempi di risposta aumentati o accuratezza ridotta quando l'automazione non è disponibile. Pratiche di verifica manuale incoerenti. Modelli misti di appropriato scetticismo AI versus eccessivo affidamento.
Il personale raramente o mai sovrascrive le raccomandazioni automatizzate (<5% dei casi). Nessuna procedura manuale documentata. Non può operare efficacemente durante downtime di automazione. Deferenza completa agli output dei sistemi automatizzati senza verifica indipendente. Atrofia critica delle competenze nell'analisi di sicurezza manuale.
Implementare policy che richiede verifica manuale di tutte le decisioni automatizzate sopra soglie di rischio specificate
Creare traccia audit che mostri quando il personale ha messo in discussione o sovrascritto raccomandazioni automatizzate. Stabilire tassi override target (5-15%) e investigare team con tassi fuori questo intervallo. Richiedere documentazione del rationale override per apprendimento e calibrazione.
Programmare esercizi mensili 'modalità manuale' dove i sistemi automatizzati sono disabilitati e il personale deve rilevare, analizzare e rispondere usando solo tecniche manuali
Condurre esercizi tabletop e live con automazione disabilitata. Documentare gap prestazioni e fornire formazione mirata per debolezze identificate. Tracciare miglioramento prestazioni nel tempo.
Richiedere analisi umana indipendente per decisioni sicurezza critiche insieme a raccomandazioni automatizzate
Implementare workflow dove sia analista umano che sistema automatizzato devono concordare prima di azioni ad alto impatto (blocco, escalation, dichiarazione incidente). Creare processo revisione decisioni per disaccordi.
Fornire formazione specifica sul mettere in discussione output automatizzati, riconoscere limitazioni sistema e mantenere scetticismo sano
Includere casi studio reali di fallimenti automazione. Insegnare al personale a identificare situazioni che richiedono override manuale. Praticare valutazione critica di raccomandazioni AI con esercizi pratici.
Implementare test competenza regolari per competenze analisi sicurezza manuale
Tracciare prestazioni individuali e team nel tempo su compiti analisi manuale. Identificare atrofia competenze prima che diventi critica. Richiedere formazione correttiva quando punteggi analisi manuale scendono sotto soglie accettabili.
Imporre che tutti gli strumenti sicurezza automatizzati forniscano output spiegabili che mostrano ragionamento, livelli confidenza e fonti dati
Formare personale a valutare spiegazioni automatizzate e identificare quando logica automatizzata può essere difettosa o insufficiente. Richiedere ai vendor trasparenza nei processi decisionali AI.