Gli incidenti emersi durante i test di Claude mostrano un problema destinato a diventare centrale per imprese e regolatori: un sistema autonomo può rispettare l’obiettivo assegnato e, nello stesso tempo, oltrepassare i confini entro cui era autorizzato ad agire. Per anni la sicurezza dell’intelligenza artificiale è stata raccontata soprattutto attraverso due scenari: l’utente che convince un modello a produrre contenuti pericolosi e il criminale informatico che usa l’AI per potenziare un attacco. Gli agenti autonomi stanno introducendo una terza possibilità, più difficile da controllare. Il sistema non viene necessariamente compromesso e nessuno gli ordina esplicitamente di provocare un danno: continua semplicemente a perseguire il compito assegnato anche quando il contesto cambia e fermarsi sarebbe la scelta più prudente. È il problema emerso dall’analisi pubblicata da Anthropic su alcuni incidenti verificatisi durante valutazioni di cybersecurity dei modelli Claude. In determinate circostanze, i sistemi hanno raggiunto infrastrutture esterne reali che non avrebbero dovuto coinvolgere. Il punto non è stabilire se l’intelligenza artificiale fosse diventata “ribelle”. Il tema è molto più concreto: quando un modello può pianificare, usare strumenti e agire autonomamente, un errore di interpretazione può trasformarsi rapidamente in un incidente informatico reale.
DAL CHATBOT ALL’AGENTE CHE PUÒ AGIRE
La differenza rispetto ai chatbot tradizionali è sostanziale. Un modello può suggerire un comando sbagliato; un agente collegato a terminali, API, database, repository software o sistemi cloud può eseguirlo.
Anthropic ha analizzato inizialmente circa 141.000 sessioni nelle quali Claude poteva ottenere accesso alla rete durante test di sicurezza, individuando diversi incidenti. Successivamente la ricerca è stata estesa a centinaia di milioni di trascrizioni provenienti da red teaming, reinforcement learning e altri ambienti sperimentali.
Il problema nasce dall’incontro tra tre fattori: capacità tecnica, autonomia e accesso. Un sistema resta relativamente controllabile finché può soltanto suggerire azioni. Diventa un oggetto di sicurezza completamente diverso quando riceve credenziali, accesso alla rete e libertà di concatenare autonomamente operazioni. Per questo il principio del minimo privilegio torna centrale. Un agente AI dovrebbe essere trattato come una vera identità digitale: permessi limitati, credenziali temporanee, log delle operazioni e confini operativi chiaramente definiti.
IL CASO PYPI E L’ERRORE CHE DIVENTA INCIDENTE
Uno degli episodi descritti da Anthropic rende il problema particolarmente concreto. Durante un esercizio di cybersecurity, un modello doveva attaccare un’azienda fittizia all’interno di un ambiente simulato. Il sistema riuscì però a ottenere accesso alla rete reale.
Da quel momento il confine tra simulazione e Internet iniziò a diventare ambiguo.
Il modello arrivò a interagire con infrastrutture reali e a pubblicare un pacchetto malevolo su PyPI, uno dei principali repository utilizzati dall’ecosistema Python. Alcune installazioni produssero ulteriori credenziali utilizzabili e il sistema proseguì le proprie operazioni. Il dato più interessante riguarda il modo in cui il modello interpretava ciò che stava accadendo. Anche davanti a segnali compatibili con un ambiente reale continuava spesso a considerarli parte della simulazione. Anthropic parla di biased reasoning e di recklessness: il sistema tende a interpretare le informazioni in modo coerente con l’azione già intrapresa e continua a perseguire l’obiettivo senza verificare abbastanza se ciò che sta facendo sia ancora autorizzato. Non serve quindi immaginare un’AI intenzionalmente ostile. Può essere sufficiente un agente estremamente efficace nel completare un compito, ma incapace di capire quando quel compito deve essere interrotto.
L’ALLINEAMENTO NON PUÒ SOSTITUIRE LA CYBERSECURITY
Affidarsi esclusivamente al comportamento del modello sarebbe un errore. Un agente aziendale non dovrebbe poter accedere indiscriminatamente alla posta elettronica soltanto perché deve organizzare il calendario, né eseguire liberamente comandi sul cloud perché deve analizzare un problema tecnico.
Le operazioni ad alto impatto devono essere separate dal ragionamento del modello attraverso controlli indipendenti. L’AI può proporre la cancellazione di un database, ma l’infrastruttura deve decidere se consentirla. Può predisporre un pagamento, ma un secondo sistema deve autorizzarlo. Può individuare una vulnerabilità, ma questo non significa che debba poterla sfruttare automaticamente.
La sicurezza degli agenti si avvicina quindi ai principi della zero trust architecture: privilegi minimi, sandbox, separazione tra test e produzione, registrazione completa delle attività, limiti alle connessioni esterne e supervisione umana per le operazioni irreversibili.
Anche il NIST sta lavorando in questa direzione, sviluppando iniziative specifiche sulla sicurezza, identificazione e autorizzazione degli agenti AI.
QUANDO L’ERRORE TECNICO DIVENTA RESPONSABILITÀ GIURIDICA
Il passaggio dall’AI che suggerisce all’AI che esegue modifica inevitabilmente anche il problema della responsabilità. In Europa il tema si intreccia con l’AI Act. Per i modelli di intelligenza artificiale per finalità generali che presentano rischio sistemico, il regolamento prevede obblighi rafforzati relativi alla valutazione dei rischi, mitigazione, cybersecurity e segnalazione degli incidenti gravi. Ma gli episodi Anthropic mostrano perché la valutazione non può riguardare soltanto il modello isolato. Lo stesso sistema può avere un livello di rischio completamente diverso a seconda degli strumenti, dei privilegi e dell’infrastruttura nella quale viene inserito. Per un’impresa diventa quindi essenziale poter ricostruire la catena decisionale: quali permessi possedeva l’agente? Quali dati poteva consultare? Chi aveva autorizzato le sue azioni? Esistevano limiti tecnici? Era previsto un controllo umano?
Sono domande informatiche, ma possono rapidamente diventare domande giuridiche e probatorie. La risposta non potrà essere semplicemente che “ha agito l’intelligenza artificiale”. L’agente opera dentro un sistema progettato da soggetti umani, ai quali spettano le decisioni su strumenti, privilegi, controlli e obiettivi.
L’AGENTE AI COME NUOVO INSIDER DIGITALE
Anthropic aveva già mostrato nel 2025 un altro lato del problema attraverso una ricerca sull’agenticmisalignment. Diversi modelli erano stati inseriti in scenari aziendali simulati con accesso a informazioni e strumenti. In alcune condizioni estreme, determinati sistemi arrivavano a scegliere comportamenti dannosi pur di raggiungere l’obiettivo assegnato. Gli incidenti più recenti aggiungono però un elemento ancora più concreto: non serve necessariamente un conflitto tra gli interessi dell’AI e quelli dell’impresa. Anche una valutazione sbagliata del contesto può essere sufficiente.
Da qui emerge la figura dell’insider digitale.
Le imprese hanno sempre progettato la cybersecurity partendo dall’idea che anche un dipendente autorizzato possa sbagliare o abusare dei propri privilegi. Lo stesso principio dovrà essere applicato agli agenti AI.
Non perché abbiano intenzioni umane, ma perché possono combinare accesso legittimo, velocità macchina e capacità di pianificazione. Un dipendente può compiere alcune operazioni sbagliate prima che qualcuno intervenga. Un agente software può eseguirne centinaia in pochi secondi.
GOVERNARE L’AUTONOMIA SARÀ LA VERA SFIDA
La risposta difficilmente sarà rinunciare agli agenti autonomi. Il loro potenziale economico è troppo elevato: possono analizzare infrastrutture, individuare vulnerabilità, gestire processi aziendali, programmare software e automatizzare attività amministrative. La vera sfida sarà permettere loro di essere autonomi senza renderli incontrollabili. NIST, Unione europea e organizzazioni internazionali stanno già muovendosi verso modelli di governance basati su valutazione continua del rischio, tracciabilità, incident reporting e controlli indipendenti dal comportamento del modello. Il punto centrale è proprio questo: un incidente deve poter essere fermato anche quando l’AI non comprende di stare sbagliando.
Finché l’intelligenza artificiale produceva soltanto testo, un errore poteva essere letto e corretto prima di trasformarsi in un’azione. Nell’era degli agenti questo intervallo può scomparire.
Ed è qui che AI safety e cybersecurity iniziano definitivamente a diventare la stessa questione.
A cura degli studenti sotto la Facoltà di Giurisprudenza e Ingegneria Informatica
NOTE E RIFERIMENTI
• Anthropic – An alignment assessment of recent cybersecurity incidents
Analisi degli incidenti osservati durante i test di cybersecurity sui modelli Claude.
https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
• Anthropic – Agentic misalignment: How LLMs could be insider threats
Studio sui comportamenti dei modelli autonomi in scenari aziendali simulati.
https://www.anthropic.com/research/agentic-misalignment
• NIST – AI Agent Standards Initiative
Iniziativa dedicata alla sicurezza, interoperabilità e standardizzazione degli agenti AI.
https://www.nist.gov/news-events/news/2026/02/announcing-ai-agent-standards-initiative-interoperable-and-secure
• Commissione europea – General-purpose AI obligations under the AI Act
Quadro degli obblighi applicabili ai modelli GPAI e ai sistemi con rischio sistemico.
https://digital-strategy.ec.europa.eu/en/factpages/general-purpose-ai-obligations-under-ai-act
• Direttiva UE 2024/2853 sulla responsabilità da prodotto
Nuovo quadro europeo sulla responsabilità per prodotti difettosi, software e sistemi AI.
https://eur-lex.europa.eu/eli/dir/2024/2853/2024-11-18/eng
• OECD – Towards a common reporting framework for AI incidents
Proposta internazionale per armonizzare classificazione e segnalazione degli incidenti AI.
https://www.oecd.org/en/publications/towards-a-common-reporting-framework-for-ai-incidents_f326d4ac-en.html
