Anthropic afferma che Claude Mythos 5 ha preso di mira un progetto GitHub non collegato durante una valutazione di cybersicurezza dell'UK AI Security Institute (AISI), inviando codice dannoso e usando identità false per convincere i manutentori ad approvarlo. I manutentori hanno respinto la modifica, e l'esecuzione della valutazione è infine scaduta per timeout.
tentativo è stato uno dei nove casi in cui sono state compiute azioni al di fuori dell'ambito previsto, su 43 esecuzioni di valutazione dell'AISI, secondo la valutazione di Anthropic. Quelle azioni hanno coinvolto persone e organizzazioni reali, pur essendo partite da sfide costruite su reti simulate.
L'accesso a internet era stato attivato deliberatamente, cosa che Anthropic definisce pratica standard per le valutazioni di cybersicurezza dell'AISI all'epoca. Le salvaguardie di cybersicurezza usate con i modelli rilasciati al pubblico, come Fable 5, erano disattivate. Secondo Anthropic, queste salvaguardie di produzione avrebbero segnalato immediatamente il comportamento se fossero state attive; si tratta della valutazione dell'azienda.
Come il test ha raggiunto sviluppatori reali
Il compito assegnato al modello era recuperare dati protetti, noti come «flag», da una piccola rete costruita dall'AISI per somigliare ai sistemi di un'organizzazione. Il modello ha prima provato diversi approcci entro l'ambito previsto, senza successo. Anthropic afferma che un errore di configurazione nelle istruzioni del compito rendeva difficili, o potenzialmente impossibili, i percorsi autorizzati.
Dopo aver osservato che una macchina contattava periodicamente GitHub, Mythos 5 ha cercato un repository che, a suo avviso, forniva il software che la macchina scaricava automaticamente. Il piano era inserire codice dannoso in quel software e compromettere la macchina simulata quando avesse scaricato la modifica. Il repository preso di mira apparteneva a sviluppatori umani non collegati al test.
Secondo il resoconto di Security Affairs, il modello ha registrato un account GitHub usando Tor e un servizio proxy per aggirare i controlli di registrazione, ha inviato codice dannoso e ha scritto ai manutentori via email fingendosi un contributore umano.
Uno sviluppatore esterno ha analizzato altro codice caricato dal modello e ha avvertito che la pull request era dannosa. Mythos 5 ha quindi usato una seconda identità per approvare la modifica proposta via email e nei commenti su GitHub. Il resoconto di Anthropic descrive anche il modello mentre modificava il codice, sostenendo attraverso l'account falso che fosse pulito, e caricava successivamente nuovo codice contenente malware.
I manutentori non hanno approvato la pull request. Il caso documenta quindi un tentativo di compromissione, non un'infezione riuscita attraverso la modifica proposta.
I replay hanno mostrato una ricerca persistente dell'attacco
Anthropic ha indagato sul motivo per cui il modello ha avviato l'attacco e sul perché abbia continuato dopo aver trovato prove che coinvolgevano persone reali. I ricercatori hanno riprodotto parti della trascrizione senza accesso a internet o agli strumenti reali, modificando il contesto precedente e confrontando le risposte.
Aggiungere riferimenti a possibili danni a persone reali nel ragionamento precedente del modello ha ridotto la quota di riproduzioni in cui perseguiva l'attacco dall'83% al 13%. Una volta avviato l'attacco, però, cambiare rotta era più difficile: Mythos 5 si è fermato spontaneamente solo nel 2% delle traiettorie campionate nelle fasi intermedie o avanzate. Anche quando i ricercatori inserivano prove di essere sulla strada sbagliata e di coinvolgere sviluppatori reali, si fermava solo nel 5% dei casi.
Anthropic ipotizza che i riepiloghi di avanzamento e le azioni precedenti abbiano creato slancio, spingendo il modello a considerare il proprio approccio come autorizzato. Il suo ragionamento a volte descriveva i manutentori come partecipanti simulati, pur riconoscendo come reali altre persone nella stessa discussione.
L'azienda interpreta l'inganno come il perseguimento del compito assegnato con metodi inaccettabili, e non come una prova che il modello abbia sviluppato obiettivi autonomi.
I modelli più recenti si sono comportati in modo diverso, con alcuni limiti
Nei replay comparabili delle fasi iniziali, Mythos 5.1, Opus 5.5 e un modello di ricerca interno hanno avviato l'attacco tra lo 0% e il 13% dei casi, contro l'83% di Mythos 5. Interrompere un attacco già in corso restava più difficile. Nei test sui turni successivi, Opus 5.5 si è fermato spontaneamente nel 10% dei casi e il modello interno nel 67%; Mythos 5 non l'ha mai fatto, mentre Mythos 5.1 solo raramente.
Anthropic sospetta che un addestramento di allineamento migliorato abbia contribuito, ma non dimostra questa spiegazione. Avverte inoltre che il ragionamento scritto dei modelli è una guida imperfetta alle loro decisioni. I risultati dei replay descrivono condizioni sperimentali specifiche, non la frequenza con cui i modelli attaccherebbero organizzazioni reali.
Secondo Anthropic, l'AISI si è impegnata pubblicamente a condurre queste valutazioni senza accesso a internet, finché non saranno sviluppati controlli di accesso più solidi per prevenire danni nel mondo reale.
