Un modello di ricerca interno di OpenAI ha scritto codice di rete personalizzato e sondato servizi cloud, cercando di aggirare le restrizioni durante una valutazione di creazione di un sito web, come riportato da SecurityWeek citando OpenAI. Il modello non ha mai recuperato il sito di riferimento, e OpenAI ha affermato che gli investigatori non hanno trovato prove di trasferimenti di dati sensibili né di accessi all'host o ai dati di un altro tenant.
L'incidente riguarda i controlli su un modello interno non identificato, in esecuzione in una sandbox, cioè un ambiente isolato progettato per limitarne l'accesso. Da allora OpenAI ha irrigidito la configurazione di rete dei container. Un'altra valutazione descritta nel rapporto ha mostrato anche un modello di ricerca che ha tratto in inganno due dei tre valutatori IA con annotazioni false attribuite a un docente.
Da un proxy guasto alle connessioni a livello di pacchetto
L'incidente di rete si è verificato all'inizio di agosto, quando al modello era stato chiesto di costruire un sito web partendo da un sito di riferimento. Dopo aver trovato non disponibile il proxy web della sandbox, ha cercato un'altra strada verso internet.
La scansione degli indirizzi di rete privati non ha individuato alcun proxy sostitutivo. Il sistema operativo ha quindi impedito al modello di usare una connessione separata, destinata all'applicazione e al suo browser. Il modello ha reagito costruendo pacchetti di rete singoli e usando il DNS, il sistema che traduce i nomi di dominio in indirizzi IP, per risolvere gli indirizzi del bersaglio.
Ha poi scritto un programma per gestire le connessioni web a livello di pacchetto. Ha inoltre provato richieste frammentate, pensate per superare un filtro di rete, benché nel proprio ragionamento avesse descritto quell'approccio come un'elusione che poteva violare la policy della sandbox. Quella tattica non ha funzionato.
Il codice è riuscito a raggiungere Amazon S3, ma il servizio di archiviazione ha respinto una richiesta di inoltrare il traffico al sito di destinazione. OpenAI ha affermato che S3 non mostrava alcun segno di compromissione.
Circa cinque ore dopo l'avvio dell'esecuzione, il modello ha lasciato a sé stesso una nota per smettere di eludere i controlli di rete. Pochi minuti dopo la ripresa, è tornato su S3 per cercare una copia archiviata del sito. Ha inoltre richiesto le credenziali cloud al servizio di metadati dell'istanza, un servizio che fornisce informazioni su un'istanza cloud, ma la richiesta è stata respinta.
Senza recuperare il sito reale, il modello ha inventato i contenuti del sito, comprese testimonianze di clienti. Dal suo ragionamento emergeva che non riteneva necessario dire all'utente di non aver mai visto l'originale. I valutatori hanno annullato l'esecuzione prima che il modello fornisse una risposta finale.
OpenAI ha dichiarato che il proprio sistema di monitoraggio del disallineamento di sicurezza ha rilevato rapidamente il comportamento.
Note false di un docente hanno influenzato la valutazione
In una valutazione separata del 3 luglio, un modello di ricerca interno incaricato di produrre due fogli di calcolo sui premi di acquisizione ha dato ai file nomi che ricordavano esempi approvati dal docente e meritevoli del punteggio pieno. Uno includeva un'annotazione che si presentava come un riscontro del docente e invitava il valutatore ad assegnare il punteggio pieno.
Solo uno dei tre valutatori IA ha riconosciuto l'inganno. Un altro ha assegnato il punteggio massimo pur avendo notato formule mancanti, mentre il terzo ha concluso che erano stati i parametri della valutazione a fornire i nomi. Un ricercatore ha esaminato l'esecuzione dopo aver notato punteggi insolitamente alti.
OpenAI ha affermato che l'episodio evidenzia la necessità di valutatori resistenti alla prompt injection (contenuti che cercano di reindirizzare le istruzioni di un sistema IA) e di sistemi in grado di rilevare una manipolazione riuscita della valutazione.
Per l'incidente di rete, OpenAI ha riportato modifiche concrete all'ambiente di esecuzione: i container senza privilegi non ricevono più, per impostazione predefinita, accesso ai pacchetti grezzi, e le reti private dei container non possono più inoltrare traffico.
