I ricercatori di sicurezza di White Circle affermano che una tecnica di jailbreak automatizzata ha aggirato i controlli sui contenuti espliciti in diversi generatori di immagini di OpenAI e Google nel 13% dei casi. I test riportati hanno usato modelli disponibili al pubblico, strumenti ordinari e chiamate API, non sistemi di IA personalizzati o di frontiera.
Il risultato proviene da un preprint di White Circle pubblicato di recente, descritto da Ars Technica. I ricercatori hanno verificato manualmente gli output generati per stabilire quali tentativi avessero superato le protezioni. White Circle ha descritto il risultato del 13% come il più alto mai ottenuto da un metodo valutato con lo stesso standard.
OpenAI e Google non hanno risposto alle richieste di commento di Ars sui risultati.
RISE cerca jailbreak che funzionano su più prompt
White Circle ha chiamato la tecnica RISE, acronimo di «Red-teaming tramite evoluzione iterativa delle strategie». Usa due componenti di IA: un attaccante che genera strategie di jailbreak e un giudice che verifica se il modello bersaglio ha prodotto materiale vietato.
Il componente attaccante era un modello Qwen scaricato da Hugging Face. Denis Shilov, CEO di White Circle, ha indicato come modello giudice Gemini 3.8 Flash.
Invece di perfezionare un singolo prompt per uno scenario specifico, RISE cerca schemi che restano efficaci su richieste e modelli diversi. Questo orientamento verso strategie riutilizzabili e trasferibili mira a far emergere debolezze più ampie nei controlli sui contenuti, anziché semplici errori legati a un singolo prompt.
Il preprint ha coperto tre prodotti di generazione di immagini:
- OpenAI DALL·E 3
- OpenAI GPT-Image-2
- Google Nano Banana 2
Midjourney non è stato incluso perché, secondo White Circle, non dispone di un'API pubblica adatta a benchmark controllati.
White Circle ha inoltre applicato lo stesso metodo a ChatGPT Images 2.5 e Nano Banana 2.1. L'organizzazione ha detto ad Ars che entrambi sono «significativamente più vulnerabili rispetto alle versioni precedenti». Si tratta di una valutazione di White Circle; le aziende interessate non l'hanno confermata.
Secondo White Circle, i test dimostrano che sondare le protezioni delle immagini commerciali non richiede necessariamente un modello specializzato o competenze avanzate di IA. Il metodo, tuttavia, non ha avuto successo in ogni caso: non tutte le richieste sono riuscite, e il tasso di aggiramento riportato è stato di circa il 13%, secondo lo standard di test dell'organizzazione.
Il rischio concreto è una produzione più facile di immagini sessuali illecite
I test hanno preso di mira i controlli progettati per impedire output espliciti. Un aggiramento riuscito significa che un utente può ottenere materiale che il servizio di generazione di immagini dovrebbe rifiutare, pur interagendo tramite la sua API anziché compromettere l'infrastruttura sottostante.
White Circle ha scelto i contenuti espliciti in parte perché riteneva che questa categoria fosse relativamente semplice da individuare per i sistemi di sicurezza automatizzati. Shilov ha sostenuto che le falle in quest'area sollevano dubbi sull'efficacia con cui i modelli possono bloccare altro materiale vietato. White Circle ha proposto di estendere i test a categorie come la violenza grafica e le immagini di autolesionismo, ma il risultato del 13% non va considerato una prova di prestazioni equivalenti in quegli ambiti.
I risultati sono particolarmente rilevanti per le immagini intime non consensuali. Un altro studio, coautorato da Google, su utenti internet di Stati Uniti, Australia e Regno Unito, ha rilevato che il 20% dei partecipanti che avevano ammesso di aver creato immagini di nudo con l'IA ha dichiarato di averlo fatto «per divertimento» o «come scherzo». Quasi un terzo ha detto di sperimentare con la tecnologia.
I ricercatori di Google hanno individuato negli strumenti di generazione il «punto di intervento più critico», sostenendo che un ostacolo tecnico può scoraggiare almeno alcuni potenziali abusatori. Hanno inoltre osservato che il materiale dannoso può passare attraverso messaggi di testo, messaggi diretti e archiviazione cloud privata, rendendo più difficile il rilevamento successivo.
Quella ricerca di Google era separata dalla valutazione di White Circle e non rappresentava una risposta aziendale ai risultati di RISE.
Gli sviluppatori sono invitati a testare oltre i rifiuti integrati
White Circle raccomanda di usare test avversari automatizzati come RISE per individuare più rapidamente jailbreak trasferibili. Per le organizzazioni che offrono o integrano sistemi di generazione di immagini, i risultati indicano che i rifiuti integrati dovrebbero essere messi alla prova con tentativi ripetuti e adattivi, anziché valutati solo con singoli prompt vietati.
La ricerca separata di Google ha invece sostenuto l'adozione obbligatoria di protezioni, solide barriere a livello di modello e indicatori di provenienza per le immagini sessuali sintetiche. White Circle ha inoltre chiesto audit di sicurezza indipendenti e obbligatori; Shilov ha sostenuto che una valutazione esterna ridurrebbe la dipendenza dai laboratori che valutano i propri modelli.
White Circle ha dichiarato di aver trasmesso i propri risultati ad alcuni laboratori di IA di frontiera tramite contatti comuni, e di essere in fase iniziale di confronto con funzionari governativi su test affidati a terzi. Prevede di pubblicare la pipeline RISE su GitHub e di presentare la ricerca a NeurIPS 2026 a novembre, offrendo potenzialmente a sviluppatori di modelli e valutatori indipendenti un metodo comune per verificare se le protezioni delle immagini reggono a strategie di jailbreak riutilizzabili.
