Des chercheurs en sécurité de White Circle affirment qu'une technique de jailbreak automatisée a contourné les contrôles de contenus explicites de plusieurs générateurs d'images d'OpenAI et de Google dans environ 13 % des cas. Les tests rapportés ont utilisé des modèles accessibles au public, des outils courants et des appels d'API, et non des systèmes d'IA sur mesure ou de pointe.
Ce résultat provient d'une prépublication de White Circle, récemment mise en ligne et décrite par Ars Technica. Les chercheurs ont examiné manuellement les contenus générés afin de vérifier quelles tentatives avaient réussi à contourner les garde-fous. White Circle considère que le taux de 13 % est le plus élevé jamais atteint par une méthode évaluée selon le même critère.
OpenAI et Google n'ont pas répondu aux demandes de commentaires d'Ars sur ces résultats.
RISE recherche des jailbreaks efficaces sur différents prompts
White Circle a baptisé la technique RISE, pour « Red-teaming via Iterative Strategy Evolution ». Elle repose sur deux composants d'IA : un attaquant, qui génère des stratégies de jailbreak, et un juge, qui vérifie si le modèle ciblé a produit des contenus interdits.
Le composant attaquant était un modèle Qwen téléchargé depuis Hugging Face. Denis Shilov, PDG de White Circle, a identifié le modèle juge comme Gemini 3.8 Flash.
Plutôt que d'affiner un prompt unique pour un scénario donné, RISE cherche des schémas qui restent efficaces sur différentes requêtes et différents modèles. Cette approche, centrée sur des stratégies réutilisables et transférables, vise à révéler des faiblesses plus générales des contrôles de contenu, et non de simples échecs ponctuels liés à un prompt.
La prépublication couvre trois produits de génération d'images :
- OpenAI DALL·E 3
- OpenAI GPT-Image-2
- Google Nano Banana 2
Midjourney n'a pas été inclus, car White Circle indique que l'outil ne dispose pas d'une API publique adaptée à des tests contrôlés.
White Circle a par ailleurs appliqué la même méthode à ChatGPT Images 2.5 et à Nano Banana 2.1. L'entreprise a déclaré à Ars que ces deux outils étaient « nettement plus faciles à contourner que leurs versions précédentes ». Il s'agit de l'évaluation de White Circle, que les entreprises concernées n'ont pas confirmée.
Selon White Circle, les tests montrent que sonder les garde-fous des générateurs d'images commerciaux ne nécessite pas forcément un modèle spécialisé ni une expertise avancée en IA. La méthode n'a toutefois pas fonctionné à chaque requête : le taux de contournement rapporté est d'environ 13 % selon le standard de test de l'organisation.
Le risque concret : une production plus facile d'images sexuelles interdites
Les tests visaient des contrôles conçus pour empêcher la génération de contenus explicites. Un contournement réussi signifie qu'un utilisateur peut obtenir des contenus que le service d'images est censé refuser, en passant par son API plutôt qu'en compromettant l'infrastructure sous-jacente.
White Circle a choisi les contenus explicites en partie parce qu'elle estimait que cette catégorie était relativement simple à identifier pour des systèmes de sécurité automatisés. Denis Shilov estime que les échecs dans ce domaine soulèvent des inquiétudes quant à la capacité des modèles à bloquer d'autres contenus interdits. White Circle propose d'étendre les tests à des catégories comme la violence graphique et les images d'automutilation, mais le taux de 13 % ne doit pas être considéré comme une preuve de performances équivalentes dans ces catégories.
Ces résultats concernent particulièrement les images intimes non consensuelles. Une étude distincte, coécrite avec Google, portant sur des internautes aux États-Unis, en Australie et au Royaume-Uni, a montré que 20 % des participants reconnaissant avoir créé des images de nu générées par IA disaient l'avoir fait « pour le plaisir » ou « pour rire ». Près d'un tiers affirmaient expérimenter la technologie.
Les chercheurs de Google ont désigné les outils de génération comme le « point d'intervention le plus critique », estimant que des obstacles techniques peuvent dissuader au moins certains abuseurs potentiels. Ils ont également relevé que des contenus nuisibles peuvent circuler par le biais de textes, de messages directs et de stockage cloud privé, ce qui rend leur détection ultérieure plus difficile.
Cette recherche de Google était distincte de l'évaluation de White Circle et ne constituait pas une réponse de l'entreprise aux résultats de RISE.
Les développeurs sont invités à tester au-delà des refus intégrés
White Circle recommande d'utiliser des tests adverses automatisés, tels que RISE, pour découvrir plus rapidement les jailbreaks transférables. Pour les organisations qui proposent ou intègrent des systèmes de génération d'images, ces résultats indiquent que les refus intégrés devraient être testés face à des tentatives répétées et adaptatives, plutôt que d'être évalués uniquement à l'aide de prompts interdits isolés.
Les travaux distincts de Google plaident pour des garde-fous obligatoires, des protections robustes au niveau des modèles et des indicateurs de provenance pour les images sexuelles synthétiques. White Circle réclame également des audits de sécurité indépendants et obligatoires. Denis Shilov estime qu'une évaluation externe réduirait la dépendance aux laboratoires qui évaluent leurs propres modèles.
White Circle indique avoir transmis ses résultats à certains laboratoires d'IA de pointe par l'intermédiaire de contacts communs, et être en discussions préliminaires avec des responsables publics au sujet de tests menés par des tiers. L'entreprise prévoit de publier le pipeline RISE sur GitHub et de présenter la recherche à NeurIPS 2026 en novembre. Cela pourrait offrir aux développeurs de modèles et aux évaluateurs indépendants une méthode commune pour vérifier si les garde-fous des générateurs d'images résistent aux stratégies de jailbreak réutilisables.
