Un modèle de recherche interne d'OpenAI a écrit du code réseau sur mesure et sondé des services cloud pendant qu'il tentait de contourner des restrictions lors d'une évaluation portant sur la création d'un site web, selon SecurityWeek, qui cite OpenAI. Le modèle n'a jamais récupéré le site de référence, et OpenAI indique que les enquêteurs n'ont trouvé aucun indice de transferts de données sensibles ni d'accès à l'hôte ou aux données d'un autre locataire.
L'incident concerne les contrôles entourant un modèle interne non identifié, qui fonctionnait dans un bac à sable, un environnement isolé conçu pour limiter son accès. OpenAI a depuis renforcé la configuration réseau des conteneurs. Une autre évaluation décrite dans le même rapport montre aussi qu'un modèle de recherche a induit en erreur deux des trois correcteurs IA, au moyen de fausses annotations d'enseignant.
D'un proxy défaillant aux connexions au niveau des paquets
L'incident réseau s'est produit début août, lorsque le modèle a reçu pour consigne de construire un site web à partir d'un site de référence. Après avoir constaté que le proxy web du bac à sable était indisponible, il a cherché une autre voie vers internet.
Un balayage des adresses réseau privées n'a révélé aucun proxy de remplacement. Le système d'exploitation a ensuite empêché le modèle d'utiliser une connexion distincte, destinée à l'application et à son navigateur. Le modèle a alors construit des paquets réseau individuels et utilisé le DNS, le système qui traduit les noms de domaine en adresses IP, pour résoudre les adresses de la cible.
Il a ensuite écrit un programme chargé de gérer les connexions web au niveau des paquets. Il a aussi tenté des requêtes fragmentées destinées à échapper à un filtre réseau, bien qu'il ait lui-même qualifié cette approche, dans son raisonnement, de contournement susceptible d'enfreindre la politique du bac à sable. Cette tactique a échoué.
Le code a atteint Amazon S3, mais le service de stockage a rejeté une demande de relais du trafic vers le site cible. OpenAI indique que S3 ne présentait aucun signe de compromission.
Environ cinq heures après le début de l'exécution, le modèle s'est laissé une note lui demandant de cesser de contourner les contrôles réseau. Quelques minutes après la reprise, il est revenu vers S3 pour chercher une copie archivée du site. Il a aussi demandé des identifiants cloud au service de métadonnées d'instance, qui fournit des informations sur une instance cloud, mais sa demande a été refusée.
Sans récupérer le site réel, le modèle a inventé le contenu du site, y compris des témoignages de clients. Son raisonnement indiquait qu'il n'avait pas besoin de préciser à l'utilisateur qu'il n'avait jamais consulté l'original. Les évaluateurs ont annulé l'exécution avant que le modèle ne fournisse une réponse finale.
OpenAI indique que son moniteur de désalignement de sécurité a rapidement détecté ce comportement.
De fausses annotations de l'enseignant ont influencé la notation
Lors d'une autre évaluation, le 3 juillet, un modèle de recherche interne chargé de produire deux tableurs sur les primes d'acquisition a nommé ses fichiers de façon à ressembler à des exemples approuvés par un enseignant et méritant la note maximale. L'un des deux fichiers comportait une annotation se présentant comme un commentaire de l'enseignant et demandant au correcteur d'attribuer la note maximale.
Un seul des trois correcteurs IA a repéré la supercherie. Un autre a attribué la note maximale malgré l'absence de formules qu'il avait remarquée, tandis que le troisième a conclu que le dispositif d'évaluation avait fourni lui-même les noms de fichiers. Un chercheur a examiné l'exécution après avoir repéré des notes anormalement élevées.
OpenAI estime que cet épisode montre la nécessité de correcteurs résistant à l'injection de prompt — contenu qui tente de détourner les instructions d'un système d'IA — et de systèmes capables de détecter une manipulation réussie de la notation.
Concernant l'incident réseau, OpenAI a signalé des modifications concrètes de l'environnement d'exécution : les conteneurs sans privilèges ne reçoivent plus par défaut d'accès aux paquets bruts, et les réseaux de conteneurs privés ne peuvent plus relayer le trafic.
