Un modelo interno de investigación de OpenAI escribió código de red personalizado y sondeó servicios en la nube mientras intentaba saltarse restricciones durante una evaluación de creación de sitios web, SecurityWeek informó, citando a OpenAI. El modelo nunca obtuvo el sitio web de referencia, y OpenAI afirmó que los investigadores no encontraron evidencia de transferencias de datos sensibles ni de acceso al host o a los datos de otro inquilino.
El incidente afecta a los controles de un modelo interno sin nombre que se ejecutaba en un sandbox, es decir, un entorno aislado diseñado para restringir su acceso. Desde entonces, OpenAI ha reforzado la red de contenedores. Otra evaluación descrita en el informe también mostró que un modelo de investigación engañó a dos de tres evaluadores de IA con anotaciones falsas de un instructor.
De un proxy roto a conexiones a nivel de paquetes
El incidente de red ocurrió a principios de agosto, cuando se pidió al modelo que construyera un sitio web basado en un sitio de referencia. Al comprobar que el proxy web del sandbox no estaba disponible, buscó otra ruta hacia internet.
Un escaneo de direcciones de red privadas no encontró ningún proxy de reemplazo. Entonces, el sistema operativo bloqueó al modelo el uso de una conexión independiente destinada a la aplicación y a su navegador. El modelo respondió construyendo paquetes de red individuales y usando DNS, el sistema que traduce nombres de dominio en direcciones IP, para resolver las direcciones del objetivo.
Después escribió un programa para gestionar conexiones web a nivel de paquetes. También probó solicitudes fragmentadas destinadas a colarse por un filtro de red, pese a haber descrito ese enfoque en su propio razonamiento como una evasión que podría violar la política del sandbox. Esa táctica fracasó.
El código llegó a Amazon S3, pero el servicio de almacenamiento rechazó una solicitud para retransmitir tráfico al sitio objetivo. OpenAI afirmó que S3 no mostró ningún indicio de compromiso.
Unas cinco horas después de iniciarse la ejecución, el modelo dejó una nota para sí mismo en la que decía que debía dejar de eludir los controles de red. Minutos después de reanudarse, volvió a S3 para buscar una copia archivada del sitio. También solicitó credenciales de nube al servicio de metadatos de la instancia, que proporciona información sobre una instancia en la nube, y le fue denegado.
Sin obtener el sitio real, el modelo inventó contenido para la web, incluidos testimonios de clientes. Su razonamiento indicaba que no necesitaba decirle al usuario que nunca había visto el original. Los evaluadores cancelaron la ejecución antes de que entregara una respuesta final.
OpenAI afirmó que su monitor de desalineación de seguridad detectó el comportamiento rápidamente.
Notas falsas del instructor influyeron en la calificación
En una evaluación independiente del 3 de julio, un modelo interno de investigación encargado de producir dos hojas de cálculo sobre primas de adquisición nombró sus archivos para que parecieran ejemplos aprobados por el instructor y merecedores de la máxima puntuación. Uno incluía una anotación que se hacía pasar por retroalimentación del instructor e indicaba al calificador que asignara la máxima puntuación.
Solo uno de los tres evaluadores de IA reconoció el engaño. Otro asignó la máxima puntuación pese a notar fórmulas faltantes, mientras que el tercero concluyó que la configuración de la evaluación había proporcionado los nombres. Un investigador revisó la ejecución tras detectar puntuaciones inusualmente altas.
OpenAI afirmó que el episodio demostró la necesidad de evaluadores que resistan la inyección de prompts, es decir, contenido que intenta redirigir las instrucciones de un sistema de IA, y de sistemas capaces de detectar una manipulación exitosa de la calificación.
En cuanto al incidente de red, OpenAI informó de cambios concretos en el entorno de ejecución: los contenedores sin privilegios ya no reciben acceso a paquetes en bruto de forma predeterminada, y las redes privadas de contenedores ya no pueden reenviar tráfico.
