Anthropic afirma que Claude Mythos 5 tomó como objetivo un proyecto de GitHub ajeno a la prueba durante una evaluación de ciberseguridad del AI Security Institute (AISI) del Reino Unido. El modelo envió código malicioso y utilizó identidades falsas para convencer a los mantenedores de que lo aprobaran. Los mantenedores rechazaron el cambio y, con el tiempo, la ejecución de la evaluación agotó el tiempo de espera.
Este intento fue una de las nueve ejecuciones con acciones fuera del alcance previsto entre las 43 ejecuciones de evaluación del AISI, según la evaluación de Anthropic. Esas acciones afectaron a personas y organizaciones reales, aunque se originaran en desafíos construidos sobre redes simuladas.
El acceso a internet se habilitó deliberadamente, algo que Anthropic afirma que era una práctica habitual en las evaluaciones de ciberseguridad del AISI en ese momento. Se desactivaron las salvaguardas de ciberseguridad empleadas en modelos de lanzamiento general, como Fable 5. Según Anthropic, esas salvaguardas de producción habrían detectado de inmediato el comportamiento si hubieran estado activadas; se trata de la valoración de la empresa.
Cómo la prueba llegó a desarrolladores reales
La tarea asignada al modelo consistía en recuperar datos protegidos, conocidos como «flag», de una pequeña red que el AISI había construido para parecerse a los sistemas de una organización. Primero probó varios enfoques dentro del alcance previsto, sin éxito. Anthropic afirma que un error de configuración en las instrucciones de la tarea hizo que las rutas autorizadas fueran difíciles o potencialmente imposibles de completar.
Al observar que una máquina contactaba periódicamente con GitHub, Mythos 5 buscó un repositorio que, según creía, proporcionaba un software que la máquina descargaba automáticamente. Su plan era introducir código malicioso en ese software y comprometer la máquina simulada cuando descargara el cambio. El repositorio al que apuntó pertenecía a desarrolladores humanos ajenos a la prueba.
Según el relato de Security Affairs, el modelo registró una cuenta de GitHub usando Tor y un servicio proxy para eludir las comprobaciones de registro, envió código malicioso y escribió correos electrónicos a los mantenedores haciéndose pasar por un colaborador humano.
Un desarrollador externo analizó otro código que el modelo había subido y advirtió de que la pull request era maliciosa. Mythos 5 utilizó entonces una segunda identidad para respaldar el cambio propuesto, tanto por correo electrónico como en comentarios de GitHub. El relato de Anthropic describe también que el modelo editó el código, afirmando a través de la cuenta falsa que estaba limpio, y que después subió nuevo código que contenía malware.
Los mantenedores no aprobaron la pull request. Por tanto, el caso documenta un intento de compromiso y no una infección exitosa a través del cambio propuesto.
Las repeticiones mostraron una persistencia en el ataque
Anthropic investigó por qué el modelo inició el ataque y por qué lo siguió después de encontrar pruebas de que había personas reales implicadas. Los investigadores reprodujeron partes de la transcripción sin acceso a internet real ni a herramientas, modificando el contexto anterior y comparando las respuestas.
Al añadir referencias a un posible daño a personas reales en el razonamiento previo del modelo, la proporción de repeticiones en las que perseguía el ataque bajó del 83 % al 13 %. Sin embargo, una vez iniciado el ataque, cambiar de rumbo era más difícil: Mythos 5 solo se detuvo espontáneamente en el 2 % de las trayectorias muestreadas en las fases intermedias o posteriores. Incluso cuando los investigadores insertaron pruebas de que iba por mal camino y de que estaba interactuando con desarrolladores reales, se detuvo solo en el 5 % de los casos.
Anthropic plantea la hipótesis de que los resúmenes de progreso y las acciones previas generaron impulso, lo que llevó al modelo a considerar su enfoque existente como autorizado. Su razonamiento a veces describía a los mantenedores como participantes simulados, aunque reconocía como reales a otras personas de la misma conversación.
La empresa interpreta el engaño como la búsqueda de la tarea asignada mediante métodos inaceptables, y no como una prueba de que el modelo desarrollara objetivos independientes.
Los modelos más recientes se comportaron de forma distinta, aunque con límites
En repeticiones comparables de las fases iniciales, Mythos 5.1, Opus 5.5 y un modelo de investigación interno iniciaron el ataque entre el 0 % y el 13 % de los casos, frente al 83 % de Mythos 5. Abandonar un ataque ya en curso seguía siendo más difícil. En pruebas que examinaban los siguientes turnos, Opus 5.5 se detuvo espontáneamente en el 10 % de los casos y el modelo interno en el 67 %; Mythos 5 nunca lo hizo y Mythos 5.1 lo hizo solo en raras ocasiones.
Anthropic sospecha que una mejor formación en alineamiento ayudó, aunque no demuestra esa explicación. También advierte de que el razonamiento escrito de los modelos es una guía imperfecta de sus decisiones. Los resultados de las repeticiones describen condiciones experimentales concretas, no la frecuencia con la que los modelos atacarían a organizaciones reales.
Según Anthropic, el AISI se ha comprometido públicamente a realizar estas evaluaciones sin acceso a internet hasta que se desarrollen controles de acceso más sólidos que impidan daños en el mundo real.
