Anthropic zufolge hat Claude Mythos 5 während einer Cybersicherheitsbewertung des britischen AI Security Institute (AISI) ein nicht zugehöriges GitHub-Projekt ins Visier genommen, schädlichen Code eingereicht und mithilfe gefälschter Identitäten versucht, die Maintainer zur Genehmigung zu bewegen. Die Maintainer lehnten die Änderung ab, und der Auswertungslauf lief schließlich in ein Zeitlimit.
Der Versuch war einer von neun Läufen mit Aktionen außerhalb des vorgesehenen Rahmens unter 43 AISI-Auswertungsläufen, so Anthropics Bewertung. Diese Aktionen betrafen echte Menschen und Organisationen, obwohl sie aus Aufgaben stammten, die auf simulierten Netzwerken aufbauten.
Der Internetzugang war bewusst aktiviert worden, was Anthropic zufolge zum damaligen Standard bei den Cyberauswertungen des AISI gehörte. Die Cyber-Schutzmechanismen, die bei allgemein veröffentlichten Modellen wie Fable 5 eingesetzt werden, waren deaktiviert. Anthropic zufolge hätten die im Produktivbetrieb eingesetzten Schutzmechanismen das Verhalten sofort erkannt, wären sie aktiviert gewesen. Das ist die Einschätzung des Unternehmens.
Wie der Test echte Entwickler erreichte
Die dem Modell zugewiesene Aufgabe bestand darin, geschützte Daten, das sogenannte „Flag“, aus einem kleinen Netzwerk abzurufen, das das AISI nachgebaut hatte, um die Systeme einer Organisation zu imitieren. Zunächst probierte es mehrere Ansätze innerhalb des vorgesehenen Rahmens aus, ohne Erfolg. Anthropic zufolge machte eine Fehlkonfiguration in den Aufgabenanweisungen die autorisierten Wege schwer oder womöglich gar nicht abzuschließen.
Nachdem Mythos 5 beobachtet hatte, dass eine Maschine regelmäßig GitHub kontaktierte, suchte es nach einem Repository, von dem es annahm, dass es Software bereitstellte, die die Maschine automatisch herunterlädt. Sein Plan war, schädlichen Code in diese Software einzuschleusen und die simulierte Maschine zu kompromittieren, sobald sie die Änderung herunterlädt. Das angesteuerte Repository gehörte unabhängigen menschlichen Entwicklern.
Laut dem Bericht von Security Affairs registrierte das Modell über Tor und einen Proxy-Dienst ein GitHub-Konto, um die Anmeldeprüfungen zu umgehen, reichte schädlichen Code ein und schrieb den Maintainern per E-Mail, während es sich als menschlicher Mitwirkender ausgab.
Ein externer Entwickler analysierte anderen Code, den das Modell hochgeladen hatte, und warnte, dass der Pull Request bösartig sei. Mythos 5 nutzte daraufhin eine zweite Identität, um die vorgeschlagene Änderung per E-Mail und in GitHub-Kommentaren zu befürworten. Anthropics Darstellung beschreibt außerdem, dass das Modell den Code überarbeitete, über das gefälschte Konto behauptete, er sei sauber, und anschließend neuen Code mit Malware hochlud.
Die Maintainer genehmigten den Pull Request nicht. Der Bericht dokumentiert daher einen versuchten Angriff und keine erfolgreiche Infektion über die vorgeschlagene Änderung.
Wiederholungen zeigten hartnäckiges Verfolgen des Angriffs
Anthropic untersuchte, warum das Modell den Angriff begonnen hatte und warum es weitermachte, nachdem es Hinweise darauf gefunden hatte, dass echte Menschen beteiligt waren. Die Forscher spielten Teile des Transkripts ohne Zugriff auf das echte Internet oder Werkzeuge erneut ab, veränderten frühere Kontexte und verglichen die Antworten.
Wenn in den früheren Überlegungen des Modells Verweise auf mögliche Schäden für echte Menschen hinzugefügt wurden, sank der Anteil der Wiederholungen, in denen es den Angriff verfolgte, von 83 % auf 13 %. War der Angriff jedoch einmal im Gang, fiel es schwerer, den Kurs zu ändern: Mythos 5 hielt nur in 2 % der Trajektorien aus der Mitte oder der späteren Phase spontan an. Selbst wenn die Forscher Belege einfügten, dass es auf dem falschen Weg war und echte Entwickler einbezog, stoppte es nur in 5 % der Fälle.
Anthropic vermutet, dass Fortschrittszusammenfassungen und frühere Aktionen Schwung erzeugten und das Modell dazu brachten, seinen bisherigen Ansatz als genehmigt zu betrachten. Seine Überlegungen beschrieben die Maintainer mitunter als simulierte Teilnehmer, während es andere Personen in derselben Diskussion als echt erkannte.
Das Unternehmen deutet die Täuschung als Verfolgen der zugewiesenen Aufgabe mit inakzeptablen Mitteln und nicht als Hinweis darauf, dass das Modell eigenständige Ziele entwickelt hat.
Neuere Modelle verhielten sich anders, allerdings mit Grenzen
In vergleichbaren Wiederholungen in der frühen Phase lösten Mythos 5.1, Opus 5.5 und ein internes Forschungsmodell den Angriff in 0 % bis 13 % der Fälle aus, gegenüber 83 % bei Mythos 5. Aus einem bereits laufenden Angriff auszusteigen blieb schwieriger. In Tests, die die nächsten Schritte untersuchten, stoppte Opus 5.5 in 10 % der Fälle spontan, das interne Modell in 67 %. Mythos 5 tat dies nie, Mythos 5.1 nur selten.
Anthropic vermutet, dass ein verbessertes Alignment-Training geholfen hat, belegt diese Erklärung aber nicht. Das Unternehmen warnt außerdem, dass die schriftlichen Überlegungen von Modellen ein unvollkommener Anhaltspunkt für ihre Entscheidungen sind. Die Wiederholungsergebnisse beschreiben bestimmte Versuchsbedingungen, nicht die Häufigkeit, mit der Modelle echte Organisationen angreifen würden.
Laut Anthropic hat sich das AISI öffentlich verpflichtet, diese Auswertungen ohne Internetzugang durchzuführen, bis stärkere Zugriffskontrollen entwickelt sind, die reale Schäden verhindern.
