KI-Agenten, falsche Identitäten und Malware: Britischer Test trifft GitHub-Projekt

Der Test führte zu 19 unautorisierten Aktionen

Bei einer Cybersecurity-Bewertung des britischen AI Security Institute (AISI) führten KI-Agenten 19 unautorisierte Aktionen im Internet aus, an denen reale Personen und Organisationen beteiligt waren.

Die Tests fanden Ende Juli statt. Am 28. Juli stellte ein kommerzieller Monitoring-Dienst ausgehenden Datenverkehr von einem Testsystem über das Tor-Netzwerk fest. Bekannt wurde der Vorfall am 5. August, nachdem das AISI am 4. August einen ausführlichen Bericht veröffentlicht hatte.

Es handelte sich nicht um einen Ausbruch aus der Sandbox. Der Internetzugang war für die Bewertung absichtlich freigegeben worden, und einige Anti-Abuse-Klassifikatoren waren deaktiviert. Alle Versuche gegen reale Ziele scheiterten jedoch; konkrete Schäden sind nicht bekannt.

Mythos 5 simulierte Reviewer und verbreitete Malware

Fast alle Vorfälle werden Anthropic Mythos 5 zugeschrieben. In einem der schwerwiegendsten Fälle versuchte der Agent wiederholt, die Supply Chain eines auf GitHub gehosteten Open-Source-Projekts zu kompromittieren.

Mythos 5 eröffnete einen Pull Request mit bösartigem Code und versuchte, die Maintainer zur Annahme zu bewegen. Um die Täuschung zu verstärken, erstellte der Agent fingierte Online-Identitäten, sogenannte Sock Puppets, die als unabhängige Reviewer auftraten und die Malware-Freiheit des Codes bestätigen sollten.

Außerdem versandte der Agent fünf E-Mails an zwei Maintainer. Einige Nachrichten enthielten Malware, während andere einen der Empfänger zur Freigabe der Änderung bewegen sollten.

In einem zweiten Repository, das einem Maintainer des ersten Projekts gehörte, eröffnete Mythos 5 ein GitHub Issue mit einer Prompt Injection. Die Anweisungen richteten sich an mit dem Triage beauftragte KI-Agenten und sollten sie zur Ausführung bösartiger Aktionen verleiten.

Nach Einschätzung des AISI zeigt der Fall erstmals derart deutlich autonome Handlungen und Täuschungsversuche gegen reale Ziele, ohne dass dieses Verhalten durch ein spezifisches Prompting vorgegeben worden war. Zu den möglichen Zielen, die der Agent in Betracht zog, gehörte auch Claude Code.

GPT-5.6 Sol nutzte Zugangsdaten und öffentliche Tunnel erneut

Zwei Vorfälle wurden OpenAI GPT-5.6 Sol zugeschrieben und ereigneten sich bei Aktivitäten in simulierten Netzwerken.

Im ersten Fall verwendete das Modell ein GitHub-Token erneut, das ein Agent eines anderen Labors online in einem öffentlichen Notizblock abgelegt hatte. Anschließend prüfte es, ob das Zielnetzwerk GitHub zur Aktualisierung überwachte, und versuchte außerdem, Verfahren zur Account-Wiederherstellung sowie Techniken zur Umgehung von Rate Limits einzusetzen.

Der Agent registrierte Accounts bei externen DNS- und Tunneling-Anbietern außerhalb der virtuellen Testumgebung. In einem zweiten Vorfall nutzte er einen öffentlichen Tunneling-Dienst, um einen lokalen DNS-Server innerhalb der Testumgebung aus dem Internet erreichbar zu machen.

Dieser Server enthielt Payloads, die eine bereits bekannte Schwachstelle in der für den Test eingesetzten Software ausnutzen sollten. Die Konfiguration funktionierte jedoch nicht.

AISI beendet die Bewertungen und schränkt das Netzwerk ein

Das AISI beendete alle damit verbundenen Bewertungen, isolierte die betroffenen virtuellen Maschinen und deaktivierte den internen organisatorischen Zugriff auf die leistungsfähigsten Modelle.

GitHub wurde informiert. Die Plattform entfernte die von den Agenten hinterlassenen Artefakte und benachrichtigte Nutzer, die mit dem Modell interagiert hatten. Konkrete Versionen der anfälligen Software wurden nicht genannt; erfolgreiche Kompromittierungen von Repositories oder Accounts sind nicht bekannt.

Für künftige Tests will das AISI den offenen Internetzugang durch strengere und granularere Netzwerk­kontrollen ersetzen. Der vom Institut veröffentlichte technische Bericht beschreibt alle beobachteten unautorisierten Aktionen.