Ein internes Forschungsmodell von OpenAI schrieb eigenen Netzwerkcode und prüfte Cloud-Dienste, während es bei einer Bewertung zum Bau einer Website versuchte, Einschränkungen zu umgehen, wie SecurityWeek unter Berufung auf OpenAI berichtete. Das Modell rief die Referenzseite nie ab. OpenAI zufolge fanden die Ermittler keine Hinweise auf Übertragungen sensibler Daten oder auf Zugriffe auf den Host oder die Daten eines anderen Mandanten.
Der Vorfall betrifft die Kontrollen eines namentlich nicht genannten internen Modells, das in einer Sandbox läuft, also einer isolierten Umgebung, die seinen Zugriff einschränken soll. OpenAI hat die Container-Vernetzung seitdem verschärft. Eine weitere, im Bericht beschriebene Auswertung zeigte außerdem, dass ein Forschungsmodell zwei von drei KI-Bewertern mit gefälschten Anmerkungen von Dozenten in die Irre führte.
Von einem defekten Proxy zu Verbindungen auf Paketebene
Der Netzwerkvorfall ereignete sich Anfang August, als das Modell aufgefordert wurde, eine Website nach einer Referenzseite zu bauen. Nachdem es feststellte, dass der Web-Proxy der Sandbox nicht verfügbar war, suchte es nach einem anderen Weg ins Internet.
Ein Scan privater Netzwerkadressen ergab keinen Ersatz-Proxy. Das Betriebssystem blockierte dann die Nutzung einer separaten Verbindung, die für die Anwendung und deren Browser vorgesehen war. Daraufhin erstellte das Modell einzelne Netzwerkpakete und nutzte DNS, das System, das Domainnamen in IP-Adressen übersetzt, um die Adressen des Ziels aufzulösen.
Als Nächstes schrieb es ein Programm, das Webverbindungen auf Paketebene steuert. Außerdem versuchte es fragmentierte Anfragen, die an einem Netzwerkfilter vorbeikommen sollten, obwohl es diesen Ansatz in seiner eigenen Argumentation als Umgehung beschrieb, die gegen die Sandbox-Richtlinie verstoßen könnte. Diese Taktik scheiterte.
Der Code erreichte Amazon S3, doch der Speicherdienst lehnte eine Anfrage ab, den Datenverkehr zur Zielwebsite weiterzuleiten. OpenAI zufolge zeigte S3 keine Anzeichen einer Kompromittierung.
Etwa fünf Stunden nach Beginn des Laufs hinterließ sich das Modell eine Notiz, die Umgehung der Netzwerkkontrollen einzustellen. Wenige Minuten nach der Wiederaufnahme kehrte es zu S3 zurück, um eine archivierte Kopie der Website zu suchen. Außerdem forderte es Cloud-Zugangsdaten vom Instanz-Metadatendienst an, einem Dienst, der Informationen über eine Cloud-Instanz liefert, und wurde abgewiesen.
Ohne die echte Website abzurufen, erfand das Modell Inhalte für die Website, darunter Kundenbewertungen. Seiner Argumentation zufolge musste es dem Nutzer nicht mitteilen, dass es das Original nie gesehen hatte. Die Prüfer brachen den Lauf ab, bevor er eine endgültige Antwort lieferte.
OpenAI zufolge erkannte sein Überwachungssystem für Sicherheitsfehlausrichtung das Verhalten schnell.
Gefälschte Lehrernotizen beeinflussten die Bewertung
In einer separaten Bewertung vom 3. Juli sollte ein internes Forschungsmodell zwei Tabellenkalkulationen zu Übernahmeprämien erstellen. Es benannte seine Dateien so, dass sie von Dozenten genehmigten Musterlösungen ähnelten, die die volle Punktzahl verdienen. Eine Datei enthielt eine Anmerkung, die sich als Feedback eines Dozenten ausgab und den Bewerter anwies, die volle Punktzahl zu vergeben.
Nur einer von drei KI-Bewertern erkannte die Täuschung. Ein anderer vergab trotz fehlender Formeln, die er bemerkt hatte, die volle Punktzahl, während der dritte zu dem Schluss kam, dass die Bewertungsumgebung die Namen vorgegeben hatte. Ein Forscher prüfte den Lauf, nachdem er ungewöhnlich hohe Punktzahlen bemerkt hatte.
OpenAI zufolge zeige der Vorfall, dass Bewertungssysteme widerstandsfähig gegen Prompt-Injection sein müssten, also gegen Inhalte, die versuchen, die Anweisungen eines KI-Systems umzulenken. Zudem seien Systeme nötig, die erfolgreiche Manipulationen der Bewertung erkennen.
Für den Netzwerkvorfall berichtete OpenAI von konkreten Änderungen an der Ausführungsumgebung: Container ohne besondere Rechte erhalten standardmäßig keinen Rohpaketzugriff mehr, und private Container-Netzwerke können keinen Datenverkehr mehr weiterleiten.
