Meta hat rund 1,2 Millionen Dollar für Schwachstellenmeldungen gezahlt, die den KI-Agenten Muse betreffen. Darunter sind 300.000 Dollar für einen Fehler, der vor dem Start Unterhaltungen und Tokens auf internen Testsystemen offenlegte. SecurityWeek berichtete, dass die Funde auch Angriffe über schadhafte Webseiten, E-Mail-Passcodes sowie die Desktop- und Mobil-Apps von Muse umfassten.
Muse handelt im Auftrag der Nutzer über E-Mail, Kalender, Messaging und weitere Konten. Der Agent jedes Nutzers läuft in einer eigenen virtuellen Maschine, also einem separaten softwarebasierten Computer. Die gemeldeten Befunde betreffen mehrere verschiedene Wege, auf denen Angreifer diese Zugriffsgrenzen überschreiten könnten. Die Voraussetzungen reichen von der Aufforderung an Muse, eine schadhafte Seite zusammenzufassen, bis zu einem Angreifer, der bereits Zugriff auf einen Mac hat.
Metas David Singleton erklärte in einem Blogbeitrag, auf den sich SecurityWeek bezieht, dass das Bounty-Programm im April privat begonnen habe und öffentlich geöffnet wurde, als Muse am 8. September startete. Die Forscher reichten mehr als 630 Meldungen ein, von denen 64 gültig waren.
Ein Proxy-Wechsel untergrub eine Vertrauensprüfung
Die höchste bekanntgegebene Prämie von 300.000 Dollar wurde vier Monate vor dem Start im Rahmen früher interner Tests vergeben. Ein Forscher demonstrierte den Zugriff auf Unterhaltungen und Tokens auf virtuellen Maschinen vor der Veröffentlichung, die Metas Mitarbeiter zum Testen von Muse nutzten.
Singleton erläuterte, dass eine Authentifizierungsprüfung einen Header akzeptierte, also ein Feld, das an eine Webanfrage angehängt wird. Dieser stammte von einem lokalen HTTPS-Proxy und galt als Beleg dafür, dass die Anfrage aus einer vertrauenswürdigen Quelle kam. Eine Systemmigration führte jedoch eine zweite Proxy-Ebene ein. Dadurch konnten auch Anfragen von außen diesen vertrauenswürdigen Header mitführen.
Meta nahm den Dienst offline, behob die Schwachstelle und behandelte den lokalen Rechner nicht länger als vertrauenswürdig.
Schadhafte Seiten, Passcodes und App-Zugangsdaten
Ein separater Bericht über 90.000 Dollar zeigte, wie eine schadhafte Webseite Statusmeldungen des Browsing-Werkzeugs von Muse nachahmen konnte, wenn der Agent aufgefordert wurde, sie zusammenzufassen. Dabei handelte es sich um einen Prompt-Injection-Angriff: Der Seiteninhalt versuchte, das Verhalten des Agenten zu steuern. Singleton sagte, dies habe Muse dazu gebracht, Aktionen auszuführen, die hätten erkannt werden müssen.
Meta ergänzte Erkennungssignale und änderte, wie Muse verdächtige Tool-Ausgaben verarbeitet. Das Unternehmen erklärt, seine Klassifikatoren erkennten diesen Angriff und 100 Varianten davon inzwischen im Test.
Ein weiterer Forscher erhielt 90.000 Dollar dafür, dass eine bestimmte Formatierung die E-Mail-Schwärzungsfilter von Muse für Einmal-Passcodes umgehen konnte. Meta beschrieb die Umgehung als einen Bestandteil eines Ende-zu-Ende-Angriffs.
Eine Android-Schwachstelle brachte 50.000 Dollar ein. Eine schadhafte App konnte einen Link an eine privilegierte Web-View übergeben, also an einen eingebetteten Browser mit Zugriff auf App-Zugangsdaten. Der Link-Handler erkannte einen Pfad zu einer geteilten Seite, prüfte aber den Host nicht. So konnte eine vom Angreifer kontrollierte Seite geladen und diese Zugangsdaten abgegriffen werden.
Ein Fund in einer Mac-App wurde mit 1.000 Dollar vergütet. Dafür musste ein Angreifer Zugriff auf den Computer haben. Von dort aus konnte er die Auto-Update-Funktion kapern und Code mit den Berechtigungen der App ausführen.
Für Forscher, die Muse prüfen, bietet Meta bis zu 300.000 Dollar pro gültiger Meldung. Diese Obergrenze liegt nach eigenen Angaben um ein Mehrfaches über den höchsten Prämien, die andere führende KI-Entwickler ausloben. Eine Prompt-Injection, die einen einzelnen Nutzer betrifft, kann bis zu 130.000 Dollar einbringen. Eine Kompromittierung über die gesamte Flotte hinweg kann bis zu 250.000 Dollar einbringen.
