Anthropic hat sechs Mitarbeiter der gemeinnützigen Evaluierungsorganisation METR in seine Büros geholt. Sie erhalten Firmenhardware und Zugang zu internen Systemen, mit denen das Unternehmen Risiken fortgeschrittener KI-Modelle bewertet.
Die Vereinbarung wurde am Donnerstag bekannt gegeben, wie aus einem Bericht der Financial Times fervor, den Ars Technica veröffentlichte hervorgeht. Anthropic beschrieb den Zugang von METR als „ungefähr auf Augenhöhe“ mit dem seiner eigenen Risikobewertungsteams.
Die Initiative geht über die übliche Praxis hinaus, einem externen Tester nur eingeschränkten Zugang zu einem fertigen Modell zu gewähren. Wenn METR innerhalb der Umgebung von Anthropic arbeitet, kann die Organisation interne Belege und Werkzeuge prüfen, die über öffentliche Schnittstellen normalerweise nicht zugänglich wären.
METR darf Ergebnisse veröffentlichen, allerdings mit festgelegten Schwärzungen
Anthropic zahlt METR für diese Arbeit nicht. Laut Bericht nimmt die Organisation keine Spenden von KI-Unternehmen oder deren Mitarbeitern an. Sie wird stattdessen von Einzelpersonen, philanthropischen Organisationen und staatlichen Stellen finanziert, darunter das britische AI Security Institute.
METR wird seine Analyse veröffentlichen, und Anthropic kann die Veröffentlichung nicht verhindern. Das Unternehmen kann jedoch verlangen, dass Kundendaten, durch das Anwaltsgeheimnis geschützte Informationen und Details zur Modellarchitektur entfernt werden.
Diese Einschränkungen schaffen einen Ausgleich zwischen externer Kontrolle und dem Schutz sensibler Inhalte. Sie bedeuten aber auch, dass die öffentlichen Berichte von METR möglicherweise nicht jedes Beweisstück enthalten, das den eingebetteten Prüfern zur Verfügung steht.
Anthropic erklärte, die Mitarbeiter seien ermutigt worden, das METR-Team beim Austausch relevanter Informationen wie interne Risikoexperten zu behandeln. Das Unternehmen argumentiert, dass immer leistungsfähigere Modelle stärkere Schutzmaßnahmen und anspruchsvollere Evaluierungen erfordern. Gleichzeitig könne manche sicherheitsrelevante Information nicht breit veröffentlicht werden, weil sie böswilligen Akteuren helfen oder kommerziell sensible Technik offenlegen könnte.
Ein Aufsichtsmodell aus dem Bankwesen
Anthropic vergleicht die Vereinbarung mit fest vor Ort tätigen Bankprüfern: externen Aufsehern, die in großen Finanzinstituten arbeiten und riskante Aktivitäten prüfen, bevor sie größeren Schaden anrichten.
Das Unternehmen wirbt für einen ähnlichen Ansatz bei führenden KI-Laboren. Im September schlug Anthropic-Chef Dario Amodei vor, externe Prüfer direkt in die Entwicklerteams von Frontier-Modellen einzubinden. OpenAI-Chef Sam Altman und SpaceX-Chef Elon Musk unterstützten das Konzept öffentlich. Laut dem Bericht hatte OpenAI allerdings noch keine Pläne angekündigt, Evaluatoren aufzunehmen.
Anthropic wurde mit den Worten zitiert, das Unternehmen binde Evaluatoren freiwillig ein und halte es für richtig, dass andere Anbieter von Frontier-KI nachziehen. METR erklärte, es sei bereit, mit allen solchen Entwicklern zusammenzuarbeiten, um der Öffentlichkeit belastbarere Belege über ihre Systeme zu liefern.
Anthropic arbeitet außerdem mit spezialisierten externen Organisationen bei engeren Risikokategorien zusammen. SecureBio bewertet Risiken chemischer und biologischer Waffen, und Accenture wurde im Monat zuvor als weiterer Partner für Sicherheitstests genannt.
Zugang allein klärt die Frage der Unabhängigkeit nicht
Eingebettete Prüfer können deutlich mehr Kontext erhalten als bei Bewertungen, die ausschließlich über kontrollierten Modellzugang stattfinden. Sie können so besser untersuchen, wie ein Unternehmen Gefahren erkennt, was interne Tests zutage fördern und wie die Ergebnisse die Schutzmaßnahmen beeinflussen.
Die Struktur belegt allerdings für sich genommen noch nicht, dass ein Modell sicher ist. Ihr Wert hängt davon ab, ob die Prüfer trotz der zulässigen Schwärzungen praktisch frei entscheiden können, welche Tests sie durchführen, zu welchen Schlüssen sie kommen und welche aussagekräftigen Belege sie veröffentlichen.
Kritiker, die im Bericht zitiert werden, warnten, dass enge Beziehungen zwischen Prüfern und den bewerteten Unternehmen Interessenkonflikte schaffen können, und verwiesen auf vergleichbare Bedenken in der Wirtschaftsprüfung. Andere argumentierten, freiwillige Aufsicht dürfe staatliche Regulierung nicht ersetzen.
Für die Öffentlichkeit wird die erste konkrete Bewertung der Vereinbarung die veröffentlichte Analyse von METR sein: welche Risiken sie untersucht, welche Belege sie offenlegen kann und ob der eingebettete Zugang zu Erkenntnissen führt, die über konventionelle externe Tests nicht zutage gekommen wären.
