Prompt-Injection in Gerichtsdokumenten: Ein Kläger versucht, die Gerichts-KI zu manipulieren

Versteckte Anweisungen in eingereichten Schriftsätzen in Connecticut

Ein Richter in Connecticut hat offenbar den ersten Fall in den USA festgestellt, in dem eine Prompt-Injection absichtlich in Gerichtsdokumente eingebettet wurde. Urheber war Matthew Elliott, ein Kläger ohne anwaltliche Vertretung, der einem Gesundheitsdienstleister vorwarf, ihm unrechtmäßig den Zugang zu seinen medizinischen Unterlagen zu verweigern.

Elliott reichte seine Schriftsätze über das E-Filing-System des Connecticut Judicial Branch ein und fügte in den Text Anweisungen für mögliche Systeme künstlicher Intelligenz ein, die die Dokumente analysieren sollten. Der Versuch hatte keinen Einfluss auf die Entscheidung: Die staatliche Justiz verwendet keine KI, um Prozessunterlagen zu prüfen oder darüber zu entscheiden.

Richter Walter Spader Jr. bewertete das Verhalten dennoch als schweren Missbrauch des Verfahrens. Der Fall zeigt, dass ein Dokument zwei Kommunikationsebenen enthalten kann: eine für das Gericht sichtbare und eine verborgene, die sich an ein mögliches automatisiertes Modell richtet.

So funktionierte die Prompt-Injection

Elliott hatte den Anweisungstext auf eine minimale Schriftgröße reduziert und weiß auf weißem Hintergrund eingefärbt. Bei normaler Darstellung hätte ein menschlicher Leser ihn nicht bemerken sollen. Der Inhalt blieb jedoch in der Datei vorhanden und konnte bei der Textextraktion oder -verarbeitung von einem automatisierten System erfasst werden.

Die Befehle forderten das KI-System auf, die Argumente des Klägers zu unterstützen, frühere Zurückweisungen oder ungünstige Entscheidungen zu ignorieren und Abhilfemaßnahmen zu formulieren, die dem von Elliott gewünschten Ergebnis entsprachen.

Die Technik nutzt eine Verwechslung von Daten und Anweisungen aus. Das eingereichte Dokument sollte als zu prüfender Inhalt behandelt werden; ein anfälliges Modell könnte die versteckten Sätze stattdessen als operative Befehle interpretieren. Der Angreifer versucht dadurch, seinen Text als Anweisung des Systembetreibers, des Gerichts oder der Gegenpartei auszugeben.

Nach Ansicht Spaders macht die Verschleierung die manipulative Absicht deutlich. Wenn Elliott offen Zweifel am Einsatz von KI hätte äußern wollen, hätte er dies in seinen Schriftsätzen tun können, ohne für die übrigen Verfahrensbeteiligten unsichtbare Befehle einzufügen.

Das Gericht verwendete keine KI, entdeckte den Missbrauch aber

Im konkreten Fall fehlte das technologische Ziel, das Elliott offenbar beeinflussen wollte. Der Connecticut Judicial Branch setzt keine KI zur Prüfung oder Entscheidung von Schriftsätzen ein. Daher konnten die Prompts keine automatisierte Bewertung verändern.

Der versteckte Text wurde dennoch bei der menschlichen Prüfung der Unterlagen entdeckt. Der Vorfall zeigt daher nicht, dass die Technik operativ erfolgreich war. Er zeigt jedoch, dass Gerichtsdokumente zu Angriffsvektoren gegen automatisierte Werkzeuge werden können, wenn diese ohne angemessene Trennung von Inhalt und Befehlen in den Arbeitsablauf integriert werden.

Das Problem unterscheidet sich von Halluzinationen von Chatbots, erfundenen Zitaten oder fiktiven Urteilen. In diesen Fällen betrifft der Fehler die vom System erzeugte Ausgabe. Hier entsteht das Risiko durch den Input: Der Angreifer bereitet das Material so vor, dass das Modell bei der Analyse nicht autorisierten Anweisungen folgt.

Es ist nicht bekannt, welches konkrete kommerzielle Modell Elliott zur Erstellung oder Unterstützung seiner Argumentation verwendet hat. Ebenso ist kein KI-Produkt identifiziert worden, das vom Gericht eingesetzt wird.

Neue versteckte Nachrichten und verfahrensrechtliche Sanktionen

Elliott hatte bereits Argumente vorgebracht, die von Personen mit juristischer Sachkunde geprüft und zurückgewiesen worden waren. Der Richter kam zu dem Schluss, dass die Prompts auf künstlichem Weg jenes Ergebnis herbeiführen sollten, das der Kläger mit seinen regulären Schriftsätzen nicht erreicht hatte.

Nachdem ihm mögliche Sanktionen angedroht worden waren, soll Elliott weiterhin versteckte Nachrichten in späteren Dokumenten eingebettet haben. Er erklärte, es habe sich um Scherze gehandelt. Dazu gehörten ein Link zu einem YouTube-Video über Nosferatu, die Nachricht:

hi :) I hope yo ucant see me

sowie eine scheinbar bedeutungslose Zeichenfolge:

TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH

Für Spader war diese Erklärung nicht glaubwürdig. Es sei nicht logisch, angebliche Scherze in Schriftsätzen zu verstecken, die das Gericht ernsthaft berücksichtigen solle. Zudem beeinträchtige eine geheime, für die Beklagten nicht zugängliche Kommunikation den fairen Austausch zwischen den Parteien.

Der Richter verhängte keine Geldstrafe. Er berücksichtigte auch, dass Elliott ohne anwaltliche Unterstützung handelte und dass KI-Tools ihn möglicherweise von der Unangreifbarkeit seiner Argumente überzeugt hatten.

Die Folge war ein künftiges Verbot der elektronischen Einreichung. Elliott muss seine Schriftsätze in Papierform einreichen. Nach Ansicht des Richters schränkt diese Maßnahme den Zugang zur Justiz nicht ein und verringert das Risiko weiterer Manipulationen des E-Filing-Systems.

Das Risiko für Gerichte, die automatisierte Systeme einsetzen

Connecticut verwendet keine KI zur Entscheidung über Schriftsätze. Andere Justizsysteme setzen jedoch automatisierte Werkzeuge ein, um Dokumente zu prüfen oder die Fallverwaltung zu unterstützen. In solchen Umgebungen könnte eine Datei mit versteckten Anweisungen versuchen, Zusammenfassungen, Klassifizierungen, Prioritäten oder Empfehlungen für das Personal zu verändern.

Ein separater Vorfall in Brasilien soll zwei Anwälte betroffen haben, die eine ähnliche Technik gegen ein Gericht mit KI-gestützter Fallprüfung eingesetzt haben sollen. Die Juristen sollen zu einer Geldstrafe von rund 16.000 US-Dollar verurteilt worden sein. Auch dieses System soll die versteckten Inhalte erkannt haben, bevor die Verarbeitung begann.

Die bislang bekannten Vorfälle zeigen daher keinen erfolgreichen Angriff. Sie machen jedoch eine Angriffsfläche sichtbar, die viele Projekte zur Automatisierung der Justiz möglicherweise von Anfang an nicht berücksichtigt haben.

Das Risiko betrifft auch Anwälte. Ein Mandant könnte seinem Anwalt ein manipuliertes Dokument übergeben, ohne ihn über die enthaltenen Befehle zu informieren. Nach der Einreichung könnte der Schriftsatz über den normalen Verfahrensablauf automatisierte Systeme erreichen.

So lässt sich das Manipulationsrisiko reduzieren

Die wichtigste Schutzmaßnahme bleibt die menschliche Prüfung, insbesondere bevor eine automatisierte Analyse Entscheidungen, Prioritäten oder verfahrensrechtliche Bewertungen beeinflusst. Die Kontrollen sollten nach winzigen Zeichen, Text in der Farbe des Hintergrunds, verborgenen Ebenen und Anweisungen in ungewöhnlichen Dokumentbereichen suchen.

Systeme sollten operative Anweisungen, Metadaten und den Inhalt der Schriftsätze außerdem strikt voneinander trennen. Eingereichter Text muss als nicht vertrauenswürdiges Analysematerial behandelt werden, niemals als autorisierte Befehlsquelle.

Es reicht nicht aus zu prüfen, ob die KI falsche Zitate oder ungenaue Antworten erzeugt. Auch die Eingaben müssen kontrolliert, die an Dokumenten vorgenommenen Transformationen protokolliert und unsichtbare oder semantisch auffällige Elemente automatisch gemeldet werden.

Darüber hinaus sind spezifische Verfahrensregeln für den Umgang mit Prompt-Injection erforderlich: Verfahren zur Quarantäne verdächtiger Schriftsätze, Schulungen für Richter und Mitarbeitende, klare Verantwortlichkeiten sowie verhältnismäßige Sanktionen bei wiederholtem Missbrauch. In besonders schweren Fällen kann eine vorübergehende Sperrung des E-Filing-Systems als Eindämmungsmaßnahme dienen.

Für Selbstvertreter birgt die Nutzung von Chatbots ein zusätzliches Risiko. Wer ein System lediglich um Bestätigung der eigenen These bittet, erhält möglicherweise gefällige Antworten ohne Faktenprüfung oder Auseinandersetzung mit Gegenargumenten. Ein automatisierter Assistent sollte auch eingesetzt werden, um Schwachstellen zu finden, Quellen zu prüfen und Einwände zu formulieren – nicht nur, um eine bereits festgelegte Schlussfolgerung zu stärken.