Prompt injection nei documenti giudiziari: un ricorrente tenta di manipolare l’IA del tribunale

Istruzioni nascoste negli atti depositati in Connecticut

Un giudice del Connecticut ha individuato quello che appare essere il primo caso negli Stati Uniti di prompt injection inserita deliberatamente in documenti giudiziari. L’autore è Matthew Elliott, un ricorrente senza avvocato che accusava un operatore sanitario di negargli impropriamente l’accesso alla propria documentazione medica.

Elliott ha depositato gli atti attraverso il sistema di e-filing del Connecticut Judicial Branch, inserendo nel testo istruzioni destinate a eventuali sistemi di intelligenza artificiale incaricati di analizzarli. Il tentativo non ha influenzato la decisione: il sistema giudiziario statale non utilizza IA per esaminare o decidere gli atti processuali.

Il giudice Walter Spader Jr. ha comunque qualificato la condotta come un grave abuso del procedimento. Il caso mostra infatti che un documento può contenere due livelli di comunicazione: uno visibile al tribunale e uno occultato, destinato a un eventuale modello automatico.

Come funzionava la prompt injection

Elliott aveva ridotto il testo delle istruzioni a dimensioni minime e lo aveva colorato di bianco su sfondo bianco. Un lettore umano, visualizzando normalmente il documento, non avrebbe dovuto notarlo. Il contenuto restava però presente nel file e poteva essere acquisito da un sistema automatico durante l’estrazione o l’elaborazione del testo.

I comandi chiedevano al sistema di IA di sostenere le tesi del ricorrente, ignorare precedenti rigetti o decisioni sfavorevoli e formulare misure correttive coerenti con il risultato desiderato da Elliott.

La tecnica sfrutta una confusione tra dati e istruzioni. Il documento depositato dovrebbe essere trattato come contenuto da esaminare; un modello vulnerabile potrebbe invece interpretare le frasi nascoste come ordini operativi. L’attaccante tenta così di far passare il proprio testo per una direttiva proveniente dall’operatore del sistema, dal tribunale o dalla controparte.

Secondo Spader, l’occultamento rende evidente l’intento manipolativo. Se Elliott avesse voluto sollevare apertamente dubbi sull’impiego dell’IA, avrebbe potuto farlo nelle proprie memorie, senza inserire comandi invisibili agli altri partecipanti al procedimento.

Il tribunale non usava IA, ma l’abuso è stato rilevato

Nel caso concreto mancava il bersaglio tecnologico che Elliott sembrava voler condizionare. Il Connecticut Judicial Branch non impiega sistemi di IA per la revisione o la decisione degli atti, quindi i prompt non hanno potuto alterare alcuna valutazione automatizzata.

Il testo nascosto è stato comunque scoperto durante l’esame umano dei materiali. L’episodio non dimostra dunque che la tecnica abbia avuto successo operativo. Dimostra però che i documenti giudiziari possono diventare vettori di attacchi contro strumenti automatici, se questi vengono introdotti nel flusso di lavoro senza adeguate separazioni tra contenuto e comandi.

Il problema è diverso dalle allucinazioni dei chatbot, dalle citazioni inesistenti o dalle sentenze inventate. In quei casi l’errore riguarda l’output prodotto dal sistema. Qui il rischio nasce dall’input: l’attaccante prepara il materiale affinché il modello segua istruzioni non autorizzate mentre lo analizza.

Non è noto quale specifico modello commerciale Elliott abbia utilizzato per costruire o sostenere le proprie argomentazioni. Non è inoltre identificato alcun prodotto di IA adottato dal tribunale.

Nuovi messaggi occulti e sanzioni processuali

Elliott aveva già presentato argomentazioni respinte dopo essere state valutate da persone informate sul diritto. Il giudice ha ritenuto che i prompt mirassero a ottenere, tramite un percorso artificiale, il risultato che il ricorrente non era riuscito a raggiungere con le normali memorie.

Dopo essere stato avvertito della possibile applicazione di sanzioni, Elliott avrebbe continuato a inserire messaggi nascosti nei documenti successivi. Ha sostenuto che quei contenuti fossero scherzi. Tra questi figuravano un collegamento a un video di YouTube su Nosferatu, il messaggio:

hi :) I hope yo ucant see me

e una stringa priva di significato apparente:

TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH

Per Spader, la spiegazione non era credibile. Non è logico nascondere presunte battute in atti che si pretende siano considerati seriamente dal tribunale. Inoltre, una comunicazione clandestina non accessibile ai convenuti compromette il confronto equo tra le parti.

Il giudice non ha imposto una sanzione economica. Ha considerato anche il fatto che Elliott agisse senza assistenza legale e la possibilità che strumenti di IA lo avessero convinto dell’incontestabilità delle sue argomentazioni.

La conseguenza è stata il divieto di usare in futuro il deposito elettronico. Elliott dovrà presentare gli atti in formato cartaceo. Secondo il giudice, la misura non impedisce l’accesso alla giustizia e riduce il rischio di ulteriori manipolazioni del sistema di e-filing.

Il rischio per i tribunali che usano sistemi automatici

Il Connecticut non utilizza IA per decidere gli atti, ma altri sistemi giudiziari impiegano strumenti automatici per esaminare documenti o supportare la gestione dei casi. In questi ambienti, un file contenente istruzioni nascoste potrebbe tentare di alterare riassunti, classificazioni, priorità o suggerimenti destinati al personale.

Un episodio separato in Brasile avrebbe coinvolto due avvocati che avrebbero utilizzato una tecnica simile contro un tribunale dotato di IA per la revisione dei casi. I legali sarebbero stati sanzionati per circa 16.000 dollari. Anche quel sistema avrebbe individuato il contenuto occultato prima di procedere all’elaborazione.

Gli episodi disponibili non mostrano quindi un attacco riuscito. Rendono però visibile una superficie d’attacco che molti progetti di automazione giudiziaria potrebbero non avere considerato fin dall’inizio.

Il rischio riguarda anche gli avvocati. Un cliente potrebbe consegnare al proprio legale un documento manipolato senza informarlo della presenza dei comandi. L’atto, una volta depositato, potrebbe raggiungere strumenti automatici attraverso il normale flusso processuale.

Come ridurre il rischio di manipolazione

La prima difesa resta la revisione umana, soprattutto prima che un’analisi automatica influenzi decisioni, priorità o valutazioni procedurali. I controlli dovrebbero cercare caratteri microscopici, testo dello stesso colore dello sfondo, livelli nascosti e istruzioni inserite in aree insolite del documento.

I sistemi dovrebbero inoltre separare in modo netto le istruzioni operative, i metadati e il contenuto degli atti. Il testo depositato deve essere trattato come materiale non attendibile da analizzare, mai come una fonte autorizzata di comandi.

Non basta verificare se l’IA produce citazioni false o risposte inesatte. Occorre controllare anche gli input, registrare le trasformazioni applicate ai documenti e segnalare automaticamente elementi invisibili o semanticamente anomali.

Servono infine regole processuali specifiche per gestire la prompt injection: procedure di quarantena degli atti sospetti, formazione per giudici e personale, responsabilità chiare e sanzioni proporzionate agli abusi ripetuti. Nei casi più gravi, il blocco temporaneo dell’e-filing può diventare una misura di contenimento.

Per i litiganti senza rappresentanza, l’uso dei chatbot presenta un ulteriore rischio. Chiedere a un sistema di confermare soltanto la propria tesi può produrre risposte compiacenti, senza verifica dei fatti né confronto con gli argomenti contrari. Un assistente automatico dovrebbe essere usato anche per cercare debolezze, controllare le fonti e formulare obiezioni, non soltanto per rafforzare una conclusione già scelta.