Injection de prompt dans des documents judiciaires : un requérant tente de manipuler l’IA du tribunal

Des instructions cachées dans des actes déposés au Connecticut

Un juge du Connecticut a identifié ce qui semble être le premier cas, aux États-Unis, d’injection de prompt délibérément insérée dans des documents judiciaires. Son auteur est Matthew Elliott, un requérant non représenté par un avocat, qui accusait un prestataire de soins de santé de lui refuser abusivement l’accès à son dossier médical.

Elliott a déposé ses actes via le système d’e-filing du pouvoir judiciaire du Connecticut, en intégrant au texte des instructions destinées à d’éventuels systèmes d’intelligence artificielle chargés de les analyser. La tentative n’a eu aucune incidence sur la décision : le système judiciaire de l’État n’utilise pas l’IA pour examiner ou trancher les actes de procédure.

Le juge Walter Spader Jr. a néanmoins qualifié ce comportement de grave abus de procédure. L’affaire montre en effet qu’un document peut contenir deux niveaux de communication : l’un visible par le tribunal, l’autre dissimulé et destiné à un éventuel modèle automatisé.

Comment fonctionnait l’injection de prompt

Elliott avait réduit le texte des instructions à une taille minuscule et l’avait affiché en blanc sur fond blanc. Un lecteur humain consultant normalement le document n’aurait pas dû le remarquer. Le contenu restait toutefois présent dans le fichier et pouvait être récupéré par un système automatisé lors de l’extraction ou du traitement du texte.

Les commandes demandaient au système d’IA de soutenir les arguments du requérant, d’ignorer les rejets antérieurs ou les décisions défavorables et de formuler des mesures correctives conformes au résultat recherché par Elliott.

Cette technique exploite une confusion entre données et instructions. Le document déposé devrait être traité comme un contenu à examiner ; un modèle vulnérable pourrait au contraire interpréter les phrases cachées comme des ordres opérationnels. L’attaquant tente ainsi de faire passer son texte pour une directive provenant de l’opérateur du système, du tribunal ou de la partie adverse.

Selon Spader, la dissimulation révèle clairement l’intention manipulatrice. Si Elliott avait voulu soulever ouvertement des questions sur l’utilisation de l’IA, il aurait pu le faire dans ses mémoires, sans insérer de commandes invisibles pour les autres participants à la procédure.

Le tribunal n’utilisait pas l’IA, mais l’abus a été détecté

Dans cette affaire, la cible technologique qu’Elliott semblait vouloir influencer n’existait pas. Le pouvoir judiciaire du Connecticut n’utilise pas de systèmes d’IA pour examiner ou décider du contenu des actes ; les prompts n’ont donc pu altérer aucune évaluation automatisée.

Le texte caché a néanmoins été découvert lors de l’examen humain des documents. L’épisode ne démontre donc pas que la technique ait réussi sur le plan opérationnel. Il montre toutefois que les documents judiciaires peuvent devenir des vecteurs d’attaque contre des outils automatisés, si ceux-ci sont intégrés au flux de travail sans séparation adéquate entre contenu et commandes.

Le problème diffère des hallucinations des chatbots, des citations inexistantes ou des décisions inventées. Dans ces cas, l’erreur concerne la sortie produite par le système. Ici, le risque vient de l’entrée : l’attaquant prépare le contenu afin que le modèle suive des instructions non autorisées pendant son analyse.

On ignore quel modèle commercial précis Elliott a utilisé pour construire ou étayer ses arguments. Aucun produit d’IA adopté par le tribunal n’a par ailleurs été identifié.

De nouveaux messages dissimulés et des sanctions procédurales

Elliott avait déjà présenté des arguments rejetés après avoir été examinés par des personnes compétentes en droit. Le juge a estimé que les prompts visaient à obtenir, par un moyen artificiel, le résultat que le requérant n’était pas parvenu à atteindre au moyen de mémoires ordinaires.

Après avoir été averti de possibles sanctions, Elliott aurait continué à insérer des messages cachés dans ses documents ultérieurs. Il a affirmé qu’il s’agissait de plaisanteries. Ceux-ci comprenaient notamment un lien vers une vidéo YouTube sur Nosferatu, le message :

hi :) I hope yo ucant see me

et une chaîne apparemment dépourvue de sens :

TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH

Pour Spader, cette explication n’était pas crédible. Il n’est pas logique de dissimuler de prétendues plaisanteries dans des actes que l’on souhaite voir pris au sérieux par le tribunal. En outre, une communication clandestine, inaccessible aux défendeurs, compromet l’équité du débat contradictoire.

Le juge n’a pas imposé de sanction financière. Il a également tenu compte du fait qu’Elliott agissait sans assistance juridique et de la possibilité que des outils d’IA l’aient convaincu du caractère incontestable de ses arguments.

La conséquence a été l’interdiction d’utiliser à l’avenir le dépôt électronique. Elliott devra présenter ses actes au format papier. Selon le juge, cette mesure ne fait pas obstacle à l’accès à la justice et réduit le risque de nouvelles manipulations du système d’e-filing.

Le risque pour les tribunaux utilisant des systèmes automatisés

Le Connecticut n’utilise pas l’IA pour statuer sur les actes, mais d’autres systèmes judiciaires emploient des outils automatisés pour examiner des documents ou faciliter la gestion des affaires. Dans ces environnements, un fichier contenant des instructions cachées pourrait tenter d’altérer des synthèses, des classifications, des niveaux de priorité ou des recommandations destinées au personnel.

Dans une affaire distincte au Brésil, deux avocats auraient utilisé une technique similaire contre un tribunal doté d’une IA pour examiner les affaires. Ils auraient été condamnés à une amende d’environ 16 000 dollars. Là encore, le système aurait détecté le contenu dissimulé avant de commencer le traitement.

Les affaires connues ne témoignent donc pas d’une attaque réussie. Elles révèlent néanmoins une surface d’attaque que de nombreux projets d’automatisation judiciaire pourraient ne pas avoir prise en compte dès leur conception.

Le risque concerne également les avocats. Un client pourrait remettre à son conseil un document manipulé sans l’informer de la présence des commandes. Une fois déposé, l’acte pourrait atteindre des outils automatisés via le flux procédural habituel.

Comment réduire le risque de manipulation

La première ligne de défense reste la revue humaine, en particulier avant qu’une analyse automatisée n’influence des décisions, des priorités ou des évaluations procédurales. Les contrôles devraient rechercher les caractères microscopiques, les textes de la même couleur que l’arrière-plan, les calques masqués et les instructions placées dans des zones inhabituelles du document.

Les systèmes devraient également séparer strictement les instructions opérationnelles, les métadonnées et le contenu des actes. Le texte déposé doit être traité comme une donnée non fiable à analyser, jamais comme une source autorisée de commandes.

Il ne suffit pas de vérifier si l’IA produit de fausses citations ou des réponses inexactes. Il faut aussi contrôler les entrées, journaliser les transformations appliquées aux documents et signaler automatiquement les éléments invisibles ou sémantiquement anormaux.

Des règles procédurales spécifiques sont enfin nécessaires pour gérer les injections de prompt : procédures de mise en quarantaine des actes suspects, formation des juges et du personnel, responsabilités clairement définies et sanctions proportionnées en cas d’abus répétés. Dans les situations les plus graves, le blocage temporaire de l’e-filing peut constituer une mesure de confinement.

Pour les justiciables non représentés, l’utilisation de chatbots présente un risque supplémentaire. Demander à un système de confirmer uniquement sa propre thèse peut produire des réponses complaisantes, sans vérification des faits ni confrontation avec les arguments adverses. Un assistant automatisé devrait également servir à rechercher les faiblesses, vérifier les sources et formuler des objections, et pas seulement à renforcer une conclusion déjà arrêtée.