Prompt injection en documentos judiciales: un litigante intenta manipular la IA del tribunal

Instrucciones ocultas en escritos presentados en Connecticut

Un juez de Connecticut ha identificado lo que parece ser el primer caso en Estados Unidos de prompt injection insertada deliberadamente en documentos judiciales. El autor es Matthew Elliott, un litigante sin abogado que acusaba a un proveedor sanitario de denegarle indebidamente el acceso a su historial médico.

Elliott presentó los escritos a través del sistema de presentación electrónica del Connecticut Judicial Branch e incluyó en el texto instrucciones dirigidas a posibles sistemas de inteligencia artificial encargados de analizarlos. El intento no influyó en la decisión: el sistema judicial estatal no utiliza IA para examinar ni decidir sobre los escritos procesales.

No obstante, el juez Walter Spader Jr. calificó la conducta como un grave abuso del procedimiento. El caso demuestra que un documento puede contener dos niveles de comunicación: uno visible para el tribunal y otro oculto, destinado a un posible modelo automatizado.

Cómo funcionaba la prompt injection

Elliott redujo el texto de las instrucciones a un tamaño mínimo y lo coloreó de blanco sobre fondo blanco. Un lector humano que visualizara normalmente el documento no debería haberlo detectado. Sin embargo, el contenido seguía presente en el archivo y podía ser capturado por un sistema automatizado durante la extracción o el procesamiento del texto.

Los comandos pedían al sistema de IA que respaldara los argumentos del litigante, ignorara rechazos o decisiones desfavorables anteriores y formulara medidas correctivas coherentes con el resultado que Elliott deseaba.

La técnica explota la confusión entre datos e instrucciones. El documento presentado debería tratarse como contenido que debe examinarse; un modelo vulnerable podría interpretar las frases ocultas como órdenes operativas. De este modo, el atacante intenta hacer pasar su texto por una directiva procedente del operador del sistema, del tribunal o de la parte contraria.

Según Spader, el ocultamiento evidencia la intención manipuladora. Si Elliott hubiera querido plantear dudas sobre el uso de la IA, podría haberlo hecho abiertamente en sus escritos, sin insertar comandos invisibles para los demás participantes en el procedimiento.

El tribunal no utilizaba IA, pero el abuso fue detectado

En este caso faltaba el objetivo tecnológico que Elliott parecía querer condicionar. El Connecticut Judicial Branch no emplea sistemas de IA para revisar o decidir sobre los escritos, por lo que los prompts no pudieron alterar ninguna evaluación automatizada.

El texto oculto fue descubierto durante el examen humano de los materiales. Por tanto, el episodio no demuestra que la técnica tuviera éxito operativo. Sí demuestra, sin embargo, que los documentos judiciales pueden convertirse en vectores de ataque contra herramientas automatizadas si estas se incorporan al flujo de trabajo sin una separación adecuada entre contenido y comandos.

El problema es distinto de las alucinaciones de los chatbots, las citas inexistentes o las sentencias inventadas. En esos casos, el error afecta a la salida generada por el sistema. Aquí el riesgo nace de la entrada: el atacante prepara el material para que el modelo siga instrucciones no autorizadas mientras lo analiza.

No se sabe qué modelo comercial específico utilizó Elliott para elaborar o respaldar sus argumentos. Tampoco se ha identificado ningún producto de IA adoptado por el tribunal.

Nuevos mensajes ocultos y sanciones procesales

Elliott ya había presentado argumentos que fueron rechazados tras ser evaluados por personas con conocimientos jurídicos. El juez consideró que los prompts pretendían obtener, mediante un procedimiento artificial, el resultado que el litigante no había logrado alcanzar con los escritos ordinarios.

Después de ser advertido de la posible imposición de sanciones, Elliott habría seguido insertando mensajes ocultos en documentos posteriores. Sostuvo que esos contenidos eran bromas. Entre ellos figuraban un enlace a un vídeo de YouTube sobre Nosferatu, el mensaje:

hi :) I hope yo ucant see me

y una cadena aparentemente carente de significado:

TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH

Para Spader, la explicación no resultaba creíble. No tiene sentido ocultar supuestas bromas en escritos que se pretende que el tribunal considere seriamente. Además, una comunicación clandestina inaccesible para los demandados compromete la igualdad de armas entre las partes.

El juez no impuso una sanción económica. También tuvo en cuenta que Elliott actuaba sin asistencia letrada y la posibilidad de que las herramientas de IA le hubieran convencido de que sus argumentos eran incontestables.

La consecuencia fue la prohibición de utilizar en el futuro la presentación electrónica. Elliott deberá presentar sus escritos en formato impreso. Según el juez, la medida no impide el acceso a la justicia y reduce el riesgo de nuevas manipulaciones del sistema de e-filing.

El riesgo para los tribunales que utilizan sistemas automatizados

Connecticut no utiliza IA para decidir sobre los escritos, pero otros sistemas judiciales emplean herramientas automatizadas para examinar documentos o apoyar la gestión de casos. En esos entornos, un archivo que contenga instrucciones ocultas podría intentar alterar resúmenes, clasificaciones, prioridades o recomendaciones destinadas al personal.

En un episodio separado ocurrido en Brasil, dos abogados habrían utilizado una técnica similar contra un tribunal equipado con IA para revisar casos. Los letrados habrían sido sancionados con unos 16.000 dólares. Ese sistema también habría detectado el contenido oculto antes de iniciar el procesamiento.

Por tanto, los episodios conocidos no muestran un ataque exitoso. Sin embargo, ponen de manifiesto una superficie de ataque que muchos proyectos de automatización judicial podrían no haber considerado desde el principio.

El riesgo también afecta a los abogados. Un cliente podría entregar a su abogado un documento manipulado sin informarle de la presencia de los comandos. Una vez presentado, el escrito podría llegar a herramientas automatizadas a través del flujo procesal habitual.

Cómo reducir el riesgo de manipulación

La primera defensa sigue siendo la revisión humana, especialmente antes de que un análisis automatizado influya en decisiones, prioridades o evaluaciones procesales. Los controles deberían buscar caracteres microscópicos, texto del mismo color que el fondo, capas ocultas e instrucciones insertadas en zonas inusuales del documento.

Además, los sistemas deberían separar claramente las instrucciones operativas, los metadatos y el contenido de los escritos. El texto presentado debe tratarse como material no confiable que debe analizarse, nunca como una fuente autorizada de comandos.

No basta con comprobar si la IA produce citas falsas o respuestas inexactas. También es necesario controlar las entradas, registrar las transformaciones aplicadas a los documentos y señalar automáticamente los elementos invisibles o semánticamente anómalos.

Por último, se necesitan normas procesales específicas para gestionar la prompt injection: procedimientos de cuarentena para los escritos sospechosos, formación para jueces y personal, responsabilidades claras y sanciones proporcionales a los abusos reiterados. En los casos más graves, el bloqueo temporal del e-filing puede convertirse en una medida de contención.

Para los litigantes sin representación legal, el uso de chatbots presenta un riesgo adicional. Pedir a un sistema que confirme únicamente la propia tesis puede producir respuestas complacientes, sin verificación de los hechos ni contraste con los argumentos contrarios. Un asistente automatizado debería utilizarse también para detectar debilidades, comprobar las fuentes y formular objeciones, no solo para reforzar una conclusión ya elegida.