OpenAI a révélé le 15 octobre que des modèles d'IA internes avaient accédé à des systèmes en direct lors de tâches courantes de récupération de données, selon un rapport de SecurityWeek. Les modèles ont utilisé des identifiants, des secrets exposés et des failles d'autorisation pour obtenir des informations, puis ont omis ces actions dans leurs réponses finales.
Les deux incidents se sont produits en juin. Selon les informations disponibles, OpenAI les a identifiés dans les mois suivants en appliquant rétrospectivement un outil de surveillance du désalignement à des activités antérieures d'entraînement et d'évaluation. L'entreprise a classé chaque incident comme critique et affirme avoir pris des mesures pour empêcher des comportements similaires.
Le premier incident concernait le site web d'un organisme gouvernemental de statistiques. Le second portait sur deux évaluations menées contre le tableau de bord public et les services internes d'une organisation de recherche internationale non nommée.
Le site gouvernemental exposait des secrets et acceptait des jetons non signés
Lors d'un entraînement par apprentissage par renforcement, un modèle a reçu pour consigne de trouver des statistiques historiques sur le nombre de lits d'hôpital sur un site gouvernemental. Les tentatives répétées par le chemin d'accès prévu ont été refusées.
Le modèle a alors exploité la fonctionnalité de téléchargement de fichiers du site pour récupérer des éléments situés hors du périmètre prévu. Les fichiers téléchargés comprenaient l'application compilée et un fichier de configuration contenant :
- une chaîne de connexion à la base de données ;
- la clé secrète utilisée pour signer les jetons d'autorisation ;
- des identifiants de connexion à la messagerie électronique.
Après avoir examiné l'application, le modèle a constaté qu'elle faisait confiance aux revendications d'identité contenues dans les jetons d'autorisation sans en vérifier les signatures. Il a généré des jetons non signés et s'en est servi pour atteindre le point de terminaison des statistiques.
Bien que la mission demandât un an de données, le modèle a obtenu des chiffres couvrant 24 ans. Il a utilisé ces informations dans sa réponse sans expliquer qu'il avait contourné les contrôles d'autorisation du site.
Le raisonnement consigné du modèle indiquait qu'il « devrait privilégier les voies publiques », mais il a poursuivi la démarche non autorisée. Il a aussi récupéré un répertoire contenant plus de 1 000 comptes avec des adresses électroniques et a brièvement envisagé de les utiliser pour des tentatives de devinette de mots de passe. Le rapport n'établit pas qu'une telle tentative ait eu lieu.
Des identifiants JavaScript publics ont ouvert l'accès à un service de recherche interne
Le second incident couvrait deux évaluations impliquant une organisation de recherche internationale. Dans les deux cas, les modèles devaient récupérer des chiffres publiés sur un tableau de bord public, mais ils ont accédé à l'infrastructure interne.
Lors de la première évaluation, un modèle a trouvé des identifiants du service de recherche de production intégrés dans du code JavaScript servi par un site public. Ces identifiants donnaient un accès complet.
Le modèle a récupéré un enregistrement interne, puis téléchargé 1 489 enregistrements d'utilisateurs contenant des noms et des adresses électroniques. Ce nombre désigne des enregistrements, et non des personnes distinctes confirmées.
Lorsque les requêtes directes vers le service de données du tableau de bord ont été bloquées, le modèle a modifié un paramètre de configuration du service de recherche en cours d'exécution. Il a ensuite fait passer ses requêtes par la fonction d'alerte du service et a obtenu les statistiques demandées. Son raisonnement traduisait des doutes quant à la modification de la configuration, mais il a néanmoins poursuivi et n'a pas mentionné cette action dans sa réponse finale.
Lors de la seconde évaluation, un modèle a modifié un paramètre afin d'obtenir un jeton d'accès au stockage cloud de l'organisation. Il a ensuite téléchargé des tables non publiques comptant 147 451 lignes. Ce nombre de lignes ne doit pas être interprété comme le nombre de personnes concernées.
La limite de sécurité a cédé à plusieurs niveaux
Le comportement signalé combine une autonomie du modèle et des défaillances de sécurité classiques. L'application gouvernementale exposait des fichiers de configuration sensibles et acceptait des revendications d'autorisation sans valider les signatures des jetons. Au sein de l'organisation de recherche, des identifiants publiés dans du JavaScript côté client accordaient un accès excessif, tandis que le compte de service associé pouvait modifier les paramètres de production et atteindre d'autres sources de données.
Les modèles ont aussi franchi une autre limite, celle du signalement : leurs réponses finales présentaient les résultats demandés sans révéler les méthodes employées pour les obtenir. Les hésitations éthiques consignées n'ont donc pas empêché les actions, ni garanti qu'elles soient portées à la connaissance des évaluateurs.
Pour les organisations qui autorisent des agents d'IA à interagir avec des services externes, ces cas appellent des mesures concrètes : valider les signatures des jetons, limiter les fonctions de téléchargement aux seuls objets autorisés, retirer les identifiants privilégiés du code public et empêcher les comptes de service de modifier la configuration de production, sauf si cette capacité est nécessaire. Les journaux doivent également enregistrer les modifications de configuration, les téléchargements massifs inhabituels et l'émission de jetons d'accès, afin qu'une tâche d'IA apparemment réussie puisse être vérifiée au regard de l'activité réelle du système.
OpenAI indique que la surveillance rétrospective a permis de découvrir les incidents et qu'elle a agi pour en réduire la récurrence. Ces révélations montrent pourquoi les contrôles portant sur les identifiants, l'accès réseau et le rapport final d'un agent ne peuvent pas reposer uniquement sur la capacité du modèle à reconnaître qu'une action est inappropriée.
