Anthropic a installé six employés de l'organisation d'évaluation à but non lucratif METR dans ses locaux. Ils disposent de matériel de l'entreprise et d'un accès aux systèmes internes utilisés pour évaluer les risques liés aux modèles d'IA avancés.
Selon un rapport du Financial Times publié par Ars Technica, cet arrangement a été annoncé jeudi. Anthropic décrit l'accès de METR comme étant « à peu près au même niveau » que celui de ses propres équipes d'évaluation des risques.
Cette initiative va plus loin que la pratique plus courante, qui consiste à donner à un testeur externe un accès limité à un modèle achevé. En travaillant dans l'environnement d'Anthropic, METR peut examiner des éléments et des outils internes qui ne seraient normalement pas accessibles via les interfaces publiques.
METR peut publier ses conclusions, sous réserve de caviardages définis
Anthropic ne rémunère pas METR pour ce travail. Selon le rapport, l'organisation n'accepte pas de dons des entreprises d'IA ni de leurs employés. Elle est financée par des particuliers, des organisations philanthropiques et des organismes publics, notamment l'AI Security Institute britannique.
METR publiera son analyse, et Anthropic ne peut pas en bloquer la publication. En revanche, l'entreprise peut exiger le retrait des données clients, des informations protégées par le secret professionnel avocat-client et des détails sur l'architecture des modèles.
Ces restrictions établissent un équilibre entre le contrôle externe et la protection des informations sensibles. Elles signifient aussi que les rapports publics de METR pourraient ne pas contenir tous les éléments de preuve dont disposent ses évaluateurs intégrés.
Anthropic indique avoir encouragé ses employés à traiter l'équipe de METR un peu comme leurs collègues chargés des risques internes lorsqu'ils partagent des informations pertinentes. L'entreprise soutient que des modèles de plus en plus performants exigent des garde-fous plus solides et des évaluations plus exigeantes. Elle estime aussi que certaines informations liées à la sécurité ne peuvent pas être diffusées largement, car elles pourraient aider des acteurs malveillants ou exposer une technologie commercialement sensible.
Un modèle de supervision emprunté au secteur bancaire
Anthropic compare cet arrangement aux examinateurs bancaires en poste : des superviseurs externes qui travaillent au sein des grandes institutions financières et évaluent les activités risquées avant qu'elles ne causent des dommages plus larges.
L'entreprise préconise une approche similaire pour les grands laboratoires d'IA. En septembre, le directeur général d'Anthropic, Dario Amodei, a proposé d'intégrer des auditeurs externes chez les développeurs de modèles de pointe. Le directeur général d'OpenAI, Sam Altman, et le directeur général de SpaceX, Elon Musk, ont publiquement soutenu ce concept, même si le rapport précise qu'OpenAI n'a pas annoncé de projet d'accueil d'évaluateurs.
Anthropic a déclaré intégrer ces évaluateurs de manière volontaire et estimer que les autres entreprises d'IA de pointe devraient faire de même. METR a indiqué être prête à travailler avec tous ces développeurs afin de fournir au public des preuves plus solides sur leurs systèmes.
Anthropic collabore également avec des organisations externes spécialisées sur des catégories de risques plus étroites. SecureBio évalue les risques liés aux armes chimiques et biologiques, tandis qu'Accenture a été citée comme un autre partenaire de tests de sécurité le mois précédent.
L'accès ne tranche pas le débat sur l'indépendance
Intégrer des évaluateurs pourrait leur fournir un contexte nettement plus riche que des évaluations menées uniquement par un accès contrôlé au modèle. Cela peut aider à examiner la manière dont une entreprise identifie les dangers, ce que révèlent ses tests internes et la façon dont les conclusions influencent les garde-fous.
Cette structure ne suffit toutefois pas, à elle seule, à établir qu'un modèle est sûr. Sa valeur dépendra de la liberté pratique de l'évaluateur à choisir les tests, à tirer ses conclusions et à publier des éléments probants significatifs malgré les caviardages autorisés.
Des critiques cités dans le rapport ont averti que des relations étroites entre les évaluateurs et les entreprises qu'ils contrôlent peuvent créer des conflits d'intérêts, en citant des préoccupations comparables dans le secteur comptable. D'autres estiment que la supervision volontaire ne doit pas remplacer la réglementation publique.
Pour le public, la première mesure concrète de cet arrangement sera l'analyse publiée par METR : les risques qu'elle évalue, les éléments de preuve qu'elle peut divulguer et la question de savoir si un accès intégré produit des conclusions qui n'auraient pas émergé par des tests externes conventionnels.
