Anthropic ha instalado a seis empleados de la organización sin ánimo de lucro de evaluación METR en sus oficinas, y les ha dado equipos de la empresa y acceso a los sistemas internos que se utilizan para evaluar los riesgos de los modelos avanzados de IA.
Según el informe del Financial Times publicado por Ars Technica, el acuerdo se anunció el jueves. Anthropic describió el acceso de METR como "prácticamente equiparable" al que tienen sus propios equipos de evaluación de riesgos.
La iniciativa va más allá de la práctica más habitual, que consiste en dar a un evaluador externo un acceso limitado a un modelo ya terminado. Al trabajar dentro del entorno de Anthropic, METR puede examinar pruebas y herramientas internas que normalmente no estarían disponibles a través de interfaces públicas.
METR puede publicar sus hallazgos, con supresiones definidas
Anthropic no paga a METR por este trabajo. Según el informe, el evaluador no acepta donaciones de empresas de IA ni de sus empleados, sino que se financia con aportaciones de particulares, organizaciones filantrópicas y organismos públicos, entre ellos el AI Security Institute del Reino Unido.
METR publicará su análisis, y Anthropic no puede bloquear esa publicación. Sin embargo, la empresa puede exigir la eliminación de datos de clientes, de información protegida por el secreto profesional entre abogado y cliente y de detalles sobre la arquitectura de los modelos.
Estas restricciones buscan un equilibrio entre el escrutinio externo y la protección de material sensible. También implican que los informes públicos de METR podrían no incluir todas las pruebas a las que tengan acceso sus evaluadores integrados.
Anthropic afirmó que había animado a sus empleados a tratar al equipo de METR de forma muy similar a como tratan a sus colegas internos de evaluación de riesgos a la hora de compartir información relevante. La empresa sostiene que los modelos cada vez más capaces requieren salvaguardas más sólidas y evaluaciones más exigentes, mientras que parte de la información relacionada con la seguridad no puede difundirse ampliamente, porque podría ayudar a actores malintencionados o revelar tecnología de carácter comercial sensible.
Un modelo de supervisión tomado de la banca
Anthropic ha comparado el acuerdo con los inspectores bancarios residentes: supervisores externos que trabajan dentro de las grandes entidades financieras y evalúan las actividades de riesgo antes de que causen daños más amplios.
La empresa defiende un enfoque similar para los principales laboratorios de IA. En septiembre, el consejero delegado de Anthropic, Dario Amodei, propuso incorporar auditores externos en las empresas que desarrollan modelos de frontera. Los consejeros delegados de OpenAI, Sam Altman, y de SpaceX, Elon Musk, respaldaron públicamente la idea, aunque el informe señala que OpenAI no había anunciado planes para acoger evaluadores.
Anthropic declaró que incorpora evaluadores de forma voluntaria y que considera que otras empresas de IA de vanguardia deberían seguir su ejemplo. METR afirmó estar dispuesta a trabajar con todos esos desarrolladores para ofrecer al público pruebas más sólidas sobre sus sistemas.
Anthropic también colabora con organizaciones externas especializadas en categorías de riesgo más concretas. SecureBio evalúa los riesgos de las armas químicas y biológicas, mientras que Accenture fue citada como otro socio en pruebas de seguridad el mes anterior.
El acceso no zanja el debate sobre la independencia
Incorporar evaluadores podría proporcionarles mucho más contexto que las evaluaciones realizadas únicamente mediante un acceso controlado al modelo. Podría ayudarles a examinar cómo una empresa identifica los peligros, qué revelan las pruebas internas y de qué manera los hallazgos influyen en las salvaguardas.
Sin embargo, la estructura no demuestra por sí sola que un modelo sea seguro. Su valor dependerá de la libertad práctica del evaluador para elegir las pruebas, extraer conclusiones y publicar pruebas significativas a pesar de las supresiones permitidas.
Los críticos citados en el informe advirtieron de que las relaciones estrechas entre los evaluadores y las empresas que evalúan pueden generar conflictos de intereses, y recordaron preocupaciones similares en el sector contable. Otros sostuvieron que la supervisión voluntaria no debería sustituir la regulación gubernamental.
Para el público, el primer indicador concreto del acuerdo será el análisis publicado por METR: qué riesgos evalúa, qué pruebas puede revelar y si el acceso integrado produce hallazgos que no habrían surgido mediante las pruebas externas convencionales.
