Anthropic ha inserito sei dipendenti dell'organizzazione no profit di valutazione METR nei propri uffici, mettendo a loro disposizione hardware aziendale e accesso ai sistemi interni usati per valutare i rischi dei modelli di IA avanzati.
L'accordo è stato annunciato giovedì, secondo un report del Financial Times pubblicato da Ars Technica. Anthropic ha descritto l'accesso concesso a METR come «sostanzialmente alla pari» di quello dei propri team interni di valutazione dei rischi.
L'iniziativa va oltre la pratica più diffusa, che consiste nel concedere a un tester esterno un accesso limitato a un modello già completato. Lavorando all'interno dell'ambiente di Anthropic, METR può esaminare prove e strumenti interni che normalmente non sarebbero disponibili attraverso le interfacce pubbliche.
METR può pubblicare i risultati, con alcune redazioni definite
Anthropic non paga METR per il lavoro. Il report precisa che l'organizzazione non accetta donazioni dalle aziende di IA né dai loro dipendenti, ma riceve fondi da privati, organizzazioni filantropiche ed enti governativi, tra cui l'AI Security Institute del Regno Unito.
METR pubblicherà la propria analisi, e Anthropic non può bloccarne la pubblicazione. L'azienda, però, può chiedere la rimozione dei dati dei clienti, delle informazioni protette dal segreto professionale tra avvocato e cliente e dei dettagli sull'architettura dei modelli.
Queste limitazioni creano un equilibrio tra il controllo esterno e la tutela del materiale sensibile. Significano anche che i report pubblici di METR potrebbero non contenere tutte le prove a disposizione dei valutatori inseriti nell'azienda.
Anthropic ha detto di aver incoraggiato i dipendenti a trattare il team di METR quasi come colleghi interni del settore rischi, quando condividono informazioni pertinenti. L'azienda sostiene che modelli sempre più capaci richiedano garanzie più solide e valutazioni più rigorose, mentre alcune informazioni legate alla sicurezza non possono essere diffuse in modo ampio, perché potrebbero aiutare malintenzionati o esporre tecnologie di valore commerciale.
Un modello di supervisione preso in prestito dal settore bancario
Anthropic ha paragonato l'accordo ai bank examiner residenti, ossia i supervisori esterni che lavorano all'interno delle grandi istituzioni finanziarie e valutano le attività rischiose prima che causino danni più ampi.
L'azienda sostiene un approccio simile per i principali laboratori di IA. A settembre, l'amministratore delegato di Anthropic Dario Amodei ha proposto di inserire revisori esterni presso gli sviluppatori di modelli di frontiera. L'amministratore delegato di OpenAI Sam Altman e quello di SpaceX Elon Musk hanno pubblicamente sostenuto l'idea, anche se il report riferisce che OpenAI non ha annunciato piani per ospitare valutatori.
Anthropic ha dichiarato di inserire valutatori su base volontaria e ritiene che anche le altre aziende di frontiera dell'IA dovrebbero seguire l'esempio. METR ha affermato di essere pronta a collaborare con tutti questi sviluppatori per fornire al pubblico prove più solide sui loro sistemi.
Anthropic collabora anche con organizzazioni esterne specializzate su categorie di rischio più circoscritte. SecureBio valuta i rischi legati alle armi chimiche e biologiche, mentre Accenture è stata indicata come un altro partner per i test di sicurezza il mese precedente.
L'accesso non risolve il dibattito sull'indipendenza
Inserire valutatori all'interno dell'azienda potrebbe fornire loro un contesto molto più ampio rispetto alle valutazioni condotte esclusivamente attraverso un accesso controllato al modello. Potrebbe aiutarli a esaminare come un'azienda individua i pericoli, che cosa emergono dai test interni e in che modo i risultati influenzano le misure di sicurezza.
Questa struttura non dimostra di per sé che un modello sia sicuro. Il suo valore dipenderà dalla reale libertà del valutatore di scegliere i test, trarre conclusioni e pubblicare prove significative nonostante le redazioni consentite.
I critici citati nel report hanno avvertito che rapporti stretti tra valutatori e aziende valutate possono generare conflitti di interesse, richiamando preoccupazioni analoghe nel settore contabile. Altri sostengono che la supervisione volontaria non dovrebbe sostituire la regolamentazione pubblica.
Per il pubblico, la prima misura concreta dell'accordo sarà l'analisi pubblicata da METR: quali rischi valuta, quali prove può rendere note e se l'accesso dall'interno produce risultati che non sarebbero emersi con i tradizionali test esterni.
