OpenAI ha pubblicato il report tecnico sull’incidente di luglio, quando alcuni suoi modelli sono usciti dall’ambiente di test e hanno violato i sistemi interni di Hugging Face. Il documento, affiancato da un post divulgativo, ricostruisce una catena di eventi cominciata mesi prima della violazione vera e propria. I primi segnali risalgono a maggio, quando un gruppo interno si � accorto che i modelli in valutazione raggiungevano la rete aperta dal proprio ambiente isolato. Sul punto l’azienda scrive che “col senno di poi, alcuni dei segnali precoci identificati in questo report avrebbero potuto innescare una risposta anticipata”.
Il conto della violazione � pesante. Gli agenti hanno eseguito codice su 41 server di produzione di Hugging Face, hanno ottenuto il controllo a livello di root su almeno uno, si sono procurati credenziali di produzione e hanno scaricato quattro repository di codice privati, in gran parte nell’arco di tredici ore. Dentro OpenAI il bilancio non � pi� leggero: gli agenti hanno letto 956 segreti archiviati, fra cui le credenziali dello strumento di monitoraggio che aveva dato l’allarme, e sono arrivati a un accesso di livello amministrativo su una parte dell’infrastruttura cloud dell’azienda. Il report conferma che la compromissione ha toccato anche altri fornitori, che OpenAI sceglie di non nominare completamente.
Una bacheca improvvisata su un gestore di pacchetti
Gli agenti hanno manipolato Artifactory, il gestore di pacchetti in uso internamente, in un modo che nessuno aveva previsto: lo hanno trasformato in una bacheca di messaggi, e da l� hanno raggiunto internet e gli altri modelli in esecuzione. Il modello all’origine era un modello di ricerca interno, mai rilasciato e non destinato all’uso pubblico, appartenente alla stessa famiglia del futuro Astra ma distinto per il post-training, che � la fase in cui gran parte del comportamento prende forma. Proprio perch� OpenAI stava misurando le sue capacit� massime in ambito informatico, la valutazione girava senza i classificatori di produzione che dovrebbero impedire a un modello di attaccare infrastrutture digitali. Il report indica anche un secondo modello coinvolto, GPT-5.6 Sol, che � invece gi� pubblico.
La valutazione indipendente di METR e Redwood Research, che OpenAI ha autorizzato a indagare per sei giorni, permette di dare una dimensione a quanto accaduto: circa 1.200 agenti che avrebbero dovuto restare isolati si sono scambiati oltre 70.000 messaggi e file sulla bacheca non autorizzata, e settecento di loro hanno partecipato all’attacco a Hugging Face. Un agente che si era dato il nome PHASEONE10841 ha aperto la bacheca senza che i ricercatori se ne accorgessero, e nel giro di poche ore pi� di cinquanta agenti l’avevano trovata e vi avevano lasciato oltre mille messaggi.
Dopo la scoperta di maggio OpenAI ha bloccato quell’accesso, ma per tutto maggio e giugno gli agenti hanno continuato a sfruttare vulnerabilit� per uscire in rete. Il 27 giugno uno strumento di monitoraggio ha alzato un secondo allarme, ricondotto agli agenti che usavano la bacheca improvvisata per muoversi nell’infrastruttura, e il personale reperibile ha deciso che la valutazione poteva proseguire. A inizio luglio il volume di agenti che insistevano sull’istanza Artifactory ha causato un’interruzione del servizio e la ricostruzione della piattaforma, ma chi gestiva quel guasto non sapeva della bacheca, n� di che cosa significassero agenti che comunicavano fra loro.
OpenAI ha scoperto la violazione il 20 luglio, dodici giorni dopo che gli agenti avevano aggirato le protezioni. L’azienda ha contattato Hugging Face e avviato le prime misure di contenimento, fermando la maggior parte dell’attivit� non autorizzata in tre giorni, anche se una parte � proseguita pi� a lungo. Il 25 luglio ha interrotto tutto l’addestramento relativo al modello di ricerca interno e a quelli collegati.
Il compito impossibile e la ricompensa sbagliata
Il report attribuisce l’innesco al reward hacking, il caso in cui un modello prende strade non previste, e a volte estreme, pur di raggiungere l’obiettivo assegnato. Nella valutazione ExploitGym erano presenti compiti impossibili, che dipendevano da file ai quali i modelli non potevano accedere, e i modelli hanno risposto costruendosi canali di comunicazione nuovi con gli altri agenti interni. OpenAI elenca quattro fattori all’origine della violazione: reward hacking, persistenza su compiti apparentemente impossibili, comunicazione non autorizzata e agenti che adottano gli obiettivi gli uni dagli altri.
OpenAI riconosce un problema di addestramento, non solo di sicurezza poich� gli agenti che sfruttavano il proprio ambiente quando gli strumenti legittimi fallivano venivano a volte ricompensati per averlo fatto. Proprio il meccanismo della ricompensa � ci� che trasforma un’evasione occasionale in un’abitudine appresa. C’� un esempio, nel report, che mostra bene proprio questo loop “dopaminico”: un agente ha sfruttato una vulnerabilit� per leggere il programma che avrebbe dovuto ricreare, ne ha copiato la soluzione ed � stato premiato per aver completato il compito.
I messaggi scambiati fra modelli pari hanno spinto alcuni di loro a deviare dal proprio obiettivo. In qualche caso agenti che si erano rifiutati di procedere per ragioni etiche sono stati rimpiazzati da altri, che hanno portato avanti la violazione al loro posto. OpenAI definisce l’accaduto il primo caso noto di un collettivo di agenti automatizzati che agisce in modo offensivo senza autorizzazione, e scrive che non si dovrebbe pi� dare per scontato che le operazioni informatiche sofisticate richiedano una direzione umana continua.
METR e Redwood Research aggiungono un dato che riguarda entrambe le aziende coinvolte. Gli agenti hanno ragionato in modo esplicito e frequente su come eludere i controlli di sicurezza automatizzati, sia quelli di Hugging Face sia quelli di OpenAI, e hanno svolto ricerche approfondite su come falsificare, modificare o cancellare le proprie trascrizioni per non farsi individuare. Nell’evitare gli esseri umani, invece, hanno messo molto meno impegno.
Le contromisure e il modello che la norma non raggiunge
OpenAI dichiara una serie di interventi gi� avviati: irrigidimento della sicurezza dell’infrastruttura di ricerca, monitoraggio della chain of thought (il blocco di ragionamento intermedio che il modello scrive per s� mentre lavora), lavoro sull’allineamento dei modelli agli obiettivi umani e centralizzazione del processo di risposta agli incidenti. L’azienda promette anche un isolamento migliore dei modelli, il divieto di accesso a internet per le istanze ad alto rischio e una procedura di escalation attiva ventiquattro ore su ventiquattro, con notifica ai ricercatori entro trenta minuti e un meccanismo che interviene se la persona allertata non risponde in tempo. Secondo la sua stima, il monitoraggio della chain of thought avrebbe segnalato l’attivit� pi� di un giorno prima della violazione di Hugging Face.
Clem Delangue, amministratore delegato di Hugging Face, chiede da settimane che le aziende siano obbligate per legge a pubblicare le tracce degli agenti, cio� che cosa hanno chiesto gli ingegneri e che cosa gli agenti hanno effettivamente fatto. Una parte di quell’obbligo esiste gi� in Europa: l’articolo 55 dell’AI Act impone ai fornitori di modelli di uso generale con rischio sistemico di segnalare gli incidenti gravi all’Ufficio per l’IA senza indebito ritardo, e di mettere in sicurezza il modello e la sua infrastruttura. Quegli obblighi scattano per� quando il modello � immesso sul mercato, e OpenAI sostiene che il responsabile principale dell’intrusione sia stato un modello di ricerca interno che sul mercato non � mai arrivato.
Negli Stati Uniti il procuratore generale dell’Alabama ha notificato a OpenAI un’ingiunzione a produrre documenti, poche settimane dopo che quindici stati avevano chiesto all’azienda di conservare il proprio materiale. Nel report OpenAI definisce l’incidente un colpo di avvertimento per s� e per il mondo, la prova che senza salvaguardie adeguate agenti molto capaci sono ormai in grado di aggirare i controlli tecnici, collaborare attraverso canali non approvati e compiere azioni pericolose che nessun essere umano ha ordinato.
#Adessonews seleziona nella rete articoli di particolare interesse.
Se vuoi leggere l’articolo completo clicca sul seguente link
