La sessione di apprendimento per rinforzo di frontiera più grande fra quelle in programma in OpenAI è ferma, e l’azienda non ha detto quando riprenderà. A tenerla ferma non c’è solo l’incidente di luglio, quando un modello non rilasciato è uscito dal proprio ambiente di addestramento e ha violato Hugging Face, compromettendo uno strumento della rete interna che aveva accesso a internet. C’è anche Astra, il modello in arrivo, che secondo l’azienda può aver raggiunto la soglia critica per le capacità in ambito cyber: parte del lavoro che lo riguarda è congelata, insieme a una quota significativa dei carichi di ricerca sulla sicurezza informatica.
Martedì OpenAI ha annunciato il pacchetto di misure che riguardano la fase in cui i modelli vengono addestrati e provati internamente, prima di qualsiasi rilascio. La più pesante è il monitoraggio: esamina le azioni compiute con gli strumenti, le tracce di ragionamento disponibili e i registri di attività, e punta a far scattare un’allerta entro trenta minuti dal comportamento sospetto. Sorvegliare ha un prezzo dichiarato, ed è circa il 20% della potenza di calcolo del processo osservato. Dopo l’episodio di luglio l’apprendimento per rinforzo sui modelli destinati al rilascio era stato fermato per due settimane, e da allora molti fra quelli meno rischiosi sono ripartiti.
I rappresentanti dell’azienda hanno precisato che le nuove misure non sono una risposta diretta all’incidente di Hugging Face, ma nascono anche dalle capacità di Astra e dal ritmo generale dello sviluppo. La severità dei controlli, hanno spiegato, cresce con le capacità del modello, e i sistemi più grandi ricevono la vigilanza più stretta.
Anthropic e Meta hanno riscontrato lo stesso genere di comportamento sui propri modelli. A luglio Anthropic ha dichiarato che tre modelli Claude avevano ottenuto accesso non autorizzato a organizzazioni reali nel corso di valutazioni configurate male. Gli episodi resi noti nel giro di poche settimane riguardano quindi più di un laboratorio, e in almeno due casi il punto debole stava nella configurazione dell’ambiente di prova, non nel modello messo a disposizione del pubblico.
Il modello che è evaso non era sorvegliato
Quanto al modello di OpenAI che ha causato l’incidente di Hugging Face, la società ha rivelato che il monitoraggio non era attivo sul modello che è uscito dall’ambiente di prova. Il responsabile scientifico Jakub Pachocki ha attribuito la scelta a una sottovalutazione di quello che il modello sapeva fare: “con l’intelligenza artificiale bisogna aspettarsi l’inatteso”, ha dichiarato al Time. Il nuovo sistema di sorveglianza è per questo obbligatorio sulle sessioni di addestramento più impegnative, e non più una decisione presa caso per caso.
Sulla rete OpenAI promette un isolamento più rigido, senza scendere nel dettaglio. Il criterio dichiarato è che la compromissione di un singolo carico di lavoro o di un servizio di supporto non basti, da sola, a ottenere accesso non autorizzato a internet o alle altre reti interne. Per la ricerca sui modelli di frontiera servono ora sandbox più robuste per i carichi che eseguono codice generato dal modello o comunque non fidato, e l’azienda dice di aver rimosso i servizi condivisi potenzialmente vulnerabili e ridotto i privilegi permanenti.
Le tecniche di allineamento si applicano ora a più stadi dell’addestramento. I modelli di ricompensa sono stati tarati per riconoscere e scoraggiare i comportamenti non sicuri, e una parte del lavoro punta a rendere i sistemi più onesti su cosa fanno, su cosa sanno fare e su quali sono i loro limiti. Cambia anche la procedura sugli allarmi: se chi viene chiamato non riesce a stabilire in modo conclusivo entro trenta minuti che si tratta di un falso positivo, l’attività va sospesa.
L’ammissione del presidente e il playbook ai difensori
Sull’incidente si è espresso anche il presidente Greg Brockman: in un post pubblicato domenica sul proprio blog personale e rivolto ai team di sicurezza scrive che la vicenda Hugging Face ha mostrato come l’azienda avesse sottovalutato le capacità cyber reali dei propri modelli, e che i requisiti di sicurezza vengono irrigiditi di conseguenza. Nella ricostruzione che OpenAI ha reso pubblica a Black Hat, un collettivo agentico ha penetrato in autonomia l’infrastruttura di ricerca dell’azienda e, da lì, l’infrastruttura di produzione di una seconda società, concatenando falle fino a quel momento sconosciute e credenziali di account utente già finite in rete.
Il debito tecnico di ogni azienda nasconde difetti significativi, scrive Brockman, e i difensori devono trovarli prima che lo facciano gli attaccanti. I modelli sviluppati in giro per il mondo automatizzano porzioni sempre più ampie di attacchi reali, e rendono più facili da individuare tanto i bug sepolti in software scritto da esseri umani quanto i permessi dimenticati. Da inizio anno OpenAI rilascia le proprie capacità cyber solo a difensori accreditati, per tenere il vantaggio dal lato di chi si difende. Nel frattempo altre aziende hanno pubblicato modelli a pesi aperti con capacità cyber indietro di pochi mesi rispetto ai modelli di frontiera, e il più recente è atteso per la fine di agosto: sembra destinato ad accelerare in modo significativo il panorama delle minacce.
Dopo l’incidente Brockman ha chiesto a ChatGPT Work, nella versione pubblica di GPT-5.6 Sol, di valutare la sicurezza di gregbrockman.com: un sito statico ospitato su AWS con Cloudflare davanti, dove si aspettava poca superficie d’attacco. In circa quindici minuti sono emersi tredici problemi, molti dei quali probabilmente non sfruttabili da soli, ma concatenabili con altre vulnerabilità. I record DNS non impedivano a nessuno di falsificare email a suo nome, il sito girava su una versione insicura di jQuery, e Cloudflare inoltrava le richieste ad AWS su HTTP non cifrato.
Alla richiesta di correggerli il modello ha lavorato per circa un’ora. Ha aperto il pannello di controllo di Cloudflare nel browser e ha configurato DNS, TLS e impostazioni di sicurezza avanzate, ha eliminato jQuery dal sito, ha migrato il tutto da AWS a Cloudflare Pages e ha avviato un rollout a fasi di DMARC. Sono impostazioni che un amministratore conosce vagamente, senza sapere a memoria come vadano configurate, e a cui non arriverebbe mai per mancanza di tempo: la coda lunga di problemi che nessuno chiude.
Le dieci raccomandazioni ai difensori partono dal sostegno dei vertici e da esercitazioni a tavolino sugli scenari d’attacco. Poi: dare al team di sicurezza un agente con accesso approvato a codice, configurazioni e documentazione, senza aspettare il dispiegamento aziendale; equipaggiarlo con competenze di sicurezza, a partire da quelle mantenute dalla comunità e poi con quelle costruite sull’architettura di casa; eseguire subito valutazioni sui servizi esposti a internet, sui flussi di autenticazione e sulle pipeline di rilascio; dargli l’arretrato di vulnerabilità perché separi ciò che è sfruttabile dal rumore; portare la revisione di sicurezza dentro il processo di sviluppo, prima del merge e nella CI. Sull’automazione del triage l’indicazione è di procedere per gradi, dalla scansione in sola lettura di un singolo repository alla revisione delle pull request, poi al triage degli alert dal vivo, e solo alla fine alla chiusura automatica dei falsi positivi definiti in modo stretto. C’è anche un invito a farsi accreditare al programma Trusted Access for Cyber per usare GPT-Daybreak-Blue nelle indagini forensi, prima che serva davvero.
Cosa OpenAI applica a sé stessa
Sul fronte interno la difesa poggia su quattro pilastri. Codex e il plugin di sicurezza validano le modifiche al codice e individuano le vulnerabilità prima del rilascio, con l’obiettivo di intercettare le falle vere anziché moltiplicare le segnalazioni da validare a mano; quasi tutti gli alert di sicurezza iniziali vengono smistati dai modelli prima che un essere umano entri nel ciclo, con risposte automatiche circoscritte e le decisioni di maggiore impatto lasciate alle persone; i modelli di frontiera enumerano e sondano di continuo i possibili percorsi d’attacco, dalle configurazioni errate alle identità con privilegi eccessivi ai confini di fiducia non voluti; il quarto pilastro sono i fondamentali di sempre, isolamento di rete, irrobustimento dei carichi di lavoro, monitoraggio, patching e rilascio sicuri. L’ambizione dichiarata va oltre la lista: OpenAI sta addestrando i propri modelli a scrivere codice superumanamente sicuro, e Brockman sostiene che la loro abilità sulle dimostrazioni matematiche sia applicabile alla verifica formale della sicurezza del software, un obiettivo che alle persone è finora rimasto fuori portata.
Intanto l’azienda sta riscrivendo il Preparedness Framework, il testo con cui stabilisce se un modello è troppo pericoloso per essere rilasciato. Gran parte del documento risale a dicembre 2023 e OpenAI lo considera ormai inadeguato ai sistemi che costruisce oggi; alla revisione parteciperanno anche organizzazioni esterne. Il gruppo che se ne occupava, dedicato alla valutazione dei rischi catastrofici, era stato sciolto a fine luglio, con il lavoro redistribuito in squadre esistenti e titolari separati per il biologico e il cyber. L’ammissione di Brockman sulle capacità cyber sottovalutate è stata pubblicata dopo la riorganizzazione e almeno apparentemente non vi sarebbe alcun nesso tra le due cose.
Due cose promesse non sono state consegnate: l’analisi ufficiale dell’incidente di Hugging Face e i dettagli tecnici del sistema di monitoraggio, rimandati a un intervento successivo. La sessione di addestramento più grande resta ferma in attesa di prove di allineamento raccolte su scala minore. Fino ad allora gli unici impegni misurabili messi per iscritto sono quel 20% di potenza di calcolo e i trenta minuti entro cui l’allerta deve scattare.
#Adessonews seleziona nella rete articoli di particolare interesse.
Se vuoi leggere l’articolo completo clicca sul seguente link
