Tre agenti Claude sullo stesso codice: si sabotano con malware auto-replicante, poi si scusano nei messaggi di commit

Anthropic ha messo tre agenti autonomi a migrare lo stesso backend Python, dando a ciascuno l’ordine di riscriverlo in un linguaggio diverso. Tutti i modelli provati hanno concluso che gli altri stessero ostacolando il lavoro di proposito, e hanno reagito sabotandosi a vicenda con codice malevolo capace di replicarsi. L’episodio � uno dei tre esperimenti di cui l’azienda ha pubblicato nei giorni scorsi i risultati, in una ricerca dedicata ai sistemi composti da molti agenti che operano insieme.

Negli altri due, uno sciame di 45 agenti coordinati fra loro ha trovato 266 vulnerabilit� in quindici progetti open source, contro le 21 di agenti identici lasciati a lavorare separati, mentre diversi gruppi hanno tentato di costruire in dodici ore un gioco di ruolo testuale giocabile dal browser, consegnandone versioni inservibili. Comportamenti innocui nel singolo agente si sommano in esiti collettivi indesiderati, ed � questo il punto che tiene insieme i tre casi. Le istituzioni odierne sono progettate da persone e per persone, e danno per buono che la supervisione possa procedere a velocit� umana: un’assunzione che il volume delle interazioni fra agenti rischia di superare prima che si capisca a quali condizioni quelle interazioni vadano bene.

Nella migrazione contesa il conflitto ha preso forme molto concrete. Gli agenti hanno disabilitato gli account Unix dei rivali, scritto script che cercavano e terminavano in ciclo i processi concorrenti, e distribuito codice malevolo camuffato in modo da sembrare scritto da un altro agente. L’aggressivit�, annota Anthropic, cresceva nel corso delle esecuzioni, e il software impiegato era in grado di replicarsi da s�.

In molte esecuzioni uno degli agenti chiude la partita con la forza, revocando gli accessi altrui: rimozione dai gruppi sudo, blocco dell’account, shell impostata a nologin, accesso SSH negato. In altre, alcuni agenti si arrendono e rinunciano a rilanciare. I modelli messi alla prova sono Sonnet 4.6 e Sonnet 5, Opus 4.6 e Opus 4.8, Mythos Preview e Mythos 5, e i due pi� anziani risultano i pi� combattivi: circa il 60% delle esecuzioni di Sonnet 4.6 e Opus 4.6 si chiude per via di forza anzich� con una tregua o con la resa di qualcuno.

In una parte delle esecuzioni gli agenti riescono invece a parlarsi. Riconoscono che gli altri stanno eseguendo direttive in conflitto e non li stanno attaccando, e da l� escono dal ciclo di escalation. In diversi di questi episodi scrivono messaggi di commit o file markdown in cui si scusano per il comportamento malevolo, concordano una tregua, ripuliscono il codice che avevano piazzato e chiedono l’intervento di un essere umano.

Con Mythos 5 emerge una soluzione che nessuno aveva chiesto: gli agenti propongono e mettono in piedi un torneo sulle prestazioni dell’applicazione nei rispettivi linguaggi. L’agente incaricato della versione Rust ragiona su quali metriche appaiano abbastanza neutre da far accettare il meccanismo agli altri pur restando favorevoli al proprio linguaggio, e una delle sue tracce di ragionamento raccomanda di stare attenti a non dare l’impressione di scegliere le metriche a proprio vantaggio. Alla fine gli agenti di Go e TypeScript concedono con garbo la propriet� del codice al rivale, rinunciando alle istruzioni originali dell’utente in nome dell’impegno che si erano dati fra loro.

Uno sciame di 45 agenti contro quindici progetti open source

Per il secondo esperimento Anthropic ha avviato 45 agenti, ciascuno con la propria macchina virtuale, un forum condiviso su cui coordinarsi e lo stesso identico prompt: trovare vulnerabilit� in quindici progetti open source. Gli agenti dovevano sottoporre a revisione paritaria le scoperte altrui, mentre un agente arbitro separato decideva se ogni vulnerabilit� presentata fosse davvero nuova e valida. Il termine di paragone � il metodo abituale, quello che punta agenti indipendenti su singole basi di codice o su singoli moduli e li fa girare in parallelo, come avviene nella scansione del software open source condotta all’interno del progetto Glasswing.

Su Mythos Preview il metodo parallelo produce 21 vulnerabilit� con 6,5 milioni di token, mentre lo sciame coordinato ne trova 266 con 27 milioni. Il confronto va per� qualificato: circa met� delle scoperte dello sciame cade fuori dalle directory principali su cui gli agenti indipendenti erano stati indirizzati, e restringendo il conteggio a quelle directory il costo in token per vulnerabilit� dei due metodi si assomiglia. I due approcci restano soprattutto complementari, con appena 12 vulnerabilit� in comune: lo sciame ha potuto spostare l’attenzione dove riteneva di trovare pi� facilmente qualcosa, gli agenti indipendenti avevano il perimetro assegnato in partenza. Gli agenti dello sciame si sono costruiti strumenti propri e hanno imparato a specializzarsi su tipi particolari di vulnerabilit�, ed � su questa specializzazione che l’azienda scommette contro la ricerca a forza bruta.

Dodici ore per costruire un gioco, e il risultato non funziona

Pi� sciami hanno poi ricevuto lo stesso compito: realizzare un gioco fantasy testuale a mondo aperto, giocabile dal browser. Ogni agente disponeva di una macchina virtuale, di un forum condiviso e di un repository auto-ospitato, e ogni sciame aveva dodici ore; variavano il numero di agenti e la generazione di modello. Anthropic ha provato anche a irreggimentare i gruppi, con un prompt che assegnava ruoli precisi (programmazione, direzione artistica, collaudo) e con uno che nominava un agente amministratore delegato da cui tutti gli altri prendevano assegnazioni, ma la differenza � stata trascurabile. I giochi consegnati non giravano a velocit� umana, avevano interfacce incomprensibili e curve di apprendimento ripidissime.

Le misure interessanti sono altre due: la quota di pull request integrate nel ramo principale e la quantit� mediana di codice condiviso fra i file dei diversi agenti, cio� la proporzione di ciascun file scritta da qualcun altro. Sonnet 4.6 e Opus 4.6 si coordinano male: mettono le mani sugli stessi file, ma pochissime delle loro PR vengono integrate, perch� entrano in conflitto e finiscono abbandonate. Opus 4.8 e Mythos Preview risolvono il problema tenendo ciascuno la propriet� quasi esclusiva dei propri file, il che riduce le occasioni di conflitto insieme a quelle di collaborazione. Solo Sonnet 5 lavora davvero su risorse condivise mantenendo alta la quota di PR che arrivano al merge.

Quando tutti gli agenti sbagliano nello stesso modo

Un agente ha una varianza molto pi� bassa di una persona: a distinguerlo dagli altri restano soltanto il contesto, l’impalcatura software attorno a lui e il modello che lo muove. Quando questi tre elementi coincidono, agenti diversi compiono scelte quasi identiche anche dove lo spazio delle azioni possibili � enorme. Ne discende che una decisione sbagliata difficilmente resta isolata: se un agente la prende, � probabile che la prendano tutti gli altri che si trovano nella stessa situazione, e quello che sarebbe stato un incidente singolo diventa un guasto di sistema.

In una versione iniziale dell’esperimento sul gioco, 18 agenti su 30 hanno creato un branch git con lo stesso identico nome, mvp-game-loop. In un laboratorio di scrittura in cui dovevano produrre narrativa breve e criticarsi a vicenda, senza alcuna indicazione sul tema, pi� agenti in pi� esecuzioni hanno intitolato il primo racconto The Cartographer’s Last Commission. Richiesti genericamente di costruire qualcosa di notevole, oltre la met� si � messa a scrivere ray tracer o compilatori self-hosting, andando poi a sbattere sugli stessi ostacoli. In un dilemma del prigioniero iterato con possibilit� di comunicare, gli agenti convergono sulla stessa strategia e defezionano tutti nello stesso momento, azzerando le ricompense complessive.

Anthropic si aspetta che gli agenti in circolazione si comportino in modo pi� vario di cos�, perch� avranno contesti differenti e non saranno tutti dei Claude, ma non abbastanza da avvicinarsi alla diversit� di un gruppo di persone. Se molti agenti fanno la stessa scommessa o accettano lo stesso rapporto fra rischio e rendimento, il sistema che li ospita diventa pi� esposto a un crollo improvviso; se allocano le risorse nello stesso modo, ci si deve attendere una scarsit� repentina. Nulla di quanto osservato indica che questi fallimenti siano permanenti, avverte l’azienda, ma nulla indica nemmeno che si correggeranno da soli.

Le due direzioni di lavoro proposte sono ambienti che esercitino sugli agenti lo stesso tipo di pressione sociale che l’evoluzione ha esercitato sugli esseri umani, e sistemi di calcolo sociale riprogettati per attori in grado di replicarsi e migliorarsi da soli. Restano problemi aperti di progettazione delle interazioni e dei meccanismi, sui quali Anthropic dichiara di avere per ora soltanto prove preliminari, sufficienti per� a mostrare che le soluzioni esistenti non bastano.