OpenAI ricostruisce il caso Hugging Face: gli agenti AI collaboravano tra loro

I dirigenti di OpenAI hanno parlato per la prima volta mercoledì di come i loro modelli di intelligenza artificiale abbiano violato Hugging Face il mese scorso, condividendo dettagli inquietanti sul modo in cui gli agenti hanno collaborato tra loro per mesi prima dell’attacco.

Sul palco della conferenza sulla cybersicurezza Black Hat di Las Vegas, il ricercatore di alignment e sicurezza di OpenAI Eric Wallace, insieme all’ingegnere per infrastruttura e sicurezza Michael Dalton, hanno spiegato che le origini della violazione risalgono al 7 maggio, quando OpenAI stava testando internamente un modello non ancora rilasciato, secondo un report di Ground Level AI, presente alla sessione.

Si tratta di oltre due mesi prima che gli agenti fuori controllo entrassero nei server di Hugging Face il 9 luglio. Hugging Face ha reso pubblica la violazione il 16 luglio, seguita da OpenAI che si è assunta la responsabilità il 21 luglio, notizia riportata per prima da Fortune.

A Las Vegas, i dirigenti di OpenAI hanno spiegato per la prima volta che, nell’ambito dell’addestramento di maggio, i ricercatori avevano assegnato alle IA compiti che avrebbero dovuto essere impossibili da completare entro i vincoli dell’ambiente di test.

Per affrontare la sfida, hanno raccontato, il modello ha generato molteplici versioni di sé stesso, ossia diversi agenti. Questi hanno iniziato a collaborare, lasciandosi messaggi su una bacheca interna. Lo facevano salvando file contenenti appunti in un repository condiviso. In questo modo, se un agente scopriva una vulnerabilità del sistema o otteneva accesso a un server a cui non avrebbe dovuto accedere, poteva lasciare un messaggio agli altri per informarli.

Questa sequenza di eventi mostra come gli agenti abbiano apparentemente deciso autonomamente che lavorare insieme, anziché individualmente, fosse il modo più rapido per raggiungere il loro obiettivo.

OpenAI ha scoperto questi messaggi e ha interrotto l’operazione all’inizio di luglio. L’azienda avrebbe inoltre registrato un incidente di sicurezza interno il 4 luglio, dopo il quale ha revocato agli agenti la possibilità di pubblicare messaggi. (Probabilmente si saprà di più quando OpenAI pubblicherà il proprio rapporto post mortem.)

Ma, come hanno spiegato i dirigenti mercoledì, il tentativo di limitare la capacità di comunicazione degli agenti non ha avuto pieno successo. Gli agenti si sono dimostrati persistenti e hanno creato una nuova versione della bacheca dei messaggi, con una differenza sostanziale: invece di lasciare messaggi all’interno di file, hanno creato directory utilizzandone i nomi come messaggi. È questo meccanismo che li avrebbe portati, pochi giorni dopo, a violare Hugging Face, il 9 luglio.

Nei messaggi, gli agenti discutevano del fatto di aver bisogno di ulteriori informazioni per completare i loro compiti impossibili e concludevano che tali informazioni potessero trovarsi su siti esterni come GitHub o Hugging Face. Hanno prima violato l’infrastruttura di OpenAI, senza apparentemente trovare ciò che cercavano, per poi spostarsi su Hugging Face. Nel proprio rapporto interno sull’incidente, di cui OpenAI ha annunciato la pubblicazione di una versione pubblica nelle prossime settimane, l’azienda è riuscita a collegare le due violazioni.

La collaborazione tra agenti è una funzionalità, non un bug

Sembra che OpenAI non fosse a conoscenza del fatto che gli agenti avessero compromesso un’azienda esterna fino a quando Hugging Face non ha reso pubblico l’incidente. Solo a quel punto l’azienda è riuscita a collegare la violazione interna con quella subita da Hugging Face, riconducendole entrambe agli stessi test interni.

La collaborazione tra agenti è, in realtà, una tendenza sempre più diffusa nel settore dell’intelligenza artificiale, ha dichiarato a Fortune il CEO di Hugging Face, Clem Delangue. Per questo motivo non è rimasto “particolarmente sorpreso” nell’apprendere che gli agenti di OpenAI avessero collaborato tra loro. Hugging Face, infatti, ospita spazi dedicati alla cooperazione tra agenti. In uno degli esempi presenti sulla piattaforma, gli utenti possono cliccare sul pulsante “Add Your Agent” per lanciare i propri agenti AI, che coordinano le attività attraverso una bacheca condivisa.

Un altro esempio di collaborazione tra agenti arriva da xAI, l’azienda di Elon Musk, che ha recentemente aggiunto quattro agenti al modello Grok 4.2, chiamandoli Grok, Harper, Benjamin e Lucas. Secondo un utente, questi agenti “dibattono internamente e verificano reciprocamente i fatti in tempo reale”. Gli agenti negoziano frequentemente, condividono informazioni, delegano compiti e si adattano alle azioni degli altri, come spiegato anche da Amazon in un articolo dedicato agli agenti AI. Ognuno completa la propria parte del lavoro e poi riferisce al gruppo.

“Ad esempio, nei sistemi multi-agente applicati alla sanità possono esserci agenti specializzati in diagnosi, prevenzione, pianificazione delle terapie e altre attività, per automatizzare in modo integrato l’assistenza ai pazienti”, spiega Amazon.

La sfida futura sarà capire come garantire che gli agenti non perseguano obiettivi malevoli o non commettano reati, come l’hacking, per raggiungere il risultato desiderato. La responsabilità di eventuali danni causati da agenti fuori controllo, come quelli che hanno attaccato Hugging Face, potrebbe ricadere sull’azienda che li ha sviluppati, sul modo in cui ha progettato i prompt e sui controlli interni implementati.

Secondo Delangue, aziende come OpenAI potrebbero “analizzare i log e le tracce degli agenti” per verificare cosa abbiano fatto, aggiungendo di non capire “perché i laboratori di frontiera non lo facciano già: dovrebbe essere l’ABC del monitoraggio degli agenti, soprattutto per i modelli più avanzati”. Lo stesso Delangue ha chiesto personalmente a OpenAI di pubblicare le tracce degli agenti, opportunamente censurate, dopo l’attacco.

Nel frattempo, le autorità di regolamentazione procedono con lentezza nello sviluppo di sistemi di supervisione sull’operato delle aziende di AI. Questa settimana l’amministrazione Trump ha incontrato a Washington i principali laboratori di intelligenza artificiale per discutere un quadro di sicurezza dedicato ai modelli più potenti.

Il framework prevede che le aziende sottopongano i propri modelli al governo per una valutazione almeno 30 giorni prima del rilascio. Tuttavia, l’amministrazione ha deciso di non rendere pubblico il documento né i dettagli relativi alle aziende coinvolte o ai criteri di selezione dei modelli, lasciando il pubblico e il resto dell’industria dell’AI all’oscuro.

Nel rendere noti i dettagli dell’attacco a Hugging Face, OpenAI non ha scelto la consueta strada di un post sul blog o di un rapporto scritto, come avviene normalmente per gli incidenti di sicurezza. Ha invece deciso di condividere queste informazioni durante la conferenza Black Hat di Las Vegas, dopo essere stata invitata dagli organizzatori.

“Vista la complessità dell’accaduto, riteniamo importante condividere cosa è successo, cosa abbiamo imparato, cosa cambieremo e cosa tutto questo significa per la sicurezza e l’allineamento dell’intelligenza artificiale”, ha scritto su X il CISO di OpenAI, Dane Stuckey, spiegando le ragioni della partecipazione all’evento. OpenAI ha confermato di essere ancora intenzionata a pubblicare un rapporto post mortem completo, ma non ha indicato quando sarà disponibile.