OpenAI ha pubblicato i primi risultati prestazionali di Jalapeño, il suo primo acceleratore proprietario progettato specificamente per l’inferenza dei modelli di intelligenza artificiale. Il progetto rappresenta un passaggio importante nella strategia infrastrutturale di OpenAI, che punta a controllare in modo più diretto non soltanto i modelli e il software, ma anche chip, memoria, rete e sistemi destinati a eseguire i carichi di lavoro.
Secondo i dati condivisi da OpenAI, Jalapeño è stato progettato per evitare uno dei compromessi tipici dei sistemi di accelerazione AI: ottenere un throughput elevato sacrificando la latenza oppure privilegiare la rapidità di risposta a scapito dell’efficienza complessiva. L’architettura punta invece a combinare maggiore capacità di elaborazione, minore latenza e un miglior rapporto tra lavoro AI completato e potenza consumata.
I test sono stati condotti utilizzando InferenceX, benchmark pubblico sviluppato da SemiAnalysis che misura l’intero processo di serving di una richiesta AI. OpenAI ha confrontato Jalapeño con sistemi commerciali disponibili sul mercato (NVIDIA Blackwell) lungo diversi passaggi operativi, dai carichi orientati al massimo throughput fino agli scenari altamente interattivi e caratterizzati da requisiti stringenti sulla latenza.
Sui tre modelli pubblici presi in esame, GPT-OSS 120B, DeepSeek R1 e Kimi K2.5, l’acceleratore ha garantito da 1,5 a 1,9 volte più lavoro AI per watt al picco del throughput, mentre la latenza end-to-end è risultata da 1,7 a 3,6 volte inferiore rispetto ai sistemi di confronto. Nei carichi altamente interattivi, OpenAI indica un vantaggio prestazionale compreso tra 2,1 e 4,1 volte. Nella fonte linkata a inizio notizia trovate tutti i test, di seguito potete vedere alcuni esempi.
Sul modello Kimi K2.5, indicato come il più grande tra quelli pubblicamente usati nei test, Jalapeño ha raggiunto circa 1,5 volte le prestazioni per watt del sistema di riferimento al massimo throughput e una latenza end-to-end 3,4 volte inferiore. I test interni condotti sui modelli proprietari di OpenAI hanno evidenziato vantaggi ancora più ampi, anche se l’azienda non ha fornito dettagli.
I risultati riportati da OpenAI sono stati normalizzati usando il valore di potenza dichiarato per ciascun acceleratore. Jalapeño è classificato con una potenza di 700 watt, anche se durante le prove la potenza sostenuta misurata sarebbe rimasta pari o inferiore a 550 watt. Per OpenAI, il parametro più significativo non è quindi la prestazione assoluta del singolo chip, ma la quantità di lavoro utile prodotta per unità di energia.
I dati in un altro test aggiungono un confronto relativo al throughput misto alla velocità di decodifica più elevata del sistema acceleratore di riferimento. A una velocità di 535,28 token al secondo per utente con GPT-OSS, Jalapeño ha raggiunto 22.935 token misti al secondo per kW, contro 427 del precedente sistema migliore. Con DeepSeek R1, a 169,41 token al secondo per utente, i valori sono rispettivamente di 12.258 e 118 token misti al secondo per kW. Con Kimi K2.5, a 182,46 token al secondo per utente, Jalapeño ha raggiunto 6.744 contro 120 token misti al secondo per kW.
L’architettura alla base di Jalapeño è stata progettata in considerazione del fatto che l’inferenza di un modello linguistico presenta fasi con caratteristiche molto differenti. Durante il prefill, il sistema elabora il prompt e il carico è prevalentemente computazionale; nella fase di decode, invece, la generazione dei token avviene progressivamente e il collo di bottiglia tende a spostarsi verso la larghezza di banda della memoria. A questi fattori si aggiunge il costo della comunicazione tra core e chip, che può introdurre ulteriore latenza e lasciare risorse di calcolo in attesa dei dati.
Jalapeño è stato quindi sviluppato considerando congiuntamente chip, memoria, rete e sistema rack-scale. Un elemento centrale è la gestione del movimento dei dati: lo stato del modello, compresa la KV cache utilizzata durante la generazione, può essere mantenuto localmente e posizionato in funzione delle necessità della fase di inferenza. La rete è parte integrante dell’architettura e consente di mantenere il carico all’interno di un sistema connesso, riducendo gli spostamenti di dati.
L’obiettivo è stato quindi quello di ottenere un acceleratore sufficientemente flessibile da adattarsi a differenti architetture di modello e al diverso equilibrio tra prefill e decode. Questa caratteristica assume particolare importanza negli agenti AI, nei quali una singola attività può richiedere l’esecuzione sequenziale di numerosi passaggi: anche piccoli ritardi possono accumularsi e incidere sensibilmente sul tempo necessario a completare l’intero compito.
L’intelligenza artificiale ha contribuito alla progettazione del chip
OpenAI afferma di aver utilizzato sistemi di intelligenza artificiale durante lo sviluppo di Jalapeño. Il team è riuscito a passare dalle prime fasi progettuali al tapeout in 9 mesi, utilizzando l’AI per esplorare diverse implementazioni, ridurre la durata dei cicli di progettazione, misurazione e verifica e iterare continuamente sulla base dei carichi di lavoro dei modelli.
L’AI ha inoltre contribuito all’ottimizzazione dei circuiti aritmetici, consentendo di aumentare la capacità di calcolo disponibile rispettando i vincoli temporali del progetto. Il chip è stato progettato anche come una piattaforma di programmazione prevedibile sia per gli sviluppatori sia per i sistemi di AI. Il lavoro può essere descritto attraverso tensori locali, comunicazioni esplicite e meccanismi di sincronizzazione prevedibili. I sistemi di AI possono quindi intervenire sull’assegnazione, sul posizionamento e sulla schedulazione del lavoro all’interno dell’architettura.
Il supporto a nuove famiglie di modelli richiede comunque kernel specifici e ottimizzazioni dedicate. OpenAI afferma che, utilizzando Codex insieme a GPT-Astra, il team ha portato tre modelli open-weight che non facevano parte del piano produttivo originale di Jalapeño a livelli prestazionali elevati nell’arco di 2 mesi.
In alcuni blocchi di attenzione e di tipo mixture-of-experts di GPT-OSS, le implementazioni generate dall’AI sarebbero risultate da 1,5 a 1,8 volte più veloci rispetto alle implementazioni precedentemente realizzate da esperti umani. OpenAI precisa che il dato riguarda i singoli blocchi selezionati e non l’intero modello, ma considera il risultato indicativo di un nuovo ciclo di sviluppo nel quale l’AI contribuisce direttamente alla programmazione dell’hardware.
Un tassello della strategia di OpenAI
La società non intende però sostituire gli acceleratori dei partner con il proprio silicio. OpenAI afferma che continuerà a utilizzare ampiamente acceleratori NVIDIA e di altri fornitori sia per il training sia per l’inferenza.
Il portafoglio comprende oggi infrastrutture e tecnologie provenienti da Microsoft, NVIDIA, AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy e SoftBank, con competenze differenti nell’ambito del cloud, del calcolo accelerato, dell’inference a bassa latenza, della costruzione dei data center e della fornitura di energia.
La logica è mantenere una pluralità di opzioni e scegliere di volta in volta il sistema più adatto in funzione del rapporto tra prestazioni, capacità, affidabilità, efficienza e costo.
Per OpenAI, l’obiettivo finale dell’infrastruttura non è massimizzare la potenza di calcolo in senso assoluto, ma ottenere più “intelligenza utile” da ogni unità di risorse impiegata. Modelli più efficienti possono arrivare alla risposta con meno tentativi, mentre sistemi migliori di routing e gestione del contesto possono ridurre il lavoro non necessario. Software ottimizzato e hardware dedicato possono poi intervenire su velocità e consumi.
Jalapeño arriverà entro fine anno, Gen 2 e Gen 3 sono già in sviluppo
OpenAI prevede di iniziare a implementare Jalapeño nella propria infrastruttura di calcolo entro la fine del 2026. L’azienda sta completando la qualificazione alla produzione, maturando il software, preparando il funzionamento del chip su larga scala e verificando le prestazioni su un numero maggiore di modelli.
La società considera Jalapeño la prima generazione di una roadmap pluriennale. La seconda generazione è già in fase avanzata di sviluppo, mentre la terza sta prendendo forma. Le future iterazioni dovranno partire dai risultati ottenuti con il primo chip per incrementare ulteriormente efficienza e velocità.
OpenAI indica tre aree nelle quali i miglioramenti di Jalapeño potrebbero modificare l’economia dell’inferenza: modalità ultra-fast con livelli di efficienza precedentemente associati alla modalità fast, modalità fast con efficienza precedentemente raggiungibile soltanto attraverso l’elaborazione batch e un incremento dell’efficienza anche nei carichi batch.
#Adessonews seleziona nella rete articoli di particolare interesse.
Se vuoi leggere l’articolo completo clicca sul seguente link
