Together AI ha annunciato il 4 novembre Together Compiler, un sistema che affida a squadre di agenti AI la riscrittura del codice GPU dei modelli che serve. I nuovi modelli open source diventano più veloci in una notte invece che in settimane, senza lavoro aggiuntivo per i clienti.
I numeri arrivano dai test dell’azienda. In meno di 24 ore il compilatore ha ottenuto da 1,3 a 3 volte i token al secondo di configurazioni open source già molto ottimizzate. I modelli provati sono Kimi K3, GLM 5.3, MiniMax M3.1 Flash e DeepSeek v4.1 Flash. Su Kimi K3 e GLM 5.3 il picco di throughput supera di 1,5 e 1,4 volte il miglior risultato su InferenceX, il benchmark aperto di SemiAnalysis. MiniMax M3.1 Flash tocca 1.111 token al secondo su GPU NVIDIA B200, 1,8 volte la base di partenza. DeepSeek v4.1 Flash arriva a 1.205 token al secondo su NVIDIA GB300.
Il confronto con il lavoro umano è il dato che pesa di più. Su Llama 1B il sistema supera fino a 1,7 volte i megakernel scritti a mano, inclusi quelli dello stesso Together AI, e supera i 2.100 token al secondo. Secondo l’azienda, il vantaggio nasce anche dal ritmo degli esperimenti: il sistema ne esegue 252 volte di più rispetto ad altri strumenti che usano agenti per l’ottimizzazione dell’inferenza, tenendo le GPU sempre occupate.
Il motivo è semplice. I modelli aperti escono a ritmo serrato e cambiano architettura. Together AI cita i dati di OpenRouter: l’80% del traffico va a modelli rilasciati negli ultimi tre mesi e nessuno dei dieci modelli open più usati condivide la stessa architettura. Ottimizzare a mano ciascuno di essi richiede esperti rari e molto tempo. Il compilatore prende in ingresso modello, hardware e profilo del traffico, poi genera e misura ottimizzazioni candidate per il motore di inferenza.
Together Compiler è la prima parte di un progetto più ampio chiamato Polymorphic Inference, che l’azienda descrive come una forma di auto-miglioramento ricorsivo per l’inferenza. Il sistema è già attivo su molti endpoint serverless e, sempre secondo l’azienda, serve trilioni di token. Un cliente, Phonic, riporta una riduzione di quasi il 50% del tempo mediano al primo parlato del suo modello Phonic-1 dopo l’ottimizzazione notturna. I risultati restano dichiarati da Together AI e il confronto con Claude Code su codebase di meteorologia e biologia arriva dal suo stesso paper.
Se i dati reggono fuori dai test interni, il tempo tra l’uscita di un modello open e il suo uso in produzione si accorcia. Per chi sceglie dove ospitare questi modelli, la velocità al primo giorno può contare quanto il prezzo.
