deepset, la società di Berlino che sviluppa il framework open source Haystack, ha presentato un’architettura di riferimento aperta per agenti AI capaci di migliorarsi da soli. Gira su infrastruttura NVIDIA, con modelli aperti, e punta ad ambienti controllati in locale o completamente isolati dalla rete (air-gapped). Il primo ambito di prova è la cybersecurity.
Lo schema combina tre elementi: i modelli aperti NVIDIA Nemotron serviti tramite microservizi NIM, l’ambiente NeMo Gym per l’ottimizzazione e i blueprint aperti NemoClaw. Questi ultimi fanno girare l’agente dentro OpenShell, un runtime protetto che delimita ciò che l’agente può fare. A completare il quadro c’è un repository su GitHub con codice di esempio, pensato per chi vuole adattare l’architettura ai propri sistemi.
Il meccanismo di auto-miglioramento è descritto in un articolo tecnico del team Haystack, dedicato a un agente che analizza i log su NVIDIA DGX Spark. Il ciclo parte da una pipeline di riferimento, analizza le tracce registrate e propone nuove configurazioni. Nell’esempio di un assistente per servizi ai cittadini, l’agente di partenza citava le prove necessarie solo nel 19 per cento delle domande. La prima modifica candidata ha portato il parametro top_k da 1 a 7. Le tracce restano in locale, e il punto è proprio questo: contengono dati troppo sensibili per uscire dall’azienda.
Il contesto è la domanda europea di sovranità sull’AI. Il CEO e cofondatore Milos Rusic ha spiegato che i modelli aperti sono la base, ma serve costruire attorno a essi l’intero sistema. L’architettura è pensata per mantenere il controllo su modelli, dati e infrastruttura lungo tutta la catena, con i requisiti di governance che i settori regolamentati richiedono. deepset lavora già su questo terreno: è coinvolta nella piattaforma AI@EC della Commissione europea e in un consorzio con secunet e Red Hat per offerte destinate a enti con informazioni classificate.
L’annuncio arriva al GTC Berlin insieme a un’espansione di Haystack Enterprise Platform, che collega sviluppo degli agenti, esecuzione in produzione, osservabilità e ottimizzazione dei costi. La piattaforma usa NVIDIA Triton Inference Server per embedding e reranking condivisi su GPU, mentre i servizi di modelli personalizzati valutano e adattano i Nemotron ai compiti dei clienti in ambito governativo, difesa e industria. Per amministrazioni e aziende europee significa poter sperimentare agenti che si correggono senza mandare nulla a un cloud esterno.
Se il modello regge fuori dalla sicurezza informatica, lo stesso schema potrebbe estendersi a sanità, giustizia amministrativa e servizi pubblici. La prova sarà vedere quante organizzazioni lo adotteranno davvero, oltre alle demo.
