NVIDIA Nemotron 3.5 Bolt: un modello aperto da 74 miliardi di parametri che sta in 24 GB per agenti IA in locale

Far girare in casa un agente IA capace richiede di solito tanta memoria. Il 15 ottobre 2026 NVIDIA ha rilasciato tre nuovi modelli Nemotron 3.5, e il più interessante per chi lavora da casa è pensato per stare su una sola scheda grafica consumer.

Tre modelli, tre taglie

• Nemotron 3.5 Super VL: un modello multimodale aperto da 120 miliardi di parametri per agenti aziendali. NVIDIA dichiara che è fino a 5 volte più veloce del miglior modello aperto concorrente della sua categoria.
• Nemotron 3.5 Bolt 74B-A9B 24GB: un modello «mixture of experts» da 74 miliardi di parametri, circa 9 miliardi attivi per token, con quantizzazione nativa a 2 bit per stare in 24 GB. Disponibile da subito.
• Nemotron 3.5 Bolt E4B 4GB: un modello piccolo per assistenti vocali e robot, atteso per il 23 ottobre.

Cosa vogliono dire davvero 24 GB

I 24 GB valgono solo per il testo. Secondo la scheda del modello, la visione aggiunge circa 1,68 GB, e una configurazione realistica con llama.cpp richiede 32 GB o più per un contesto di 65.000 token, 48 GB per 256.000. Gira con llama.cpp, Ollama, LM Studio, Unsloth e vLLM, su PC GeForce RTX, DGX Spark e i nuovi portatili RTX Spark.

NVIDIA afferma che Bolt 74B è il primo modello aperto della sua categoria su PinchBench e il secondo su BrowseComp. Sono dati di NVIDIA, non nostri. TechRepublic sottolinea che i modelli Bolt puntano ad agenti che navigano sul web, scrivono e correggono codice in locale.

Il parere di Rocks

È il lancio «agente locale» più realistico da settimane: una scheda di classe RTX 4090 o 5090 può davvero caricarlo, a differenza dei giganti da 800 miliardi di parametri. Per un’installazione Home Assistant il piccolo Bolt E4B potrebbe essere il più interessante: 4 GB per un assistente vocale locale. Lo proveremo all’uscita, il 23 ottobre.