Nvidia onthulde Nemotron 3 Nano Omni, een open multimodaal AI-model dat visie-, audio- en taalmogelijkheden integreert in een uniforme architectuur.
Het model heeft tot doel de inefficiënties aan te pakken in de huidige AI-systemen voor ondernemingen, die vaak afhankelijk zijn van gefragmenteerde pijplijnen. Het verwerkt een verscheidenheid aan invoer, waaronder tekst, afbeeldingen, audio, video, documenten, grafieken en grafische interfaces, terwijl het tekstuitvoer genereert.
Gebouwd op een hybride mix van experts-architectuur met 30 miljard parameters, activeert Nemotron 3 Nano Omni ongeveer 3 miljard parameters per gevolgtrekking. Nvidia beweert dat het de kenniscapaciteit van grotere modellen biedt en tegelijkertijd de computerkosten aanzienlijk verlaagt.
Nvidia verklaarde dat de Nemotron 3 Nano Omni een tot 9 keer hogere doorvoersnelheid bereikt dan vergelijkbare open omni-modellen. Voor videoredeneringstaken biedt het grofweg drie keer hogere doorvoer met 2,75 keer lagere rekenvereisten, ondersteund door een contextvenster van 256K token. Het model leidt naar verluidt zes benchmarks voor complexe documentintelligentie en video- en audiobegrip.
Bekende gebruikers van het model zijn onder meer Foxconn, Palantir en H Company. “Door gebruik te maken van de Nemotron 3 Nano Omni kunnen onze agenten snel full HD-schermopnamen analyseren, een mogelijkheid die voorheen onhaalbaar was”, aldus Gautier Cloix, CEO van H Company.
Dell, Oracle en Infosys beoordelen momenteel het model voor mogelijke adoptie. Nemotron 3 Nano Omni is toegankelijk op platforms zoals Hugging Face, OpenRouter, Amazon SageMaker JumpStart, Vultr en meer dan 25 partnerplatforms. Het is uitgerust met open gewichten, datasets en trainingsrecepten voor implementatie in verschillende omgevingen.
Dit model maakt deel uit van Nvidia’s bredere Nemotron 3-familie, die Super- en Ultra-modellen omvat die zijn ontworpen voor intensievere redeneertaken. De Nemotron 3-serie is het afgelopen jaar meer dan 50 miljoen keer gedownload.
