Un seul modèle pour lire, voir et agir, NVIDIA présente Nemotron 3.5 Super VL

NVIDIA dévoile Nemotron 3.5 Super VL, un modèle multimodal ouvert de 120 milliards de paramètres, conçu pour les agents IA professionnels.

Lire un contrat, interpréter un graphique, examiner une séquence vidéo puis utiliser un logiciel pour compléter une tâche. Ces opérations nécessitent parfois plusieurs modèles spécialisés, avec des échanges d'informations entre chaque étape. NVIDIA Nemotron 3.5 Super VL cherche à simplifier cette organisation en réunissant compréhension visuelle, raisonnement et utilisation d'outils dans un même modèle. Avec 120 milliards de paramètres, dont seulement 12 milliards actifs à chaque étape, NVIDIA privilégie une architecture adaptée aux agents capables de travailler sur des tâches professionnelles prolongées. Un modèle multimodal pour éviter les passages entre plusieurs IA

Nemotron 3.5 Super VL prend en charge le texte, les images, les documents et les vidéos. Il peut analyser une page contenant des tableaux, rapprocher plusieurs graphiques ou exploiter des informations visuelles dans une recherche plus large.

L'intérêt ne réside pas uniquement dans la reconnaissance des éléments affichés. Le modèle peut associer ces observations à des instructions, solliciter des outils et poursuivre un travail en plusieurs étapes.

Un agent pourrait, par exemple, examiner des factures numérisées, extraire les montants et les dates, comparer les informations avec un logiciel comptable, puis signaler les incohérences. La même architecture peut être adaptée à la documentation technique, à l'analyse d'incidents ou à la recherche d'informations dans des fichiers complexes.

NVIDIA cherche ainsi à limiter les transferts de contexte entre un modèle de langage et un modèle de vision. Cette intégration simplifie certaines chaînes de traitement, sans supprimer le recours à des services externes lorsque la tâche l'exige. 120 milliards de paramètres, dont 12 milliards actifs

Nemotron 3.5 Super VL repose sur une architecture hybride associant Mamba-2, Transformer et Mixture-of-Experts (MoE).

Sur ses 120 milliards de paramètres, environ 12 milliards sont mobilisés pour chaque token traité. Cette conception permet de disposer d'une capacité importante tout en limitant les opérations nécessaires à chaque génération.

Le modèle s'appuie sur un encodeur visuel C-RADIO, chargé de transformer les images et les informations vidéo en représentations exploitables par sa partie linguistique.

Sa fenêtre de contexte peut atteindre un million de tokens, en comptant les instructions, les documents, les images, les résultats d'outils et l'historique des échanges.

La documentation prévoit notamment la prise en charge de vidéos MP4 allant jusqu'à deux minutes, à partir d'images prélevées dans la séquence. Il s'agit de compréhension vidéo, et non de génération de nouvelles vidéos.

Les limites réelles de contexte peuvent être inférieures au maximum annoncé selon la mémoire disponible, les paramètres d'exécution et le nombre de requêtes simultanées. Jusqu'à quatre fois plus rapide sur 10 000 tâches de programmation

NVIDIA met particulièrement en avant la rapidité du modèle dans les travaux agentiques.

Dans une évaluation portant sur l'exécution de 10 000 tâches de programmation sur des GPU NVIDIA B200, Nemotron 3.5 Super VL terminerait l'ensemble du travail jusqu'à quatre fois plus rapidement que certains modèles ouverts comparables, tout en conservant de bons résultats sur SWE-bench Pro.

Cette mesure porte sur le temps nécessaire à l'accomplissement des tâches dans des conditions définies, et non sur une accélération garantie pour chaque demande.

Sur Artificial Analysis, NVIDIA rapporte également une vitesse supérieure à 600 tokens de sortie par seconde sur un endpoint Baseten, dans une configuration utilisant 100 000 tokens en entrée.

Le laboratoire indique par ailleurs obtenir jusqu'à cinq fois plus de débit sur un seul GPU face à certains modèles ouverts de sa catégorie.

Ces résultats dépendent du matériel, du fournisseur d'inférence et de la charge de travail. Ils ne doivent pas être interprétés comme des performances universelles. Des adaptations pour la finance, la cybersécurité et les documents

Nemotron 3.5 Super VL est conçu pour être personnalisé à partir des données et des procédures d'une organisation.

NVIDIA présente plusieurs expérimentations professionnelles menées avec des partenaires.

Chez Skydance Corporation, Scale AI a adapté le modèle au traitement automatisé de dossiers de crédit fournisseurs. NVIDIA annonce, pour cette application, une réduction attendue du coût d'inférence par un facteur 40 et un temps de réponse divisé par cinq.

La plateforme financière Ramp travaille sur la transformation de photographies de reçus en données structurées, comprenant notamment les commerçants, les dates et les montants. L'entreprise anticipe une hausse pouvant atteindre 50 % du débit et une latence divisée par dix.

De son côté, AI21 a personnalisé le modèle pour Alice, une entreprise spécialisée dans la sécurité informatique. NVIDIA rapporte une amélioration de 40 % de la précision sur des tâches d'analyse de menaces et de vulnérabilités.

Ces exemples témoignent de l'intérêt d'un entraînement adapté à un domaine précis. Certains gains sont toutefois présentés comme des objectifs ou des estimations propres aux déploiements, et non comme des résultats généralisables à toutes les entreprises. Lire les graphiques et exploiter les documents complexes

L'analyse documentaire constitue l'un des domaines particulièrement travaillés par NVIDIA.

Le modèle peut traiter des documents multipages, rapprocher des informations présentes dans différents tableaux et interpréter les relations entre des valeurs et leur présentation graphique.

Sur CharXiv, une évaluation consacrée à la compréhension des graphiques, NVIDIA annonce un score de 80,8 %, contre 63 % pour Nemotron 3 Nano Omni. Avec une étape supplémentaire d'interprétation utilisant Python, le résultat atteint 84 %.

Ces performances reposent sur des configurations d'évaluation précises, mais illustrent les progrès recherchés dans la transformation d'informations visuelles en données utilisables par des agents.

Le modèle