Tencent ouvre Hy4 preview, un modèle de 770 milliards de paramètres conçu pour les agents

Hy4 preview active 49 milliards de paramètres par requête, accepte un million de tokens et cible le code, la bureautique et la recherche scientifique.

Tencent a publié Hy4 preview, son nouveau modèle de langage à poids ouverts. Cette première version réunit 770 milliards de paramètres, dont 49 milliards sont mobilisés pour traiter chaque token, et accepte jusqu’à un million de tokens de contexte. L’entreprise vise en priorité les agents chargés de tâches longues en programmation, bureautique, analyse de données, création de jeux et recherche scientifique.

Le modèle adopte une architecture Mixture of Experts. Sur ses 78 couches, 77 réunissent chacune 256 experts spécialisés et un expert partagé. Pour chaque token, le système sélectionne huit de ces experts en complément de la partie commune. Cette organisation limite la quantité de calcul activée à chaque étape sans réduire la taille globale du modèle, qui reste considérable.

Tencent ajoute une couche dédiée au décodage spéculatif, chargée d’anticiper plusieurs tokens afin d’accélérer la génération. L’attention utilise Gated DeepSeek Sparse Attention avec IndexCache, une technique qui réutilise certains index entre les couches plutôt que de les recalculer en permanence. Le modèle est proposé avec un mode de raisonnement approfondi activé par défaut, mais celui-ci peut être désactivé pour obtenir des réponses plus directes.

Hy4 preview a été entraîné autour de scénarios professionnels fournis par des ingénieurs, analystes financiers, spécialistes de la sécurité et développeurs de jeux de Tencent. Le modèle doit pouvoir examiner plusieurs fichiers, produire des documents, des feuilles de calcul ou des présentations, manipuler des outils et suivre des projets complexes sur plusieurs échanges. Il a également été intégré aux produits CodeBuddy et WorkBuddy.

Dans le tableau d’évaluation publié par Tencent, Hy4 preview obtient 82,9 sur SWE-bench Multilingual, 65,7 sur SWE-bench Pro, 64,3 sur DeepSWE et 85,4 sur Terminal-Bench 2.1. Il atteint également 83,7 sur MCP-Atlas, consacré à l’usage d’outils, et 66,2 sur OfficeQA Pro. Sur GPQA Diamond, une épreuve de questions scientifiques difficiles, son score monte à 92,3.

Ces résultats le placent dans le groupe des modèles ouverts les plus compétitifs, sans pour autant dominer toutes les catégories. Hy4 preview reste derrière Claude Opus 5 sur plusieurs évaluations consacrées au développement logiciel et aux agents de travail. Il se situe plus souvent au niveau de Qwen 3.8, GLM 5.3 ou Kimi K3, avec des écarts qui changent fortement selon la tâche.

Tencent a également organisé une comparaison interne auprès de 163 spécialistes, portant sur 203 missions d’ingénierie. Hy4 preview y devance légèrement GLM 5.3 et Kimi K3. L’écart reste modeste, et cette étude a été réalisée au sein même de l’entreprise. Plusieurs autres résultats du tableau proviennent également d’évaluations internes ou de tests reproduits par Tencent, ce qui appelle des vérifications indépendantes.

Les poids standards et FP8 sont disponibles sous licence Apache 2.0 sur Hugging Face, ModelScope, GitCode et CNB. Tencent fournit aussi un pipeline d’ajustement, une API compatible avec le format d’OpenAI et des recettes de déploiement pour vLLM et SGLang. La configuration officielle répartit la version FP8 sur huit accélérateurs, signe qu’une installation autonome reste destinée aux infrastructures disposant d’importantes ressources.

Le modèle est également accessible par l’intermédiaire de Tencent Cloud et d’OpenRouter. Le tarif annoncé atteint 0,834 dollar par million de tokens en entrée et 2,501 dollars en sortie. Une entrée déjà présente dans le cache coûte 0,042 dollar par million de tokens.

Tencent assume le caractère inachevé de cette publication. Hy4 preview peut consacrer trop de temps à certaines étapes de raisonnement et vérifier son propre travail de façon excessive. L’entreprise préfère distribuer cette version avant la fin de son entraînement afin de recueillir des retours, comme elle l’avait fait avec Hy3. Le nom « preview » est donc à prendre au pied de la lettre : les poids sont disponibles, mais le modèle continuera d’évoluer avant sa version définitive.