Kimi K3, modèle ouvert de 2 800 milliards de paramètres, a dessiné sa propre puce

Le modèle Kimi K3 de Moonshot AI a développé une puce électronique en simulation. Ce que ses deux mille huit cents milliards de paramètres changent au code.

Kimi K3, signé Moonshot AI, atteint 2 800 milliards de paramètres, ce que l'entreprise revendique comme le plus gros modèle ouvert à ce jour. Il embarque une vision native et une fenêtre de contexte d'un million de tokens, et se destine aux tâches longues de code, de raisonnement et de travail de la connaissance.

Côté architecture, deux briques portent le modèle : Kimi Delta Attention, qui gère le passage de l'information sur de longues séquences, et Attention Residuals, qui va rechercher des représentations à différents niveaux de profondeur du réseau plutôt que de les empiler uniformément. La sparsité du Mixture of Experts monte d'un cran, avec seize experts activés sur huit cent quatre-vingt-seize via un cadre Stable LatentMoE. Selon Moonshot, l'ensemble améliore l'efficacité de scaling d'environ 2,5 fois par rapport à Kimi K2, KDA accélère le décodage jusqu'à 6,3 fois sur des contextes d'un million de tokens, et AttnRes gagne près de 25 % d'efficacité d'entraînement pour moins de 2 % de coût supplémentaire.

L'entreprise met en avant des sessions agentiques longues. En quinze heures d'itérations, le modèle a conçu un algorithme de kernel en deux phases et ramené le temps d'un aller-retour d'entraînement de 283,6 ms à 114,4 ms sans toucher aux résultats numériques. Dans un autre essai, une exécution autonome de quarante-huit heures a produit et vérifié en simulation une puce taillée pour un petit modèle bâti sur sa propre architecture, à titre de preuve de concept.

Un classement extérieur prolonge ces démonstrations maison. Arena hisse K3 au sommet de son Frontend Code Arena, un classement public de la génération de code frontend : 1679 points et un bond de dix-sept rangs par rapport à Kimi K2.6, jusque-là dix-huitième, avec la première place sur six des sept catégories évaluées, du design de marque aux outils de données en passant par les simulations et les outils de création de contenu.

Kimi K3 tourne dès à présent sur Kimi.com, Kimi Work, Kimi Code et l'API Kimi, en mode réflexion maximale par défaut, les poids complets étant attendus en open weights le 27 juillet. Côté tarifs, la sortie est facturée quinze dollars le million de tokens, l'entrée trois dollars sans cache et trente cents avec. Moonshot reconnaît que la performance globale reste en deçà des modèles propriétaires les plus puissants, et signale deux limites : une sensibilité à la façon dont l'historique de raisonnement est repassé au modèle, et une tendance à trancher seul quand la consigne est ambiguë.