Inkling, premier modèle open weights de Thinking Machines, joue le sur-mesure plutôt que le podium

Thinking Machines livre Inkling, un modèle multimodal MoE de 975 milliards de paramètres. Une base optimisée pour l'entraînement sur mesure.

Thinking Machines Lab rend publics les poids complets de son premier modèle, Inkling, entraîné de zéro. C'est un transformer Mixture-of-Experts de 975 milliards de paramètres, dont 41 milliards actifs, avec une fenêtre de contexte pouvant atteindre 1 million de tokens, pré-entraîné sur 45 000 milliards de tokens de texte, images, audio et vidéo. Un cadet en preview, Inkling-Small, ramène la part active à 12 milliards de paramètres pour un coût et une latence moindres.

Le laboratoire assume un positionnement à contre-courant : Inkling n'est pas présenté comme le modèle le plus puissant du moment, ouvert ou fermé, mais comme une base solide à personnaliser. Ce qui en fait un bon socle, selon l'entreprise, tient à son multimodal natif (il raisonne sur texte, images et audio), à un effort de réflexion réglable qui arbitre entre coût et performance, et à sa disponibilité pour le fine-tuning sur Tinker. Pour l'illustrer, l'équipe a demandé au modèle de se fine-tuner lui-même : Inkling a écrit son propre job d'entraînement, l'a lancé et en a évalué le résultat.

Côté conception, l'architecture MoE suit de près celle de DeepSeek-V3 et troque le RoPE contre un embedding positionnel relatif, jugé meilleur sur les longues séquences. L'entraînement a mobilisé des systèmes NVIDIA GB300 NVL72 et une phase de RL portée à plus de 30 millions de rollouts, au cours de laquelle la chaîne de raisonnement s'est spontanément compressée, perdant articles et connecteurs sans cesser d'être compréhensible, un effet que la récompense ne ciblait pas. Le modèle est accessible dès maintenant sur Tinker, à moitié prix pour une durée limitée, ses poids déposés sur Hugging Face et servis via Together, Fireworks, Modal, Databricks et Baseten.