Une ouverture progressive pour les modèles open weights

Thinking Machines teste une méthode d'ouverture progressive avec Inkling. Une alternative à la publication immédiate des poids des modèles.

Thinking Machines propose une approche par étapes pour rendre les modèles open weights accessibles sans considérer leur publication comme une décision automatique. L’entreprise distingue deux critères : les capacités dangereuses propres au modèle et la capacité de l’écosystème à détecter, limiter ou corriger les usages malveillants.

Pour Inkling et Inkling-Small, l’évaluation a combiné des tests internes, des analyses menées par quatre organisations externes et un fine-tuning destiné à retirer les comportements de refus. Les travaux ont couvert la cybersécurité offensive, les risques chimiques et biologiques, les interactions avec des publics vulnérables, les usages agentiques et les comportements de dissimulation ou de sabotage.

Selon Thinking Machines, ces essais n’ont pas montré de risque supplémentaire significatif par rapport aux modèles open weights déjà accessibles. Les versions modifiées pour répondre aux requêtes dangereuses n’auraient pas non plus dépassé les capacités observées sur des modèles comparables. Ce constat a servi de base à la publication des weights d’Inkling et d’Inkling-Small.

Pour les systèmes plus avancés, l’entreprise envisage une progression allant d’un accès limité par API à un fine-tuning hébergé, puis à un accès public surveillé avant une éventuelle publication des weights. Chaque étape doit permettre d’étudier les usages, de préparer les équipes de défense et de réévaluer le niveau de risque avant d’élargir l’accès.

Thinking Machines explore aussi la possibilité de réduire certaines connaissances dangereuses lors de l’entraînement, sans affecter les capacités générales du modèle. Cette piste repose notamment sur le filtrage de documents spécialisés, mais l’entreprise précise qu’il s’agit encore d’une question de recherche. Des financements consacrés à la sécurité sur la plateforme Tinker doivent également être proposés à la communauté.