Antidoom : couper la boucle infinie des petits modèles de raisonnement

Un modèle de raisonnement qui se met à répéter le même passage encore et encore jusqu'à saturer sa fenêtre de contexte : ce comportement, que Liquid AI appelle doom loop, touche surtout les petits modèles sur les tâches ardues de maths et de code. Antidoom, la méthode open source que l'entreprise met à disposition, cherche à le supprimer sans les contreparties des correctifs habituels, qu'il s'agisse du repetitionpenalty qui peut dégrader la qualité ou du RL, plus lourd à calibrer.

L'approche se veut chirurgicale. La boucle démarre presque toujours sur un unique token surentraîné, souvent une interjection que le modèle surproduit (« Wait », « So », « Alternatively »). Liquid AI réentraîne ce seul token pour qu'il privilégie des suites cohérentes, en laissant le reste de la distribution quasi intact. Le procédé, baptisé Final Token Preference Optimization (FTPO), relève de la famille DPO : il n'agit que sur le token final en cours de génération et répartit la probabilité sur plusieurs candidats via une perte de type KL dans l'espace des logits.

Les mesures avancées font état d'un taux de doom loop chutant par exemple de 22,9 % à 1 % sur Qwen3.5-4B, avec des scores d'évaluation en hausse. Liquid AI note aussi un résultat contre-intuitif : une fois les boucles écartées, un échantillonnage proche du greedy l'emporte, ce qui nuance l'idée qu'un modèle de raisonnement aurait besoin d'une température élevée pour explorer.