Un codec maison pour accélérer la voix des modèles de Liquid AI

Dédié à la voix des modèles LFM3, LiquidCodec combine traitement local, génération en continu et des jetons audio conçus pour faciliter la prédiction.

Chaque tranche de 80 millisecondes de parole est représentée par douze jetons dans LiquidCodec, le codec audio développé par Liquid AI pour LFM3-Audio-2B et LFM3-Omni-2B. Ce composant transforme un enregistrement en une représentation discrète exploitable par un modèle, puis reconvertit les jetons en son. Ses quelque 74 millions de paramètres désignent le codec lui-même, distinct des modèles multimodaux qui l’utilisent. Le travail présenté porte autant sur la fidélité du son reconstruit que sur la facilité avec laquelle un modèle peut apprendre à en prédire les jetons.

Le changement concerne surtout cette représentation intermédiaire. Dans Mimi, le codec tiers utilisé par les premières générations audio du fournisseur, des répertoires de valeurs successifs corrigent les erreurs laissées par les précédents. Cette dépendance impose des contraintes à la prédiction. La méthode retenue ici, la quantification scalaire finie par groupes, ou GFSQ, répartit les caractéristiques audio entre des groupes quantifiés indépendamment. Un modèle de parole peut alors prédire plusieurs jetons d’une même tranche en parallèle, au fil de plusieurs étapes de raffinement.

La conversion retrouve ensuite une forme sonore grâce à un décodeur qui prédit directement des coefficients spectraux. Selon le billet technique, cela évite certaines opérations de reconstruction progressive employées par d’autres codecs. L’encodeur et le décodeur partagent une architecture symétrique fondée sur les blocs LFM3. L’encodeur est causal : il traite le signal disponible sans attendre les sons à venir, ce qui convient à une entrée audio en continu. Le composant travaille sur de la parole mono échantillonnée à 24 kHz.

Sur un seul thread CPU d’un Apple M4 Max, les mesures internes annoncent un encodage à environ 361 fois le temps réel et un décodage à 87 fois, en précision FP32. Pour ce dernier traitement, une seconde d’audio représente donc environ 11,5 millisecondes de calcul dans la configuration testée. Ces chiffres mesurent le codec, pas la chaîne complète d’un assistant vocal : ils n’incluent pas le temps nécessaire au modèle de langage pour préparer une réponse et prédire les jetons. Les blocs de 80 millisecondes décrivent eux aussi le découpage du signal, sans constituer une mesure de délai de réponse.

Les poids proposés sur Hugging Face peuvent être chargés avec Transformers. Le dépôt contient la version BF16 ; les décodeurs quantifiés ne sont pas distribués séparément, mais intégrés aux versions GGUF de LFM3-Audio-2B et LFM3-Omni-2B pour llama.cpp. Un ajustement tenant compte de la quantification réduit, selon le fournisseur, l’empreinte du décodeur d’un facteur 3,5 en Q40, avec une faible dégradation des mesures de reconstruction. Ce gain ne concerne pas la mémoire de l’assistant complet.

La diffusion relève de la LFM Open License v1.0. Malgré son nom, cette licence comporte une restriction commerciale liée au chiffre d’affaires, avec un seuil fixé à 10 millions de dollars annuels. Les entreprises dépassant ce seuil doivent obtenir une autorisation commerciale distincte. Il s’agit d’une publication open weights, sans droit commercial inconditionnel pour toute organisation.

L’entraînement a commencé sur 264 000 heures couvrant 107 langues, à partir de sources comprenant des enregistrements du Web, des livres audio et des conversations. Une première phase apprenait à reconstruire le signal en comparant directement sa forme et son spectre avec l’original. Des sonorités métalliques subsistaient, d’après l’équipe. Une seconde phase, sur 55 000 heures de parole plus propre, a ajouté des réseaux chargés de distinguer les reconstructions des véritables enregistrements afin d’affiner le rendu perceptif.

L’évaluation sépare deux questions : restituer correctement un enregistrement et produire de la parole à partir d’un texte. Pour comparer ce second usage avec Mimi, X-Codec 2 et NanoCodec, les chercheurs ont entraîné des systèmes de synthèse avec le même modèle LFM3-1.7B, le même budget de calcul et 101 000 heures de parole dans six langues. Les résultats agrègent trois générations par test. La répétition de l’expérience avec Qwen3-1.7B donne, selon l’équipe, des tendances cohérentes.

Sur huit jeux de test, le fournisseur rapporte les meilleurs scores ViSQOL et les plus faibles distances spectrales mel en reconstruction, ainsi que le meilleur score de naturel UTMOSv2 en synthèse. L’avantage en intelligibilité, mesurée par les erreurs de mots ou de caractères, concerne quatre jeux sur huit. La fiche limite ces conclusions à la parole : la musique, le chant et les sons d’environnement n’ont pas été évalués. Les 107 langues du préentraînement ne correspondent donc pas à 107 langues validées par ces comparaisons.

Le détail français illustre les écarts entre critères. Sur FLEURS, la version BF16 atteint 6,91 % d’erreurs de mots en synthèse, contre 6,37 % pour X-Codec 2, malgré un meilleur score UTMOSv2. La variante au décodeur Q40 descend à 5,26 %.