MOSS-Transcribe-Diarize transcrit et attribue la parole en une seule génération

Signé MOSI (équipe OpenMOSS), MOSS-Transcribe-Diarize arrive en open source : un modèle de compréhension audio qui transforme un enregistrement à plusieurs voix en transcription structurée, avec locuteurs et horodatage. Une seule version est ouverte pour l'instant, un modèle de 0,9 milliard de paramètres sous licence Apache 2.0, une déclinaison Pro plus performante étant attendue via API.

L'intérêt tient à l'approche de bout en bout. Là où les pipelines classiques enchaînent trois briques distinctes, reconnaissance de la parole (ASR), diarisation (l'attribution de chaque passage à un locuteur) et alignement temporel, à la manière d'un WhisperX, le modèle traite les trois comme une seule tâche de génération. Il répond d'un coup à « ce qui a été dit », « par qui » et « à quel moment », en produisant un texte horodaté où chaque tour de parole porte une étiquette de locuteur ([S01], [S02]). Sous le capot, un encodeur audio Whisper-Medium alimente un décodeur de type Qwen3-0.6B.

La compacité est l'argument central. Avec 0,9 milliard de paramètres et une fenêtre de contexte de 128 000 tokens, le modèle avale jusqu'à quatre-vingt-dix minutes d'audio en une passe, sans découpage ni recollage. Sur une seule carte RTX 4090, MOSI mesure environ 100 tokens par seconde, soit un fichier de cinq à dix minutes transcrit en moins de trente secondes. Un système de mots-clés (hotwords) accepte à l'avance noms propres, termes métier ou références produit pour mieux les reconnaître.

Côté résultats, l'éditeur revendique la première place sur le banc AISHELL-4, avec une réduction d'erreur supérieure à 40 % face aux modèles courants et une attribution des locuteurs présentée comme stable sur les longues conversations. Le dépôt réunit poids, code, rapport technique et une petite application web de sous-titrage (export SRT, ASS ou JSON, incrustation via FFmpeg), avec une prise en charge dès le premier jour par SGLang Omni, vLLM et MLX-audio.