Donner un morceau de metal ou de jazz et récupérer la partition de chaque instrument

Le laboratoire parisien Kyutai, avec Mirelo AI, ouvre MuScriptor, un modèle de transcription musicale multi-instruments. On lui donne un enregistrement dans n'importe quel genre, pop, classique, metal, jazz, et il en ressort la transcription des instruments séparés au format MIDI. L'équipe le présente comme le meilleur modèle ouvert du domaine à ce jour.

La transcription automatique bute depuis des années sur un même obstacle : le manque de données d'entraînement, c'est-à-dire d'audio réel aligné à des annotations de notes. Les modèles s'entraînaient donc surtout sur de l'audio synthétique et généralisaient mal aux vrais enregistrements. La contribution centrale de MuScriptor est là : un jeu de 170 000 morceaux réels (11 000 heures) de genres variés, appariés à leurs transcriptions MIDI.

L'entraînement se fait en trois temps. Un pré-entraînement sur 1,5 million de fichiers MIDI synthétisés en de nombreuses variations, puis un fine-tuning sur données réelles, présenté comme le premier facteur de qualité, et enfin un post-entraînement par renforcement (RL) sur 300 pistes aux transcriptions vérifiées à la main. L'architecture reste volontairement simple : un transformer decoder-only qui prédit un flux de tokens à partir du spectrogramme d'un extrait de cinq secondes, les morceaux plus longs étant traités par tranches. Les tailles vont de 100 millions à 1,3 milliard de paramètres.

Les auteurs ajoutent une conditionnement par présence d'instrument, qui stabilise les prédictions le long d'un morceau et laisse l'utilisateur ajuster sa transcription. Poids, code, papier et une interface d'essai en ligne sont publics.