GPT-Live-1.1 améliore les conversations vocales, mais révèle des régressions de sécurité
OpenAI déploie GPT-Live-1.1 et Quip dans ChatGPT Voice, avec de nouvelles voix et des accents améliorés. Leur évaluation révèle aussi des limites de sécurité.
Parler à une intelligence artificielle sans attendre systématiquement son tour, l'interrompre au milieu d'une réponse ou reprendre après une hésitation. Avec GPT-Live-1.1 et GPT-Live-1.1 Quip, OpenAI actualise les modèles qui alimentent les conversations vocales de ChatGPT. Cette génération accompagne l'arrivée de nouvelles voix et d'une meilleure restitution des accents dans plusieurs langues, dont le français. Mais la fiche de sécurité publiée par OpenAI présente aussi des résultats plus contrastés : si les deux modèles restent globalement proches de leurs prédécesseurs sur les tests issus d'utilisations réelles, plusieurs régressions statistiquement significatives apparaissent dans les évaluations synthétiques. Deux modèles pour les conversations en temps réel
GPT-Live-1.1 succède à GPT-Live-1, tandis que GPT-Live-1.1 Quip remplace GPT-Live-1 mini.
Les deux modèles reposent sur une architecture dite full-duplex, permettant d'écouter et de répondre au cours d'une même interaction, sans imposer une alternance stricte entre la parole de l'utilisateur et celle de l'assistant.
Cette capacité permet au système de prendre en compte les pauses, les interruptions et les changements de rythme pendant une conversation.
Un utilisateur peut commencer une phrase, hésiter ou interrompre l'assistant. Le modèle doit alors déterminer s'il convient de répondre, de poursuivre son intervention ou de continuer à écouter.
Ce fonctionnement était déjà présent dans la précédente génération GPT-Live. Les versions 1.1 prolongent cette approche plutôt que d'introduire une architecture entièrement nouvelle.
Selon la documentation officielle, GPT-Live-1.1 devient le modèle vocal par défaut pour les abonnements Plus et supérieurs, notamment dans les expériences vocales associées à Codex et Dots. La variante Quip est destinée aux autres utilisateurs. De nouvelles voix et des accents plus naturels
Le déploiement s'accompagne d'une évolution des voix proposées dans ChatGPT.
OpenAI annonce une meilleure restitution des accents dans plusieurs langues, notamment le français, l'allemand, l'hindi, le japonais, le coréen et l'espagnol mexicain.
De nouvelles options vocales sont également introduites pour ces langues, ainsi que Bubbie en anglais.
L'objectif est de mieux adapter la prononciation et les caractéristiques de la voix aux différentes langues utilisées pendant une conversation.
L'assistant dispose aussi d'un répertoire plus varié de courtes interventions destinées à signaler qu'il effectue une recherche, afin de rendre ces moments moins répétitifs.
Les notes de version de ChatGPT précisent que les voix disponibles peuvent varier selon le pays et le compte.
La sélection s'effectue depuis les paramètres de ChatGPT, dans la rubrique Voice.
Les annonces publiques évoquent également des améliorations dans la gestion des instructions et dans la manière de confier certaines tâches à d'autres modèles. OpenAI ne fournit toutefois pas, dans cette fiche de sécurité, de mesure comparative détaillée permettant de quantifier ces progrès conversationnels. Des résultats proches sur les interactions réelles
Pour évaluer les deux versions, OpenAI a repris des tests développés lors du lancement initial de GPT-Live.
Une première série utilise des enregistrements de conversations vocales provenant d'utilisateurs ayant accepté de partager leurs interactions pour améliorer les modèles.
Ces enregistrements font l'objet de traitements destinés à limiter la présence d'informations personnelles et à vérifier leur éligibilité avant leur utilisation.
Les évaluations portent sur six catégories : contenus sexuels, comportements illicites, santé mentale, données personnelles, dépendance émotionnelle et automutilation.
Sur les contenus sexuels, GPT-Live-1.1 atteint un score de 0,81 contre 0,77 pour GPT-Live-1. La variante Quip passe de 0,69 à 0,78 par rapport à GPT-Live-1 mini.
En santé mentale, les deux nouveaux modèles obtiennent 0,81, contre respectivement 0,78 et 0,76 pour leurs prédécesseurs.
La protection des données personnelles reste stable à 0,92 pour GPT-Live-1.1, tandis que Quip progresse de 0,89 à 0,92.
D'autres résultats évoluent peu. Le score relatif aux comportements illicites passe de 0,87 à 0,86 pour la version principale, tandis que celui consacré à la dépendance émotionnelle reste à 0,76.
OpenAI ne relève aucune régression statistiquement significative sur cet ensemble de tests.
Le laboratoire précise néanmoins que les exemples ont été sélectionnés pour leur difficulté. Ces scores ne représentent pas la fréquence des problèmes rencontrés dans l'ensemble des conversations vocales en production. Des régressions dans les tests synthétiques
La deuxième série d'évaluations repose sur des exemples audio créés artificiellement pour explorer des situations difficiles, des limites de sécurité et des cas rarement observés dans les interactions ordinaires.
Leurs résultats sont moins homogènes.
Pour GPT-Live-1.1, le score en santé mentale passe de 0,70 à 0,63, tandis que celui consacré aux contenus violents explicites descend de 0,76 à 0,69.
Des baisses apparaissent également sur les contenus sexuels, de 0,87 à 0,84, et sur la dépendance émotionnelle, de 0,86 à 0,81.
OpenAI identifie ces quatre évolutions comme des régressions statistiquement significatives par rapport à GPT-Live-1.
La variante Quip affiche aussi des résultats inférieurs à ceux de GPT-Live-1 mini dans certaines catégories. Son score en santé mentale passe notamment de 0,60 à 0,59, tandis que celui consacré aux contenus violents explicites passe de 0,66 à 0,62.
Les deux générations conservent des scores élevés sur d'autres catégories, notamment la protection des données personnelles, qui atteint 0,95 pour GPT-Live-1.1.
OpenAI indique poursuivre ses recherches pour comprendre les baisses observées et améliorer les prochaines versions.
Ces mesures concernent le comportement des modèles lors des tests, sans intégrer toutes les protections supplémentaires appliquées dans les produits, comme certaines