Pour les agents vocaux, Gemma 4 31B revendique moins de latence que GPT-4.1

Le modèle Gemma 4 31B de Google affiche un premier son en 354 ms sur LiveKit. Une vitesse qui permet de diviser la latence vocale par cinq face à GPT-4.1.

Gemma 4 31B, le modèle en open weights de Google, rejoint LiveKit Inference comme LLM conseillé par défaut pour les agents vocaux. L'offre est intégrée à LiveKit Cloud, et le modèle tourne sur l'infrastructure GPU de la plateforme, taillée pour la basse latence.

L'argument tient dans les temps de réponse. Selon LiveKit, le modèle démarre sa génération en environ 192 ms (time to first token) et produit son premier son en 354 ms (time to first audio). Face à GPT-4.1, le fournisseur revendique une latence divisée par cinq environ et un coût près de six fois inférieur, à qualité de réponse comparable, le tout mesuré sur son propre agent de référence, un réceptionniste d'hôtel. Google avance par ailleurs un score de 76,9 % sur tau2bench en usage agentique d'outils, au-dessus de GPT-4.1.

Le service met en avant un choix d'optimisation : là où d'autres plateformes d'inférence privilégient le débit et tolèrent plus de latence, LiveKit dit faire l'inverse, quitte à réduire le débit, au motif que la voix ne peut pas attendre. Sur son banc, la route à GPU co-localisés tient 158 tokens par seconde et démarre une phrase bien plus vite qu'un routeur généraliste comme OpenRouter, mesuré à 33 tokens par seconde et 1 876 ms.

L'ensemble reste chiffré par le fournisseur, sur un unique agent de test. LiveKit Inference fonctionne en zéro rétention de données par défaut et ouvre l'accès à d'autres modèles de reconnaissance, de génération et de synthèse vocale, de Deepgram à Cartesia. Le branchement du modèle tient en une ligne dans une session LiveKit Agents.