Span-02 : un modèle de décision dont le temps de réflexion se règle à la milliseconde
Respan lance Span-02, un modèle de décision multimodal à poids ouverts, capable d'ajuster son raisonnement à un délai précis et de fournir des réponses probabilistes.
Une décision immédiate en quelques millisecondes, ou davantage de temps pour examiner une situation complexe. Avec Span-02, Respan propose un modèle de décision dont la durée de raisonnement peut être définie directement par le développeur. Contrairement aux systèmes qui imposent de choisir un niveau d'effort prédéfini, Span-02 accepte un budget exprimé en millisecondes et renvoie la meilleure décision disponible à son terme. Multimodal et distribué avec ses poids ouverts, il prend en charge les réponses binaires, les classifications, les scores et les valeurs numériques, pour un tarif annoncé de 0,01 dollar par million de tokens en entrée. Fixer un délai plutôt qu'un niveau de raisonnement
Les modèles dotés de capacités de raisonnement proposent généralement plusieurs niveaux d'effort, qui déterminent la quantité de calcul consacrée à une réponse.
Span-02 introduit une autre méthode, appelée anytime reasoning.
Le développeur peut fixer une durée maximale de réflexion en millisecondes. Le système utilise ce temps pour améliorer progressivement sa décision, puis renvoie le meilleur résultat obtenu à l'expiration du délai.
Une application peut ainsi demander une réponse presque immédiate ou autoriser une réflexion plus longue lorsqu'une situation nécessite davantage d'analyse.
Trois modes sont prévus.
Le mode off désactive le raisonnement supplémentaire et privilégie la rapidité.
Le mode on active cette capacité avec un budget configurable grâce au paramètre `budgetms`.
Le mode auto laisse le système déterminer s'il doit poursuivre son raisonnement en fonction de l'incertitude associée à la décision.
La documentation de Respan indique que le budget peut être fixé entre 0 et 600 000 millisecondes. Une valeur de zéro signifie qu'aucune échéance temporelle n'est imposée, même si des limites internes continuent de s'appliquer.
Cette organisation permet d'adapter le temps de traitement aux contraintes d'une application plutôt que de mobiliser systématiquement le même effort de raisonnement. Des décisions structurées plutôt que des réponses rédigées
Span-02 appartient à une catégorie de modèles spécialisés dans l'analyse de situations et la sélection de réponses.
Au lieu de produire principalement des paragraphes, il renvoie des résultats structurés accompagnés d'indications de confiance.
Le système prend en charge quatre formats de questions.
Choice permet de choisir parmi plusieurs possibilités définies à l'avance, avec une distribution de probabilités pour les différentes options.
Noul correspond à une décision binaire, dont la réponse est exprimée sous forme de probabilité.
Score positionne une observation sur une échelle, par exemple pour mesurer l'urgence d'une demande ou le niveau de risque associé à une situation.
Number produit directement une valeur numérique, accompagnée d'un niveau de confiance.
Cette dernière fonction distingue Span-02 de plusieurs modèles de décision limités aux classifications et aux probabilités.
Il devient possible de demander combien d'éléments apparaissent dans une image ou d'extraire un montant sans avoir à définir préalablement toutes les réponses possibles.
Les quatre types peuvent être réunis dans une même requête, à partir d'un contexte partagé. Un score qui progresse avec le temps de réflexion
Respan a évalué Span-02 sur le Decision Index 0.3, une suite publique comprenant 37 benchmarks et destinée à mesurer les capacités de modèles spécialisés dans la décision.
Avec le raisonnement désactivé, Span-02 obtient un score de 61,2, contre 58,0 pour Jev 1.13.0 dans la comparaison présentée.
L'activation du raisonnement améliore progressivement les résultats.
À 270 millisecondes, le score atteint 61,5. Il passe à 62,5 avec 500 millisecondes, puis à 63,0 après une seconde de réflexion.
Respan annonce également un score de 64,1 lorsque le modèle peut poursuivre son raisonnement sans échéance prédéfinie.
Ces mesures décrivent un compromis entre vitesse et qualité des décisions : un traitement plus long peut améliorer le résultat, sans garantir une progression identique pour chaque question.
Les scores proviennent d'une reproduction locale de la suite publique réalisée par Respan. Pour les durées de raisonnement les plus longues, l'entreprise utilise également une estimation des gains mesurés sur un échantillon de 5 000 questions.
Il ne s'agit donc pas d'une évaluation intégralement indépendante de toutes les configurations annoncées. Des comparaisons de latence à interpréter avec précaution
Respan positionne Span-02 parmi les modèles de décision capables de répondre rapidement, y compris lorsque le raisonnement est activé.
Le laboratoire indique qu'avec cette fonction désactivée, son modèle surpasse Jev tout en étant environ quatre fois moins cher.
Il revendique également une latence environ trois fois inférieure à celle de certains modèles affichant un niveau de performance comparable.
Les conditions de comparaison ne sont toutefois pas parfaitement uniformes.
Les temps de réponse de Span-02 sont mesurés sur l'infrastructure de Respan, tandis que certaines données concurrentes proviennent de requêtes API et incluent les délais réseau.
Le graphique publié distingue notamment les mesures réalisées côté serveur et les temps aller-retour des autres fournisseurs.
Les différences de matériel, de charge et d'environnement peuvent influencer les résultats.
La vitesse observée par un développeur dépendra donc du mode de raisonnement choisi, de l'infrastructure utilisée et de la complexité des informations transmises. Dessiner une carte du monde à partir de coordonnées
Pour illustrer l'effet du temps de raisonnement, Respan a soumis au modèle une expérience géographique.
Le système reçoit uniquement des coordonnées de latitude et de longitude. Il doit déterminer si chaque point se trouve sur terre ou dans l'eau, sans disposer d'une carte.
L'expérience couvre 4 050 points répartis sur une grille mondiale de quatre degrés.
Sans raisonnement supplémentaire, Span-02 obtient une précision de 71,9 %. Avec 100