Datadog lance Scout 1.0, une IA spécialisée dans la recherche des causes d'incidents informatiques
Datadog présente Scout 1.0, un modèle IA entraîné pour enquêter sur les incidents informatiques, avec des coûts annoncés jusqu'à 19 fois inférieurs.
Lorsqu'une application tombe en panne, les équipes techniques doivent généralement examiner les alertes, comparer les journaux et les métriques, puis identifier les événements susceptibles d'expliquer l'incident. Avec Scout 1.0, Datadog présente son premier modèle d'intelligence artificielle spécialement entraîné pour mener ce type d'investigation. Intégré à Bits Investigation, il formule des hypothèses, interroge les données de télémétrie et recherche des éléments permettant d'étayer un diagnostic. Selon les évaluations internes de Datadog, Scout atteint des performances comparables à plusieurs modèles généralistes de premier plan, pour un coût d'inférence estimé entre trois et dix-neuf fois inférieur selon les comparaisons. Un modèle destiné aux incidents en production
Scout 1.0 a été développé pour les activités de Site Reliability Engineering (SRE), une discipline consacrée à la disponibilité, à la fiabilité et au fonctionnement des services informatiques.
Lorsqu'un système rencontre un problème, identifier son origine nécessite souvent de consulter plusieurs sources d'information.
Une augmentation du temps de réponse peut provenir d'une base de données surchargée, d'un changement de configuration, d'un déploiement logiciel ou d'un service externe indisponible.
Les symptômes observés ne suffisent pas toujours à déterminer la cause.
Scout intervient au sein de Bits Investigation, l'agent SRE de Datadog, pour aider à conduire ces recherches.
L'objectif est de lancer des investigations dès l'apparition d'une alerte, avant même qu'une personne de permanence ait commencé son analyse.
La plateforme vise ainsi un fonctionnement dans lequel chaque alerte pourrait bénéficier d'un premier examen automatisé, plutôt que de réserver les recherches approfondies aux incidents les plus importants. Formuler des hypothèses et examiner les preuves
Une investigation menée par Bits comprend plusieurs étapes.
Le système commence par examiner le contexte de l'alerte et les informations disponibles sur l'environnement concerné.
Il peut ensuite formuler différentes hypothèses sur l'origine du problème, puis interroger les données de télémétrie afin de vérifier chacune d'elles.
Ces données peuvent notamment comprendre des métriques, des journaux d'événements et des traces d'exécution.
Les observations servent à écarter certaines explications ou à renforcer celles qui correspondent aux éléments collectés.
L'agent peut alors produire un diagnostic accompagné des données qui justifient ses conclusions.
Datadog présente notamment une démonstration d'investigation sur un incident PostgreSQL, dans laquelle Bits affiche une cause probable et des propositions d'actions correctives.
L'analyse repose sur plusieurs appels successifs au modèle. C'est cette répétition qui rend le coût d'inférence particulièrement important : une seule investigation peut nécessiter différentes recherches, vérifications et reformulations. Une spécialisation à partir de GLM-5.3 Flash
Pour construire Scout 1.0, Datadog est parti du modèle GLM-5.3 Flash, puis lui a appliqué un entraînement complémentaire par renforcement.
Plutôt que de chercher à développer un modèle généraliste supplémentaire, l'entreprise a concentré son apprentissage sur les opérations nécessaires aux investigations SRE.
L'entraînement repose sur des simulations reproduisant des incidents techniques et leurs causes.
Datadog utilise des incidents historiques et des informations de télémétrie provenant d'alertes réelles pour construire ces environnements.
Le laboratoire précise que les simulations d'entraînement ne contiennent pas de données clients.
Dans chaque scénario, Scout utilise des outils inspirés de ceux de Bits Investigation pour examiner la situation, rechercher des indices et confronter plusieurs explications.
L'entraînement récompense notamment l'identification de la cause de l'incident et la capacité à appuyer cette conclusion sur des éléments vérifiables.
Cette approche vise à améliorer le comportement du modèle pendant une enquête, plutôt qu'à optimiser uniquement la qualité de ses réponses textuelles. Une infrastructure interne d'apprentissage par renforcement
Datadog a également développé sa propre infrastructure distribuée pour entraîner Scout.
Elle s'appuie sur des outils open source, auxquels l'entreprise a ajouté les composants nécessaires à la simulation d'incidents, à l'évaluation des résultats et à l'entraînement des modèles.
Le système permet d'exécuter de nombreuses enquêtes simulées et d'utiliser leurs résultats pour améliorer le comportement de Scout.
Ce type d'apprentissage dépend fortement de la qualité des environnements d'entraînement.
Pour qu'un modèle apprenne à identifier les causes d'une panne, les simulations doivent reproduire suffisamment fidèlement les relations entre les symptômes, les événements et les défaillances.
Datadog construit donc Scout et Bits Investigation conjointement : le modèle apprend à utiliser les outils disponibles dans Bits, tandis que les outils peuvent être modifiés à partir des difficultés observées pendant les investigations.
L'entreprise détaille ses travaux dans un rapport technique consacré à Scout. Des performances comparables à des modèles généralistes plus coûteux
Datadog a développé AlertEval, une évaluation interne consacrée à la qualité des investigations.
Elle utilise des alertes réelles, des données de télémétrie archivées et des descriptions de causes profondes rédigées par des ingénieurs.
Les équipes de Datadog ont constitué plusieurs milliers de points d'évaluation à partir de leurs processus de gestion des incidents.
Sur ce protocole, l'entreprise indique que Scout 1.0 medium atteint un niveau comparable à GPT-6.1 Sol high et Claude Opus 5.5 high, pour un coût d'inférence estimé entre trois et huit fois inférieur.
Scout medium affiche également des performances comparables à Claude Fable medium et GPT-6 Astra medium, avec des coûts respectivement douze et dix-neuf fois inférieurs selon Datadog.
Ces écarts concernent le coût estimé