Une seule vidéo pour apprendre une tâche robotique de dix minutes

S1 apprend une tâche robotique à partir d’une seule vidéo, sans fine-tuning, et l’exécute jusqu’à dix minutes selon Skild AI.

Rempoter une plante, préparer un café filtre, retourner un pancake ou assembler un kit après avoir observé une seule fois une personne accomplir la tâche. Le modèle S1 présenté par Skild AI doit permettre à un robot d’acquérir ce type de comportement à partir d’une démonstration vidéo, sans modifier ses paramètres ni lancer de nouvel entraînement.

La démonstration joue ici un rôle comparable à celui d’un prompt. Au lieu de décrire la tâche avec du texte ou de fournir des centaines d’exécutions enregistrées par téléopération, l’utilisateur filme simplement le comportement attendu. S1 analyse ensuite cette séquence pour déterminer l’objectif, identifier les objets utiles, suivre l’avancement de la tâche et transposer les gestes observés sur le corps du robot.

La vidéo n’a pas besoin d’être enregistrée avec le robot qui effectuera l’action. Skild AI utilise notamment des démonstrations humaines filmées en vue subjective. Le décor, l’angle de prise de vue et la morphologie de la personne peuvent différer de l’environnement d’exécution. Le modèle doit donc comprendre qu’une main humaine, une pince robotique ou un bras articulé peuvent remplir des fonctions équivalentes malgré leurs différences physiques.

Cette approche repose sur l’in-context learning, déjà largement utilisé par les modèles de langage. Dans ce cadre, un système adapte son comportement aux informations fournies dans le contexte sans que ses paramètres permanents soient modifiés. S1 applique ce principe à la robotique : la vidéo indique temporairement le comportement recherché, mais elle n’ajoute pas une nouvelle compétence aux paramètres du modèle.

Cette distinction sépare S1 des systèmes qui demandent un fine-tuning pour chaque nouvelle tâche. Une méthode traditionnelle peut nécessiter des dizaines ou des centaines de démonstrations réalisées avec le robot cible, puis une phase d’entraînement spécifique. Skild AI affirme qu’une seule vidéo suffit pour commencer l’exécution avec S1.

Les démonstrations publiées portent sur des tâches inédites pour le modèle et pouvant durer jusqu’à dix minutes. Elles comprennent plusieurs dizaines d’étapes successives, avec des changements d’objets, des déplacements et des manipulations demandant des actions différentes. Le rempotage d’une plante exige par exemple de préparer le contenant, déplacer la plante, manipuler la terre et arroser le résultat.

Pour cette expérience, Skild AI indique que onze minutes ont séparé l’enregistrement de la démonstration et le début de l’exécution autonome. L’essentiel de ce temps aurait été consacré à la préparation matérielle de la scène. Aucun entraînement supplémentaire n’aurait été réalisé entre les deux séquences.

Toutes les démonstrations présentées reposent sur le même ensemble de paramètres. Skild AI ne dit donc pas avoir construit un modèle distinct pour la cuisine, le jardinage ou l’assemblage. Le comportement est conditionné par la vidéo placée dans le contexte au moment de l’exécution.

S1 doit également pouvoir conserver le fil d’une tâche longue. Le robot doit reconnaître les étapes déjà terminées, détecter la prochaine action et éviter de recommencer une opération accomplie plusieurs minutes auparavant. Cette capacité devient importante dès qu’une activité ne peut plus être résumée à saisir un objet puis le déplacer.

Le modèle a été entraîné à partir de plusieurs catégories de données. Skild AI mentionne des sessions de téléopération, des enregistrements réalisés avec des interfaces de manipulation universelles, des vidéos humaines en vue subjective et des environnements simulés. L’entreprise affirme produire ces données en interne, mais ne publie pas encore la taille exacte du corpus final, sa composition détaillée ou la proportion occupée par chaque source.

La qualité des démonstrations fait également l’objet d’un contrôle humain. Skild AI dit consacrer trois dollars à cette vérification pour chaque dollar dépensé dans la collecte. L’objectif est d’éliminer les séquences incorrectes, les annotations imprécises et les enregistrements qui ne permettent pas de reconstruire clairement la tâche.

L’entreprise a comparé son approche à un modèle vision-langage-action commandé par des instructions textuelles. Les deux systèmes ont été entraînés avec les mêmes données, une architecture comparable et un budget de calcul identique. Les corpus de l’expérience vont de 1 000 à 100 000 heures.

Avec 1 000 heures de données, le modèle commandé par le langage obtient un score de 53 % sur les tâches déjà rencontrées, contre 43 % pour le système utilisant une démonstration. À ce niveau, apprendre directement l’association entre une instruction et une action reste plus efficace.

La tendance s’inverse lorsque la quantité de données augmente. Avec 100 000 heures, Skild AI rapporte un score de 96 % pour l’in-context learning sur les tâches connues, contre 89 % pour le modèle commandé par le texte. L’écart devient surtout visible sur les tâches inédites : 66 % pour S1, contre 9 % pour son concurrent expérimental.

Ces chiffres doivent cependant être interprétés avec prudence. Le score représente une moyenne de réussite par étape dans des évaluations internes, et non la proportion de tâches intégralement accomplies de manière autonome. Lorsqu’une erreur empêche de poursuivre, une personne peut intervenir pour remettre le robot dans une situation permettant d’évaluer les étapes suivantes. Un score de 66 % ne signifie donc pas que deux tâches longues sur trois sont terminées sans assistance.

Skild AI ne publie pas non plus le nombre complet de tentatives associées aux démonstrations les plus spectaculaires. Les vidéos de rempotage, de cuisine ou de préparation du café montrent que le système peut réussir ces comportements, mais elles ne permettent pas de connaître la fréquence des échecs, la dispersion des résultats ou le niveau de sélection appliqué avant leur publication.

Une autre expérience compare la démonstration unique au fine-tuning d’un modèle commandé par le langage. D’après les