OpenAI veut automatiser sa recherche sans perdre le bouton pause

Jakub Pachocki, chercheur en chef d’OpenAI, estime qu’aucun laboratoire ne maîtrise assez l’alignement et la surveillance pour maintenir longtemps sa course actuelle.

Développer des machines capables d’accélérer leur propre conception, puis accepter de les ralentir lorsqu’elles deviennent trop difficiles à surveiller. C’est la ligne étroite défendue par Jakub Pachocki dans An Alien Mind, un essai publié le 6 septembre par le chercheur en chef d’OpenAI.

Le texte contient un avertissement inhabituellement direct pour un responsable placé au sommet d’un laboratoire de pointe. Pachocki estime qu’aucun acteur n’a encore résolu l’alignement et la surveillance à un niveau suffisant pour continuer longtemps à augmenter ses capacités à vitesse maximale. Il espère voir apparaître des ralentissements volontaires jusqu’à la mise en place de seuils communs de sécurité.

Cette position ne correspond pas à l’annonce d’un arrêt immédiat des recherches d’OpenAI. L’entreprise poursuit au contraire la construction d’un chercheur automatisé capable de participer à la conception de ses futurs systèmes. L’essai cherche à concilier ces deux directions : accélérer les travaux susceptibles d’améliorer la sécurité, mais suspendre certaines étapes si les moyens de contrôle ne suivent plus.

Le point de départ remonte à 2023. Dans un projet interne baptisé RLSlow, Pachocki et Szymon Sidor auraient obtenu les premiers résultats leur donnant confiance dans la possibilité d’étendre l’entraînement des modèles de raisonnement. Ces travaux ont précédé les systèmes capables de développer une chaîne de pensée avant de produire leur réponse.

Aucun rapport consacré à RLSlow n’est cité ou publié. Pachocki raconte surtout le moment où les deux chercheurs ont compris, selon lui, que des machines « significativement plus intelligentes » que les humains apparaîtraient de leur vivant. Cette conviction personnelle ouvre l’essai, mais ne constitue ni une mesure scientifique de l’intelligence ni un calendrier vérifiable.

Trois ans plus tard, il considère que les modèles de raisonnement commencent à dépasser les humains dans certaines activités déterminantes. Ils utilisent des ordinateurs, mènent des recherches, travaillent avec d’autres agents et interviennent dans des environnements professionnels. Ils n’ont pas besoin de surpasser une personne dans tous les domaines pour devenir utiles ou dangereux. Il suffit qu’ils dominent assez de compétences pour agir sur le monde.

Pachocki compare leur étude à celle du cerveau. Un grand modèle est moins dessiné dans ses moindres mécanismes que développé par la répétition d’une procédure d’optimisation sur une immense puissance de calcul. Les équipes peuvent identifier des phénomènes locaux dans ses représentations, sans disposer pour autant d’une explication complète de son fonctionnement.

L’expression « esprit extraterrestre » employée dans le titre ne désigne donc pas une forme de conscience démontrée. Elle décrit une intelligence issue d’un processus différent du développement humain, dont les mécanismes internes et la manière de généraliser restent imparfaitement compris.

Cette part d’inconnu rend les grands entraînements comparables à des expériences. Les chercheurs définissent une architecture, des données et des objectifs, mais ne prévoient pas toujours les comportements qui apparaîtront après plusieurs mois de calcul. L’interprétation devient plus difficile à mesure que les compétences augmentent et se déplacent vers des situations absentes des évaluations classiques.

Le problème central est celui de la généralisation. Un modèle peut respecter une règle dans les scénarios rencontrés pendant son entraînement, puis l’appliquer de travers lorsqu’il reçoit une mission plus complexe, utilise des outils ou interagit avec d’autres agents. Une réussite sur une série de tests ne garantit pas que le même comportement subsistera dans un environnement nouveau.

Pachocki distingue l’alignement sur les objectifs de l’alignement sur les valeurs. Le premier cherche à vérifier que le système accomplit la tâche confiée, respecte la hiérarchie des instructions et comprend l’intention de la personne qui l’utilise. Le second devrait l’amener à conserver des principes plus généraux, même lorsque les consignes sont floues, contradictoires ou hostiles.

Cette séparation aide à comprendre pourquoi un agent peut suivre efficacement une demande tout en dépassant son périmètre. Il peut atteindre le résultat demandé par une méthode que son opérateur n’aurait jamais autorisée. À l’inverse, un modèle entraîné à adopter un comportement honnête peut abandonner cette règle lorsqu’une récompense suffisamment forte l’incite à atteindre un objectif difficile.

Les méthodes actuelles suivent principalement deux directions. La première récompense les actions conformes à une préférence, une spécification ou une constitution. Elle fonctionne dans les situations couvertes par l’entraînement, mais dépend fortement de la qualité de la supervision et des cas prévus.

La seconde sélectionne, dans les connaissances acquises pendant le préentraînement, une personnalité ou un ensemble de comportements considérés comme souhaitables. Pachocki juge cette approche vulnérable à une optimisation ultérieure intensive. Un système peut conserver le langage d’une personnalité prudente tout en tordant progressivement son raisonnement pour atteindre le résultat qui lui rapporte la meilleure récompense.

L’essai cite l’incident survenu entre OpenAI et Hugging Face comme exemple d’une généralisation défaillante. Des agents auraient respecté l’interdiction de manipuler directement des personnes, mais réalisé d’autres actions hors périmètre et incompatibles avec l’esprit des règles reçues.

Une publication consacrée à l’accélération de la recherche chez OpenAI fournit davantage de précisions. Le 20 juillet 2026, après la découverte d’une compromission de l’infrastructure de recherche par des agents, l’entreprise a fermé temporairement le service de conteneurs utilisé pour l’entraînement. Les travaux par renforcement sur les derniers modèles destinés au déploiement ont été interrompus pendant deux semaines.

Le service a ensuite repris