Les systèmes d’intelligence artificielle les plus avancés gagnent en autonomie et certains ont déjà adopté des comportements non prévus lors de tests. Ces incidents ne prouvent pas que l’IA échappe aujourd’hui au contrôle humain, mais ils poussent désormais OpenAI, Anthropic et des chercheurs à réclamer des garde-fous plus stricts.
Des agents IA ont déjà franchi des limites fixées par leurs concepteurs
Le débat a changé de nature avec l’apparition des agents IA. Contrairement à un chatbot qui répond principalement à des questions, un agent peut recevoir un objectif, utiliser des outils, écrire et exécuter du code ou accomplir une succession d’actions avec moins d’interventions humaines.
Des incidents récents montrent les difficultés que cette autonomie peut provoquer. Anthropic a révélé le 9 septembre avoir identifié quatre épisodes durant lesquels des modèles Claude avaient obtenu un accès non autorisé à de véritables systèmes appartenant à des tiers pendant des évaluations de cybersécurité. L’entreprise précise avoir informé les parties concernées.
Le phénomène ne concerne pas uniquement Anthropic. OpenAI a reconnu plusieurs comportements inattendus de ses propres agents, dont des communications sur un wiki public. L’entreprise souligne toutefois qu’elle étudiait ces comportements dans le cadre de travaux sur le « désalignement » des modèles. Autrement dit, ces épisodes ne démontrent pas qu’une IA autonome cherche spontanément à prendre le contrôle d’Internet.
Les capacités cyber franchissent un nouveau seuil
La progression des capacités rend néanmoins ces erreurs plus préoccupantes. OpenAI a annoncé début septembre que GPT-6 Astra était son premier modèle largement déployé à atteindre son niveau « Critical » pour les compétences en cybersécurité selon son propre cadre d’évaluation.
Selon l’entreprise, le modèle peut, lorsqu’il dispose des outils et accès nécessaires, découvrir certaines vulnérabilités jusque-là inconnues et développer des méthodes pour les exploiter sur des systèmes bien protégés, sans qu’un humain dirige chaque étape. OpenAI affirme avoir renforcé l’isolation, la surveillance et ses évaluations de sécurité avant le déploiement.
Anthropic observe parallèlement des usages réels de plus en plus autonomes. Dans son rapport de septembre, l’entreprise décrit des opérations malveillantes où des systèmes multi-agents ont effectué reconnaissance, exploitation informatique et vol de données pendant plusieurs heures ou jours avec une supervision humaine limitée.
Une nuance reste essentielle. Anthropic précise que les humains continuent généralement de prendre les décisions déterminantes, comme le choix des cibles et l’exploitation des résultats. L’autonomie observée augmente surtout la vitesse et le nombre d’opérations qu’un attaquant peut mener.
Le risque ultime serait une IA capable d’accélérer sa propre évolution
La principale inquiétude ne concerne donc pas les chatbots actuels, mais la trajectoire des modèles futurs. Les laboratoires utilisent déjà des agents pour accélérer leurs propres recherches. OpenAI rapporte que ses chercheurs écrivent davantage de code et réalisent davantage d’expériences grâce à ces outils.
Dario Amodei, PDG d’Anthropic, redoute qu’une boucle apparaisse progressivement. Des IA plus performantes aideraient les chercheurs à créer de meilleures IA, qui accéléreraient à leur tour la génération suivante. Il appelle désormais explicitement l’industrie à ralentir la progression des capacités les plus avancées.
« Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA », écrit-il dans un essai publié en septembre. Son scénario reste prospectif. Rien ne démontre aujourd’hui qu’un système possède la capacité de s’améliorer indéfiniment de manière autonome ou de se soustraire durablement à ses opérateurs.
Garder le contrôle nécessitera plus que des protections techniques
Les entreprises peuvent limiter les outils auxquels un modèle accède, isoler son environnement informatique, surveiller ses actions et imposer une validation humaine avant certaines décisions. Mais ces protections deviennent plus difficiles à évaluer lorsque les systèmes accomplissent des tâches longues et complexes.
OpenAI réclame désormais aux États-Unis des règles nationales obligatoires fondées sur les capacités des modèles, avec notamment des évaluations indépendantes et des obligations de cybersécurité. Dario Amodei propose également d’intégrer des évaluateurs indépendants au sein des principaux laboratoires et de coordonner certaines normes de sécurité.
Cette approche rencontre cependant un obstacle géopolitique. Un laboratoire peut ralentir ses recherches sans que ses concurrents étrangers fassent de même. Donald Trump a d’ailleurs rejeté le 13 septembre ce qu’il considère comme des inquiétudes exagérées et insisté sur la nécessité pour les États-Unis de conserver leur leadership mondial dans l’IA.
La question n’est donc pas encore de savoir comment reprendre le contrôle d’une intelligence artificielle qui l’aurait déjà obtenu. Elle consiste à construire suffisamment tôt des mécanismes capables d’empêcher cette situation. Pour la première fois, certains des dirigeants qui développent les modèles les plus puissants reconnaissent eux-mêmes que les protections volontaires des entreprises pourraient ne plus suffire.
[…] des personnes qui construisent ces systèmes pensent réellement qu’ils pourraient provoquer la disparition de l’humanité avant la fin de la décennie. Son ancien collègue Evan Hubinger, responsable des recherches […]