Risque d’extinction par l’IA : pourquoi certains spécialistes pensent qu’elle pourrait « tuer tous les humains »

Le risque d’extinction par l’IA est revenu brutalement dans le débat après la démission du chercheur d’Anthropic Jacob Coxon. Derrière une formule qui semble relever de la science-fiction se trouve une inquiétude réelle chez une partie des spécialistes, mais aussi une hypothèse très contestée et difficile à quantifier.

Chez Anthropic, l’inquiétude dépasse un chercheur démissionnaire

Jacob Coxon a travaillé pendant trois ans sur le préentraînement des modèles chez OpenAI puis Anthropic. Le 8 septembre, il a annoncé quitter cette dernière en accusant les deux entreprises de foncer vers une « superintelligence auto-améliorante » sans garanties suffisantes.

Selon lui, des personnes qui construisent ces systèmes pensent réellement qu’ils pourraient provoquer la disparition de l’humanité avant la fin de la décennie. Son ancien collègue Evan Hubinger, responsable des recherches d’alignement chez Anthropic, a publiquement confirmé partager cette inquiétude. Il estime personnellement à plus de 10 % le risque qu’une IA tue tous les humains au cours de la prochaine décennie.

Cette estimation reste une opinion, et non une probabilité scientifiquement établie. Anthropic précise d’ailleurs que les modèles actuels présentent un risque bien inférieur à celui envisagé dans ces scénarios futurs.

Le débat concerne surtout une éventuelle superintelligence capable de dépasser largement les humains dans de nombreuses tâches et d’améliorer elle-même ses capacités.

Le problème de l’alignement se trouve au cœur des craintes

Le scénario redouté repose principalement sur ce que les chercheurs appellent l’alignement. Il s’agit de faire en sorte qu’un système très puissant poursuive réellement les objectifs voulus par ses concepteurs, y compris lorsqu’il rencontre des situations imprévues.

Le danger ne suppose pas nécessairement qu’une IA développe une haine des humains. Un système extrêmement compétent pourrait poursuivre un objectif mal défini et considérer certaines interventions humaines comme des obstacles. Plus ses capacités d’action seraient importantes, plus les conséquences d’une erreur d’objectif pourraient devenir graves.

Les inquiétudes augmentent avec l’apparition d’agents capables de travailler plus longtemps de manière autonome, d’écrire du code ou d’effectuer des opérations informatiques. Des incidents récents où des systèmes ont adopté des comportements inattendus ont renforcé les appels à améliorer leur contrôle.

Le scénario le plus extrême ajoute une étape supplémentaire. Une IA capable d’améliorer elle-même ses logiciels ou de participer directement à la création de modèles plus puissants pourrait déclencher une progression très rapide de ses capacités. Rien ne démontre toutefois qu’un tel emballement se produira.

Hinton et Bengio prennent aussi le risque au sérieux

Ces craintes ne viennent pas uniquement d’Anthropic. Geoffrey Hinton et Yoshua Bengio, deux des chercheurs récompensés par le prix Turing pour leurs travaux fondamentaux sur l’apprentissage profond, ont signé en 2023 une déclaration appelant à considérer le risque d’extinction lié à l’IA au même niveau que les pandémies et la guerre nucléaire.

Sam Altman, Demis Hassabis et Dario Amodei figuraient également parmi les signataires.

Une vaste enquête menée auprès de 2 778 chercheurs ayant publié dans de grandes conférences d’IA montre cependant une réalité beaucoup plus nuancée. La probabilité médiane attribuée à une extinction humaine ou à une perte permanente et grave du contrôle de l’humanité liée aux progrès futurs de l’IA atteignait 5 %. Dans le même temps, 68,3 % des répondants jugeaient les conséquences positives d’une IA surhumaine plus probables que les conséquences négatives.

Les spécialistes ne forment donc pas un bloc convaincu qu’une catastrophe arrivera. Ils divergent profondément sur sa probabilité tout en étant nombreux à considérer qu’un risque faible mais potentiellement irréversible mérite d’être étudié.

Aucun consensus scientifique sur un scénario d’extinction

L’expression « l’IA pourrait tuer tous les humains » peut donner l’impression qu’une chaîne causale démontrée existe. Ce n’est pas le cas.

Les chercheurs ignorent quand une véritable superintelligence pourrait apparaître, si elle pourra réellement s’améliorer de manière récursive et si les techniques de contrôle progresseront moins vite que ses capacités. Ils ne disposent pas non plus de données historiques permettant de calculer statistiquement la probabilité d’une extinction provoquée par une technologie qui n’existe pas encore sous cette forme.

Une autre enquête publiée par Nature en 2025 auprès de 4 260 chercheurs montre d’ailleurs que 54 % pensaient que l’IA apporterait davantage de bénéfices que de risques.

Le débat oppose donc des scénarios et des évaluations de risque, pas une prédiction scientifique consensuelle.

La peur de l’IA peut aussi servir les géants du secteur

Une critique plus politique accompagne ces avertissements. Présenter les modèles les plus avancés comme extrêmement dangereux peut renforcer l’argument en faveur de réglementations coûteuses que seuls les géants disposant de milliards de dollars et d’importantes équipes de sécurité peuvent facilement respecter.

Des règles trop lourdes pourraient ainsi protéger les entreprises dominantes contre les nouveaux concurrents ou les modèles open source. Ce soupçon explique pourquoi certains observateurs parlent de « safety-washing » ou voient dans les discours catastrophistes un possible instrument concurrentiel.

Mais cet argument ne suffit pas non plus à conclure que les avertissements sont artificiels. Jacob Coxon a précisément quitté une position prestigieuse pour dénoncer la course aux capacités, tandis que plusieurs chercheurs d’Anthropic ont publiquement confirmé leurs inquiétudes. Des scientifiques extérieurs aux grandes entreprises alertent également depuis des années.

La question du risque d’extinction par l’IA se trouve finalement entre deux excès. Rien ne permet d’affirmer aujourd’hui qu’une IA exterminera l’humanité, mais l’incertitude ne permet pas davantage de démontrer que ce scénario est impossible. C’est précisément cette combinaison entre conséquences potentiellement immenses et impossibilité de mesurer correctement leur probabilité qui nourrit l’inquiétude d’une partie des chercheurs.