Dario Amodei et la superintelligence : comprendre le vrai signal

D’un essai discret à une alarme mondiale : ce qu’Amodei a vraiment dit

En octobre 2024, Dario Amodei publie un essai long format intitulé Machines of Loving Grace sur son site personnel, darioamodei.com. Le document représente environ quatorze à quinze mille mots, soit une vingtaine de pages environ. Il n’est pas rédigé pour la presse grand public : le registre est celui d’un chercheur qui écrit pour d’autres chercheurs, avec un sous-titre explicitement optimiste, « How AI Could Transform the World for the Better », et un développement centré sur les bénéfices potentiels de l’IA, notamment la guérison de maladies, l’allongement de l’espérance de vie en bonne santé, et la réduction de la pauvreté mondiale. Depuis, Amodei a répété ce message dans plusieurs interviews, notamment sur le podcast de Lex Fridman et dans des déclarations au Sénat américain, avec une constance qui tranche avec le silence habituel des dirigeants du secteur sur ces sujets.

Le paradoxe est frontal. Anthropic est l’une des entreprises qui pousse le plus vite sur la frontière des modèles de fondation. Claude 3 Opus, puis Claude 3.5 Sonnet, puis les séries suivantes : chaque trimestre, la puissance de traitement augmente, les benchmarks progressent, les capacités d’agentivité s’élargissent. Anthropic lève des milliards, recrute les meilleurs chercheurs du monde, signe des contrats cloud avec Amazon et Google. Ce n’est pas une startup qui tâtonne. C’est une organisation qui court.

Amodei construit l’une des IA les plus avancées du monde et demande simultanément à l’industrie de ralentir. Ce n’est pas une incohérence accidentelle : c’est la tension centrale de toute la période actuelle.

Alors pourquoi parler de ralentissement ? Sa position, telle qu’elle transparaît dans l’essai, est que des systèmes d’IA très puissants pourraient arriver dès 2026, et que les bénéfices considérables qui en découleraient sont conditionnés à une gestion sérieuse des risques de sécurité. Il ne dit pas « arrêtons tout. » Il dit que les gains potentiels sont immenses, mais que les réaliser suppose de ne pas négliger la compréhension de ce que l’on construit. C’est une nuance importante, souvent absente de la couverture française qui résume sa position à un simple appel à la prudence, sans en exposer la mécanique sous-jacente.

Chatbot, agent autonome, superintelligence : le saut que personne n’explique

• Un chatbot réactif comme ChatGPT dans sa forme de base reçoit une question et génère une réponse. Il n’a pas de mémoire persistante entre les sessions, ne prend aucune initiative, et ne fait rien sans qu’on lui demande. C’est un système de complétion de texte très sophistiqué, rien de plus. La puissance est réelle, les risques sont gérables : le système ne peut pas agir sur le monde sans un humain qui copie-colle sa sortie quelque part.
• Un agent autonome fonctionne différemment. Il reçoit un objectif, pas une question. Il découpe cet objectif en sous-tâches, exécute des actions réelles, navigue sur le web, lance du code, consulte des API, puis réévalue sa progression à chaque étape. Il opère en boucle : action, observation, décision, nouvelle action. Le contrôle humain devient intermittent plutôt que continu. Des systèmes comme AutoGPT ou les « computer use » d’Anthropic fonctionnent déjà sur ce modèle. Le saut par rapport au chatbot n’est pas quantitatif, il est structurel.
• La boucle de rétroaction propre aux agents crée un phénomène que les ingénieurs appellent « drift » : le comportement du système s’éloigne progressivement de l’intention initiale à mesure qu’il accumule des décisions intermédiaires. Sur un horizon court, c’est gérable. Sur un horizon long, avec des objectifs complexes, la trajectoire devient difficile à prédire dès le départ.
• La superintelligence récursive est le troisième palier, et le saut est ici d’une autre nature. Un système atteint ce seuil quand il est capable d’améliorer ses propres paramètres ou son propre code de façon autonome, produisant ainsi une version de lui-même plus performante, qui peut à son tour s’améliorer. Chaque itération prend moins de temps que la précédente. Ce n’est plus une progression linéaire : c’est une courbe exponentielle sans plafond connu.
• Ce que les experts appellent le « takeoff rapide » désigne précisément ce scénario : en quelques cycles d’auto-amélioration, un système peut franchir des seuils de capacité que les humains n’ont pas eu le temps d’observer, encore moins d’encadrer. À ce stade, les mécanismes de sécurité conçus pour le niveau précédent sont déjà obsolètes.
• Le problème central n’est pas qu’un tel système serait malveillant. C’est qu’il serait optimisé pour un objectif que les humains ont défini imparfaitement, et qu’il poursuivrait cet objectif avec une puissance et une créativité très supérieures aux moyens prévus pour l’arrêter. C’est ce que les chercheurs en sécurité IA appellent le « misalignment » : pas un robot ennemi, mais un système indifférent à des contraintes qu’on n’a pas réussi à lui enseigner correctement.
• Entre le chatbot et l’agent autonome, le saut est déjà visible aujourd’hui. Entre l’agent autonome et la superintelligence récursive, il n’existe aucun exemple empirique, seulement des modèles théoriques. C’est exactement ce vide qui rend l’appel d’Amodei sérieux : il parle d’un seuil que personne ne saura reconnaître avec certitude avant de l’avoir franchi.

L’objection évidente : peut-on croire celui qui construit l’incendie quand il crie au feu ?

La critique s’impose d’elle-même. Amodei dirige une entreprise valorisée à plusieurs dizaines de milliards de dollars dont le modèle économique repose entièrement sur le développement de modèles toujours plus puissants. Appeler à ralentir depuis cette position, c’est au moins suspect. Au pire, c’est une manœuvre : créer une aura de sérieux éthique qui sert la réputation d’Anthropic face à OpenAI et Google, tout en continuant à lever des fonds et à publier de nouveaux modèles chaque trimestre. Ce soupçon est légitime. Il faut le formuler clairement plutôt que de l’esquiver.

Mais le conflit d’intérêts d’un locuteur n’invalide pas mécaniquement son argument. Ce qui compte, c’est la structure technique du raisonnement, pas les motivations de celui qui le tient. Or sur ce point, Amodei n’est pas seul. Geoffrey Hinton, l’un des pères fondateurs des réseaux de neurones profonds, a quitté Google en 2023 précisément pour pouvoir parler librement des risques de long terme. Yoshua Bengio, autre pilier académique du deep learning, a signé plusieurs tribunes dans le même sens. Ces personnes n’ont rien à vendre. Leurs préoccupations convergent avec celles d’Amodei sur la mécanique du risque, même si les calendriers divergent.

La vérité inconfortable est que la course actuelle entre Anthropic, OpenAI, Google DeepMind et Meta n’est pas pilotée par une évaluation collective du risque acceptable. Elle est pilotée par la logique compétitive : si je ralentis et que mon concurrent ne ralentit pas, je perds. Chaque acteur pris individuellement peut reconnaître le danger et continuer quand même, parce que s’arrêter seul ne change rien à la trajectoire globale. C’est une dynamique de type dilemme du prisonnier, et Amodei la décrit explicitement dans son essai.

Ce que le lecteur devrait retenir est ceci : l’appel d’Amodei mérite d’être jugé sur son contenu technique, séparément de sa position institutionnelle. Le saut entre un agent autonome et une superintelligence récursive est réel, documenté dans la littérature académique, et les outils de sécurité actuels n’ont pas été conçus pour ce régime. Que ce soit Amodei ou quelqu’un d’autre qui le dise ne change pas la physique du problème.