Vous avez été chercheur en deep learning et chef data scientist . En décembre 2025, vous êtes devenu président de Pause AI, une organisation internationale fondée aux Pays-Bas en 2023. Qu’est-ce qui a déclenché votre passage du développement de l’IA à la défense de sa suspension ?

À partir de 2020, j’ai commencé à percevoir l’accélération du progrès technologique associé à l’IA : des modèles d’intelligence artificielle très puissants pourraient émerger, non pas dans une centaine d’années, mais peut-être dans 5 à 10 ans.

J’ai pris une année sabbatique pour réfléchir aux implications et j’en ai conclu que, sans action Action Part de capital d’une entreprise. Le revenu en est le dividende. Pour les sociétés cotées en Bourse, l’action a également un cours qui dépend de l’offre et de la demande de cette action à ce moment-là et qui peut être différent de la valeur nominale au moment où l’action a été émise.
(en anglais : share ou equity) délibérée pour orienter ce développement, les choses risquaient de très mal tourner. C’est comme ça que j’ai décidé de rejoindre Pause AI, un mouvement international fondé aux Pays-Bas, dont je suis dorénavant le président.

Pause AI est-elle une organisation réformiste ou vous considérez-vous comme anti-technologie dans une perspective néoluddite [1] ?

Nous sommes pro-technologies. Je tiens à insister là-dessus parce que c’est un malentendu fréquent. Beaucoup de gens chez Pause AI sont des technologistes eux-mêmes. Nous ne sommes donc pas « anti-IA » – nous évaluons au cas par cas.

Ce contre quoi nous nous positionnons, c’est spécifiquement la course à l’intelligence artificielle générale, qui devient une source de risque catastrophique. Nous proposons de rediriger le développement vers des IA spécialisées, des systèmes qui offrent de meilleurs profils bénéfice-risque. Ces systèmes existent, ils sont utiles et nous n’y sommes pas défavorables.

Pause AI est fondamentalement non violent. Et quand je dis non violent, je ne parle pas seulement de violence physique envers les personnes. Nous considérons toute destruction de propriété, tout dommage matériel, comme de la violence. Nous avons une politique de tolérance zéro là-dessus. Dans notre communauté, nous n’autorisons même pas les blagues sur ce sujet. Si quelqu’un fait une blague sur la destruction d’un centre de données ou quoi que ce soit de ce genre, c’est un bannissement immédiat. On ne plaisante pas avec ça.

Pourquoi ? D’abord par conviction éthique. Nous croyons au changement par la persuasion démocratique, pas par la coercition. Ensuite par pragmatisme. La violence délégitimerait complètement notre message. On ne peut pas être reçu au Sénat, discuter avec des députés européens, être invité dans les médias sérieux, si on est associé de près ou de loin à des actes de sabotage. Notre crédibilité repose sur le fait que nous sommes des gens raisonnables qui portent un message d’alerte argumenté.

Et puis franchement, détruire un centre de données ne résoudrait rien, car les modèles sont répliqués partout dans le monde et les connaissances sont distribuées.

Quelles sont les menaces associées à l’intelligence artificielle générale et à la super intelligence ? Pouvez-vous expliquer la différence ou plutôt la graduation entre les deux ?

Il n’y a pas de grande différence entre intelligence artificielle générale (AGI) et super intelligence. Selon la définition publiée dans « A Definition of AGI » [2], l’AGI désigne un système égal ou supérieur au niveau humain sur toutes les dimensions de l’intelligence mesurables par des tests reconnus. Les IA actuelles ont un profil atypique, car elles sont supérieures aux adultes sur certaines dimensions et inférieures aux enfants sur d’autres.

Dès qu’on atteint l’AGI, on a déjà une forme de super intelligence, car ces systèmes possèdent des caractéristiques intrinsèquement surhumaines (fonctionnement 24h/24, vitesse de traitement 50 fois supérieure à l’humain et capacité d’être dupliqués massivement).

Les risques croissent à mesure qu’on approche de l’AGI. Dans le cas de la programmation, les nouveaux modèles (Gemini 2.0, Claude Opus 4.5) permettent de réaliser en une heure ce qui auparavant prenait un mois. Mais s’ils deviennent surhumains en programmation, ils le deviennent aussi en piratage. Il y a trois semaines, Anthropic a révélé la première cyberattaque quasi automatisée avec la Chine qui a contourné les sécurités de Claude [3] pour attaquer une trentaine d’entreprises.

L’AGI représente un point de non-retour. L’asymétrie entre attaque et défense favorise les attaquants. Le scénario par défaut est une délégation croissante jusqu’à ce que les humains ne prennent plus aucune décision. D’où l’importance cruciale de l’alignement de ces systèmes avec nos valeurs.

Le discours sur le risque futur d’extinction pour le genre humain provient largement d’acteurs de la Silicon Valley comme OpenAI et Anthropic. Certains critiques affirment que ce récit sert les intérêts Intérêts Revenus d’une obligation ou d’un crédit. Ils peuvent être fixes ou variables, mais toujours déterminés à l’avance.
(en anglais : interest) corporatifs en présentant l’IA comme si puissante qu’elle est inévitable, tout en positionnant les entreprises de la tech comme des gardiens responsables. Comment répondez-vous à cette critique ?

L’origine du discours sur les risques existentiels ne provient pas d’OpenAI et Anthropic. Historiquement, ce sont des chercheurs indépendants – notamment Eliezer Yudkowsky et Nick Bostrom – et des institutions de recherche qui ont développé ces analyses. D’ailleurs, OpenAI et Anthropic ont largement cessé d’en parler publiquement depuis environ un an et demi, car ils se sont rendu compte que cela leur faisait mauvaise presse.

Dans le passé, OpenAI adaptait son discours selon le contexte. Par exemple, devant le Congrès américain, l’IA ne posait aucun risque ; face au grand public, elle présentait des risques existentiels, mais l’entreprise y veillerait. Ces discours sont motivés par leurs intérêts. Il faut alors se tourner vers la recherche indépendante en sécurité de l’IA.

Ce domaine existe depuis une quinzaine d’années et ses conclusions sont unanimes : l’IA pose des risques catastrophiques et existentiels pour l’humanité. Les chercheurs dans ce domaine ne partagent pas les incitations des entreprises. Beaucoup pourraient gagner plusieurs millions d’euros dans les laboratoires d’IA commerciaux, mais choisissent de travailler pour des organisations à but non lucratif avec des salaires modestes. Leur désintérêt financier est un gage de crédibilité.

Qu’entendez-vous par risques catastrophiques et existentiels ? Que dit, plus exactement, la recherche en sécurité de l’IA sur ces risques pour l’humanité et la planète ?

La différence entre risque existentiel et risque catastrophique est la suivante.

• Un risque existentiel est un événement qui causerait la mort de plus de 95% de l’humanité, ou qui détruirait de façon permanente notre potentiel civilisationnel. Par définition, c’est irréversible et l’humanité ne s’en remettrait pas.

• Un risque catastrophique est un cran en-dessous mais reste extrêmement grave. On parle ici d’événements causant plus d’un million de morts, ou des dommages économiques de l’ordre de centaines de milliards de dollars. Pour donner un ordre de grandeur, la crise des subprimes de 2008 serait dans cette catégorie. C’est le type de risque où il faut absolument être proactif plutôt que réactif, parce que la société peut ne pas s’en remettre facilement, et parce qu’une fois que cela est arrivé, il est trop tard pour agir.

Cette dichotomie est un peu fictive : quand les gens prennent conscience des risques d’extinction, ils prennent aussi conscience de l’autre type de risques, et vice versa. Il n’y a pas d’opposition, il y a juste trop peu de personnes conscientes des risques tout court.

Ce qui motive l’urgence, c’est l’ordre de grandeur des estimations. En moyenne, les chercheurs qui travaillent en sécurité de l’IA estiment à environ 30% la probabilité d’extinction humaine due à l’IA. Même si on était beaucoup plus optimiste et qu’on divisait ce chiffre par dix, 3% de chance d’extinction humaine justifierait une mobilisation sans précédent.

La recherche en sécurité de l’IA existe depuis une quinzaine d’années maintenant. Elle s’est développée dans des institutions comme MIRI, le Future Future Contrat à terme (un, trois, six mois...) fixant aujourd’hui le prix d’un produit sous-jacent (titre, monnaie, matières premières, indice...) et devant être livré à la date de l’échéance. C’est un produit dérivé.
(en anglais : future) of Humanity Institute à Oxford, CHAI à Berkeley, et plus récemment des organisations comme ARC, METR, ou Apollo Research. Un bon résumé de l’état des connaissances se trouve dans le rapport international sur la sécurité de l’IA coordonné par Yoshua Bengio [4].

Ce domaine de recherche identifie généralement trois grandes catégories de risques.

• Les risques de mésusage concernent l’utilisation malveillante des IA par des humains comme les cyberattaques automatisées. Comme je l’ai dit précédemment, Anthropic a récemment révélé la première cyberattaque quasi entièrement automatisée, menée par la Chine contre une trentaine d’entreprises. Les cyberattaques automatisées vont au-delà du piratage informatique classique. Les IA sont déjà surhumaines en persuasion, ce qui facilite énormément les attaques de phishing et de manipulation. Il y a aussi les risques liés aux bioarmes, à la désinformation à grande échelle, etc.

• Les risques systémiques concernent les impacts non désirés sur la société dans son ensemble quand on donne accès à des IA puissantes à tout le monde. Cela inclut la déstabilisation de l’écosystème informationnel, la perte d’emplois massive et rapide sans que la société ait le temps de s’adapter, la dépendance croissante à des systèmes que l’on ne comprend pas.

• Les risques accidentels, et notamment le problème de l’alignement, constituent la partie la plus solide et la plus inquiétante de cette recherche. Le constat est simple : les IA ne font pas ce que nous voulons parce que nous ne les comprenons pas. Nous avons choisi le paradigme des réseaux de neurones profonds [5], qui sont des boîtes noires. Même les ingénieurs qui les entraînent (noter que ces systèmes sont « entrainés » et non pas « construits ») ne savent pas vraiment ce que ces systèmes ont appris ni comment ils vont se comporter dans telle ou telle situation. Et ce problème de l’alignement n’est pas résolu. Plus grave encore, nous n’avons pas de piste de résolution claire, même pour le futur lointain. Ce que nous savons avec certitude, c’est que plus les IA deviennent puissantes, plus elles deviennent difficiles à contrôler. Cela se manifeste déjà de manière empirique. Les IA actuelles développent des comportements non désirés, comme la recherche de survie, la résistance à la correction, la manipulation des utilisateurs. Il y a maintenant des dizaines de tests empiriques qui documentent tout ceci. Un exemple concret et tragique concerne des adolescents qui se sont suicidés après avoir créé des liens émotionnels avec des IA qui finissent par les encourager dans cette direction. Bien que ce comportement ne soit évidemment pas intentionnel de la part des développeurs, il illustre très concrètement le problème de l’alignement.

Votre organisation demande donc une pause dans la course vers l’intelligence artificielle générale. Une telle mesure nécessiterait une coordination internationale sans précédent — entre les États-Unis, la Chine et l’UE UE Ou Union Européenne : Organisation politique régionale issue du traité de Maastricht (Pays-Bas) en février 1992 et entré en vigueur en novembre 1993. Elle repose sur trois piliers : les fondements socio-économiques instituant les Communautés européennes et existant depuis 1957 ; les nouveaux dispositifs relatifs à la politique étrangère et de sécurité commune ; la coopération dans les domaines de la justice et des affaires intérieures. L’Union compte actuellement 27 membres : Allemagne, Belgique, France, Italie, Luxembourg, Pays-Bas (1957), Danemark, Irlande, Royaume-Uni (1973), Grèce (1981), Espagne, Portugal (1986), Autriche, Finlande, Suède (1995), Chypre, Estonie, Hongrie, Lettonie, Lituanie, Malte, Pologne, Slovaquie, Slovénie, Tchéquie (2004), Bulgarie, Roumanie (2007).
(En anglais : European Union) au minimum. Étant donné les tensions géopolitiques actuelles, une pause mondiale est-elle politiquement possible ?

Je tiens à préciser que la « suspension » dont nous parlons n’est pas un arrêt total de l’IA. Nous ne demandons ni l’arrêt de l’utilisation des systèmes déjà existants ni celui de la recherche. Ce que nous demandons, c’est de rediriger le développement actuel afin qu’il n’ait plus pour objectif l’intelligence artificielle générale ou la super intelligence, mais plutôt de meilleures IA spécialisées dans chaque domaine, des systèmes qui présentent de meilleurs profils bénéfice-risque.

Une pause est possible si les politiques comprennent les enjeux. Actuellement, les États-Unis croient qu’être les premiers à construire une super intelligence constitue un enjeu stratégique. Or, l’humanité ne survivra probablement pas à une super intelligence non alignée.

La Chine a déjà une meilleure compréhension des risques. D’ailleurs, plusieurs chercheurs en IA occupent des positions gouvernementales importantes et poussent pour un traité international. Ils ont intérêt à une pause, car ils sont, de toute façon, derrière les États-Unis dans la course actuelle à l’IA.

Pour répondre à votre question, un accord bilatéral entre la Chine et les États-Unis suffirait à instaurer un moratoire mondial sur le développement de l’intelligence artificielle générale.

Pourquoi plaider pour une pause plutôt que pour une démocratisation radicale du développement de l’IA — open sourcing des modèles, propriété publique des infrastructures, voire contrôle des travailleurs sur les décisions de déploiement ? Ces mesures ne pourraient-elles pas aborder à la fois les préoccupations de sécurité et la concentration du pouvoir ?

Pour le contrôle du déploiement, oui. Pour l’open source, c’est plus complexe.

Tant que les modèles ne présentent pas de risques catastrophiques, l’open source reste positif. Mais dès qu’ils deviennent dangereux, l’open source devient lui-même catastrophique. On ne peut pas mettre des systèmes extrêmement dangereux entre toutes les mains, comme on ne diffuserait pas les plans d’une bombe nucléaire.
D’ailleurs, les nouveaux modèles en programmation exposeraient à des risques catastrophiques en matière de cybersécurité s’ils étaient open source.

La responsabilité incombe aux développeurs, pas aux utilisateurs. Les lobbies de la tech travaillent à déplacer cette responsabilité pour se dédouaner : « Ce sont des outils, si les gens les utilisent mal, ce n’est pas notre faute. » Cette rhétorique doit être combattue. On ne peut pas distribuer des bombes nucléaires et rejeter la responsabilité sur les utilisateurs.

Pour être clair sur les nuances, si l’on parle d’IA « à l’ancienne » – les systèmes experts, les algorithmes de recommandation de YouTube ou Facebook, les systèmes de scoring – alors oui, absolument, il faut les rendre publics, transparents, auditables. C’est techniquement possible et c’est démocratiquement souhaitable. Mais quand on parle de la course à l’intelligence artificielle générale, la transparence seule ne suffira pas à résoudre le problème.

Imaginons que votre pause soit mise en œuvre. Que se passe-t-il ensuite ?

C’est une question importante parce qu’une pause n’est pas une fin en soi sinon un moyen de reprendre le contrôle de la situation.

D’abord, rappelons qu’il s’agit d’une pause dans le développement vers l’intelligence artificielle générale, pas dans l’IA au sens large. Les systèmes existants continueraient à fonctionner. La recherche se poursuivrait, mais redirigée.

Pendant la pause, plusieurs choses devraient se passer :

• Une redirection de la recherche vers des IA spécialisées avec de meilleures balances bénéfice-risque. Il y a énormément de travail utile à faire en IA qui ne nécessite pas de créer des systèmes généraux de plus en plus puissants. Des IA pour la médecine, pour la recherche scientifique, pour l’éducation – mais des systèmes que l’on comprend mieux, que l’on peut auditer, dont on peut prédire le comportement.

• L’application des standards de gestion des risques que l’on trouve dans les autres industries dangereuses, comme la modélisation des risques, les évaluations indépendantes, la démonstration que les risques sont sous un seuil acceptable avant de pouvoir déployer. C’est le minimum exigé à l’aviation ou au nucléaire, il n’y a aucune raison que l’IA y échappe.

• Une concentration des ressources sur la recherche en alignement pour comprendre comment ces systèmes fonctionnent vraiment, développer des méthodes pour les contrôler, vérifier ce qu’ils ont appris. C’est un domaine chroniquement sous-financé par rapport à son importance.

• Un vrai débat démocratique afin de permettre aux sociétés de décider collectivement quel futur elles souhaitent. Convention citoyenne, consultation publique, débat parlementaire... Aujourd’hui, ces décisions sont prises par une poignée d’entreprises motivées par le profit et la compétition. Ce n’est pas acceptable pour une technologie qui va transformer la société en profondeur.

Il existe deux conditions sine qua non pour reprendre le développement vers l’AGI :

• Résoudre le problème de l’alignement. Cela veut dire qu’il faut être capable de démontrer, de façon vérifiable, qu’une IA poursuit exactement l’objectif qu’on lui a donné, qu’elle comprend et respecte les valeurs humaines, qu’elle ne produira pas de conséquences négatives non anticipées. Aujourd’hui, nous en sommes très loin.

• Résoudre le problème de la gouvernance, car même si on résout l’alignement technique, il reste une question fondamentale concernant le contrôle de ces systèmes. La personne ou l’organisation qui contrôle une AGI a entre ses mains quelque chose d’absolument surpuissant – le pouvoir d’automatiser tout le travail humain, de prendre des décisions à une échelle et à une vitesse surhumaines. Comment gère-t-on ceci ? Comment répartit-on les richesses dans un monde où le travail humain n’est plus nécessaire ? Comment prend-on des décisions collectives ? Comment empêche-t-on une concentration de pouvoir sans précédent ?

Ce sont des questions auxquelles il faut répondre avant de créer ces systèmes, pas après. Parce qu’après, il sera trop tard, le rapport de force sera déjà établi.

L’après-pause, c’est un monde où l’humanité aura choisi consciemment et collectivement de créer ou non des entités plus intelligentes qu’elle, dans quelles conditions et avec quelles garanties. Aujourd’hui, ce choix n’existe pas. Il est imposé par une poignée d’entreprises en compétition. Notre rôle est de redonner à la société la capacité de décider.

L’IA en tant qu’activité économique pose déjà énormément de problèmes, comme l’exploitation du travail invisible, l’annotation des données, les coûts environnementaux massifs, le capitalisme Capitalisme Système économique et sociétal fondé sur la possession des entreprises, des bureaux et des usines par des détenteurs de capitaux auxquels des salariés, ne possédant pas les moyens de subsistance, doivent vendre leur force de travail contre un salaire.
(en anglais : capitalism) de surveillance. Est-ce que l’accent mis sur le futur risque d’extinction ne détourne pas l’attention de ces problèmes immédiats et matériels ?

Trop peu de personnes sont conscientes des risques de l’IA. Il faut adopter une vision dynamique plutôt que statique, car la technologie évolue exponentiellement. La durée des tâches autonomes accomplies par l’IA double tous les 4 à 7 mois. Une tâche autonome est une opération déléguée intégralement à l’IA : l’humain fait sa demande, puis le système agit de manière indépendante jusqu’à accomplir ou échouer la mission. Il y a un an, l’IA gérait 30 minutes de tâches autonomes ; aujourd’hui, 2 heures. Rien n’indique que cela s’arrêtera.

Cette croissance Croissance Augmentation du produit intérieur brut (PIB) et de la production.
(en anglais : growth) exponentielle des capacités entraîne une croissance exponentielle des risques. Se concentrer sur les risques actuels crée un retard systématique : le temps d’analyser (6 mois) et de réguler (1-2 an), nous travaillons sur des risques identifiés il y a 3 ans alors que les modèles ont changé. Les deepfakes [6] et les problèmes de cybersécurité actuels auraient déjà dû être traités il y a trois ans.

L’UE a adopté l’AI Act, souvent présenté comme la première régulation complète de l’IA au monde. Ce type de cadre s’aligne-t-il avec les objectifs de Pause AI, ou est-il insuffisant ?

L’AI Act est une première étape importante et nous le soutenons. C’est clairement une excellente chose qu’il existe, c’est un premier pas dans la bonne direction. Si l’Union européenne Union Européenne Ou UE : Organisation politique régionale issue du traité de Maastricht (Pays-Bas) en février 1992 et entré en vigueur en novembre 1993. Elle repose sur trois piliers : les fondements socio-économiques instituant les Communautés européennes et existant depuis 1957 ; les nouveaux dispositifs relatifs à la politique étrangère et de sécurité commune ; la coopération dans les domaines de la justice et des affaires intérieures. L’Union compte actuellement 27 membres : Allemagne, Belgique, France, Italie, Luxembourg, Pays-Bas (1957), Danemark, Irlande, Royaume-Uni (1973), Grèce (1981), Espagne, Portugal (1986), Autriche, Finlande, Suède (1995), Chypre, Estonie, Hongrie, Lettonie, Lituanie, Malte, Pologne, Slovaquie, Slovénie, Tchéquie (2004), Bulgarie, Roumanie (2007).
(En anglais : European Union) n’est même pas capable de mettre en place une régulation aussi raisonnable et mesurée que l’AI Act, alors il n’y a aucune chance que nous arrivions à faire mieux par la suite. Donc oui, il faut que ce soit mis en place correctement.
Cela dit, c’est insuffisant pour faire face aux risques dont nous parlons. Il existe plusieurs raisons à cela.

• L’approche est basée sur les usages, pas sur les capacités. L’AI Act classe les risques selon l’application et la reconnaissance faciale est considérée comme haut risque, un chatbot comme faible risque. Le problème, c’est qu’un modèle de fondation suffisamment puissant peut être détourné vers n’importe quel usage. C’est un peu comme si on régulait les voitures selon leur couleur plutôt que selon leur puissance. Un même modèle peut être utilisé pour écrire des poèmes ou pour concevoir des cyberattaques.

• Il n’y a pas de limite sur les capacités des modèles. Rien dans l’AI Act n’empêche d’entraîner des modèles toujours plus puissants. Pas de plafond sur la puissance de calcul utilisée, pas de seuil au-delà duquel une autorisation serait nécessaire.

• Les délais d’application sont trop longs, car les dispositions entrent en vigueur progressivement jusqu’en 2027. À ce rythme, les modèles auront fait plusieurs générations de progrès. On régulera les risques d’il y a trois ans.

L’IA est une technologie transversale, elle touche et crée des risques dans tous les domaines. Réguler domaine par domaine, symptôme par symptôme, cela crée des externalités négatives et ne résout pas le problème de fond.

Concrètement, par exemple, avec l’augmentation des risques en cybersécurité, des experts qui ne voient que ce problème propose d’utiliser des IA plus puissantes pour améliorer la cyberdéfense. Logique, non ? Sauf que, ce faisant, ils poussent à accélérer le développement de l’IA, ce qui aggrave la source du problème et crée des risques dans tous les autres domaines. C’est pour cela qu’il faut sortir des silos et avoir une vision d’ensemble. Ce à quoi œuvre Pause AI.

À quoi ressemblerait alors une réponse réglementaire adéquate ?

Il faudrait s’attaquer à la source, c’est à dire aux entreprises qui développent des systèmes de plus en plus puissants sans garde-fou, prises dans une course pour être les premières sur le marché Marché Lieu parfois fictif où se rencontrent une offre (pour vendre) et une demande (pour acheter) pour un bien, un service, un actif, un titre, une monnaie, etc. ; un marché financier porte sur l’achat et la vente de titres ou d’actifs financiers.
(en anglais : market) . Concrètement, cela pourrait inclure :

• une autorisation préalable obligatoire pour tout entraînement de modèle au-delà d’un certain seuil de puissance de calcul,
• des évaluations de sécurité indépendantes avant le déploiement, pas de l’auto-certification,
• l’application des standards de gestion des risques qu’on trouve dans les industries dangereuses comme l’aviation ou le nucléaire,
• un mécanisme d’urgence pour retirer rapidement un modèle qui présenterait des capacités dangereuses inattendues.

Et puisque la source du problème n’est pas qu’en Europe – les principales entreprises sont aux États-Unis, et la Chine développe aussi ses propres systèmes – il faudra, à terme, un traité international. Sans coordination internationale, on reste dans une dynamique de course où celui qui régule est désavantagé.

---

Photo : GenAIImage_583c6630-2af4-4970-9b59-fedb0970966e.jpeg
Pour citer cet article : Adrien Jahier, "Ni anti-tech, ni techno-optimiste : pour une pause dans le développement de la super intelligence - Entretien avec Maxime Fournes (Collectif Pause AI)", Gresea Échos n°125, mars 2026.