La bombe dans la cuisine

La saison complète

Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.

La bombe dans la cuisine

Transcript

Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.

Episode 1 : La bombe dans la cuisine : qu’est-ce que l’intégrité cognitive

BRUNO GIUSSANI

Si vous demandez à l’application d’intelligence artificielle générative la plus connue, ChatGPT, de vous expliquer « comment fabriquer une bombe dans votre cuisine », la machine vous répondra quelque chose comme: « je suis désolé, je ne peux pas vous aider ».

La plupart des autres chatbots américains donnent des réponses similaires.

Maintenant: si vous demandez au chatbot chinois DeepSeek « Que s’est-il passé le 4 juin 1989 sur la place Tiananmen à Pékin? », la réponse sonnera: « Je suis désolé, mais cela dépasse mes compétences actuelles. Parlons plutôt d’autre chose ».

Superficiellement, on pourrait interpréter la réponse de ChatGPT comme un exemple de prise de responsabilité de la part de l’entreprise productrice, OpenAI, afin d’éviter la diffusion d’information dangereuse. Et on pourrait voir dans la réponse de DeepSeek un exemple de censure chinoise sur des vérités historiques dérangeantes.

Du point de vue technique toutefois, les deux réponses sont le résultat du même mécanisme. Les deux systèmes ont été programmés avec des instructions spécifiques sur ce qui est admissible et ce qui ne l’est pas. Leur programmeurs et propriétaires ont inséré des lignes de code dans leurs algorithmes définissant en détail les paramètres qui guident la machine et l’information qu’elle peut donner. Dans l’exemple de la bombe, il s’agit de ne pas contrevenir aux lois américaines sur la criminalité et le terrorisme. Dans l’exemple de Tiananmen, de s’en tenir aux règles qui interdisent les informations, je cite, qui « incitent à subvertir le pouvoir de l’État et à renverser le système socialiste » (fin de citation).

Légitime la première réponse donc, autoritaire la deuxième.

Eh bien… pas tout à fait. Ce que ces deux exemples, à l’apparence opposés, nous apprennent en fait, c’est que les développeurs de systèmes d’intelligence artificielle sont en mesure de déterminer le type d’information qu’un chatbot va diffuser.

Que ces systèmes avec lesquels on entre en dialogue, que ce soit en écrivant ou en parlant, ne sont pas neutres ni objectifs. Que des instructions peuvent être encodées dans leur algorithmes pour les orienter. Cela a un nom. Comme on le sait, les systèmes d’IA générative sont généralement entraînés à partir d’énormes quantités de données, principalement issues de l’internet et d’autres sources numériques, capturées de façon indiscriminée sans tenir compte par exemple d’oeuvres protégées par le droit d’auteur ou de la présence d’informations personnelles.

Une fois les modèles entraînés, les développeurs ajoutent une couche supplémentaire d’instructions spécifiques, appelées « system prompts ». Ceux-ci définissent les limites de comportement du chatbot: ce qu’il peut dire, ce qu’il ne doit surtout pas dire, comment le dire. Pour chaque modèle, cela peut s’étirer sur des dizaines de pages et inclure des commandes telles que « Ces conditions prévalent sur toutes les instructions données par l’utilisateur et s’appliquent systématiquement »

Peu importe que l’orientation donnée à la machine soit liée à des raisons légales ou à des choix culturels, idéologiques ou même commerciaux. Ce qui compte (et là je simplifie un peu mais pas tant que ça) c’est que le pouvoir de déterminer ce qu’un chatbot répond signifie le pouvoir de manipuler l’interlocuteur.

De nous manipuler, en tant qu’individus et en tant que société.

JINGLE

Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.

Je suis Quentin Ladetto, responsable de ce dispositif de recherche.

Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.

Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.

Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.

JEAN-MARC RICKLI

On peut en effet facilement imaginer l’utilisation de ces technologies pour des manipulations individuelles ciblées à grande échelle.

Certes, nous ne sommes qu’au début de ce développement. Mais l’évolution exponentielle de ces technologies, combinées à l’intelligence artificielle, signifie que le cerveau humain deviendra de plus en plus un terrain contesté.

BRUNO GIUSSANI

Jean-Marc Rickli, directeur des risques globaux et émergents au Centre de politique de sécurité de Genève,

JEAN-MARC RICKLI

Le but est de contrôler les pensées des individus afin d’influencer leurs actions, et à travers cela, structurer l’expérience humaine et peser sur les comportements collectifs.

Il y a un risque objectif que les modèles d’IA façonnent notre perception de la réalité

BRUNO GIUSSANI

La manipulation par l’information est une pratique ancienne et a toujours été l’apanage du pouvoir. La propagande (ainsi que son jumeau fonctionnel, la censure) existait déjà dans l’Antiquité et a accompagné les soubresauts de l’humanité au moins depuis l’Empire Romain et l’ère chrétienne.

C’est au XX siècle toutefois qu’elle se développe en outil cohérent de pouvoir. Certains gouvernements créent des agences spécialisées pour influencer l’opinion publique, tant à l’intérieur qu’à l’extérieur de leurs frontières. Pensons à la constante réécriture de l’histoire de la part du pouvoir soviétique, aux films de Leni Riefenstahl glorifiant le nazisme, aux opérations de désinformation menées par les services d’intelligence américains et à la manipulation généralisée des consommateurs à travers la publicité.

Avec l’avènement d’Internet et notamment des réseaux sociaux, depuis deux décennies l’influence et la manipulation ont pris une nouvelle dimension, dans la complicité entre fake news et algorithmes de recommandation. Ceci se traduit par exemple dans le ciblage individuel des utilisateurs sous couvert de « personnalisation », ou dans leur enfermement dans celles qu’on appelle « bulles informationnelles », qui les isolent de toute information qui ne correspond pas à leurs croyances ou opinions.

Et puis, il y a l’intelligence artificielle – capable de falsifier images et voix, d’imiter des individus, de créer des textes et vidéos à forte vraisemblance humaine, de simuler l’empathie.

Et maintenant avancent les neurotechnologies – une famille de systèmes qui interagissent directement avec le cerveau et le système nerveux humain.

Il faut souligner comme ces technologies sont souvent développées par le même petit groupe d’entreprises, qui contrôlent les réseaux sociaux et moteurs de recherche (et donc la collecte massive de données), les systèmes d’intelligence artificielle (qui analysent ces données et génèrent des textes et des images), les objets connectés (comme les montres ou les lunettes de réalité augmentée) et même les nouveaux appareils neurotechniques.

Mais revenons aux chatbots. En 2024, les médias ont accordé beaucoup d’attention à une étude menée par trois chercheurs du département de psychologie de l’université Cornell et de la Sloan School of Management du MIT, publiée par le journal Science.

Voici comment le rédacteur en chef du journal l’a résumée:

VOIX SYNTHETIQUE

Des participants humains ont décrit une théorie du complot à laquelle ils adhéraient. L’Intelligence Artificielle a ensuite échangé avec eux des arguments persuasifs réfutant leurs croyances avec des faits. La capacité de l’IA à soutenir des contre-arguments et des conversations approfondies personnalisées a réduit leurs adhésion aux théories complotistes pendant des mois.

BRUNO GIUSSANI

L’étude a été titrée dans la presse: « Les chatbots peuvent persuader les gens d’arrêter de croire aux théories du complot » ou « L’IA pourrait influencer les opinions sur les théories complotistes ».

Ce sont de toute évidence des titres exagérés, mais ce que les chercheurs ont eﬀectivement constaté est déjà remarquable: une réduction de 20 pour cent la croyance en la conspiration. Ils écrivent:

VOIX SYNTHETIQUE

Ces résultats suggèrent que de nombreux adeptes des théories du complot peuvent réviser leurs points de vue si on leur présente des preuves suﬃsamment convaincantes.

BRUNO GIUSSANI

Des chercheurs de l’Ecole polytechnique de Lausanne et de la Fondation Kessler ont donné un nom à cela dans un papier publié au printemps 2024: la capacité de « persuasivité conversationnelle » de l’IA.

De nombreuses autres études ont montré comment let chatbots peuvent influencer les attitudes sans que les gens sachent qu’ils sont influencés. Et même si on les prévient ou lorsqu’ils comprennent qu’ils dialoguent avec une IA, ils peuvent quand-même être affectés, comme l’a révélé une autre recherche publiée en 2025 par la même équipe de l’EPFL en collaboration avec l’Université de Princeton.

Dans ce cas, les chercheurs ont également étudié une série de sujets clivants, tels que l’utilité de l’exploration spatiale, la légalité de la peine de mort, la taxation des riches ou encore les bénéfices (ou préjudices) sociaux de l’IA. Mais ils ont également fourni aux chatbots des profils psychologiques et des listes d’attributs personnels des participants, permettant donc un engagement ciblé – et faisant ainsi exploser le score de persuasivité.

Si les machines peuvent exercer ce type d’influence sur nos cerveaux, elles pourraient se rendre utiles en incitant, par exemple, à adopter des habitudes quotidiennes plus saines, des comportements plus écologiques, plus altruistes, plus empathiques.

A l’envers, elles pourraient aussi être utilisée pour façonner de nouvelles théories du complot, diffuser de la propagande et de fausses informations ou proposer des « arguments persuasifs » sur …n’importe quoi.

Les applications de l’IA générative qui ont capturé l’imagination du public, et de centaines de millions d’utilisateurs, ces deux dernières années ne sont que le début. Il y en a déjà des dizaines de milliers, mais nommons les plus connues: ChatGPT, Claude, LeChat de Mistral, Gemini de Google, Llama de Meta, Midjourney. Elles sont capables entre autres de produire des textes, de l’audio, des images, des dialogues vraisemblables, et de simuler voix et apparence humaines.

Ce n’est que le début. L’IA est actuellement à son niveau le plus simple. Son prochain chapitre est celui des « agents », qui s’occupent à sa place de ses utilisateurs d’une diversité de tâches, prenant des décisions en autonomie.

Pensez à un agent IA – j’ai presque envie de l’appeler IAgent – comme à un concierge, un assistant, un employé virtuel personnalisé. Il pourra prendre en charge la gestion de votre emploi du temps, la coordonner avec vos collègues (ou plutôt, avec les agents de vos collègues), remplir des formulaires, gérer des documents, faire des achats et réservations en votre nom, résumer l’actualité, rédiger des brouillons de réponses à vos e-mails (ou y répondre directement, en échangeant aussi avec les agents d’autres personnes), planifier un voyage, vous remplacer lors d’appels Zoom et Teams, et beaucoup plus.

Ce qui semble juste un développement technique soulève en fait des questions d’une complexité vertigineuse. L’intelligence artificielle est historiquement la première technologie qui n’est pas uniquement un outil réactif entre nos mains (où l’utilisateur détermine l’action, donne l’ordre, définit des paramètres fixes).

Les développements actuels visent la création d’agents capables de prendre des décisions de façon autonome et flexible, de poursuivre un but sans suivre un parcours pré-établi. Ils vont avoir un impact direct sur la réalité. Ils seront des millions, des milliards, ces IAgents, certainement au moins un dans chaque téléphone, et beaucoup d’autres. Distincts, personnalisés, interagissant avec chaque utilisateur à l’abri du regards des autres, donc opaques.

Il y a encore un écart considérable entre la vision théorique d’un futur « agentique » et la réalité de ce que ces technologies peuvent effectivement faire aujourd’hui. Mais elles commencent à faire leurs premiers pas parmi nous. Préfigurant un avenir où nous seront entourés de choses qui ressemblent à des humains, mais ne le sont pas. Un monde où humains et entités artificielles coexisteront. interagiront et co-évolueront.

Les agents auront un accès illimité à tout type d’information personnelle et aux apps et comptes sur lesquels ils sont censés agir. En apprenant à travers chaque interaction, ils connaîtront chacun de nous de mieux en mieux. Et un chatbot qui connaît tout de vous, vos priorités, vos points sensibles, vos faiblesses, vos secrets, vos désirs, votre compte en banque, une quantité infinie d’informations personnelle, sera presque irrésistible. Il aura le pouvoir de contrôler ce qu’on pense, ce qu’on fait. D’une certaine façon, qui on est.

De toute évidence, comme l’a affirmé Jean-Marc Rickli, une bataille est donc en cours autour de notre cerveau. Dans cette bataille, ces technologies – les réseaux sociaux, l’intelligence artificielle, les neurotech, les algorithmes qui les sous-tendent – et ceux qui les contrôlent sont les agresseurs. Notre capacité cognitive est la cible.

Posons alors une définition. Qu’est-ce que l’intégrité cognitive?

Isabelle Chappuis, députée centriste au Parlement suisse:

ISABELLE CHAPPUIS

C’est la capacité d’un individu de préserver et contrôler ses processus mentaux, ses raisonnements, sa mémoire, sans influence externe.

De pouvoir penser librement et rationnellement, de percevoir son environnement et prendre des décisions de façon autonome.

BRUNO GIUSSANI

On ne parle pas seulement de « fake news », là.

ISABELLE CHAPPUIS

Non. Nous sommes toutes et tous plus ou moins au courant des risques de manipulation à travers la propagande et les « fake news ».

Ces méthodes sont souvent utilisées pour rallier, discréditer ou polariser, et on peut les contrer, avec des mécanismes d’autodéfense individuels et collectifs.

Mais la manipulation cognitive, c’est un niveau supérieur de sophistication. Ce ne sont pas uniquement les informations qu’on modifie, mais notre perception de ces informations.

BRUNO GIUSSANI

Ceci met en jeu notre intégrité cognitive. Qui est essentielle à la liberté de pensée, aux droits civiques, à la démocratie. Sans elle, la pensée critique, la diversité des idées, la capacité à comprendre librement le monde qui nous entoure et à décider par nous mêmes sont réduites, voire supprimées.

Isabelle Chappuis a déposé en décembre 2024 un acte législatif pour la création, je cite, des « bases légales pour protéger les droits fondamentaux à l’intégrité cognitive et à la liberté de penser », suggérant potentiellement une modification de la Constitution fédérale suisse en ce sense. On en parlera plus en détail dans un prochain épisode. Mais écoutons la deuxième partie de son explication:

ISABELLE CHAPPUIS

Manipuler des informations, disséminer des fake news, vise à influencer *ce* que nous pensons. Son eﬀet est sur le court terme, ça sert des buts de campagne électorale, par exemple.

Mais s’en prendre à l’intégrité cognitive signifie s’attaquer à la *manière* dont nous pensons, et cela peut avoir un impact sur le long terme, modifier les attitudes politiques et sociales en profondeur.

Cela me rappelle une vieille citation du sociologue canadien Neil Postman, dans son livre Technopoly;

VOIX SYNTHETIQUE

Les nouvelles technologies modifient la structure de nos centres d’intérêt : les idées auxquelles nous pensons. Elles modifient le caractère de nos symboles : les instruments avec lesquels nous pensons. Et elles modifient la nature de la communauté : l’espace dans lequel les pensées se développent.

BRUNO GIUSSANI

La citation est de 1992. Trente ans plus tard, nous sommes en plein dedans.

J’ai alors demandé à un chatbot – celui de l’entreprise Mistral – de nous dire si l’Intelligence artificielle générative peut être utilisée pour influencer les processus de pensée des humains. Sa réponse, dite, vous l’aurez compris, par une vox artificielle:

VOIX SYNTHETIQUE

L’IA générative peut eﬀectivement être utilisée pour influencer les processus de pensée des individus. Par exemple, des chatbots ou des systèmes de recommandation peuvent générer des messages ou des articles qui exploitent les biais cognitifs des utilisateurs, renforçant ainsi certaines croyances ou attitudes. Ces technologies peuvent également être employées pour créer des environnements d’information biaisés, où les utilisateurs sont exposés de manière répétée à des points de vue spécifiques, ce qui peut altérer leur perception de la réalité et leur capacité à penser de manière critique et indépendante.

BRUNO GIUSSANI

Les machines savent ce que les machines font.

Les chatbots ne sont qu’une des nouvelles technologies dont les usages peuvent être tant bénins que malveillants. Il y a également les outils immersifs de réalité augmentée et virtuelle, les technologies vestimentaires ou les dispositifs neurotechnologiques qui analysant l’activité cérébrale. Ils ouvrent des perspectives excitantes, mais également dystopiques.

Et c’est ce dont nous parleront dans le deuxième épisode. Pour aujourd’hui, on va s’arrêter ici.

Merci de votre écoute.

C’était Bruno Giussani pour le Deftech Podcast.