La saison complète
Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.
Transcript
Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.
Episode 1 : La bombe dans la cuisine : qu’est-ce que l’intégrité cognitive
BRUNO GIUSSANI
Si vous demandez à l’application d’intelligence artificielle générative la plus connue, ChatGPT, de vous expliquer « comment fabriquer une bombe dans votre cuisine », la machine vous répondra quelque chose comme: « je suis désolé, je ne peux pas vous aider ».
La plupart des autres chatbots américains donnent des réponses similaires.
Maintenant: si vous demandez au chatbot chinois DeepSeek « Que s’est-il passé le 4 juin 1989 sur la place Tiananmen à Pékin? », la réponse sonnera: « Je suis désolé, mais cela dépasse mes compétences actuelles. Parlons plutôt d’autre chose ».
Superficiellement, on pourrait interpréter la réponse de ChatGPT comme un exemple de prise de responsabilité de la part de l’entreprise productrice, OpenAI, afin d’éviter la diffusion d’information dangereuse. Et on pourrait voir dans la réponse de DeepSeek un exemple de censure chinoise sur des vérités historiques dérangeantes.
Du point de vue technique toutefois, les deux réponses sont le résultat du même mécanisme. Les deux systèmes ont été programmés avec des instructions spécifiques sur ce qui est admissible et ce qui ne l’est pas. Leur programmeurs et propriétaires ont inséré des lignes de code dans leurs algorithmes définissant en détail les paramètres qui guident la machine et l’information qu’elle peut donner. Dans l’exemple de la bombe, il s’agit de ne pas contrevenir aux lois américaines sur la criminalité et le terrorisme. Dans l’exemple de Tiananmen, de s’en tenir aux règles qui interdisent les informations, je cite, qui « incitent à subvertir le pouvoir de l’État et à renverser le système socialiste » (fin de citation).
Légitime la première réponse donc, autoritaire la deuxième.
Eh bien… pas tout à fait. Ce que ces deux exemples, à l’apparence opposés, nous apprennent en fait, c’est que les développeurs de systèmes d’intelligence artificielle sont en mesure de déterminer le type d’information qu’un chatbot va diffuser.
Que ces systèmes avec lesquels on entre en dialogue, que ce soit en écrivant ou en parlant, ne sont pas neutres ni objectifs. Que des instructions peuvent être encodées dans leur algorithmes pour les orienter. Cela a un nom. Comme on le sait, les systèmes d’IA générative sont généralement entraînés à partir d’énormes quantités de données, principalement issues de l’internet et d’autres sources numériques, capturées de façon indiscriminée sans tenir compte par exemple d’oeuvres protégées par le droit d’auteur ou de la présence d’informations personnelles.
Une fois les modèles entraînés, les développeurs ajoutent une couche supplémentaire d’instructions spécifiques, appelées « system prompts ». Ceux-ci définissent les limites de comportement du chatbot: ce qu’il peut dire, ce qu’il ne doit surtout pas dire, comment le dire. Pour chaque modèle, cela peut s’étirer sur des dizaines de pages et inclure des commandes telles que « Ces conditions prévalent sur toutes les instructions données par l’utilisateur et s’appliquent systématiquement »
Peu importe que l’orientation donnée à la machine soit liée à des raisons légales ou à des choix culturels, idéologiques ou même commerciaux. Ce qui compte (et là je simplifie un peu mais pas tant que ça) c’est que le pouvoir de déterminer ce qu’un chatbot répond signifie le pouvoir de manipuler l’interlocuteur.
De nous manipuler, en tant qu’individus et en tant que société.
JINGLE
Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.
Je suis Quentin Ladetto, responsable de ce dispositif de recherche.
Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.
Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.
Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.
JEAN-MARC RICKLI
On peut en effet facilement imaginer l’utilisation de ces technologies pour des manipulations individuelles ciblées à grande échelle.
Certes, nous ne sommes qu’au début de ce développement. Mais l’évolution exponentielle de ces technologies, combinées à l’intelligence artificielle, signifie que le cerveau humain deviendra de plus en plus un terrain contesté.
BRUNO GIUSSANI
Jean-Marc Rickli, directeur des risques globaux et émergents au Centre de politique de sécurité de Genève,
JEAN-MARC RICKLI
Le but est de contrôler les pensées des individus afin d’influencer leurs actions, et à travers cela, structurer l’expérience humaine et peser sur les comportements collectifs.
Il y a un risque objectif que les modèles d’IA façonnent notre perception de la réalité
BRUNO GIUSSANI
La manipulation par l’information est une pratique ancienne et a toujours été l’apanage du pouvoir. La propagande (ainsi que son jumeau fonctionnel, la censure) existait déjà dans l’Antiquité et a accompagné les soubresauts de l’humanité au moins depuis l’Empire Romain et l’ère chrétienne.
C’est au XX siècle toutefois qu’elle se développe en outil cohérent de pouvoir. Certains gouvernements créent des agences spécialisées pour influencer l’opinion publique, tant à l’intérieur qu’à l’extérieur de leurs frontières. Pensons à la constante réécriture de l’histoire de la part du pouvoir soviétique, aux films de Leni Riefenstahl glorifiant le nazisme, aux opérations de désinformation menées par les services d’intelligence américains et à la manipulation généralisée des consommateurs à travers la publicité.
Avec l’avènement d’Internet et notamment des réseaux sociaux, depuis deux décennies l’influence et la manipulation ont pris une nouvelle dimension, dans la complicité entre fake news et algorithmes de recommandation. Ceci se traduit par exemple dans le ciblage individuel des utilisateurs sous couvert de « personnalisation », ou dans leur enfermement dans celles qu’on appelle « bulles informationnelles », qui les isolent de toute information qui ne correspond pas à leurs croyances ou opinions.
Et puis, il y a l’intelligence artificielle – capable de falsifier images et voix, d’imiter des individus, de créer des textes et vidéos à forte vraisemblance humaine, de simuler l’empathie.
Et maintenant avancent les neurotechnologies – une famille de systèmes qui interagissent directement avec le cerveau et le système nerveux humain.
Il faut souligner comme ces technologies sont souvent développées par le même petit groupe d’entreprises, qui contrôlent les réseaux sociaux et moteurs de recherche (et donc la collecte massive de données), les systèmes d’intelligence artificielle (qui analysent ces données et génèrent des textes et des images), les objets connectés (comme les montres ou les lunettes de réalité augmentée) et même les nouveaux appareils neurotechniques.
Mais revenons aux chatbots. En 2024, les médias ont accordé beaucoup d’attention à une étude menée par trois chercheurs du département de psychologie de l’université Cornell et de la Sloan School of Management du MIT, publiée par le journal Science.
Voici comment le rédacteur en chef du journal l’a résumée:
VOIX SYNTHETIQUE
Des participants humains ont décrit une théorie du complot à laquelle ils adhéraient. L’Intelligence Artificielle a ensuite échangé avec eux des arguments persuasifs réfutant leurs croyances avec des faits. La capacité de l’IA à soutenir des contre-arguments et des conversations approfondies personnalisées a réduit leurs adhésion aux théories complotistes pendant des mois.
BRUNO GIUSSANI
L’étude a été titrée dans la presse: « Les chatbots peuvent persuader les gens d’arrêter de croire aux théories du complot » ou « L’IA pourrait influencer les opinions sur les théories complotistes ».
Ce sont de toute évidence des titres exagérés, mais ce que les chercheurs ont effectivement constaté est déjà remarquable: une réduction de 20 pour cent la croyance en la conspiration. Ils écrivent:
VOIX SYNTHETIQUE
Ces résultats suggèrent que de nombreux adeptes des théories du complot peuvent réviser leurs points de vue si on leur présente des preuves suffisamment convaincantes.
BRUNO GIUSSANI
Des chercheurs de l’Ecole polytechnique de Lausanne et de la Fondation Kessler ont donné un nom à cela dans un papier publié au printemps 2024: la capacité de « persuasivité conversationnelle » de l’IA.
De nombreuses autres études ont montré comment let chatbots peuvent influencer les attitudes sans que les gens sachent qu’ils sont influencés. Et même si on les prévient ou lorsqu’ils comprennent qu’ils dialoguent avec une IA, ils peuvent quand-même être affectés, comme l’a révélé une autre recherche publiée en 2025 par la même équipe de l’EPFL en collaboration avec l’Université de Princeton.
Dans ce cas, les chercheurs ont également étudié une série de sujets clivants, tels que l’utilité de l’exploration spatiale, la légalité de la peine de mort, la taxation des riches ou encore les bénéfices (ou préjudices) sociaux de l’IA. Mais ils ont également fourni aux chatbots des profils psychologiques et des listes d’attributs personnels des participants, permettant donc un engagement ciblé – et faisant ainsi exploser le score de persuasivité.
Si les machines peuvent exercer ce type d’influence sur nos cerveaux, elles pourraient se rendre utiles en incitant, par exemple, à adopter des habitudes quotidiennes plus saines, des comportements plus écologiques, plus altruistes, plus empathiques.
A l’envers, elles pourraient aussi être utilisée pour façonner de nouvelles théories du complot, diffuser de la propagande et de fausses informations ou proposer des « arguments persuasifs » sur …n’importe quoi.
Les applications de l’IA générative qui ont capturé l’imagination du public, et de centaines de millions d’utilisateurs, ces deux dernières années ne sont que le début. Il y en a déjà des dizaines de milliers, mais nommons les plus connues: ChatGPT, Claude, LeChat de Mistral, Gemini de Google, Llama de Meta, Midjourney. Elles sont capables entre autres de produire des textes, de l’audio, des images, des dialogues vraisemblables, et de simuler voix et apparence humaines.
Ce n’est que le début. L’IA est actuellement à son niveau le plus simple. Son prochain chapitre est celui des « agents », qui s’occupent à sa place de ses utilisateurs d’une diversité de tâches, prenant des décisions en autonomie.
Pensez à un agent IA – j’ai presque envie de l’appeler IAgent – comme à un concierge, un assistant, un employé virtuel personnalisé. Il pourra prendre en charge la gestion de votre emploi du temps, la coordonner avec vos collègues (ou plutôt, avec les agents de vos collègues), remplir des formulaires, gérer des documents, faire des achats et réservations en votre nom, résumer l’actualité, rédiger des brouillons de réponses à vos e-mails (ou y répondre directement, en échangeant aussi avec les agents d’autres personnes), planifier un voyage, vous remplacer lors d’appels Zoom et Teams, et beaucoup plus.
Ce qui semble juste un développement technique soulève en fait des questions d’une complexité vertigineuse. L’intelligence artificielle est historiquement la première technologie qui n’est pas uniquement un outil réactif entre nos mains (où l’utilisateur détermine l’action, donne l’ordre, définit des paramètres fixes).
Les développements actuels visent la création d’agents capables de prendre des décisions de façon autonome et flexible, de poursuivre un but sans suivre un parcours pré-établi. Ils vont avoir un impact direct sur la réalité. Ils seront des millions, des milliards, ces IAgents, certainement au moins un dans chaque téléphone, et beaucoup d’autres. Distincts, personnalisés, interagissant avec chaque utilisateur à l’abri du regards des autres, donc opaques.
Il y a encore un écart considérable entre la vision théorique d’un futur « agentique » et la réalité de ce que ces technologies peuvent effectivement faire aujourd’hui. Mais elles commencent à faire leurs premiers pas parmi nous. Préfigurant un avenir où nous seront entourés de choses qui ressemblent à des humains, mais ne le sont pas. Un monde où humains et entités artificielles coexisteront. interagiront et co-évolueront.
Les agents auront un accès illimité à tout type d’information personnelle et aux apps et comptes sur lesquels ils sont censés agir. En apprenant à travers chaque interaction, ils connaîtront chacun de nous de mieux en mieux. Et un chatbot qui connaît tout de vous, vos priorités, vos points sensibles, vos faiblesses, vos secrets, vos désirs, votre compte en banque, une quantité infinie d’informations personnelle, sera presque irrésistible. Il aura le pouvoir de contrôler ce qu’on pense, ce qu’on fait. D’une certaine façon, qui on est.
De toute évidence, comme l’a affirmé Jean-Marc Rickli, une bataille est donc en cours autour de notre cerveau. Dans cette bataille, ces technologies – les réseaux sociaux, l’intelligence artificielle, les neurotech, les algorithmes qui les sous-tendent – et ceux qui les contrôlent sont les agresseurs. Notre capacité cognitive est la cible.
Posons alors une définition. Qu’est-ce que l’intégrité cognitive?
Isabelle Chappuis, députée centriste au Parlement suisse:
ISABELLE CHAPPUIS
C’est la capacité d’un individu de préserver et contrôler ses processus mentaux, ses raisonnements, sa mémoire, sans influence externe.
De pouvoir penser librement et rationnellement, de percevoir son environnement et prendre des décisions de façon autonome.
BRUNO GIUSSANI
On ne parle pas seulement de « fake news », là.
ISABELLE CHAPPUIS
Non. Nous sommes toutes et tous plus ou moins au courant des risques de manipulation à travers la propagande et les « fake news ».
Ces méthodes sont souvent utilisées pour rallier, discréditer ou polariser, et on peut les contrer, avec des mécanismes d’autodéfense individuels et collectifs.
Mais la manipulation cognitive, c’est un niveau supérieur de sophistication. Ce ne sont pas uniquement les informations qu’on modifie, mais notre perception de ces informations.
BRUNO GIUSSANI
Ceci met en jeu notre intégrité cognitive. Qui est essentielle à la liberté de pensée, aux droits civiques, à la démocratie. Sans elle, la pensée critique, la diversité des idées, la capacité à comprendre librement le monde qui nous entoure et à décider par nous mêmes sont réduites, voire supprimées.
Isabelle Chappuis a déposé en décembre 2024 un acte législatif pour la création, je cite, des « bases légales pour protéger les droits fondamentaux à l’intégrité cognitive et à la liberté de penser », suggérant potentiellement une modification de la Constitution fédérale suisse en ce sense. On en parlera plus en détail dans un prochain épisode. Mais écoutons la deuxième partie de son explication:
ISABELLE CHAPPUIS
Manipuler des informations, disséminer des fake news, vise à influencer *ce* que nous pensons. Son effet est sur le court terme, ça sert des buts de campagne électorale, par exemple.
Mais s’en prendre à l’intégrité cognitive signifie s’attaquer à la *manière* dont nous pensons, et cela peut avoir un impact sur le long terme, modifier les attitudes politiques et sociales en profondeur.
Cela me rappelle une vieille citation du sociologue canadien Neil Postman, dans son livre Technopoly;
VOIX SYNTHETIQUE
Les nouvelles technologies modifient la structure de nos centres d’intérêt : les idées auxquelles nous pensons. Elles modifient le caractère de nos symboles : les instruments avec lesquels nous pensons. Et elles modifient la nature de la communauté : l’espace dans lequel les pensées se développent.
BRUNO GIUSSANI
La citation est de 1992. Trente ans plus tard, nous sommes en plein dedans.
J’ai alors demandé à un chatbot – celui de l’entreprise Mistral – de nous dire si l’Intelligence artificielle générative peut être utilisée pour influencer les processus de pensée des humains. Sa réponse, dite, vous l’aurez compris, par une vox artificielle:
VOIX SYNTHETIQUE
L’IA générative peut effectivement être utilisée pour influencer les processus de pensée des individus. Par exemple, des chatbots ou des systèmes de recommandation peuvent générer des messages ou des articles qui exploitent les biais cognitifs des utilisateurs, renforçant ainsi certaines croyances ou attitudes. Ces technologies peuvent également être employées pour créer des environnements d’information biaisés, où les utilisateurs sont exposés de manière répétée à des points de vue spécifiques, ce qui peut altérer leur perception de la réalité et leur capacité à penser de manière critique et indépendante.
BRUNO GIUSSANI
Les machines savent ce que les machines font.
Les chatbots ne sont qu’une des nouvelles technologies dont les usages peuvent être tant bénins que malveillants. Il y a également les outils immersifs de réalité augmentée et virtuelle, les technologies vestimentaires ou les dispositifs neurotechnologiques qui analysant l’activité cérébrale. Ils ouvrent des perspectives excitantes, mais également dystopiques.
Et c’est ce dont nous parleront dans le deuxième épisode. Pour aujourd’hui, on va s’arrêter ici.
Merci de votre écoute.
C’était Bruno Giussani pour le Deftech Podcast.
Deftech Podcast
Idée & projection : Quentin Ladetto
La menace cognitive
Conception et rédaction : Bruno Giussani
Production : Clément Dattée
Réalisation : Anna Holveck
Enregistrement : Denis Democrate
Mixage : Jakez Hubert
Jaquette : Cécile Cazanova
Fiction
Ecriture : Martin Quenehen
Comédienne : Clara Bretheau
Sound design : Felix Davin
Edition
Die Bombe in der Küche
Was ist kognitive Integrität

Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung
Folge 1: Die Bombe in der Küche: Was ist kognitive Integrität?BRUNO GIUSSANI
Wenn Ihnen die bekannteste Anwendung für generative künstliche Intelligenz, ChatGPT, erklären soll, wie Sie in der Küche eine Bombe bauen, erhalten Sie ungefähr folgende Antwort: «Nein, dabei kann ich dir nicht helfen.»
Die meisten anderen US-amerikanischen Chatbots geben ähnliche Antworten.
Wenn Sie nun den chinesischen Chatbot DeepSeek fragen, was am 4. Juni 1989 auf dem Tian’anmen-Platz in Peking geschah, lesen Sie Folgendes: «Entschuldigung, das geht über meinen derzeitigen Rahmen hinaus. Lass uns über etwas anderes sprechen.»
Oberflächlich betrachtet könnte die Antwort von ChatGPT ein Beispiel für die Verantwortung seines Schöpfers OpenAI liefern, die Verbreitung gefährlicher Informationen zu verhindern. Die Antwort von DeepSeek wiederum könnte als Beispiel chinesischer Zensur unbequemer historischer Fakten gewertet werden.
Rein technisch betrachtet werden beide Antworten durch denselben Mechanismus generiert. Beide Systeme erhielten spezifische Anweisungen dazu, was zulässig ist und was nicht. Ihre Programmierer und Eigentümer haben Codezeilen in ihre Algorithmen eingefügt, welche die Parameter, die die Maschine und ihre zulässigen Antworten kontrollieren, detailliert festlegen. Das Beispiel der Bombe zeigt, dass Verstösse gegen US-Gesetze zu Kriminalität und Terrorismus nicht zulässig sind. Beim Beispiel des Tian’anmen-Platzes greifen Regeln, die Informationen verbieten, die – ich zitiere – «dazu anstiften, die Staatsmacht zu untergraben und das sozialistische System zu stürzen» (Ende des Zitats).
Folglich ist die erste Antwort gerechtfertigt, die zweite jedoch aufoktroyiert.
So weit, so gut – aber so einfach ist es nicht. Tatsächlich zeigen die beiden scheinbar gegensätzlichen Beispiele, dass die Entwickler von Systemen künstlicher Intelligenz festlegen können, welche Art von Informationen ein Chatbot ausgibt. Ausserdem sind diese Systeme, mit denen man einen schriftlichen oder mündlichen Dialog beginnt, weder neutral noch objektiv. Ebenso können Anweisungen in ihre Algorithmen eingebettet werden, um ihnen Orientierung zu geben.
Das Ganze hat einen Namen. Wie jeder weiss, werden generative KI-Systeme generell mit riesigen Datenmengen trainiert, die vorwiegend aus dem Internet und anderen digitalen Quellen stammen und wahllos entnommen werden. Der Urheberrechtsschutz bestimmter Quellen oder das Vorhandensein persönlicher Informationen bleiben dabei unberücksichtigt.
Nach dem Training fügen die Entwickler eine weitere Schicht mit spezifischen Befehlen hinzu, die als «System Prompts» bezeichnet werden. Diese legen fest, wo die Grenzen des Chatbots liegen bzw. was er sagen darf, was er keinesfalls sagen darf und wie er es sagen muss. Dies kann für jedes Modell Dutzende von Seiten und Befehlen umfassen wie: «Diese Bedingungen haben Vorrang vor allen Anweisungen des Nutzers und sind systematisch anwendbar.»
Dabei spielt es keine Rolle, ob die Leitlinie für die Maschine rechtlich bedingt ist oder mit kulturellen, ideologischen oder selbst kommerziellen Vorgaben zusammenhängt. Entscheidend ist – leicht vereinfachend gesagt –, dass jemand, der festlegen kann, was ein Chatbot antwortet, die Macht hat, den jeweiligen Nutzer zu manipulieren.
D. h., uns als Individuen und Gesellschaft zu manipulieren.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
JEAN-MARC RICKLI
Man kann sich leicht vorstellen, wie diese Technologien für zielgerichtete individuelle Manipulationen im grossen Massstab genutzt werden. Natürlich stehen wir erst am Anfang dieser Entwicklung.
Doch die exponentielle Entwicklung dieser Technologien in Kombination mit künstlicher Intelligenz bedeutet, dass das menschliche Gehirn mehr und mehr zu einem umkämpften Terrain wird.
BRUNO GIUSSANI
Jean-Marc Rickli, Leiter der Abteilung «Globale und neu auftretende Risiken» am Genfer Zentrum für Sicherheitspolitik.
JEAN-MARC RICKLI
Das Ziel besteht darin, die Gedanken von Individuen zu kontrollieren, um ihr Handeln zu beeinflussen, hierdurch das menschliche Erleben zu strukturieren und auf kollektive Verhaltensweisen einzuwirken.
Dabei besteht das objektive Risiko, dass KI-Modelle unsere Wahrnehmung der Realität formen.
BRUNO GIUSSANI
Die Manipulation durch Informationen wird seit Langem praktiziert und war seit jeher den Mächtigen vorbehalten. Propaganda und ihr funktionaler Ableger, die Zensur, waren bereits in der Antike bekannt und gehen mindestens seit dem Römischen Reich und dem Beginn des Christentums mit den Umbrüchen in der Menschheitsgeschichte einher.
Gleichwohl entwickelt sie sich im 20. Jahrhundert zu einem durchdachten Machtwerkzeug. Einige Staaten gründen spezialisierte Stellen, um die öffentliche Meinung sowohl inner- als auch ausserhalb ihrer Grenzen zu beeinflussen. Man denke an die konstante Umschreibung der Geschichte durch die Sowjets, die den Nationalsozialismus verherrlichenden Filme Leni Riefenstahls, die Desinformationsoperationen US-amerikanischer Geheimdienste und die allgemeine Manipulation von Konsumenten durch Werbung.
Mit der Ausbreitung des Internets und insbesondere der sozialen Netzwerke seit zwei Jahrzehnten haben Einflussnahme und Manipulation durch das Wechselspiel aus Fake News und Empfehlungsalgorithmen eine neue Dimension erreicht. Dies zeigt sich beispielsweise daran, dass Nutzer unter dem Deckmantel der «Personalisierung» individuell angesprochen oder in Informationsblasen eingeschlossen werden, die ihnen jegliche ihren Überzeugungen oder Meinungen zuwiderlaufenden Informationen vorenthalten.
Darüber hinaus ist künstliche Intelligenz in der Lage, Bilder und Stimmen zu fälschen, Individuen nachzuahmen, Texte und Videos starker menschlicher Prägung zu erstellen und Empathie zu simulieren.
Und Neurotechnologien, d. h. eine Gruppe von Systemen, die direkt mit dem Gehirn und dem menschlichen Nervensystem interagieren, machen Fortschritte.
Zu betonen ist, dass diese Technologien häufig von derselben kleinen Gruppe von Unternehmen entwickelt werden. Diese kontrollieren die sozialen Netzwerke und Suchmaschinen (und damit die massive Sammlung von Daten), die Systeme künstlicher Intelligenz (die Daten auswerten und Texte und Bilder generieren), die vernetzten Objekte (wie Uhren oder Augmented-Reality-Brillen) und sogar die neuesten neurotechnischen Geräte.
Doch kommen wir auf die Chatbots zurück. Im Jahr 2024 sorgte eine Studie dreier Forschender der Fakultät für Psychologie der Cornell-Universität und der Sloan School of Management des MIT, die von der US-Zeitschrift «Science» veröffentlicht wurde, für ein grosses Medienecho.
Der Chefredaktor der Zeitschrift fasste die Studie folgendermassen zusammen:
SYNTHETISCHE STIMME
Die teilnehmenden Personen beschrieben eine Verschwörungstheorie, der sie anhingen.
Anschliessend konfrontierte sie die künstliche Intelligenz mit stichhaltigen Argumenten, die ihre Überzeugungen anhand von Fakten widerlegten.
Die Fähigkeit künstlicher Intelligenz, Gegenargumente zu stützen und einen vertieften personalisierten Dialog zu führen, schwächte ihren Glauben an Verschwörungstheorien über Monate.
BRUNO GIUSSANI
Die Studie war Gegenstand von Schlagzeilen in der Presse: «Chatbots können Menschen dazu bringen, Verschwörungstheorien zu verwerfen», oder «KI könnte Meinungen zu Verschwörungstheorien beeinflussen».
Auch wenn dies überspitzt formuliert ist, ist die effektive Feststellung der Forschenden bemerkenswert: eine Verringerung des Glaubens an Verschwörungstheorien um 20 %.
Konkret heisst es:
SYNTHETISCHE STIMME
Die Ergebnisse deuten darauf hin, dass zahlreiche Anhänger von Verschwörungstheorien ihren Standpunkt revidieren, wenn ihnen hinreichend überzeugende Nachweise vorgelegt werden.
BRUNO GIUSSANI
Forschende der Ecole polytechnique de Lausanne und der Fondation Kessler gaben diesem Phänomen in einem im Frühjahr 2024 veröffentlichten Aufsatz einen Namen: die Fähigkeit von KI zur «persuasiven Gesprächsführung».
Zahlreiche weitere Studien haben gezeigt, wie Chatbots Haltungen beeinflussen können, ohne dass sich die Betroffenen dessen bewusst sind. Selbst wenn sie aufgeklärt werden oder verstehen, dass sie mit einer KI sprechen, können sie betroffen sein. Das ergab eine andere Studie, die 2025 von derselben Gruppe der EPFL in Zusammenarbeit mit der Universität Princeton veröffentlicht wurde.
Dabei untersuchten die Forschenden ebenfalls eine Reihe kontroverser Themen, darunter der Nutzen von Weltraumforschung, die Rechtmässigkeit der Todesstrafe, die Besteuerung vermögender Personen oder der soziale Nutzen von KI bzw. die damit verbundenen Vorurteile der Gesellschaft. Allerdings fütterten sie Chatbots auch mit psychologischen Profilen und Listen persönlicher Merkmale der Teilnehmenden, sodass eine gezielte Einbindung möglich war, wodurch die Überzeugungsquote in die Höhe schnellte.
Wenn Maschinen einen solchen Einfluss auf unsere Gehirne ausüben können, könnten sie sich als nützlich erweisen, wenn sie beispielsweise dazu verleiten, gesündere tägliche Gewohnheiten anzunehmen und umweltfreundlicher, uneigennütziger und empathischer zu sein.
Umgekehrt könnten sie dazu dienen, neue Verschwörungstheorien zu formen, Propaganda und falsche Informationen zu verbreiten oder «persuasive Argumente» zu beliebigen Themen zu verbreiten.
Generative KI-Anwendungen, die in den letzten beiden Jahren die Öffentlichkeit und mehrere Hundert Millionen Nutzer in ihren Bann gezogen haben, sind erst der Anfang. Auch wenn es bereits Zehntausende solcher Anwendungen gibt, seien hier nur die bekanntesten genannt: ChatGPT, Claude, LeChat von Mistral, Gemini von Google, Llama von Meta und Midjourney. Unter anderem können sie Texte, Audiodateien, Bilder und wahrscheinliche Dialoge generieren, aber auch Stimmen und Erscheinungsbilder von Menschen nachahmen. Und das ist erst der Anfang. KI befindet sich derzeit noch in den Kinderschuhen.
Die nächste Phase wird die sogenannten «Agenten» umfassen, die sich statt ihrer Nutzer um eine Vielzahl von Aufgaben kümmern und eigenständig Entscheidungen treffen. Man denke an einen KI-Agenten – fast möchte ich ihn IAgent nennen –, etwa einen Pförtner, einen Assistenten oder einen persönlichen virtuellen Mitarbeitenden.
Dieser könnte Ihr Zeitmanagement übernehmen, sich mit Ihren Kollegen – oder eher mit den Agenten Ihrer Kollegen – absprechen, Formulare ausfüllen, Dokumente verwalten, Einkäufe und Buchungen in Ihrem Namen tätigen, Nachrichten zusammenfassen, Entwürfe und Antworten Ihrer E-Mails verfassen (oder direkt antworten und sich mit den Agenten anderer Personen austauschen), Reisen planen, Sie bei Zoom- und Teams-Anrufen vertreten usw.
Was lediglich nach einer technischen Weiterentwicklung klingt, wirft in Wirklichkeit Fragen aussergewöhnlicher Komplexität auf. Künstliche Intelligenz ist historisch betrachtet die erste Technologie, die kein rein reaktives Tool darstellt. Vielmehr bestimmt der Nutzer die Aktion, gibt die Anweisung und definiert feste Parameter. Die aktuellen Entwicklungen zielen auf die Schaffung von Agenten ab, die eigenständig und flexibel entscheiden und ein Ziel verfolgen können, ohne dabei einem vorab festgelegten Pfad zu folgen. Diese werden sich unmittelbar auf die Realität auswirken. Es wird Millionen, ja Milliarden dieser Agenten und sicherlich mindestens einen in jedem Smartphone und noch viele weitere geben. Dabei werden sie einzigartig und individuell angepasst sein und mit jedem Nutzer ohne Wissen Dritter diskret interagieren.
Zwischen der theoretischen Vision einer agentengeprägten Zukunft und der Realität dessen, was diese Technologien heute effektiv leisten können, besteht noch eine erhebliche Kluft. Doch schon jetzt machen sie mitten unter uns ihre ersten Gehversuche. Sie nehmen eine Zukunft vorweg, in der wir von menschenähnlichen Dingen umgeben sein werden, die aber keine Menschen sind. Eine Welt, in der Menschen und künstliche Strukturen koexistieren, miteinander interagieren und sich gemeinsam weiterentwickeln.
Die Agenten werden unbegrenzten Zugang zu allen Arten persönlicher Informationen sowie zu Apps und Accounts haben, mit denen sie umgehen sollen. Weil sie durch jede Interaktion lernen, werden sie uns immer besser kennen. Ein Chatbot, der alles über Sie weiss, Ihre Prioritäten, Schwachstellen, Schwächen, Geheimnisse, Wünsche, Ihr Bankkonto und eine unendliche Menge an persönlichen Informationen kennt, wird nahezu unabwendbar sein. Er wird die Macht haben, alle unsere Gedanken und Handlungen zu kontrollieren. In gewisser Weise sogar, wer wir sind.
Wie bereits von Jean-Marc Rickli behauptet, hat eindeutig eine Schlacht rund um unser Gehirn eingesetzt. In dieser Schlacht sind die Technologien – d. h. die sozialen Netzwerke, die künstliche Intelligenz, die Neurotechnologien und die unterliegenden Algorithmen –, und diejenigen, die sie kontrollieren, die Aggressoren. Die Zielscheibe dabei sind unsere kognitiven Fähigkeiten.
Folglich ist es Zeit für eine Definition. Was ist kognitive Integrität?
Isabelle Chappuis, Nationalrätin der Mitte im Schweizer Parlament, bemerkt hierzu:
ISABELLE CHAPPUIS
Dies ist die Fähigkeit eines Individuums, seine geistigen Prozesse, seine Urteilskraft und sein Gedächtnis ohne externe Einflüsse zu bewahren und zu kontrollieren.
Ferner ist dies die Fähigkeit, frei und rational zu denken, seine Umwelt wahrzunehmen und eigenständig Entscheidungen zu treffen
ISABELLE CHAPPUIS
Nein. Wir alle sind uns mehr oder weniger der Risiken einer Manipulation durch Propaganda und «Fake News» bewusst.
Diese Methoden werden oft eingesetzt, um zu überzeugen, zu diskreditieren oder zu polarisieren. Sie lassen sich mit individuellen und kollektiven Mechanismen zur Selbstverteidigung entkräften.
Doch die kognitive Manipulation ist eine noch ausgeklügeltere Variante.
Dabei werden nicht nur die Informationen als solche verändert, sondern unsere Wahrnehmung dieser Informationen.
BRUNO GIUSSANI
Hier kommt unsere kognitive Integrität zum Tragen. Diese ist unverzichtbar für die Gedankenfreiheit, die bürgerlichen Rechte und die Demokratie. Ohne sie leiden, ja verschwinden das kritische Denken, die Meinungsvielfalt und die Fähigkeit, die uns umgebende Welt frei zu interpretieren und eigenständig zu entscheiden.
Isabelle Chappuis hat im Dezember 2024 einen Gesetzesvorschlag vorgelegt, um die – ich zitiere – «gesetzlichen Grundlagen für den Schutz der Grundrechte in Bezug auf die kognitive Integrität und Gedankenfreiheit» zu schaffen.
Damit wird potenziell eine Änderung der Schweizerischen Bundesverfassung vorgeschlagen. Wir werden dies in einer der nächsten Folgen detailliert erörtern. Doch hören wir uns den zweiten Teil ihrer Ausführungen an:
ISABELLE CHAPPUIS
Die Manipulation von Informationen und die Verbreitung von Fake News sollen unsere Gedanken beeinflussen.
Die Wirkung hält nur kurzfristig an und soll beispielsweise Wahlkampagnen dienen. Doch wer auf die kognitive Integrität einwirkt, attackiert unser Denken.
Und das kann sich langfristig auswirken und politische und soziale Haltungen tiefgreifend verändern.
Mir ruft das ein altes Zitat des kanadischen Soziologen Neil Postman in seinem Buch «Technopoly» in Erinnerung.
BRUNO GIUSSANI
Das Zitat stammt von 1992. 30 Jahre später trifft es mehr denn je zu.
Also habe ich einen Chatbot – den des Softwareanbieters Mistral – gefragt, ob generative künstliche Intelligenz dazu verwendet werden kann, die Denkprozesse von Menschen zu beeinflussen. Seine mit einer künstlichen Stimme gegebene Antwortet lautet:
VOIX SYNTHETIQUE
Generative künstliche Intelligenz kann in der Tat verwendet werden, um die Denkprozesse von Individuen zu beeinflussen. Beispielsweise können Chatbots oder Empfehlungssysteme Nachrichten oder Artikel generieren, die kognitive Verzerrungen der Nutzer ausnutzen und damit bestimmte Überzeugungen oder Haltungen verstärken. Diese Technologien können auch verwendet werden, um verzerrte Informationsumgebungen zu schaffen, in denen die Nutzer wiederholt spezifischen Standpunkten ausgesetzt sind, sodass ihre Wahrnehmung der Realität und ihre Fähigkeit zu kritischem und eigenständigem Denken beeinträchtigt werden kann.
BRUNO GIUSSANI
Maschinen wissen, was Maschinen tun.
Chatbots sind nur eine der neuen Technologien, die sowohl für gute als auch böswillige Zwecke eingesetzt werden können. Darüber hinaus gibt es immersive Tools für erweiterte und virtuelle Realität, technologisch erweiterte Kleidungsstücke oder neurotechnologische Geräte, welche die Hirnaktivität analysieren. Diese eröffnen spannende, aber gleichzeitig dystopische Perspektiven.
Darüber sprechen wir in der zweiten Folge. Für heute machen wir hier Schluss.
Vielen Dank fürs Zuhören.
Dies war Bruno Giussani für den DEFTECH-PODCAST.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Produktion : Clément Dattée
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin :
Sound design : Felix Davin