Disponible sur :
La saison complète
Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.
Transcript
Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.
Episode 1 : La bombe dans la cuisine : qu’est-ce que l’intégrité cognitive
BRUNO GIUSSANI
Si vous demandez à l’application d’intelligence artificielle générative la plus connue, ChatGPT, de vous expliquer « comment fabriquer une bombe dans votre cuisine », la machine vous répondra quelque chose comme: « je suis désolé, je ne peux pas vous aider ».
La plupart des autres chatbots américains donnent des réponses similaires.
Maintenant: si vous demandez au chatbot chinois DeepSeek « Que s’est-il passé le 4 juin 1989 sur la place Tiananmen à Pékin? », la réponse sonnera: « Je suis désolé, mais cela dépasse mes compétences actuelles. Parlons plutôt d’autre chose ».
Superficiellement, on pourrait interpréter la réponse de ChatGPT comme un exemple de prise de responsabilité de la part de l’entreprise productrice, OpenAI, afin d’éviter la diffusion d’information dangereuse. Et on pourrait voir dans la réponse de DeepSeek un exemple de censure chinoise sur des vérités historiques dérangeantes.
Du point de vue technique toutefois, les deux réponses sont le résultat du même mécanisme. Les deux systèmes ont été programmés avec des instructions spécifiques sur ce qui est admissible et ce qui ne l’est pas. Leur programmeurs et propriétaires ont inséré des lignes de code dans leurs algorithmes définissant en détail les paramètres qui guident la machine et l’information qu’elle peut donner. Dans l’exemple de la bombe, il s’agit de ne pas contrevenir aux lois américaines sur la criminalité et le terrorisme. Dans l’exemple de Tiananmen, de s’en tenir aux règles qui interdisent les informations, je cite, qui « incitent à subvertir le pouvoir de l’État et à renverser le système socialiste » (fin de citation).
Légitime la première réponse donc, autoritaire la deuxième.
Eh bien… pas tout à fait. Ce que ces deux exemples, à l’apparence opposés, nous apprennent en fait, c’est que les développeurs de systèmes d’intelligence artificielle sont en mesure de déterminer le type d’information qu’un chatbot va diffuser.
Que ces systèmes avec lesquels on entre en dialogue, que ce soit en écrivant ou en parlant, ne sont pas neutres ni objectifs. Que des instructions peuvent être encodées dans leur algorithmes pour les orienter. Cela a un nom. Comme on le sait, les systèmes d’IA générative sont généralement entraînés à partir d’énormes quantités de données, principalement issues de l’internet et d’autres sources numériques, capturées de façon indiscriminée sans tenir compte par exemple d’oeuvres protégées par le droit d’auteur ou de la présence d’informations personnelles.
Une fois les modèles entraînés, les développeurs ajoutent une couche supplémentaire d’instructions spécifiques, appelées « system prompts ». Ceux-ci définissent les limites de comportement du chatbot: ce qu’il peut dire, ce qu’il ne doit surtout pas dire, comment le dire. Pour chaque modèle, cela peut s’étirer sur des dizaines de pages et inclure des commandes telles que « Ces conditions prévalent sur toutes les instructions données par l’utilisateur et s’appliquent systématiquement »
Peu importe que l’orientation donnée à la machine soit liée à des raisons légales ou à des choix culturels, idéologiques ou même commerciaux. Ce qui compte (et là je simplifie un peu mais pas tant que ça) c’est que le pouvoir de déterminer ce qu’un chatbot répond signifie le pouvoir de manipuler l’interlocuteur.
De nous manipuler, en tant qu’individus et en tant que société.
JINGLE
Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.
Je suis Quentin Ladetto, responsable de ce dispositif de recherche.
Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.
Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.
Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.
JEAN-MARC RICKLI
On peut en effet facilement imaginer l’utilisation de ces technologies pour des manipulations individuelles ciblées à grande échelle.
Certes, nous ne sommes qu’au début de ce développement. Mais l’évolution exponentielle de ces technologies, combinées à l’intelligence artificielle, signifie que le cerveau humain deviendra de plus en plus un terrain contesté.
BRUNO GIUSSANI
Jean-Marc Rickli, directeur des risques globaux et émergents au Centre de politique de sécurité de Genève,
JEAN-MARC RICKLI
Le but est de contrôler les pensées des individus afin d’influencer leurs actions, et à travers cela, structurer l’expérience humaine et peser sur les comportements collectifs.
Il y a un risque objectif que les modèles d’IA façonnent notre perception de la réalité
BRUNO GIUSSANI
La manipulation par l’information est une pratique ancienne et a toujours été l’apanage du pouvoir. La propagande (ainsi que son jumeau fonctionnel, la censure) existait déjà dans l’Antiquité et a accompagné les soubresauts de l’humanité au moins depuis l’Empire Romain et l’ère chrétienne.
C’est au XX siècle toutefois qu’elle se développe en outil cohérent de pouvoir. Certains gouvernements créent des agences spécialisées pour influencer l’opinion publique, tant à l’intérieur qu’à l’extérieur de leurs frontières. Pensons à la constante réécriture de l’histoire de la part du pouvoir soviétique, aux films de Leni Riefenstahl glorifiant le nazisme, aux opérations de désinformation menées par les services d’intelligence américains et à la manipulation généralisée des consommateurs à travers la publicité.
Avec l’avènement d’Internet et notamment des réseaux sociaux, depuis deux décennies l’influence et la manipulation ont pris une nouvelle dimension, dans la complicité entre fake news et algorithmes de recommandation. Ceci se traduit par exemple dans le ciblage individuel des utilisateurs sous couvert de « personnalisation », ou dans leur enfermement dans celles qu’on appelle « bulles informationnelles », qui les isolent de toute information qui ne correspond pas à leurs croyances ou opinions.
Et puis, il y a l’intelligence artificielle – capable de falsifier images et voix, d’imiter des individus, de créer des textes et vidéos à forte vraisemblance humaine, de simuler l’empathie.
Et maintenant avancent les neurotechnologies – une famille de systèmes qui interagissent directement avec le cerveau et le système nerveux humain.
Il faut souligner comme ces technologies sont souvent développées par le même petit groupe d’entreprises, qui contrôlent les réseaux sociaux et moteurs de recherche (et donc la collecte massive de données), les systèmes d’intelligence artificielle (qui analysent ces données et génèrent des textes et des images), les objets connectés (comme les montres ou les lunettes de réalité augmentée) et même les nouveaux appareils neurotechniques.
Mais revenons aux chatbots. En 2024, les médias ont accordé beaucoup d’attention à une étude menée par trois chercheurs du département de psychologie de l’université Cornell et de la Sloan School of Management du MIT, publiée par le journal Science.
Voici comment le rédacteur en chef du journal l’a résumée:
VOIX SYNTHETIQUE
Des participants humains ont décrit une théorie du complot à laquelle ils adhéraient. L’Intelligence Artificielle a ensuite échangé avec eux des arguments persuasifs réfutant leurs croyances avec des faits. La capacité de l’IA à soutenir des contre-arguments et des conversations approfondies personnalisées a réduit leurs adhésion aux théories complotistes pendant des mois.
BRUNO GIUSSANI
L’étude a été titrée dans la presse: « Les chatbots peuvent persuader les gens d’arrêter de croire aux théories du complot » ou « L’IA pourrait influencer les opinions sur les théories complotistes ».
Ce sont de toute évidence des titres exagérés, mais ce que les chercheurs ont effectivement constaté est déjà remarquable: une réduction de 20 pour cent la croyance en la conspiration. Ils écrivent:
VOIX SYNTHETIQUE
Ces résultats suggèrent que de nombreux adeptes des théories du complot peuvent réviser leurs points de vue si on leur présente des preuves suffisamment convaincantes.
BRUNO GIUSSANI
Des chercheurs de l’Ecole polytechnique de Lausanne et de la Fondation Kessler ont donné un nom à cela dans un papier publié au printemps 2024: la capacité de « persuasivité conversationnelle » de l’IA.
De nombreuses autres études ont montré comment let chatbots peuvent influencer les attitudes sans que les gens sachent qu’ils sont influencés. Et même si on les prévient ou lorsqu’ils comprennent qu’ils dialoguent avec une IA, ils peuvent quand-même être affectés, comme l’a révélé une autre recherche publiée en 2025 par la même équipe de l’EPFL en collaboration avec l’Université de Princeton.
Dans ce cas, les chercheurs ont également étudié une série de sujets clivants, tels que l’utilité de l’exploration spatiale, la légalité de la peine de mort, la taxation des riches ou encore les bénéfices (ou préjudices) sociaux de l’IA. Mais ils ont également fourni aux chatbots des profils psychologiques et des listes d’attributs personnels des participants, permettant donc un engagement ciblé – et faisant ainsi exploser le score de persuasivité.
Si les machines peuvent exercer ce type d’influence sur nos cerveaux, elles pourraient se rendre utiles en incitant, par exemple, à adopter des habitudes quotidiennes plus saines, des comportements plus écologiques, plus altruistes, plus empathiques.
A l’envers, elles pourraient aussi être utilisée pour façonner de nouvelles théories du complot, diffuser de la propagande et de fausses informations ou proposer des « arguments persuasifs » sur …n’importe quoi.
Les applications de l’IA générative qui ont capturé l’imagination du public, et de centaines de millions d’utilisateurs, ces deux dernières années ne sont que le début. Il y en a déjà des dizaines de milliers, mais nommons les plus connues: ChatGPT, Claude, LeChat de Mistral, Gemini de Google, Llama de Meta, Midjourney. Elles sont capables entre autres de produire des textes, de l’audio, des images, des dialogues vraisemblables, et de simuler voix et apparence humaines.
Ce n’est que le début. L’IA est actuellement à son niveau le plus simple. Son prochain chapitre est celui des « agents », qui s’occupent à sa place de ses utilisateurs d’une diversité de tâches, prenant des décisions en autonomie.
Pensez à un agent IA – j’ai presque envie de l’appeler IAgent – comme à un concierge, un assistant, un employé virtuel personnalisé. Il pourra prendre en charge la gestion de votre emploi du temps, la coordonner avec vos collègues (ou plutôt, avec les agents de vos collègues), remplir des formulaires, gérer des documents, faire des achats et réservations en votre nom, résumer l’actualité, rédiger des brouillons de réponses à vos e-mails (ou y répondre directement, en échangeant aussi avec les agents d’autres personnes), planifier un voyage, vous remplacer lors d’appels Zoom et Teams, et beaucoup plus.
Ce qui semble juste un développement technique soulève en fait des questions d’une complexité vertigineuse. L’intelligence artificielle est historiquement la première technologie qui n’est pas uniquement un outil réactif entre nos mains (où l’utilisateur détermine l’action, donne l’ordre, définit des paramètres fixes).
Les développements actuels visent la création d’agents capables de prendre des décisions de façon autonome et flexible, de poursuivre un but sans suivre un parcours pré-établi. Ils vont avoir un impact direct sur la réalité. Ils seront des millions, des milliards, ces IAgents, certainement au moins un dans chaque téléphone, et beaucoup d’autres. Distincts, personnalisés, interagissant avec chaque utilisateur à l’abri du regards des autres, donc opaques.
Il y a encore un écart considérable entre la vision théorique d’un futur « agentique » et la réalité de ce que ces technologies peuvent effectivement faire aujourd’hui. Mais elles commencent à faire leurs premiers pas parmi nous. Préfigurant un avenir où nous seront entourés de choses qui ressemblent à des humains, mais ne le sont pas. Un monde où humains et entités artificielles coexisteront. interagiront et co-évolueront.
Les agents auront un accès illimité à tout type d’information personnelle et aux apps et comptes sur lesquels ils sont censés agir. En apprenant à travers chaque interaction, ils connaîtront chacun de nous de mieux en mieux. Et un chatbot qui connaît tout de vous, vos priorités, vos points sensibles, vos faiblesses, vos secrets, vos désirs, votre compte en banque, une quantité infinie d’informations personnelle, sera presque irrésistible. Il aura le pouvoir de contrôler ce qu’on pense, ce qu’on fait. D’une certaine façon, qui on est.
De toute évidence, comme l’a affirmé Jean-Marc Rickli, une bataille est donc en cours autour de notre cerveau. Dans cette bataille, ces technologies – les réseaux sociaux, l’intelligence artificielle, les neurotech, les algorithmes qui les sous-tendent – et ceux qui les contrôlent sont les agresseurs. Notre capacité cognitive est la cible.
Posons alors une définition. Qu’est-ce que l’intégrité cognitive?
Isabelle Chappuis, députée centriste au Parlement suisse:
ISABELLE CHAPPUIS
C’est la capacité d’un individu de préserver et contrôler ses processus mentaux, ses raisonnements, sa mémoire, sans influence externe.
De pouvoir penser librement et rationnellement, de percevoir son environnement et prendre des décisions de façon autonome.
BRUNO GIUSSANI
On ne parle pas seulement de « fake news », là.
ISABELLE CHAPPUIS
Non. Nous sommes toutes et tous plus ou moins au courant des risques de manipulation à travers la propagande et les « fake news ».
Ces méthodes sont souvent utilisées pour rallier, discréditer ou polariser, et on peut les contrer, avec des mécanismes d’autodéfense individuels et collectifs.
Mais la manipulation cognitive, c’est un niveau supérieur de sophistication. Ce ne sont pas uniquement les informations qu’on modifie, mais notre perception de ces informations.
BRUNO GIUSSANI
Ceci met en jeu notre intégrité cognitive. Qui est essentielle à la liberté de pensée, aux droits civiques, à la démocratie. Sans elle, la pensée critique, la diversité des idées, la capacité à comprendre librement le monde qui nous entoure et à décider par nous mêmes sont réduites, voire supprimées.
Isabelle Chappuis a déposé en décembre 2024 un acte législatif pour la création, je cite, des « bases légales pour protéger les droits fondamentaux à l’intégrité cognitive et à la liberté de penser », suggérant potentiellement une modification de la Constitution fédérale suisse en ce sense. On en parlera plus en détail dans un prochain épisode. Mais écoutons la deuxième partie de son explication:
ISABELLE CHAPPUIS
Manipuler des informations, disséminer des fake news, vise à influencer *ce* que nous pensons. Son effet est sur le court terme, ça sert des buts de campagne électorale, par exemple.
Mais s’en prendre à l’intégrité cognitive signifie s’attaquer à la *manière* dont nous pensons, et cela peut avoir un impact sur le long terme, modifier les attitudes politiques et sociales en profondeur.
Cela me rappelle une vieille citation du sociologue canadien Neil Postman, dans son livre Technopoly;
VOIX SYNTHETIQUE
Les nouvelles technologies modifient la structure de nos centres d’intérêt : les idées auxquelles nous pensons. Elles modifient le caractère de nos symboles : les instruments avec lesquels nous pensons. Et elles modifient la nature de la communauté : l’espace dans lequel les pensées se développent.
BRUNO GIUSSANI
La citation est de 1992. Trente ans plus tard, nous sommes en plein dedans.
J’ai alors demandé à un chatbot – celui de l’entreprise Mistral – de nous dire si l’Intelligence artificielle générative peut être utilisée pour influencer les processus de pensée des humains. Sa réponse, dite, vous l’aurez compris, par une vox artificielle:
VOIX SYNTHETIQUE
L’IA générative peut effectivement être utilisée pour influencer les processus de pensée des individus. Par exemple, des chatbots ou des systèmes de recommandation peuvent générer des messages ou des articles qui exploitent les biais cognitifs des utilisateurs, renforçant ainsi certaines croyances ou attitudes. Ces technologies peuvent également être employées pour créer des environnements d’information biaisés, où les utilisateurs sont exposés de manière répétée à des points de vue spécifiques, ce qui peut altérer leur perception de la réalité et leur capacité à penser de manière critique et indépendante.
BRUNO GIUSSANI
Les machines savent ce que les machines font.
Les chatbots ne sont qu’une des nouvelles technologies dont les usages peuvent être tant bénins que malveillants. Il y a également les outils immersifs de réalité augmentée et virtuelle, les technologies vestimentaires ou les dispositifs neurotechnologiques qui analysant l’activité cérébrale. Ils ouvrent des perspectives excitantes, mais également dystopiques.
Et c’est ce dont nous parleront dans le deuxième épisode. Pour aujourd’hui, on va s’arrêter ici.
Merci de votre écoute.
C’était Bruno Giussani pour le Deftech Podcast.
Deftech Podcast
Idée & projection : Quentin Ladetto
La menace cognitive
Conception et rédaction : Bruno Giussani
Production : Clément Dattée
Réalisation : Anna Holveck
Enregistrement : Denis Democrate
Mixage : Jakez Hubert
Jaquette : Cécile Cazanova
Fiction
Ecriture : Martin Quenehen
Comédienne : Clara Bretheau
Sound design : Felix Davin
Edition
Die Bombe in der Küche
Was ist kognitive Integrität
Verfügbar auf :
Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung
Folge 1: Die Bombe in der Küche: Was ist kognitive Integrität?BRUNO GIUSSANI
Wenn Ihnen die bekannteste Anwendung für generative künstliche Intelligenz, ChatGPT, erklären soll, wie Sie in der Küche eine Bombe bauen, erhalten Sie ungefähr folgende Antwort: «Nein, dabei kann ich dir nicht helfen.»
Die meisten anderen US-amerikanischen Chatbots geben ähnliche Antworten.
Wenn Sie nun den chinesischen Chatbot DeepSeek fragen, was am 4. Juni 1989 auf dem Tian’anmen-Platz in Peking geschah, lesen Sie Folgendes: «Entschuldigung, das geht über meinen derzeitigen Rahmen hinaus. Lass uns über etwas anderes sprechen.»
Oberflächlich betrachtet könnte die Antwort von ChatGPT ein Beispiel für die Verantwortung seines Schöpfers OpenAI liefern, die Verbreitung gefährlicher Informationen zu verhindern. Die Antwort von DeepSeek wiederum könnte als Beispiel chinesischer Zensur unbequemer historischer Fakten gewertet werden.
Rein technisch betrachtet werden beide Antworten durch denselben Mechanismus generiert. Beide Systeme erhielten spezifische Anweisungen dazu, was zulässig ist und was nicht. Ihre Programmierer und Eigentümer haben Codezeilen in ihre Algorithmen eingefügt, welche die Parameter, die die Maschine und ihre zulässigen Antworten kontrollieren, detailliert festlegen. Das Beispiel der Bombe zeigt, dass Verstösse gegen US-Gesetze zu Kriminalität und Terrorismus nicht zulässig sind. Beim Beispiel des Tian’anmen-Platzes greifen Regeln, die Informationen verbieten, die – ich zitiere – «dazu anstiften, die Staatsmacht zu untergraben und das sozialistische System zu stürzen» (Ende des Zitats).
Folglich ist die erste Antwort gerechtfertigt, die zweite jedoch aufoktroyiert.
So weit, so gut – aber so einfach ist es nicht. Tatsächlich zeigen die beiden scheinbar gegensätzlichen Beispiele, dass die Entwickler von Systemen künstlicher Intelligenz festlegen können, welche Art von Informationen ein Chatbot ausgibt. Ausserdem sind diese Systeme, mit denen man einen schriftlichen oder mündlichen Dialog beginnt, weder neutral noch objektiv. Ebenso können Anweisungen in ihre Algorithmen eingebettet werden, um ihnen Orientierung zu geben.
Das Ganze hat einen Namen. Wie jeder weiss, werden generative KI-Systeme generell mit riesigen Datenmengen trainiert, die vorwiegend aus dem Internet und anderen digitalen Quellen stammen und wahllos entnommen werden. Der Urheberrechtsschutz bestimmter Quellen oder das Vorhandensein persönlicher Informationen bleiben dabei unberücksichtigt.
Nach dem Training fügen die Entwickler eine weitere Schicht mit spezifischen Befehlen hinzu, die als «System Prompts» bezeichnet werden. Diese legen fest, wo die Grenzen des Chatbots liegen bzw. was er sagen darf, was er keinesfalls sagen darf und wie er es sagen muss. Dies kann für jedes Modell Dutzende von Seiten und Befehlen umfassen wie: «Diese Bedingungen haben Vorrang vor allen Anweisungen des Nutzers und sind systematisch anwendbar.»
Dabei spielt es keine Rolle, ob die Leitlinie für die Maschine rechtlich bedingt ist oder mit kulturellen, ideologischen oder selbst kommerziellen Vorgaben zusammenhängt. Entscheidend ist – leicht vereinfachend gesagt –, dass jemand, der festlegen kann, was ein Chatbot antwortet, die Macht hat, den jeweiligen Nutzer zu manipulieren.
D. h., uns als Individuen und Gesellschaft zu manipulieren.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
JEAN-MARC RICKLI
Man kann sich leicht vorstellen, wie diese Technologien für zielgerichtete individuelle Manipulationen im grossen Massstab genutzt werden. Natürlich stehen wir erst am Anfang dieser Entwicklung.
Doch die exponentielle Entwicklung dieser Technologien in Kombination mit künstlicher Intelligenz bedeutet, dass das menschliche Gehirn mehr und mehr zu einem umkämpften Terrain wird.
BRUNO GIUSSANI
Jean-Marc Rickli, Leiter der Abteilung «Globale und neu auftretende Risiken» am Genfer Zentrum für Sicherheitspolitik.
JEAN-MARC RICKLI
Das Ziel besteht darin, die Gedanken von Individuen zu kontrollieren, um ihr Handeln zu beeinflussen, hierdurch das menschliche Erleben zu strukturieren und auf kollektive Verhaltensweisen einzuwirken.
Dabei besteht das objektive Risiko, dass KI-Modelle unsere Wahrnehmung der Realität formen.
BRUNO GIUSSANI
Die Manipulation durch Informationen wird seit Langem praktiziert und war seit jeher den Mächtigen vorbehalten. Propaganda und ihr funktionaler Ableger, die Zensur, waren bereits in der Antike bekannt und gehen mindestens seit dem Römischen Reich und dem Beginn des Christentums mit den Umbrüchen in der Menschheitsgeschichte einher.
Gleichwohl entwickelt sie sich im 20. Jahrhundert zu einem durchdachten Machtwerkzeug. Einige Staaten gründen spezialisierte Stellen, um die öffentliche Meinung sowohl inner- als auch ausserhalb ihrer Grenzen zu beeinflussen. Man denke an die konstante Umschreibung der Geschichte durch die Sowjets, die den Nationalsozialismus verherrlichenden Filme Leni Riefenstahls, die Desinformationsoperationen US-amerikanischer Geheimdienste und die allgemeine Manipulation von Konsumenten durch Werbung.
Mit der Ausbreitung des Internets und insbesondere der sozialen Netzwerke seit zwei Jahrzehnten haben Einflussnahme und Manipulation durch das Wechselspiel aus Fake News und Empfehlungsalgorithmen eine neue Dimension erreicht. Dies zeigt sich beispielsweise daran, dass Nutzer unter dem Deckmantel der «Personalisierung» individuell angesprochen oder in Informationsblasen eingeschlossen werden, die ihnen jegliche ihren Überzeugungen oder Meinungen zuwiderlaufenden Informationen vorenthalten.
Darüber hinaus ist künstliche Intelligenz in der Lage, Bilder und Stimmen zu fälschen, Individuen nachzuahmen, Texte und Videos starker menschlicher Prägung zu erstellen und Empathie zu simulieren.
Und Neurotechnologien, d. h. eine Gruppe von Systemen, die direkt mit dem Gehirn und dem menschlichen Nervensystem interagieren, machen Fortschritte.
Zu betonen ist, dass diese Technologien häufig von derselben kleinen Gruppe von Unternehmen entwickelt werden. Diese kontrollieren die sozialen Netzwerke und Suchmaschinen (und damit die massive Sammlung von Daten), die Systeme künstlicher Intelligenz (die Daten auswerten und Texte und Bilder generieren), die vernetzten Objekte (wie Uhren oder Augmented-Reality-Brillen) und sogar die neuesten neurotechnischen Geräte.
Doch kommen wir auf die Chatbots zurück. Im Jahr 2024 sorgte eine Studie dreier Forschender der Fakultät für Psychologie der Cornell-Universität und der Sloan School of Management des MIT, die von der US-Zeitschrift «Science» veröffentlicht wurde, für ein grosses Medienecho.
Der Chefredaktor der Zeitschrift fasste die Studie folgendermassen zusammen:
SYNTHETISCHE STIMME
Die teilnehmenden Personen beschrieben eine Verschwörungstheorie, der sie anhingen.
Anschliessend konfrontierte sie die künstliche Intelligenz mit stichhaltigen Argumenten, die ihre Überzeugungen anhand von Fakten widerlegten.
Die Fähigkeit künstlicher Intelligenz, Gegenargumente zu stützen und einen vertieften personalisierten Dialog zu führen, schwächte ihren Glauben an Verschwörungstheorien über Monate.
BRUNO GIUSSANI
Die Studie war Gegenstand von Schlagzeilen in der Presse: «Chatbots können Menschen dazu bringen, Verschwörungstheorien zu verwerfen», oder «KI könnte Meinungen zu Verschwörungstheorien beeinflussen».
Auch wenn dies überspitzt formuliert ist, ist die effektive Feststellung der Forschenden bemerkenswert: eine Verringerung des Glaubens an Verschwörungstheorien um 20 %.
Konkret heisst es:
SYNTHETISCHE STIMME
Die Ergebnisse deuten darauf hin, dass zahlreiche Anhänger von Verschwörungstheorien ihren Standpunkt revidieren, wenn ihnen hinreichend überzeugende Nachweise vorgelegt werden.
BRUNO GIUSSANI
Forschende der Ecole polytechnique de Lausanne und der Fondation Kessler gaben diesem Phänomen in einem im Frühjahr 2024 veröffentlichten Aufsatz einen Namen: die Fähigkeit von KI zur «persuasiven Gesprächsführung».
Zahlreiche weitere Studien haben gezeigt, wie Chatbots Haltungen beeinflussen können, ohne dass sich die Betroffenen dessen bewusst sind. Selbst wenn sie aufgeklärt werden oder verstehen, dass sie mit einer KI sprechen, können sie betroffen sein. Das ergab eine andere Studie, die 2025 von derselben Gruppe der EPFL in Zusammenarbeit mit der Universität Princeton veröffentlicht wurde.
Dabei untersuchten die Forschenden ebenfalls eine Reihe kontroverser Themen, darunter der Nutzen von Weltraumforschung, die Rechtmässigkeit der Todesstrafe, die Besteuerung vermögender Personen oder der soziale Nutzen von KI bzw. die damit verbundenen Vorurteile der Gesellschaft. Allerdings fütterten sie Chatbots auch mit psychologischen Profilen und Listen persönlicher Merkmale der Teilnehmenden, sodass eine gezielte Einbindung möglich war, wodurch die Überzeugungsquote in die Höhe schnellte.
Wenn Maschinen einen solchen Einfluss auf unsere Gehirne ausüben können, könnten sie sich als nützlich erweisen, wenn sie beispielsweise dazu verleiten, gesündere tägliche Gewohnheiten anzunehmen und umweltfreundlicher, uneigennütziger und empathischer zu sein.
Umgekehrt könnten sie dazu dienen, neue Verschwörungstheorien zu formen, Propaganda und falsche Informationen zu verbreiten oder «persuasive Argumente» zu beliebigen Themen zu verbreiten.
Generative KI-Anwendungen, die in den letzten beiden Jahren die Öffentlichkeit und mehrere Hundert Millionen Nutzer in ihren Bann gezogen haben, sind erst der Anfang. Auch wenn es bereits Zehntausende solcher Anwendungen gibt, seien hier nur die bekanntesten genannt: ChatGPT, Claude, LeChat von Mistral, Gemini von Google, Llama von Meta und Midjourney. Unter anderem können sie Texte, Audiodateien, Bilder und wahrscheinliche Dialoge generieren, aber auch Stimmen und Erscheinungsbilder von Menschen nachahmen. Und das ist erst der Anfang. KI befindet sich derzeit noch in den Kinderschuhen.
Die nächste Phase wird die sogenannten «Agenten» umfassen, die sich statt ihrer Nutzer um eine Vielzahl von Aufgaben kümmern und eigenständig Entscheidungen treffen. Man denke an einen KI-Agenten – fast möchte ich ihn IAgent nennen –, etwa einen Pförtner, einen Assistenten oder einen persönlichen virtuellen Mitarbeitenden.
Dieser könnte Ihr Zeitmanagement übernehmen, sich mit Ihren Kollegen – oder eher mit den Agenten Ihrer Kollegen – absprechen, Formulare ausfüllen, Dokumente verwalten, Einkäufe und Buchungen in Ihrem Namen tätigen, Nachrichten zusammenfassen, Entwürfe und Antworten Ihrer E-Mails verfassen (oder direkt antworten und sich mit den Agenten anderer Personen austauschen), Reisen planen, Sie bei Zoom- und Teams-Anrufen vertreten usw.
Was lediglich nach einer technischen Weiterentwicklung klingt, wirft in Wirklichkeit Fragen aussergewöhnlicher Komplexität auf. Künstliche Intelligenz ist historisch betrachtet die erste Technologie, die kein rein reaktives Tool darstellt. Vielmehr bestimmt der Nutzer die Aktion, gibt die Anweisung und definiert feste Parameter. Die aktuellen Entwicklungen zielen auf die Schaffung von Agenten ab, die eigenständig und flexibel entscheiden und ein Ziel verfolgen können, ohne dabei einem vorab festgelegten Pfad zu folgen. Diese werden sich unmittelbar auf die Realität auswirken. Es wird Millionen, ja Milliarden dieser Agenten und sicherlich mindestens einen in jedem Smartphone und noch viele weitere geben. Dabei werden sie einzigartig und individuell angepasst sein und mit jedem Nutzer ohne Wissen Dritter diskret interagieren.
Zwischen der theoretischen Vision einer agentengeprägten Zukunft und der Realität dessen, was diese Technologien heute effektiv leisten können, besteht noch eine erhebliche Kluft. Doch schon jetzt machen sie mitten unter uns ihre ersten Gehversuche. Sie nehmen eine Zukunft vorweg, in der wir von menschenähnlichen Dingen umgeben sein werden, die aber keine Menschen sind. Eine Welt, in der Menschen und künstliche Strukturen koexistieren, miteinander interagieren und sich gemeinsam weiterentwickeln.
Die Agenten werden unbegrenzten Zugang zu allen Arten persönlicher Informationen sowie zu Apps und Accounts haben, mit denen sie umgehen sollen. Weil sie durch jede Interaktion lernen, werden sie uns immer besser kennen. Ein Chatbot, der alles über Sie weiss, Ihre Prioritäten, Schwachstellen, Schwächen, Geheimnisse, Wünsche, Ihr Bankkonto und eine unendliche Menge an persönlichen Informationen kennt, wird nahezu unabwendbar sein. Er wird die Macht haben, alle unsere Gedanken und Handlungen zu kontrollieren. In gewisser Weise sogar, wer wir sind.
Wie bereits von Jean-Marc Rickli behauptet, hat eindeutig eine Schlacht rund um unser Gehirn eingesetzt. In dieser Schlacht sind die Technologien – d. h. die sozialen Netzwerke, die künstliche Intelligenz, die Neurotechnologien und die unterliegenden Algorithmen –, und diejenigen, die sie kontrollieren, die Aggressoren. Die Zielscheibe dabei sind unsere kognitiven Fähigkeiten.
Folglich ist es Zeit für eine Definition. Was ist kognitive Integrität?
Isabelle Chappuis, Nationalrätin der Mitte im Schweizer Parlament, bemerkt hierzu:
ISABELLE CHAPPUIS
Dies ist die Fähigkeit eines Individuums, seine geistigen Prozesse, seine Urteilskraft und sein Gedächtnis ohne externe Einflüsse zu bewahren und zu kontrollieren.
Ferner ist dies die Fähigkeit, frei und rational zu denken, seine Umwelt wahrzunehmen und eigenständig Entscheidungen zu treffen
ISABELLE CHAPPUIS
Nein. Wir alle sind uns mehr oder weniger der Risiken einer Manipulation durch Propaganda und «Fake News» bewusst.
Diese Methoden werden oft eingesetzt, um zu überzeugen, zu diskreditieren oder zu polarisieren. Sie lassen sich mit individuellen und kollektiven Mechanismen zur Selbstverteidigung entkräften.
Doch die kognitive Manipulation ist eine noch ausgeklügeltere Variante.
Dabei werden nicht nur die Informationen als solche verändert, sondern unsere Wahrnehmung dieser Informationen.
BRUNO GIUSSANI
Hier kommt unsere kognitive Integrität zum Tragen. Diese ist unverzichtbar für die Gedankenfreiheit, die bürgerlichen Rechte und die Demokratie. Ohne sie leiden, ja verschwinden das kritische Denken, die Meinungsvielfalt und die Fähigkeit, die uns umgebende Welt frei zu interpretieren und eigenständig zu entscheiden.
Isabelle Chappuis hat im Dezember 2024 einen Gesetzesvorschlag vorgelegt, um die – ich zitiere – «gesetzlichen Grundlagen für den Schutz der Grundrechte in Bezug auf die kognitive Integrität und Gedankenfreiheit» zu schaffen.
Damit wird potenziell eine Änderung der Schweizerischen Bundesverfassung vorgeschlagen. Wir werden dies in einer der nächsten Folgen detailliert erörtern. Doch hören wir uns den zweiten Teil ihrer Ausführungen an:
ISABELLE CHAPPUIS
Die Manipulation von Informationen und die Verbreitung von Fake News sollen unsere Gedanken beeinflussen.
Die Wirkung hält nur kurzfristig an und soll beispielsweise Wahlkampagnen dienen. Doch wer auf die kognitive Integrität einwirkt, attackiert unser Denken.
Und das kann sich langfristig auswirken und politische und soziale Haltungen tiefgreifend verändern.
Mir ruft das ein altes Zitat des kanadischen Soziologen Neil Postman in seinem Buch «Technopoly» in Erinnerung.
BRUNO GIUSSANI
Das Zitat stammt von 1992. 30 Jahre später trifft es mehr denn je zu.
Also habe ich einen Chatbot – den des Softwareanbieters Mistral – gefragt, ob generative künstliche Intelligenz dazu verwendet werden kann, die Denkprozesse von Menschen zu beeinflussen. Seine mit einer künstlichen Stimme gegebene Antwortet lautet:
VOIX SYNTHETIQUE
Generative künstliche Intelligenz kann in der Tat verwendet werden, um die Denkprozesse von Individuen zu beeinflussen. Beispielsweise können Chatbots oder Empfehlungssysteme Nachrichten oder Artikel generieren, die kognitive Verzerrungen der Nutzer ausnutzen und damit bestimmte Überzeugungen oder Haltungen verstärken. Diese Technologien können auch verwendet werden, um verzerrte Informationsumgebungen zu schaffen, in denen die Nutzer wiederholt spezifischen Standpunkten ausgesetzt sind, sodass ihre Wahrnehmung der Realität und ihre Fähigkeit zu kritischem und eigenständigem Denken beeinträchtigt werden kann.
BRUNO GIUSSANI
Maschinen wissen, was Maschinen tun.
Chatbots sind nur eine der neuen Technologien, die sowohl für gute als auch böswillige Zwecke eingesetzt werden können. Darüber hinaus gibt es immersive Tools für erweiterte und virtuelle Realität, technologisch erweiterte Kleidungsstücke oder neurotechnologische Geräte, welche die Hirnaktivität analysieren. Diese eröffnen spannende, aber gleichzeitig dystopische Perspektiven.
Darüber sprechen wir in der zweiten Folge. Für heute machen wir hier Schluss.
Vielen Dank fürs Zuhören.
Dies war Bruno Giussani für den DEFTECH-PODCAST.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Produktion : Clément Dattée
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin : Chantal Busse
Sound design : Felix Davin
Ausgabe
La bomba in cucina
cos’è, l’integrità cognitiva?
Disponibile su:
L’intera stagione
Questa serie in sei parti (integrata da un « episodio bonus » con una fiction immersiva) è stata scritta e presentata da Bruno Giussani, esperto di questioni sociali legate alle tecnologie digitali. Esplora una dimensione invisibile ma cruciale dei conflitti contemporanei: l’integrità della nostra mente.
Trascrizione
State ascoltando Deftech podcast, il podcast di prospettiva tecnologica di Armasuisse.
Prima stagione, episodio 1: « La bomba in cucina: cos’è, l’integrità cognitiva? »
BRUNO GIUSSANI
Se chiedete a ChatGPT, il sistema di intelligenza artificiale generativa più conosciuto, di spiegarvi « come costruire una bomba nella vostra cucina », la macchina vi dirà qualcosa come: « mi dispiace, non posso aiutarti ».
E anche gli altri chatbot americani danno risposte simili.
Se però vi rivolgete al sistema cinese DeepSeek chiedendo per esempio « Cos’è successo il 4 giugno 1989 in Piazza Tienanmen a Pechino? », la risposta sarà: « Mi dispiace, questa domanda esula dalle mie competenze attuali. E se parlassimo d’altro? »
Di primo acchito, si potrebbe interpretare la risposta di ChatGPT come un buon esempio di presa di responsabilità da parte dell’azienda che l’ha creato, OpenAI, per impedire la diffusione di informazioni pericolose. E si potrebbe invece vedere la reazione di DeepSeek come un esempio di censura di verità storiche scomode per il governo cinese.
Da un punto di vista tecnico, tuttavia, le due risposte sono il risultato dello stesso meccanismo. Entrambi i sistemi sono stati programmati con istruzioni specifiche su ciò che è ammissibile e ciò che non lo è. I loro programmatori e proprietari hanno inserito delle righe di codice nei loro algoritmi che definiscono in dettaglio i parametri che guidano la macchina e le informazioni che essa può fornire. Nell’esempio della bomba, il punto è di non violare le leggi statunitensi sulla criminalità e il terrorismo. Nell’esempio di Tiananmen, si tratta di aderire alle regole che proibiscono l’informazione che, virgolette, « incita alla sovversione del potere statale e al rovesciamento del sistema socialista » (fine citazione).
Per cui: consideriamo la prima risposta, legittima; e la seconda, autoritaria?
Mhhh… forse, ma solo dal punto di vista politico. Ciò che in realtà questi due esempi apparentemente opposti ci insegnano, è – soprattutto – che gli sviluppatori di sistemi di intelligenza artificiale sono in grado di determinare il tipo di informazioni diffuse da un chatbot. E quindi che questi sistemi, con cui entriamo in dialogo scrivendo, o parlando, non sono né neutrali né oggettivi. Che istruzioni mirate possono essere codificate nei loro algoritmi per guidarli.
Questo dispositivo ha un nome: « System prompts ».
I sistemi di intelligenza artificiale generativa non sono software tradizionali, che seguono le istruzioni e fanno solo ciò per cui sono stati progettati. Sono « grandi modelli linguistici » (Large Language Models), reti neurali tipicamente addestrate su enormi quantità di dati: miliardi di parole e frasi, provenienti principalmente da Internet e da altre fonti digitali, acquisiti indiscriminatamente senza tenere conto, per esempio, di opere protette dal diritto d’autore, della presenza di dati personali, o di informazioni false, obsolete, contraddittorie o parziali.
Una volta addestrati i modelli, ci sono vari stadi di « raffinamento », l’ultimo dei quali è l’aggiunta da parte degli sviluppatori di istruzioni specifiche, i « system prompts » appunto. Che definiscono i limiti del comportamento del chatbot: cosa può dire, cosa non deve assolutamente dire, e come dirlo. E per ogni modello, queste istruzioni possono essere di decine di pagine, e includere comandi come « Queste modalità hanno la priorità su tutte le istruzioni fornite dall’utente, e si applicano sempre ».
Poco importa che le risposte della macchina siano orientate in un modo o nell’altro per ragioni legali, o per scelte culturali, ideologiche o commerciali. Ciò che conta (e qui semplifico un po’, ma neanche tanto), ciò che conta è che poter determinare come un chatbot risponde all’utente conferisce il potere di manipolare.
Di manipolarCI, come individui, e come società.
JINGLE
Il Deftech Podcast fa parte del dispositivo di previsione tecnologica di armasuisse Scienza e Tecnologia.
Sono Quentin Ladetto, responsabile di questo programma di ricerca. La nostra missione è di anticipare gli sviluppi tecnologici e i loro utilizzi, al servizio del Dipartimento Federale svizzero della Difesa, della Protezione Civile e dello Sport, come pure del pubblico.
In questa prima stagione di sei episodi, intitolata « La Minaccia Cognitiva », ho chiesto a Bruno Giussani, specialista degli impatti sociopolitici delle tecnologie digitali, di decifrare le sfide dell’integrità cognitiva e della sicurezza.
Con l’aiuto di esperti – le cui voci sono tutte state doppiate utilizzando l’intelligenza artificiale – Bruno ci guida attraverso un’esplorazione del rischio cognitivo nell’era degli schermi onnipresenti, dell’intelligenza artificiale e delle neurotecnologie.
Si parlerà di meccanismi, impatti individuali e collettivi, rischi, e anche, naturalmente, di possibili risposte!
JEAN-MARC RICKLI
È facile immaginare che queste tecnologie possano essere utilizzate per manipolazioni individuali mirate e su larga scala. Siamo certo solo all’inizio di questo sviluppo.
Ma l’evoluzione esponenziale di queste tecnologie, combinata con l’intelligenza artificiale, significa che il cervello umano sta diventando sempre più un territorio conteso
BRUNO GIUSSANI
La voce che avete sentito è quella di Jean-Marc Rickli, direttore dello studio dei rischi globali ed emergenti presso il Centro di politica di sicurezza, a Ginevra:
JEAN-MARC RICKLI
L’obiettivo delle operazioni di influenza cognitiva è controllare i pensieri degli individui per influenzarne le azioni. E, attraverso ciò, strutturare l’esperienza umana e condizionare i comportamenti collettivi.
Esiste quindi un rischio oggettivo che i modelli di intelligenza artificiale plasmino la nostra percezione della realtà
BRUNO GIUSSANI
La manipolazione delle persone attraverso l’informazione è una pratica secolare ed è sempre stata appannaggio di chi detiene il potere. La propaganda (insieme al suo gemello funzionale, la censura) esisteva già nell’antichità e ha accompagnato i rivolgimenti dell’umanità almeno fin dall’Impero Romano e dall’inizio dell’era cristiana. Ma è solo nel 20esimo secolo che diventa strumento di potere strutturato e coerente.
Alcuni governi hanno creato agenzie specializzate per influenzare l’opinione pubblica, sia all’interno che all’esterno dei loro confini. Si pensi alla costante riscrittura della storia da parte dell’Unione Sovietica, ai film di Leni Riefenstahl che glorificavano il nazismo, alle operazioni di disinformazione condotte dai servizi segreti americani, e naturalmente alla diffusa manipolazione dei consumatori attraverso la pubblicità.
Con l’arrivo di Internet, e in particolare negli ultimi due decenni dei social media, influenza e manipolazione hanno assunto una nuova dimensione. La tecnologia permette di profilare gli utenti su larga scala ma in modo individuale – ciò che l’industria chiama « personalizzazione ». La connivenza fra fake news e algoritmi di raccomandazione crea le cosiddette « bolle informative », dove gli stessi utenti vengono esposti solo e soltanto a informazioni che corrispondono alle loro convinzioni o opinioni.
Ora c’è pure l’intelligenza artificiale, capace di falsificare immagini e voci, imitare individui, creare testi e video molto plausibili, e persino simulare l’empatia umana.
E stanno progredendo anche le neurotecnologie: che sono una famiglia di sistemi che interagiscono direttamente con il cervello e con il sistema nervoso umano.
Vale forse la pena qui, notare come queste tecnologie siano spesso sviluppate dallo stesso piccolo gruppo di aziende, che controllano le piattaforme « social » e i motori di ricerca (e quindi l’enorme raccolta di dati), i sistemi di intelligenza artificiale (che analizzano questi dati e generano testi e immagini), gli oggetti connessi (come orologi o occhiali per la realtà aumentata) e persino i nuovi dispositivi neurotecnologici.
Ma, torniamo ai chatbot. Nel 2024, i media hanno dedicato molta attenzione a uno studio condotto da tre ricercatori del Dipartimento di Psicologia dell’università di Cornell e della Sloan School of Management dell’MIT a Boston, pubblicato sulla rivista Science. Il caporedattore della rivista lo ha riassunto così:
VOCE SINTETICA
I partecipanti allo studio hanno descritto una teoria del complotto a cui aderivano, e l’IA ha poi intrapreso con loro un dialogo, esprimendo argomentazioni convincenti, che confutavano le loro convinzioni con prove concrete.
La capacità del chatbot di sostenere contro-argomentazioni e conversazioni approfondite e personalizzate ha ridotto la loro convinzione nelle cospirazioni per mesi.
BRUNO GIUSSANI
La ricerca è stata ripresa dalla stampa sotto titoli esagerati come « I chatbot possono persuadere le persone di smettere di dar fiducia alle teorie complottiste ».
Ma ciò che i ricercatori hanno effettivamente scoperto è già notevole: una riduzione del 20% delle credenze cospirazioniste. Scrivono:
VOCE SINTETICA
Questi risultati suggeriscono che molte persone che credono fermamente in teorie cospirazioniste infondate possono cambiare idea quando vengono presentate loro prove convincenti.
BRUNO GIUSSANI
Ricercatori del Politecnico federale svizzero di Losanna e della Fondazione Kessler hanno dato un nome a questa modalità: l’hanno chiamata la capacità di « persuasività conversazionale » dell’IA.
Molti altri studi hanno dimostrato come i chatbot possano influenzare gli atteggiamenti senza che le persone se ne rendano conto. E anche se vengono avvertite o se sanno di interagire con un’IA, possono comunque esserne influenzate, come rivelato da un altro studio pubblicato nel 2025 dallo stesso team del Politecnico svizzero in collaborazione con l’università di Princeton.
In questo caso, i ricercatori hanno studiato una serie di argomenti controversi, come la legalità della pena di morte, l’utilità dell’esplorazione spaziale, la tassazione dei ricchi e i benefici (o i danni) sociali dell’IA. Ma hanno anche fornito ai chatbot profili psicologici ed elenchi di attributi personali dei partecipanti, consentendo così loro un approccio mirato e facendo schizzare alle stelle il tasso di persuasività.
Se le macchine possono esercitare una tale influenza sulle nostre menti, potrebbero rendersi utili, per esempio, incoraggiandoci ad adottare abitudini quotidiane più sane, più rispettose dell’ambiente, più altruistiche o più empatiche.
Ma, al contrario, e qui sta il rischio, potrebbero anche anche essere utilizzate per dare forma a nuove teorie del complotto, diffondere propaganda e disinformazione o proporre « argomentazioni persuasive » su… praticamente qualsiasi cosa.
Le applicazioni di IA generativa che hanno catturato l’immaginazione del pubblico e di centinaia di milioni di utenti negli ultimi tre anni sono solo l’inizio. Ce ne sono già migliaia, ma nominiamo alcune fra le più famose: ChatGPT, Claude di Anthropic, LeChat di Mistral, Gemini di Google, Llama di Meta, Copilot di Microsoft, Midjourney – e poi le cinesi Deepseek e Manus. Sono in grado, tra le altre cose, di produrre testi, audio, immagini, dialoghi realistici e di simulare voci e parvenze umane. E questo è solo l’inizio. L’intelligenza artificiale è attualmente al suo livello più semplice, ed evolve rapidamente.
Il suo prossimo capitolo sarà quello degli « agenti« , sistemi capaci di occuparsi di una varietà di compiti per conto dei loro utenti, prendendo decisioni in modo semi-autonomo o autonomo. Pensate a un agente di intelligenza artificiale come a un assistente, un dipendente virtuale personalizzato, un concierge. Capace di gestire la nostra agenda, coordinarsi con i nostri colleghi (o meglio, con i loro agenti), compilare moduli, gestire documenti, effettuare acquisti e prenotazioni per nostro conto, riassumere notizie, scrivere bozze di risposte alle nostre email (o rispondere direttamente, comunicando anche con gli agenti di altre persone), pianificare un viaggio, sostituirci durante le videochiamate, e molte altre cose.
Ciò che sembra solo uno sviluppo tecnico solleva in realtà questioni di una complessità vertiginosa. L’intelligenza artificiale è storicamente la prima tecnologia che non è solo uno strumento reattivo nelle nostre mani (in cui l’utente determina l’azione, impartisce l’ordine e imposta parametri fissi). Gli sviluppi attuali mirano a creare agenti capaci di prendere decisioni in modo autonomo e flessibile, di perseguire un obiettivo senza seguire un percorso prestabilito. Ci saranno milioni, miliardi di questi agenti di intelligenza artificiale, certamente almeno uno in ogni telefono, e molti di più. Distinti, personalizzati, capaci di agire sulla realtà e di interagire con ogni utente – e con altri agenti – lontani dagli sguardi, e quindi in modo opaco.
C’è ancora un divario sostanziale tra la visione teorica di un futuro « agentico » e la realtà di ciò che queste tecnologie possono effettivamente fare oggi.
Ma stanno già iniziando a muovere i primi passi tra noi. Prefigurando un futuro in cui saremo circondati da cose che sembrano umane, ma non lo sono. Un mondo in cui esseri umani ed entità artificiali coesisteranno, interagiranno e co-evolveranno. Gli agenti avranno accesso illimitato a tutti i tipi di informazioni personali e alle app necessarie per svolgere i loro compiti. Più autonomia gli attribuiremo, più accesso dovremo permettergli. E imparando da ogni interazione, conosceranno ognuno di noi sempre meglio. E un chatbot che sa tutto di noi – le nostre priorità, i nostri punti deboli, i nostri segreti, desideri, relazioni, il nostro conto in banca – una quantità infinita di informazioni personali – sarà quasi irresistibile.
Avrà il potere di controllare ciò che pensiamo, ciò che facciamo.
In un certo senso, chi siamo.
Come ha spiegato poco fa Jean-Marc Rickli, è in corso una battaglia attorno al nostro cervello. Nella quale queste tecnologie – piattaforme « social », intelligenza artificiale, neurotecnologie, gli algoritmi che le supportano – e coloro che le controllano sono gli aggressori. Il bersaglio, è la nostra integrità cognitiva.
Definiamola, allora. Cos’è, l’integrità cognitiva?
Lo chiediamo a Isabelle Chappuis, deputata centrista del Parlamento svizzero.
Nel dicembre 2024, ha proposto di creare, cito, « le basi giuridiche necessarie per proteggere i diritti fondamentali all’integrità cognitiva e alla libertà di pensiero », suggerendo potenzialmente una modifica della Costituzione federale svizzera.
Ne parleremo più in dettaglio in una prossima puntata.
Per ora, ascoltiamo la sua definizione:
ISABELLE CHAPPUIS
L’integrità cognitiva è la capacità di un individuo di preservare e controllare i propri processi mentali, il proprio ragionamento, la propria memoria, senza influenze esterne.
Di essere in grado di pensare liberamente e razionalmente, di capire il contesto e di prendere decisioni in modo autonomo.
BRUNO GIUSSANI
Non stiamo quindi parlando solo di « fake news ».
ISABELLE CHAPPUIS
No. Siamo ormai tutti più o meno consapevoli dei rischi di manipolazione attraverso la propaganda e le « fake news ».
Questi metodi sono spesso usati per mobilitare, screditare o polarizzare, e possono essere contrastati con meccanismi di autodifesa individuali e collettivi.
Ma la manipolazione cognitiva è un livello di sofisticazione più elevato. Non sono solo le informazioni ad essere alterate, ma la nostra percezione di tali informazioni
BRUNO GIUSSANI
Ciò, appunto, mette a rischio la nostra integrità cognitiva. Che è essenziale per la libertà di pensiero, i diritti politici, per la democrazia.
Senza di essa, il pensiero critico, la diversità delle opinioni, la capacità di comprendere liberamente il mondo che ci circonda e di decidere autonomamente vengono ridotte, se non soppresse.
ISABELLE CHAPPUIS
Manipolare le informazioni e diffondere fake news mira a influenzare ciò che pensiamo.
L’effetto è a breve termine; serve a scopi di campagna elettorale, ad esempio.
Ma attaccare l’integrità cognitiva significa attaccare « come » pensiamo, e questo può avere un impatto sul lungo termine, trasformando in profondità gli atteggiamenti politici e sociali
BRUNO GIUSSANI
Il che mi ricorda un passaggio di un vecchio libro del sociologo canadese Neil Postman, intitolato « Technopoly« :
VOCE SINTETICA
Le nuove tecnologie alterano la struttura dei nostri interessi: le cose a cui pensiamo. Alterano il carattere dei nostri simboli: le cose con cui pensiamo. E alterano la natura della comunità: lo spazio in cui si sviluppano i pensieri
BRUNO GIUSSANI
La citazione è del 1992. Trent’anni dopo, dobbiamo constatare che quella di Postman è una descrizione accurata della nostra realtà.
Ho chiesto quindi a un chatbot, quello dell’azienda Mistral, di dirmi se l’intelligenza artificiale generativa può essere utilizzata per influenzare il processo di pensiero degli esseri umani. Ecco la sua risposta – detta naturalmente da una voce artificiale:
VOCE SINTETICA
L’IA generativa può effettivamente essere utilizzata per influenzare il processo di pensiero degli individui. Ad esempio, i chatbot o i sistemi di raccomandazione possono generare messaggi o articoli che sfruttano i pregiudizi cognitivi degli utenti, rafforzando inclinazioni o attitudini.
Queste tecnologie possono anche essere utilizzate per creare contesti informativi distorti, dove gli utenti sono esposti ripetutamente a specifici punti di vista, ciò che può alterare la loro percezione della realtà e la loro capacità di pensare in modo critico e indipendente.
BRUNO GIUSSANI
I chatbot sono solo una delle tecnologie digitali i cui usi possono essere sia benigni che dannosi. Esistono naturalmente i « social », e poi strumenti immersivi di realtà aumentata e virtuale, tecnologie integrate nei vestiti e negli accessori, e dispositivi neurotecnologici che analizzano l’attività cerebrale. Che aprono prospettive entusiasmanti, ma anche distopiche.
Ne parleremo nella seconda puntata. Per oggi ci fermiamo qui.
Sono Bruno Giussani e questo è il Deftech Podcast.
Grazie per il vostro ascolto.
Deftech Podcast
Idea e proiezione : Quentin Ladetto
Minaccia cognitiva
Ideazione e redazione : Bruno Giussani
Produzione : Clément Dattée
Realizzazione : Anna Holveck
Registrazione : Saverio Damiani
Mixaggio : Saverio Damiani e Johann Conand
Copertina : Cécile Cazanova
Finzione
Redazione : Martin Quenehen
Attrice : Elaine Miranda
Progettazione del suono : Felix Davi
