Disponible sur :
La saison complète
Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.
Transcript
Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.
Episode 5 : Remparts légaux : la réponse réglementaire face aux menaces cognitives.
BRUNO GIUSSANI
En janvier 2025, un petit livre est sorti en Italie.
L’auteur en est un jeune philosophe chinois de Hong Kong, Jianwei Xun. Il s’agissait de sa première traduction en langue étrangère. Entretemps l’essai a été publié aussi en français et en d’autres langues. Le livre a fait immédiatement beaucoup de bruit: journaux, télévisions, références dans les conversations online et offline. Il a de toute évidence touché un nerf à vif.
Comme on a essayé de le décrire dans les épisodes précédents, notre société baigne dans la surproduction de réalité, où les technologie, notamment les réseaux sociaux et l’intelligence artificielle, déterminent de plus en plus notre relation au monde et aux autres.
Certains de leurs codes sont explicites, comme l’objectif de nous rendre accros. D’autres sont dissimulés, tels que la manipulation algorithmique.
Entreprises et politiciens se servent de cette dynamiques en en abusent, secondés dans l’ombre par ceux que l’écrivain Giuliano da Empoli appelle « les ingénieurs du chaos« .
Dans cette confusion, les justes mots peuvent aider à s’orienter, comme un phare dans la tempête. Et Xun a trouvé le bon mot.
Son livre s’intitule « Hypnocratie« .
Il y décrit, je cite, le « nouveau régime de réalité » dans lequel nous vivons. Un système où le pouvoir n’opère plus par la force ou la persuasion rationnelle, mais par la modulation directe et algorithmique des états de conscience collectifs. Les plateformes numériques et les chatbots, dit-il, se révèlent pour ce qu’ils sont: non pas des outils de communication, mais des systèmes hypnotiques qui fondent ce qu’il appelle une « architecture de la suggestion » et remodèlent activement la façon dont nous percevons et interprétons la réalité.
VOIX SYNTHETIQUE
l’Hypnocratie est le premier régime qui agit directement sur la conscience. Elle ne contrôle pas les corps. Elle ne réprime pas les pensées. Elle induit plutôt un état de transe permanente. Un sommeil lucide. Une transe fonctionnelle. L’éveil a été remplacé par le rêve guidé. La réalité par la suggestion continue. Avec la submersion des sens par des stimuli constants, l’esprit critique est doucement endormi et la perception est remodelée, couche par couche. Pendant ce temps, les écrans ne cessent de briller dans la nuit de la raison.
BRUNO GIUSSANI
L’idée d’Hypnocratie est radicale, et inconfortable. Mais dans la pénurie de notions qui nous aident à organiser notre expérience contemporaine, elle offre un cadre de lecture puissant.
Elle prend en compte tant la manipulation algorithmique de la perception que la manipulation politique de l’attention, celle opérée par exemple par le président américain Donald Trump et son flux incessant d’annonces, de provocations et d’actions outrancières.
Elle aide également à expliquer pourquoi les réponses rationnelles n’ont que peu de prise :
VOIX SYNTHETIQUE
Alors que la plupart des analystes se concentrent encore sur des phénomènes tels que les « fake news » ou la « post-vérité », à Washington nous assistons à une transformation bien plus profonde : l’émergence d’un système où le contrôle s’exerce non pas en réprimant la vérité, mais en multipliant les récits au point que tout point fixe devient impossible.
BRUNO GIUSSANI
La photo de Trump en Pape, le bras droit levé dans un salut nazi-ou-pas-nazi de Elon Musk, la théâtralité des déportations d’immigrés, le non-respect des décisions judiciaires: chaque provocation fonctionne comme ce que Xiu appelle un « séparateur de réalité ».
Qui brise le contexte partagé, crée des univers interprétatifs parallèles et place les observateurs, en fonction de leurs convictions préexistantes, dans des bulles de réalité distinctes et irréconciliables.
VOIX SYNTHETIQUE
Alors que les critiques continuent à opposer des arguments rationnels, des données et un raisonnement logique, ils ignorent totalement que le pouvoir contemporain opère désormais exclusivement par la modulation des états de conscience.
Leur critique reste prisonnière du modèle de communication des Lumières, où la vérité doit triompher par son mérite intrinsèque, sans comprendre qu’elle est désormais un produit esthétique, une expérience collective générée par la répétition, l’émotion et la suggestion d’une réalité algorithmique.
JINGLE
Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.
Je suis Quentin Ladetto, responsable de ce dispositif de recherche.
Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.
Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.
Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.
BRUNO GIUSSANI
Quelques semaines plus tard, alors qu’ »Hypnocratie », dont je vous ai parlé avant le générique, continuait d’être discuté et commenté, on a découvert que le penseur chinois n’existait pas. Que le livre était en fait une performance narrative imaginée par l’éditeur italien et philosophe, Andrea Colamedici. Il l’a réalisée en collaboration avec deux IA génératives, celles de Anthropic et de OpenAI, avec lesquelles il entretient une grande familiarité.
En effet, son deuxième job est d’enseigner le « prompt thinking » à l’Institut européen de design de Rome, c’est à dire l’art subtil d’interroger et dialoguer avec l’intelligence artificielle pour obtenir les résultat souhaités. En injectant dans le débat culturel une idée captivante, d’origine artificielle, Colamedici a donc réussi d’un même coup analyse et démonstration. Et si le philosophe chinois n’existe pas, la notion d’Hypnocratie n’est toutefois pas moins pertinente. Elle n’explique pas tout, mais aide à comprendre beaucoup de ce qu’on a discuté jusqu’ici dans ce podcast.
Comment, dans cet état d’hypnose, trouver la lucidité pour confronter l’influence algorithmique sur nos esprits? Et, inversement, malgré l’accélération technologique qui nous happe, comment faire face à l’Hypnocratie? Sans avoir la prétention d’être exhaustif, essayons quelques pistes.
Lorsqu’on est confrontés, collectivement, à une menace d’une telle ampleur et vitesse, la première tentation est souvent d’imposer des règles. De répondre par la loi, en fixant des limites, en définissant juridiquement ce qui est permissible et ce qui ne l’est pas. En créant des protections, des droits et obligations. En interdisant des méthodes ou produits considérés nocifs.
C’est une question compliquée. La seule évocation des mots « règle » et « interdiction » est suffisante pour susciter des réactions de rejet. Ceci est particulièrement vrai quand on parle de technologie. Ces toutes dernières années, fortement encouragé par les entreprises productrices, s’est en effet imposé le narratif selon lequel la réglementation entraverait l’innovation.
Ainsi, par exemple, protéger l’individu de l’extraction de ses données personnelles ralentirait le développement de l’intelligence artificielle. Ce débat dépasse le cadre de notre propos. On va donc se contenter d’en noter l’existence.
Reste qu’un type de réponses possibles à la menace cognitive est effectivement d’ordre juridique et réglementaire.
Et puis il y a nombre d’autres réponses d’ordre social et culturel.
Mais aujourd’hui, on va commencer par la loi.
Pendant longtemps, le fonctionnement de l’esprit humain a été considéré non seulement comme incompréhensible, mais aussi comme inviolable. Les instruments juridiques qui protègent la liberté ne prennent donc généralement pas en compte la sphère cognitive.
Cette inviolabilité est maintenant remise en question par la confluence d’une technologie, l’IA, qui peut excaver nos données personnelles, et d’une autre, la neurotech, qui peut décoder nos émotions et commence à percer nos pensées. C’est un enjeu vertigineux, qui n’est pour l’instant reflété presque nulle part dans le corpus législatif mondial.
Plusieurs accords internationaux, déclarations et recommandations ont certes été élaborés, qui visent à réglementer spécifiquement les neurotechnologies. Mais juridiquement, ils sont tous non contraignants.
Il existe aussi des instruments qui contiennent des dispositions ou des principes qu’on peut considérer adjacents. La liberté de pensée est protégée
- par l’article 18 de la Déclaration universelle des droits de l’homme de 1948,
- par l’article 9 de la Convention européenne des droits de l’homme de 1950,
- et par l’article 18 du Pacte international relatif au droits civils et politiques de 1966.
En principe, cela signifie que la liberté de pensée d’un individu ne doit jamais être violée. Dans les trois chartes toutefois, elle est associée explicitement à la liberté religieuse et de conscience, alors que l’intégrité cognitive n’y est ni mentionnée, ni sous-entendue.
Les normes dont s’est dotée l’Union Européenne en matière de technologies numériques sont probablement les plus conséquentes. Le Règlement général sur la protection des données (RGPD) de 2016 définit les règles concernant la collecte, le traitement et la conservation des données à caractère personnelle. Il confère également aux individus des droits de contrôle sur l’utilisation des informations, tels que le droit d’accès, de rectification, ou le droit à l’effacement (connu comme « le droit à l’oubli »). Il englobe aussi des normes de transparence et de consentement.
La Loi européenne sur les services numériques de 2022 contient des mesures de tutelle des consommateurs notamment en matière de liberté d’expression et protection des données. Elle attribue aussi plus de responsabilité aux plateformes numériques par rapport aux informations qu’elles diffusent. Bien que les principes qu’ils contiennent puissent indirectement s’y rapporter, aucun de ces deux textes ne traite pourtant de façon spécifique des risques d’atteinte à l’intégrité cognitive.
On se rapproche de notre sujet avec la Loi sur l’intelligence artificielle – le « AI Act » – promulguée par l’Union Européenne en 2024. C’est une normative qui n’a pas plu aux grandes entreprises technologiques. Elle encadre le développement, la mise sur le marché et l’utilisation des systèmes d’IA, en tenant compte en particulier des droits fondamentaux. Elle s’articule autour d’une approche par les risques, en classant les systèmes d’IA en quatre groupes en fonction de leur impact potentiel.
Certaines applications sont considérées à « risque minimal« , et ne sont donc pas réglementées. D’autres, à « risque limité« , sont soumises notamment à des obligations de transparence.
L’objectif principal est de garantir par exemple que les utilisateurs ne soient pas dupés par un chatbot qui prétendrait être un humain, et que l’information générée artificiellement soit visiblement indiquée comme telle.
La troisième catégorie est celle des systèmes jugés à « haut risque« , est sont donc réglementés. il s’agit de ceux utilisés dans les infrastructures critiques (eau, ou électricité) ou la santé, ainsi que de ceux qui peuvent déboucher sur un traitement préjudiciable. Rentrent dans ce groupe par exemple les outils qui trient les CV pour le recrutement, qui déterminent l’accès à l’éducation ou notent les examens, ou qui évaluent la solvabilité lors de demandes de crédit. Ces systèmes doivent être testés rigoureusement avant leur mise sur le marché, et accompagnés tout au long de leur utilisation par une supervision humaine.
Enfin, il y a les pratiques qui présentent des « risques inacceptables« , et qui sont tout simplement interdites. Il s’agit par exemple de la notation sociale, de la prédiction des crimes et des systèmes de catégorisation biométrique. Et c’est dans cette catégorie que le législateur a choisi d’insérer les menaces cognitives.
Voici un extrait de l’article 5.1.a de l’AI Act:
VOIX SYNTHETIQUE
Est interdite la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui déploie des techniques subliminales au-delà de la conscience d’une personne, ou des techniques délibérément manipulatrices ou trompeuses, ayant pour objectif ou pour effet de fausser sensiblement le comportement d’une personne ou d’un groupe de personnes en altérant de manière appréciable leur capacité à prendre une décision en connaissance de cause, les amenant ainsi à prendre une décision qu’elles n’auraient pas prise autrement.
BRUNO GIUSSANI
Et voici un extrait de l’article 5.1.b :
VOIX SYNTHETIQUE
Est interdite la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les vulnérabilités d’une personne physique ou d’un groupe spécifique de personnes en raison de leur âge, d’un handicap ou d’une situation sociale ou économique particulière, avec pour objectif ou pour effet d’altérer de manière significative le comportement de cette personne.
BRUNO GIUSSANI
D’autres points de l’article 5 interdisent par exemple l’utilisation de l’IA pour déduire les émotions d’un individu sur le lieu de travail ou à l’école. Les neurotechnologies, cependant, ne sont pas contemplées dans cette loi.
A un océan de distance, les Etats-Unis ne sont pas très empressés d’encadrer ces développements technologiques. Le Président Joe Biden avait signé un décret en octobre 2023, appelé « Pour une intelligence artificielle sûre et fiable » (« Safe, Secure and Trustworthy AI »). Il contenait notamment des mesures de sécurité nationale, de protection de la vie privée, de prévention des biais discriminatoires et de fiabilité des systèmes. Un premier pas, qui s’insérait par ailleurs dans une série de consultations avec d’autres pays sur la gouvernance internationale de l’IA, tout en misant beaucoup sur l’autorégulation de l’industrie via des codes de conduite volontaires.
Le décret n’a pas duré trois mois. Le 20 janvier 2024, quelques heures à peine après avoir prêté serment en tant que Président, entouré de patrons de la tech, Donald Trump l’a révoqué, estimant qu’il entravait l’innovation en matière d’IA. Affirmant ainsi la primauté de la compétitivité et des intérêts économiques sur la tutelle des individus. Il y a à cela des raisons stratégiques et industrielles. Mais le résultat, comme l’a dit le pionnier de l’IA (et « computer scientist » le plus cité au monde) Yoshua Bengio sur scène à la conférence TED en avril 2025, est qu’aux Etats-Unis « un sandwich est plus régulé que l’IA ».
Pour trouver la première Constitution qui protège explicitement l’intégrité mentale, il faut regarder vers le Sud.
Déjà en 2021 le Chili a inclus un paragraphe dans l’article 19 de sa Constitution:
VOIX SYNTHETIQUE
Le développement scientifique et technologique doit être au service des individus et s’effectuer dans le respect de la vie et de l’intégrité physique et mentale.
La loi (…) protège en particulier l’activité cérébrale, ainsi que les informations qui en découlent.
BRUNO GIUSSANI
En d’autres mots, l’intégrité mental est un droit fondamental, et tout développement l’affectant doit être autorisé par la loi. Des discussions sont en cours dans d’autres pays d’Amérique Latine pour inscrire ces droits dans la loi, comme au Mexique – avec une proposition clairement inspirée du Chili – au Brésil ou en Argentine.
En 2022 d’ailleurs, une organisation qui promeut l’intégration régionale appelée le Parlement latino-américain et caribéen – connue comme Parlatino – a établi une loi-type sur les «neurodroits».
Voici, traduites et résumées par nos soins, les tutelles principales qu’elle envisage :
VOIX SYNTHETIQUE
Le droit à la vie privée mentale, ainsi que le droit inaliénable de ne pas être soumis à une quelconque forme d’intervention sur ses connexions neuronales, d’interférence avec les processus cognitifs, ou d’intrusion au niveau du cerveau par l’utilisation de neurotechnologie, interfaces cerveau-ordinateur ou tout autre système ou appareil, sans consentement libre, exprès et éclairé, et même dans les cas où cette intervention pourrait se faire de façon inconsciente.
BRUNO GIUSSANI
Les travaux du Parlatino font écho à ceux, de 2017, du Morningside Group, un groupe de scientifiques, éticiens et technologues qui sont à l’origine de la notion de « neurodroits« , qui désigne les protections en termes de droits humains nécessaires pour relever les défis posés par les neurotech.
Ils ont identifié cinq neurodroits principaux :
VOIX SYNTHETIQUE
Premier: Le droit à la vie privée cognitive, c’est à dire la capacité de protéger son activité mentale contre toute divulgation.
Deuxième: Le droit d’identité, ou la capacité de contrôler son intégrité mentale et son identité.
Troisième: Le droit à l’autonomie, c’est à dire la liberté de pensée et la liberté de choisir ses actions.
Quatrième: Le droit à l’augmentation, ou la garantie d’un accès équitable aux améliorations des capacités cognitives rendues possibles par la technologie.
Cinquième: Le droit à la protection, ou la tutelle contre les biais algorithmiques.
BRUNO GIUSSANI
Un autre pays où un cadre normatif est en discussion est la Suisse. Fin 2024, une initiative a été déposée au Parlement pour amender l’article 10 de la Constitution. Actuellement, entre autre, il stipule: « Tout être humain a droit à la liberté personnelle, notamment à l’intégrité physique et psychique. » L’initiative vise à y ajouter explicitement la tutelle de l’intégrité cognitive.
Elle a été présentée par la députée centriste Isabelle Chappuis, qui nous explique pourquoi :
ISABELLE CHAPPUIS
Parce que si nos ancêtres ne l’ont pas inscrite dans notre constitution, aux côtés de l’intégrité physique et l’intégrité psychique, c’est simplement qu’ils ne pouvaient pas imaginer que notre esprit devienne une cible.
Aujourd’hui, il l’est, alors il faut le protéger. Ce n’est pas un droit « nice to have ». C’est un droit fondamental. En l’ancrant dans la Constitution, on le placerait au-dessus de la liberté de commerce et de la logique de marché.
Ce droit deviendrait alors en quelque sorte notre boussole pour légiférer sur les IA, sur les algorithmes ou encore sur les technologies à venir.
BRUNO GIUSSANI
Isabelle Chappuis plaide ici non seulement pour un amendement constitutionnel, mais aussi pour une réorientation.
Dans l’histoire récente, la prééminence de la liberté de commerce a conduit à critiquer, édulcorer ou abandonner de nombreuses tentatives de régulation, dans tous les domaines et dans de très nombreux pays. Mais face à la menace cognitive, dit-elle, il est impératif de privilégier notre droit de penser librement. De donner la priorité à la souveraineté cognitive sur la logique mercantile. Traçant ainsi une frontière symbolique et juridique qui pourrait devenir l’axe structurant de l’éthique et de la régulation des technologies de demain.
Ce soit dit en passant: c’est l’approche inverse à celle de Donald Trump qu’on a évoqué il y a une minute.
Pour boucler ce petit catalogue d’instruments et de propositions légales – qui est représentatif mais pas du tout exhaustif – il nous faut mentionner qu’en septembre 2024, la Californie, siège de nombreuses grandes entreprises technologiques, a été le premier Etat américain à introduire la protection des « données cérébrales » dans la loi.
Finalement, citons encore les travaux de deux penseurs de la technologie, Marcello Ienca de l’EPFL de Lausanne et de l’Université de technologie de Munich, et Roberto Andorno, de l’Université de Zurich. Ils proposent quatre nouveaux droits humains pour protéger ce qu’ils appellent « le dernier refuge de la vie privée« : notre cerveau.
On a déjà parlé des trois premiers: les droits à la liberté cognitive, à l’intégrité mentale et à la vie privée mentale. Le quatrième est le droit à la continuité psychologique. Ce concept fait référence à la capacité de chacun à maintenir dans le temps la cohérence et la stabilité de notre expérience psychique. De nous percevoir comme une entité continue malgré les changements.
Répétons cette dernière phrase: « la capacité de nous percevoir comme une entité continue ». Elle anticipe que les neurosciences et les technologies de demain pourraient interférer avec notre cognition jusqu’à ne plus être en mesure de nous percevoir comme la même personne. Jusqu’à nous faire perdre la tête. Le moins que l’on puisse dire à ce point est que le développement d’outils juridiques pour un domaine en progression accélérée est d’une grande complexité.
Il est indispensable de conjuguer la tutelle de valeurs et principes essentiels comme les droits humains avec la souplesse nécessaire à ne pas entraver l’innovation. Il faut aussi définir clairement la responsabilité des entreprises qui conçoivent et emploient les outils qui peuvent influencer ou altérer les processus cognitifs.
Il va falloir trouver également un équilibre entre les droits des individus à leur vie privée cognitive et l’intérêt général de la société. On pourrait être emmenés à autoriser une certaine violation, légitime, de l’intimité mentale, de manière ciblée et proportionnée, comme par exemple quand il s’agit de vérifier par des capteurs le niveau de vigilance des conducteurs de trains. Y aurait-il d’ailleurs un niveau d’influence cognitive qui serait généralement acceptable?
Et à un tout autre niveau de questionnement: si nous ne pouvons pas comprendre pleinement comment les intelligences artificielles fonctionnent et pourquoi elles produisent un certain résultat, quel niveau d’autonomie faut-il leur accorder?
Jusqu’à quel point une IA devrait être autorisée à déterminer d’elle-même de ce sur quoi elle peut décider? Si des entités synthétiques vont exister parmi nous, avec des capacités cognitives imitant les nôtres, faudra-t-il leur attribuer une personnalité juridique ? Ou, à leur tour, des protections d’ordre psychologique ?
Ce ne sont que quelques-unes des énormes questions que soulève l’avancée de l’IA et des neurotechnologies.
Et puis, il y a la guerre cognitive, dont on a déjà parlé, où attaquer nos esprits sert une stratégie de conquête.
Petit rappel, sous forme de question: qu’est-ce qu’on gagne, quand on gagne une guerre cognitive? Isabelle Chappuis :
ISABELLE CHAPPUIS
On gagne les esprits, donc on gagne les décisions.
Dans le sens que celui qui maîtrise la guerre cognitive, il n’a pas besoin d’occuper un territoire, il occupe les cerveaux. Il y sème le doute, il divise, détourne la tension, et il affaiblit en gros la volonté collective.
Et puis à la fin, l’autre tombe de lui-même, sans s’en rendre compte d’ailleurs.
BRUNO GIUSSANI
L’utilisation de technologies et stratégies cognitives à des fins militaires soulève entre autres la question du droit international et de sa pertinence en relation à ce défi. Les armes algorithmiques et neurocognitives ne font actuellement l’objet d’aucun accord international, alors qu’il existe des conventions sur les armes chimiques et biologiques et des traités contre la prolifération nucléaire.
Elles ne sont pas considérées explicitement non plus dans les règles internationales qui encadrent la conduite de la guerre, qui sont principalement contenues dans le droit international humanitaire – par exemple dans les Conventions de Genève.
Toutefois, nous dit Mauro Vignati, expert du Comité International de la Croix Rouge :
MAURO VIGNATI
De façon générale, je dois dire que le droit humanitaire a été conçu de façon assez ample pour pouvoir considérer aussi des technologies qui n’étaient pas encore conçues et présentes au moment où on a formulé les différentes lois qui les composent.
Cela dit, la première chose à faire, c’est que tous les États implémentent correctement le droit pour après identifier s’il y a des lacunes et éventuellement proposer des améliorations du droit.
BRUNO GIUSSANI
Est-ce qu’alors, dans le contexte actuel, de réalignement géostratégique et de compétition économique et militaire, des nouvelles règles internationales sur la guerre cognitive seraient utiles et surtout, réalistes?
ISABELLE CHAPPUIS
Utiles, évidemment. Réalistes, pas encore, mais indispensable, ça c’est sûr. C’est un peu comme les armes chimiques ou nucléaires. Elles donnent un signal normatif fort.
Même si certains trichent, et c’est toujours le cas, on le sait, le droit, au moins, il trace une sorte de frontière morale. Il dit ce qui est intolérable et il fixe les lignes rouges.
BRUNO GIUSSANI
Au Centre pour la politique de Sécurité à Genève, le directeur des risques globaux et émergents Jean-Marc Rickli cadre la discussion en termes de subversion :
JEAN-MARC RICKLI
A l’inverse de la coercition qui utilise la force physique et la violence, la subversion, elle, est une tentative délibérée de saper une autorité légitime et elle est en passe de devenir un élément central des stratégies de pouvoir et d’influence à l’échelle mondiale.
Dès lors, il serait judicieux de créer un régime de contrôle de la subversion, notamment dans le domaine algorithmique, à l’instar de ceux du contrôle des armements que l’on a développé au début de l’ère atomique. La croissance exponentielle de la désinformation et des atteintes cognitives assistées par l’IA a donné naissance à une nouvelle classe d’ADM, qui ne sont pas des armes de destruction massive, mais des armes de désinformation de masse, qui pourraient in fine se transformer en armes de destruction mentale.
A la différence des armes nucléaires, cependant, les technologies de subversion ne sont pas développées par les gouvernements, mais sont essentiellement développées par le secteur privé. Il est impossible de stopper la prolifération de lignes de code, et donc ces développements par le secteur privé, plus la nature même de l’espace digital, font qu’on assiste à des phénomènes de prolifération très rapides. Et cette démocratisation débridée augmente donc encore plus le besoin de structures de gouvernance internationales et nationales
BRUNO GIUSSANI
Ramenant la question à l’échelle des pays, Isabelle Chappuis, qui est par ailleurs membre de la Commission de politique de sécurité du Conseil National suisse, pense que cela devrait aller de pair avec la dissuasion :
ISABELLE CHAPPUIS
Je pense que nous aurions besoin d’une doctrine de dissuasion cognitive (…). Parce qu’en fait, une guerre cognitive qui est bien menée, elle peut détruire une démocratie de l’intérieur, sans bombes, sans bruit. Juste en fracturant la confiance, en brouillant la vérité et en sapant la volonté d’agir ensemble. (…) En matière de sécurité, ne pas avoir de doctrine, c’est en quelque sorte déjà perdre. Une doctrine, ce n’est pas une menace, c’est un cadre stratégique clair qui définit ce qui constitue une attaque, qui précise ce à quoi on s’engage à répondre et qui dissuade ceux qui seraient tentés de franchir la ligne.
Aujourd’hui, l’absence de doctrine cognitive, c’est une faille stratégique. Parce qu’elle laisse nos sociétés démocratiques désarmées, vulnérables, dans une guerre invisible que d’autres, eux, ont déjà théorisé et déjà instrumentalisé. Alors il est temps d’y répondre, par le droit, par des alliances, et des règles internationales, et par une doctrine.
Notre réplique, si j’ose dire, contre cet ennemi invisible, doit absolument être systémique. Parce que notre ennemi est diffus et nous devons agir de manière collective. Nous devons penser « Gesamtverteidigung », défense totale, défense militaire, économique, évidemment, mais aussi cognitive, émotionnelle et sociale.
BRUNO GIUSSANI
Ou comment rendre robustes la société et préparer les individus qui la composent.
C’est ce à quoi nous allons nous intéresser dans le prochain – et dernier – épisode.
Je suis Bruno Giussani et ceci est le Deftech Podcast.
Merci de votre écoute.
Deftech Podcast
Idée & projection : Quentin Ladetto
La menace cognitive
Conception et rédaction : Bruno Giussani
Production : Clément Dattée
Réalisation : Anna Holveck
Enregistrement : Denis Democrate
Mixage : Jakez Hubert
Jaquette : Cécile Cazanova
Fiction
Ecriture : Martin Quenehen
Comédienne : Clara Bretheau
Sound design : Felix Davin
Edition
Rechtliche Schutzwälle
Die regulatorische Antwort auf kognitive Bedrohungen
Verfügbar auf :
Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung.
Folge 5: Rechtliche Schutzwälle: Die regulatorische Antwort auf kognitive Bedrohungen.
BRUNO GIUSSANI
Im Januar 2025 ist in Italien ein kleines Buch erschienen. Geschrieben hat es ein junger chinesischer Philosoph aus Hongkong namens Jianwei Xun. Die italienische Ausgabe ist die erste Übersetzung dieses Buches in eine Fremdsprache. Der Essay wurde inzwischen auch in Französisch und weiteren Sprachen veröffentlicht.
Das Buch sorgte sofort für grosses Aufsehen und beschäftigte Zeitungen TV-Sender und wurde in On- und Offline-Diskussionen erwähnt.
Ohne Frage legt es seinen Finger in eine offene Wunde. Wie wir in den vorigen Folgen aufgezeigt haben, wird unsere Gesellschaft mit einer Überproduktion der Realität geflutet, in deren Rahmen Technologien, aber insbesondere soziale Netzwerke und künstliche Intelligenz immer mehr unsere Beziehung zur Welt und zu unseren Mitmenschen bestimmen.
Bestimmte Absichten sind offensichtlich, wie das Ziel, uns süchtig zu machen. Andere wiederum sind weniger offensichtlich, wie die Manipulation durch Algorithmen.
Unternehmen und Politiker nutzen diese Dynamik auf missbräuchliche Weise und werden dabei von jenen unterstützt, die der Schriftsteller Giuliano da Empoli als «Ingenieure des Chaos» bezeichnet.
Im Zuge dieser Verwirrung können die richtigen Worte Orientierung bieten, vergleichbar mit einem Leuchtturm bei einem Sturm. Xun hat dies treffend beschrieben.
Sein Buch trägt den Titel «Hypnokratie».
Er beschreibt darin – ich zitiere – das «neue Realitätsregime», in dem wir leben. Dahinter verbirgt sich ein System, in dem die Macht nicht mehr mit rationaler Überzeugung, sondern mit der direkten und algorithmusgestützten Modulation kollektiver Bewusstseinszustände operiert.
Digitale Plattformen und Chatbots, so schreibt er, entpuppen sich als das, was sie sind: keine Kommunikationsmittel, sondern hypnotische Systeme, die eine sogenannte «Architektur der Suggestion» schaffen und die Art und Weise, wie wir die Realität wahrnehmen und interpretieren, aktiv umgestalten.
SYNTHETISCHE STIMME
Die Hypnokratie ist das erste Regime, das direkt auf das Bewusstsein einwirkt. Sie kontrolliert nicht den Körper. Sie unterdrückt nicht die Gedanken. Vielmehr ruft sie einen permanenten Trancezustand hervor. Einen Wachschlaf. Eine funktionelle Trance. Der Wachzustand wurde durch den kontrollierten Traum ersetzt. Die Realität durch die kontinuierliche Suggestion. Durch die Überflutung der Sinne mit ständigen Reizen wird kritisches Denken sanft eingeschläfert und die Wahrnehmung Schicht für Schicht umgeformt. Währenddessen erstrahlen die Bildschirme in umnachteter Vernunft.
BRUNO GIUSSANI
Das Konzept der Hypnokratie ist radikal und unbequem. Doch angesichts des Mangels an Begriffen, die uns helfen, unsere modernen Erfahrungen zu strukturieren, bietet es einen mächtigen Leserahmen.
Es berücksichtigt sowohl die algorithmusgestützte Manipulation der Wahrnehmung als auch die politische Manipulation der Aufmerksamkeit, wie beispielsweise vom US-Präsidenten Donald Trump praktiziert mit einem unaufhörlichen Fluss übertriebener Ankündigungen, Provokationen und Massnahmen.
Ebenso trägt es zur Beantwortung der Frage bei, warum rationale Reaktionen nur wenig Wirkmacht haben.
SYNTHETISCHE STIMME
Während sich die meisten Analysten noch auf Phänomene wie ‹Fake News» oder ‹Postfaktisches» konzentrieren, vollzieht sich in Washington eine wesentliche weitreichendere Transformation: die Entstehung eines Systems, das seine Kontrolle nicht durch die Unterdrückung der Wahrheit ausübt, sondern durch Anhäufung so vieler Narrative, dass jeglicher Fixpunkt verloren geht.
BRUNO GIUSSANI
Ob das Foto Trumps als Papst, der vermeintliche Hitler-Gruss Elon Musks, die theatralische Inszenierung der Abschiebungen von Migranten oder die Missachtung gerichtlicher Entscheidungen: Jede Provokation funktioniert laut Xiu wie ein «Realitätstrenner».
Dieser spaltet den gemeinsamen Kontext, schafft parallele interpretative Universen und drückt die Aussenstehenden je nach ihren bisherigen Überzeugungen in abgetrennte und inkompatible Realitätsblasen.
SYNTHETISCHE STIMME
Obwohl kritische Menschen weiterhin mit rationalen Argumenten, Daten und logischem Denken dagegenhalten, ignorieren sie völlig, dass die moderne Macht inzwischen ausschliesslich durch die Modulation von Bewusstseinszuständen operiert.
Ihre Kritik bleibt gefangen im Kommunikationsmodell der Aufklärung, dem zufolge sich die Wahrheit durch ihr inneres Verdienst durchsetzen muss. Und sie verkennen, dass die Wahrheit nunmehr ein ästhetisches Produkt ist, eine kollektive Erfahrung, die durch Wiederholung, Emotion und Suggestion einer algorithmusgestützten Realität hervorgebracht wird.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
BRUNO GIUSSANI
Einige Wochen später, als der Begriff «Hypnokratie», den ich Ihnen vor der Einleitung erläutert habe, weiter für Diskussionen und Gesprächsstoff sorgte, stellte sich heraus, dass es diesen chinesischen Denker gar nicht gibt. Das Buch war in Wirklichkeit eine von dem italienischen Herausgeber und Philosophen Andrea Colamedici fingierte Darstellung.
Es entstand in Zusammenarbeit mit zwei generativen KI von Anthropic und OpenAI, mit denen der Autor bestens vertraut ist. Tatsächlich besteht sein zweiter Job darin, im europäischen Institut für Design in Rom «Prompt Thinking» und damit die grosse Kunst zu unterrichten, künstliche Intelligenz zu befragen und mit ihr in einen Dialog zu treten, um die gewünschten Ergebnisse zu erhalten.
Indem er ein fesselndes, aber künstliches Konzept in die kulturelle Debatte einbrachte, gelang Colamedici gleichzeitig eine Analyse und eine Demonstration. Auch wenn es den chinesischen Philosophen gar nicht gibt, ist der der Begriff der Hypnokratie deswegen nicht weniger treffend. Er liefert keinesfalls eine Erklärung, aber er trägt zum Verständnis von vielem bei, was bislang in diesem Podcast besprochen wurde.
Wie kann es in diesem Zustand der Hypnose gelingen, genügend Scharfsicht zu entwickeln, um die algorithmusgestützte Beeinflussung unseres Bewusstseins zu entlarven? Und was können wir der Hypnokratie trotz des immer schnelleren technologischen Fortschritts entgegensetzen?
Beleuchten wir ohne Anspruch auf Vollständigkeit einige Ansätze.
Wenn ein Kollektiv einer Bedrohung solchen Ausmasses und Tempos ausgesetzt ist, besteht die erste Massnahme häufig darin, Regeln zu erlassen. Etwa durch gesetzliche Grenzen und die rechtliche Festlegung dessen, was erlaubt ist und was nicht. Oder durch Schutzmassnahmen, Rechte und Pflichten. Ebenso können als schädlich erachtete Methoden oder Produkte verboten werden.
Das Thema ist komplex. Die blosse Nennung der Begriffe «Regel» und «Verbot» reicht bereits, um ablehnende Reaktionen hervorzurufen. Dies trifft insbesondere in Zusammenhang mit Technologie zu. Tatsächlich hat sich in den letzten Jahren die – wesentlich von Produktionsunternehmen propagierte – Ansicht durchgesetzt, dass Regulierung Innovation behindert.
So verlangsame es die Entwicklung künstlicher Intelligenz, wenn das Individuum vor der Extraktion seiner persönlichen Daten geschützt wird. Diese Debatte übersteigt den Rahmen unseres Beitrags. Folglich begnügen wir uns, ihre Existenz zur Kenntnis zu nehmen.
Fest steht, dass eine mögliche Reaktion auf die kognitive Bedrohung tatsächlich rechtlicher und reglementarischer Natur ist.
Dazu kommen weitere Antworten sozialer und kultureller Natur.
Wir jedoch konzentrieren uns heute auf Gesetze.
Die Funktionsweise des menschlichen Geistes galt lange nicht nur als unverständlich, sondern auch als unverletzlich. Folglich bleibt die kognitive Dimension in den Rechtsinstrumenten, die die Freiheit schützen, generell unberücksichtigt.
Diese Unverletzlichkeit wird nun durch den Vormarsch zweier Technologien infrage gestellt – zum einen durch die KI, die unsere persönlichen Daten enthüllen kann, und zum anderen die Neurotechnologie, die unsere Emotionen entschlüsseln kann und allmählich in unsere Gedankenwelt vorstösst.
Hierbei handelt es sich um eine gewaltige Herausforderung, die aktuell in praktisch keinen Rechtsvorschriften dieser Welt Berücksichtigung findet
Gewiss wurden mehrere internationale Übereinkommen, Erklärungen und Empfehlungen ausgearbeitet, mit denen insbesondere Neurotechnologien reglementiert werden sollen. Doch rein rechtlich sind sie alle nicht verbindlich.
Darüber hinaus bestehen Instrumente mit Bestimmungen oder Grundsätzen, die als verwandt betrachtet werden können.
Die Gedankenfreiheit wird geschützt
- durch Artikel 18 der Allgemeinen Erklärung der Menschenrechte von 1948,
- durch Artikel 9 der Europäischen Menschenrechtsdeklaration von 1950,
- und durch Artikel 18 des Internationalen Pakts über bürgerliche und politische Rechte von 1966.
Dies bedeutet im Grundsatz, dass die Gedankenfreiheit eines Individuums niemals verletzt werden darf. Gleichwohl wird sie in den drei Regelwerken ausdrücklich auf die Religions- und Gewissensfreiheit bezogen, wohingegen die kognitive Integrität weder erwähnt wird noch abgeleitet werden kann.
Die Normen, die die Europäische Union im Bereich der digitalen Technologien festgelegt hat, dürften die weitreichendsten Normen sein. In der Datenschutz-Grundverordnung (DSGVO) von 2016 sind die Vorschriften betreffend die Erhebung, Verarbeitung und Speicherung personenbezogener Daten festgeschrieben.
Ebenso erhalten Individuen durch die Verordnung Rechte für die Kontrolle der Verwendung dieser Informationen, wie das Recht auf Auskunft über diese Daten sowie auf Berichtigung und Löschung (als «Recht auf Vergessenwerden» bezeichnet). Ausserdem sind Vorschriften in Bezug auf Transparenz und Einwilligung enthalten.
Die EU-Verordnung über digitale Dienste von 2022 umfasst Massnahmen zum Schutz der Konsumenten insbesondere im Bereich der Meinungsfreiheit und des Datenschutzes. Ausserdem nimmt sie digitale Plattformen stärker in die Verantwortung, was die von diesen verbreiteten Informationen angeht.
Auch wenn sich die in ihr enthaltenen Grundsätze indirekt auf die kognitive Integrität beziehen könnten, finden die Gefahren eines Angriffs auf die kognitive Integrität in keinem der beiden Texte besondere Erwähnung.
Mit dem Gesetz über Künstliche Intelligenz bzw. dem von der Europäischen Union 2024 verabschiedeten «AI Act» nähern wir uns unserem Thema. Es handelt sich dabei um einen normativen Text, der bei den grossen Tech-Unternehmen auf keine Gegenliebe stiess. Das Gesetz enthält einen Rahmen für die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen unter besonderer Berücksichtigung der Grundrechte. Dabei umfasst es einen risikogestütztenAnsatz, indem KI-Systeme je nach ihrer potenziellen Wirkung in vier Gruppen eingeteilt werden.
Bestimmte Anwendungen mit «minimalem Risiko» sind nicht reguliert. Andere mit «begrenztem Risiko» unterliegen insbesondere Transparenzpflichten. Erreicht werden soll beispielsweise hauptsächlich, dass Nutzer nicht durch einen Chatbotgetäuscht werden, der sich als echter Mensch ausgibt, und dass künstlich generierte Informationen auch eindeutig als solche gekennzeichnet sind.
Die dritte Kategorie betrifft «Hochrisiko-Systeme», die folglich reguliert sind. Dies sind Systeme, die in kritischen Infrastrukturen (Wasser oder Strom) oder im Gesundheitsbereich verwendet werden, sowie solche, die eine Schlechterstellung nach sich ziehen können. In diese Gruppe fallen beispielsweise Instrumente, die Lebensläufe für Rekrutierungszwecke filtern, den Zugang zu Bildung festlegen oder Prüfungen oder die Kreditwürdigkeit bei Kreditanträgen bewerten. Derartige Systeme müssen vor dem Inverkehrbringen rigoros getestet werden und über ihre gesamte Verwendung hinweg einer Überwachung durch den Menschen unterliegen.
Ebenso gibt es Praktiken, die «unannehmbare Risiken» mit sich bringen und ganz verboten sind. Beispiele sind soziale Bewertungen, Vorhersagen von Verbrechen, und Systeme zur biometrischen Kategorisierung. Dies ist auch die Kategorie, in die der Gesetzgeber kognitive Bedrohungen eingeordnet hat.
Nachfolgend ein Auszug aus Artikel 5 Absatz 1 Buchstabe a des AI Act:
SYNTHETISCHE STIMME
…sind verboten: das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das Techniken der unterschwelligen Beeinflussung ausserhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzt, mit dem Ziel oder der Folge, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird, wodurch sie veranlasst wird, eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätte…
BRUNO GIUSSANI
Nachfolgend ein Auszug aus Artikel 5 Absatz 1 Buchstabe b:
SYNTHETISCHE STIMME
…sind verboten: das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, dass eine Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person oder einer bestimmten Gruppe von Personen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation mit dem Ziel oder der Wirkung ausnutzt, das Verhalten dieser Person … wesentlich zu verändern…
BRUNO GIUSSANI
Andere Punkte in Artikel 5 verbieten beispielsweise die Nutzung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz oder in einer Bildungseinrichtung. Neurotechnologien hingegen sind nicht Gegenstand des Gesetzes.
Jenseits des Atlantiks bemühen sich die USA nicht wesentlich darum, technologische Entwicklungen zu regulieren. US-Präsident Joe Biden hatte im Oktober 2023 eine Executive Order zur «sicheren Entwicklung und Nutzung von künstlicher Intelligenz» (Safe, Secure and Trustworthy AI) unterzeichnet. Diese umfasste unter anderem Massnahmen für die nationale Sicherheit, den Schutz der Privatsphäre, die Verhinderung diskriminierender Verzerrungen und die Zuverlässigkeit der Systeme. Ein erster Schritt, der im Übrigen in Zusammenhang mit einer Reihe von Konsultationen mit anderen Ländern über die internationale Regulierung von KI erfolgte und stark auf die Selbstregulierung der Branche durch freiwillige Verhaltenskodizes setzte.
Das Dekret überstand keine drei Monate. Am 20. Januar 2024, nur wenige Stunden nach seiner Vereidigung im Beisein von Tech-Bossen, hob Donald Trump das Dekret mit dem Verweis darauf auf, dass es die Innovation im KI-Bereich bremse. Damit bekräftigte er, dass Wettbewerbsfähigkeit und wirtschaftliche Interessen Vorrang vor dem Schutz des Individuums haben. Dies erfolgte aus strategischen und branchenspezifischen Gründen. Die Folge davon ist – wie es der KI-Pionier und meistzitierte Computerwissenschaftler der Welt, Yoshua Bengio, auf der TED-Konferenz im April 2025 ausdrückte –, dass in den USA «ein Sandwich stärker reguliert ist als KI».
Wer die erste Verfassung finden will, in der die geistige Unversehrtheit ausdrücklich genannt wird, muss nach Süden blicken.
Bereits 2021 fügte Chile Artikel 19 seiner Verfassung einen Absatz hinzu:
SYNTHETISCHE STIMME
Die wissenschaftliche und technologische Entwicklung muss im Dienste des Individuums stehen und unter Achtung des Lebens und der körperlichen und geistigen Unversehrtheit erfolgen.
Das Gesetz (…) schützt insbesondere die Hirnaktivität sowie die daraus entstehenden Informationen.
BRUNO GIUSSANI
Mit anderen Worten ist die geistige Unversehrtheit ein Grundrecht, und jede sie beeinträchtigende Entwicklung muss gesetzlich erlaubt sein. In anderen lateinamerikanischen Ländern wird derzeit diskutiert, diese Rechte im Gesetz festzuschreiben, wie in Mexiko, dessen Vorschlag eindeutig auf dem Beispiel Chiles beruht, sowie in Brasilien oder in Argentinien.
2022 hat eine Organisation, die die regionale Integration fördert und als Lateinamerikanisches und Karibisches Parlament bzw. «Parlatino» bezeichnet wird, ein Modellgesetz über «Neurorechte» verabschiedet.
Wir haben die wichtigsten darin vorgeschlagenen Schutzmassnahmen übersetzt und zusammengefasst:
SYNTHETISCHE STIMME
Das Recht auf geistige Privatsphäre sowie das unveräusserliche Recht, ohne die freie, ausdrückliche und nach Aufklärung erteilte Zustimmung keiner Form von Eingriffen in die eigenen neuronalen Verbindungen, Störungen der kognitiven Prozesse oder Eingriffen in das Gehirn durch die Verwendung von Neurotechnologen, Gehirn-Computer-Schnittstellen oder jeglichen sonstigen Systemen oder Geräten zu unterliegen, und zwar auch dann nicht, wenn dieser Eingriff unbewusst erfolgen könnte.
BRUNO GIUSSANI
Die Initiative des Parlatino geht zurück auf die Arbeit der Morningside Group aus dem Jahre 2017. Diese Gruppe aus Wissenschaftlern, Ethikforschern und Technologen prägte den Begriff der «Neurorechte», der Schutzmassnahmen in Zusammenhang mit den Menschenrechten umschreibt, um die mit Neurotechnologie verbundenen Herausforderungen zu bewältigen.
Die Gruppe begründete fünf wesentliche Neurorechte:
SYNTHETISCHE STIMME
Erstes Recht: Das Recht auf kognitive Privatsphäre, d. h. die Fähigkeit, seine geistige Aktivität vor jeglicher Offenlegung zu schützen.
Zweites Recht: Das Recht auf Identität bzw. die Fähigkeit, seine geistige Integrität und Identität zu kontrollieren.
Drittes Recht: Das Recht auf Autonomie, d. h. auf Gedankenfreiheit und die Freiheit, seine Handlungen frei zu bestimmen.
Viertes Recht: Das Recht auf Erweiterung bzw. die Garantie eines gleichberechtigten Zugangs auf Verbesserungen der kognitiven Fähigkeiten, die durch Technologie ermöglicht werden.
Fünftes Recht: Das Recht auf Schutz oder die Bewahrung vor algorithmischen Verzerrungen.
BRUNO GIUSSANI
Ein weiteres Land, in dem aktuell ein Regelungsrahmen diskutiert wird, ist die Schweiz. Ende 2024 wurde eine Initiative ins Parlament eingebracht, um Artikel 10 der Verfassung zu ändern. In diesem heisst es aktuell unter anderem: «Jeder Mensch hat das Recht auf persönliche Freiheit, insbesondere auf körperliche und geistige Unversehrtheit und auf Bewegungsfreiheit.» Die Initiative zielt darauf ab, ausdrücklich den Schutz der kognitiven Integrität hinzuzufügen.
Vorgelegt wurde sie von der Abgeordneten der Mitte, Isabelle Chappuis, die im Folgenden die Gründe erläutert:
ISABELLE CHAPPUIS
Unsere Vorfahren haben dies neben der körperlichen und geistigen Unversehrtheit deswegen nicht in unserer Verfassung verankert, weil sie sich einfach nicht vorstellen konnten, dass unser Bewusstsein eines Tages zur Zielscheibe wird.
Dies ist heutzutage der Fall, also muss man es schützen. Und das ist kein «nice to have»-Recht, sondern ein Grundrecht. Mit seiner Verankerung in der Verfassung stünde es über der Handelsfreiheit und der Marktlogik.
Folglich würde dieses Recht zu einer Art Kompass zur gesetzlichen Regulierung von KI, Algorithmen oder künftigen Technologien.
BRUNO GIUSSANI
Isabelle Chappuis spricht sich hier nicht nur für eine Verfassungsänderung, sondern auch für eine Neuorientierung aus.
Das Gewicht der Handelsfreiheit hat in der jüngeren Vergangenheit dazu geführt, dass zahlreiche Regulierungsversuche in allen Bereichen und in sehr vielen Ländern kritisiert, entschärft oder verworfen wurden. Doch angesichts der kognitiven Bedrohung, so Chappuis weiter, sei es zwingend erforderlich, unserem Recht auf Gedankenfreiheit Vorrang einzuräumen.
Kognitive Souveränität müsse über wirtschaftliche Logik gestellt werden. Damit wird eine symbolische und rechtliche Grenze gezogen, die zu einer strukturierenden Achse der Ethik und Regulierung der Technologien von morgen werden könnte.
Ganz nebenbei bemerkt ist dies genau das Gegenteil des vorher erwähnten Ansatzes von Donald Trump.
Zur Ergänzung dieser Aufzählung von Instrumenten und Gesetzesvorschlägen, die zwar repräsentativ, aber bei Weitem nicht erschöpfend ist, sollte auch erwähnt werden, dass Kalifornien, wo zahlreiche grosse Tech-Unternehmen ansässig sind, im September 2024 der erste US-Bundesstaat war, der den Schutz von «Hirndaten» erstmals in einem Gesetz verankerte.
Ebenso seien die Arbeiten zweier Technologieforscher genannt, d. h. Marcello Ienca von der EPFL Lausanne und der Technischen Universität München, sowie Roberto Andorno von der Universität Zürich. Beide schlagen vier neue Menschenrechte vor, um das zu schützen, was sie als «letztes Refugium der Privatsphäre» betrachten – unser Gehirn. Die drei ersten Rechte haben wir bereits genannt: die Rechte auf kognitive Freiheit, geistige Integrität und geistige Privatsphäre.
Das vierte Recht betrifft das Recht auf psychologische Kontinuität. Dieses Konzept bezieht sich auf die Fähigkeit jedes Einzelnen, die Kohärenz und Stabilität unserer psychologischen Erfahrungen über die Zeit hinweg zu bewahren und uns trotz Veränderungen als fortwährende Identität wahrzunehmen.
Wiederholen wir noch einmal den letzten Teil: «…die Fähigkeit, uns als fortwährende Identität wahrzunehmen». Damit wird vorweggenommen, dass Neurowissenschaften und künftige Technologien unsere Kognition so weit beeinflussen könnten, dass wir nicht mehr in der Lage sind, uns als dieselbe Person wahrzunehmen, und irgendwann völlig aus dem Konzept geraten.
Festhalten lässt sich zumindest, dass die Entwicklung von Rechtsinstrumenten in einem schnell wachsenden Bereich mit grosser Komplexität verbunden ist. Es ist unerlässlich, die Bewahrung grundlegender Werte und Prinzipien wie der Menschenrechte mit so viel Flexibilität zu verbinden, dass Innovation nicht behindert wird.
Ebenso ist die Verantwortung von Unternehmen, die Instrumente zur potenziellen Beeinflussung oder Veränderung kognitiver Prozesse entwickeln oder einsetzen, eindeutig zu definieren.
Auch ist ein Gleichgewicht zwischen den Rechten des Einzelnen auf seine kognitive Privatsphäre und das allgemeine Interesse der Gesellschaft vonnöten.
An diesem Punkt könnte man versucht sein, eine gewisse legitime Verletzung der geistigen Privatsphäre gezielt und verhältnismässig zuzulassen, beispielsweise wenn es darum geht, die Wachsamkeit von Zugführern mithilfe von Sensoren zu überprüfen.
Ausserdem stellt sich die Frage, ob es eine Stufe der kognitiven Beeinflussung gibt, die allgemein akzeptierbar wäre.
Auf einer ganz anderen Ebene käme zudem die Frage auf, welche Autonomie der künstlichen Intelligenz zugestehen zu wäre, wenn wir nicht vollständig verstehen, wie sie funktioniert und warum sie ein bestimmtes Ergebnis hervorbringt.
Bis zu welchem Punkt dürfte eine KI selbst festlegen, worüber sie entscheiden kann? Benötigen künstliche Strukturen in unseren Reihen, die kognitive Fähigkeiten besitzen und unsere Fähigkeiten imitieren, eine Rechtspersönlichkeit? Benötigen sie dann auch psychologische Schutzmechanismen?
Das sind nur einige Beispiele der umfassenden Fragen, die das Aufkommen von KI und Neurotechnologien aufwerfen.
Und dann gibt es den kognitiven Krieg, den wir bereits besprochen haben, bei dem ein Angriff auf unser Bewusstsein als Strategie der Eroberung fungiert. Doch was ist eigentlich zu gewinnen, wenn man einen kognitiven Krieg gewinnt?
Isabelle Chappuis:
ISABELLE CHAPPUIS
Wer das Bewusstsein kontrolliert, kontrolliert Entscheidungen.
Wer den kognitiven Krieg beherrscht, muss kein Gebiet besetzen, sondern besetzt die Gehirne. Er streut Zweifel, spaltet, lenkt von Spannungen ab und schwächt den kollektiven Willen im grossen Massstab.
Schlussendlich ergibt sich der andere von selbst – und das, ohne es zu bemerken.
BRUNO GIUSSANI
Die Verwendung kognitiver Technologien und Strategien zu militärischen Zwecken wirft unter anderem die Frage des Völkerrechts und dessen Relevanz für diese Problematik auf. Algorithmusgestützte und neurokognitive Waffen sind aktuell nicht Gegenstand internationaler Abkommen, obwohl es Übereinkommen über chemische und biologische Waffen und Verträge über die Nichtverbreitung von Atomwaffen gibt.
Auch finden sie keine ausdrückliche Berücksichtigung in internationalen Regeln zur Kriegsführung, die vorwiegend im humanitären Völkerrecht verankert sind, beispielsweise in den Genfer Konventionen.
Mauro Vignati, ein Experte des Internationalen Komitees vom Roten Kreuz, bemerkt hierzu:
MAURO VIGNATI
Allgemein muss ich sagen, dass das humanitäre Völkerrecht so weitreichend konzipiert wurde, dass auch Technologien berücksichtigt werden können, die zum Zeitpunkt der Abfassung der verschiedenen darin enthaltenen Gesetze noch nicht entwickelt und vorhanden waren.
Folglich müssen alle Staaten dieses Recht ordnungsgemäss umsetzen, damit sie im Nachhinein feststellen können, ob Lücken bestehen, und gegebenenfalls Verbesserungen vorschlagen.
BRUNO GIUSSANI
Wären vor dem aktuellen Hintergrund der geostrategischen Neuordnung und des wirtschaftlichen und militärischen Wettbewerbs neue internationale Regeln über den kognitiven Krieg nützlich und insbesondere realistisch?
ISABELLE CHAPPUIS
Nützlich ganz bestimmt. Realistisch noch nicht, aber auf jeden Fall unentbehrlich. Ein wenig ist dies mit chemischen oder atomaren Kampfmitteln vergleichbar. Von diesen geht ein starkes normatives Signal aus.
Auch wenn manche betrügen, was bekanntlich immer vorkommt, entsteht durch das Gesetz zumindest eine Art moralische Grenze. Es besagt, was nicht tolerierbar ist, und legt rote Linien fest
BRUNO GIUSSANI
Der Leiter der Abteilung «Globale und neu auftretende Risiken» am Genfer Zentrum für Sicherheitspolitik, Jean-Marc Rickli, bringt die Diskussion im Hinblick auf Subversion auf den Punkt:
JEAN-MARC RICKLI
Im Gegensatz zu Nötigung, bei der physische Kraft und Gewalt zum Einsatz kommen, ist Subversion der bewusste Versuch, eine legitime Autorität zu unterwandern, und wird gerade zu einem wesentlichen Bestandteil von Macht- und Einflussstrategien weltweit.
Folglich wäre es angebracht, insbesondere im Bereich der Algorithmen ein System zur Kontrolle von Subversion zu schaffen, vergleichbar mit den Systemen für die Kontrolle von Kampfmitteln, die zu Beginn des Atomzeitalters entwickelt wurden. Das exponentielle Wachstum von Desinformation und KI-gestützten kognitiven Angriffen hat eine neue Kategorie von Massenvernichtungswaffen hervorgebracht, die aber keine Waffen für grosse Zerstörung, sondern Waffen für Massendesinformation sind, die schlussendlich zu Waffen für geistige Zerstörung werden könnten.
Im Gegensatz zu Kernwaffen werden Technologien für Subversion gleichwohl nicht von Regierungen, sondern im Wesentlichen von der Privatwirtschaft entwickelt. Da es unmöglich ist, die Verbreitung von Codezeilen zu verhindern, führen diese Entwicklungen durch die Privatwirtschaft und die Besonderheit des digitalen Raums selbst dazu, dass es zu einer äusserst rapiden Verbreitung kommt. Folglich erhöht diese unkontrollierte Verbreitung die Notwendigkeit internationaler und nationaler Governancestrukturen weiter.
BRUNO GIUSSANI
Isabelle Chappuis, die Mitglied der sicherheitspolitischen Kommission des Schweizer Nationalrats ist, kommt auf die Ebene der einzelnen Länder zurück und ist der Auffassung, dass dies mit Abschreckung einhergehen müsste:
ISABELLE CHAPPUIS
Ich denke, dass wir eine Doktrin der kognitiven Abschreckung benötigen (…). Denn ein gut geführter kognitiver Krieg kann eine Demokratie von innen ohne Bomben und Lärm zerstören. Nötig ist lediglich, das Vertrauen zu brechen, die Wahrheit zu verschleiern und den Willen zum gemeinsamen Handeln zu unterwandern. (…) Das Fehlen einer Doktrin im Sicherheitsbereich bedeutet in gewisser Weise bereits eine Niederlage. Eine Doktrin ist keine Bedrohung, sondern ein klarer strategischer Rahmen, der festlegt, was ein Angriff darstellt, der präzisiert, worauf zu reagieren ist, und der diejenigen abschreckt, die versucht sein könnten, die Grenze zu überschreiten.
Das aktuelle Fehlen einer kognitiven Doktrin ist ein strategisches Versäumnis, weil es unsere demokratischen Gesellschaften in einem unsichtbaren Krieg, den andere bereits theoretisch durchgespielt und instrumentalisiert haben, entwaffnet und verletzlich zurücklässt. Folglich ist es Zeit, mit rechtlichen Mitteln, Bündnissen und internationalen Regeln und einer Doktrin darauf zu reagieren.
Unser Gegenschlag – wenn ich das so nennen darf – gegen diesen unsichtbaren Feind muss unbedingt systemischer Natur sein. Denn unser Feind lässt sich nicht klar abgrenzen, und wir müssen kollektiv handeln. Wir müssen im Sinne einer ‹Gesamtverteidigung›, einer militärischen und wirtschaftlichen, aber natürlich auch einer kognitiven, emotionalen und sozialen Verteidigung denken.
BRUNO GIUSSANI
Oder wie wir die Gesellschaft robust machen und den Einzelnen, der der Gesellschaft angehört, vorbereiten können.
Genau das werden wir in unserer nächsten und letzten Folge behandeln.
Mein Name ist Bruno Giussani, und dies ist der DEFTECH-PODCAST.
Vielen Dank fürs Zuhören.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Produktion : Clément Dattée
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin :
Sound design : Felix Davin
