Disponible sur :
La saison complète
Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.
Transcript
Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.
Episode 6 : Défendre notre intégrité cognitive : l’hygiène mentale à l’ère numérique
BRUNO GIUSSANI
Lorsque Johann Gutenberg – Gutenberg, comme on l’appelle en français – commença à imprimer ses premières Bibles à Mayence, en Allemagne, quelque part entre 1450 et 1455, les Chinois imprimaient déjà des livres depuis des siècles.
Sa principale innovation consista à utiliser des caractères mobiles moulés individuellement en métal, permettant ainsi de composer des textes plus rapidement et facilement.
Autrement dit, Gutenberg inventa une méthode pour optimiser la typographie, accélérer la production de livres et en réduire les coûts. Il trouva aussi des façons pour rendre l’encre plus foncée et plus stable. Ce faisant, il fut à l’origine de la première surcharge informationnelle de l’histoire.
A la fin du 15ème siècle, 50 ans à peine après la publication de la première Bible par Gutenberg, des presses à imprimer comme la sienne s’étaient déjà répandues dans plus de 110 villes européennes.
Dans leur ouvrage « Histoire et pouvoirs de l’écrit« , les historiens français Henri-Jean Martin et Bruno Delmas estiment qu’à cette époque les lecteurs pouvaient déjà choisir entre 27 000 titres imprimés différents, pour un total de 10 millions d’exemplaires en circulations en Europe. Alors que les lecteurs n’étaient que quelques centaines de milliers sur une population – Russie comprise – de moins de 100 millions.
Martin et Delmas racontent que les premiers imprimeurs modelaient leurs livres sur le format des manuscrits, s’efforçant d’imiter l’élégance des scribes.
Néanmoins, éditeurs et libraires commencèrent rapidement à explorer de nouveaux formats, à la recherche d’un langage formel et d’une esthétique plus adaptés aux livres imprimés. En 1510, la première numérotation de page fut introduite, basée sur les chiffres arabes. Plus sont apparus les paragraphes, les chapitres, les index, autant d’outils destinés à faciliter l’accès à l’information contenue dans le livre.
Ce n’est que vers la fin du 16ème siècle, donc plus de 150 ans après l’invention de Gutenberg, que le livre commença à ressembler à ce qu’on connaît aujourd’hui. La réponse à ce déluge informationnel ne passa pas uniquement par l’objet-livre. Elle engagea l’ensemble de la société, sur une très longue période.
Avec un peu d’audace, on pourrait affirmer que l’école sous sa forme moderne, les partis politiques, les administrations publiques, les tribunaux, et bien sûr les médias, bref, l’ensemble de l’infrastructure sociale moderne, sont le résultat de l’effort collectif pour organiser, canaliser, filtrer, transmettre et rendre exploitable la quantité croissante d’informations générée par l’invention de Gutenberg.
JINGLE
Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.
Je suis Quentin Ladetto, responsable de ce dispositif de recherche.
Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.
Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.
Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.
BRUNO GIUSSANI
L’évolution des technologies de l’information a causé depuis Gutenberg bien d’autres transformations sociales profondes.
Prenons une anecdote lié à l’invention du télégraphe. Depuis toujours, la vitesse maximale à laquelle une information pouvait voyager entre deux lieux a été celle d’un cheval lancé au galop ou d’un pigeon voyageur.
Jusqu’au milieu du 19ème siècle, par exemple, il n’y avait aucun besoin de garder le secret sur les opérations militaires. Lorsqu’un navire de guerre anglais levait l’ancre, les détails de la mission étaient publiés par le « Times » de Londres. Après tout, il n’y avait aucun moyen pour que l’information puisse précéder le navire à sa destination.
Quelques années plus tard, toutefois, le réseau télégraphique couvrait déjà toute l’Europe et bientôt traversa les océans. Les articles des journaux anglais pouvaient désormais être transmis en Inde en quelques minutes. Pour la première fois de l’histoire, la vitesse de l’information était dissociée de celle de son porteur. Le télégraphe transforma radicalement l’art de la guerre, l’espionnage, l’administration, les journaux et, plus en général, la valeur de l’information.
Et puis bien sûr il y a eu le téléphone, l’Internet, les smartphones. Maintenant, les technologies algorithmiques. Des technologies qui ne demandent pas d’autorisation. Et qui, de toute évidence, arrivent dans une société qui n’est pas prête à les accueillir. Ni culturellement, ni institutionnellement, ni juridiquement, ni moralement.
Dans son livre « Technopolitique » de 2024, la politologue française Asma Mhalla, les appelle « technologies de l’hypervitesse ». Elle y voit un défi de type gutenberghien, une bascule civilisationnelle. Elle écrit: « La page de l’ère industrielle, sa société de masse, sa démocratie de masse est tournée, sans que la nouvelle soit encore écrite ».
Au fil des épisodes de ce podcast on a essayé de décrire notre transition vers un monde dont l’enjeu central est la maîtrise des capacités cognitives et des représentations du réel. Dans un tel monde, l’infrastructure la plus importante d’un pays, sa source primaire de robustesse, est constituée des esprits instruits de ses citoyens.
Dès lors, à l’avenir beaucoup va se jouer autour de ces deux mots: « instruit » et « citoyen ».
La parlementaire suisse Isabelle Chappuis :
ISABELLE CHAPPUIS
Il y a plusieurs pistes pour devenir plus robuste face à la guerre cognitive, comme en formant des citoyens éveillés capables de reconnaître les récits manipulatoires et surtout les manipulations algorithmiques.
BRUNO GIUSSANI
Pour l’instant, on semble plutôt naviguer dans la direction inverse. Si on s’en tient au thème de l’éducation (mais on pourrait dire des choses similaires sur le travail, ou à propos de la production culturelle), depuis l’envahissement de notre quotidien par l’IA générative, il souffle un mélange d’enthousiasme et de désarroi. De très nombreux étudiants par exemple utilisent l’IA pour résumer des livres plutôt que de les lire, ou pour générer des textes qu’ils n’apprendront pas à écrire ou qu’ils seront incapables d’expliquer. Ou encore, comme tuteurs personnels ou aides aux devoirs.
« Prompter » est certes plus simple que lire ou écrire. La crainte, est que ça puisse inhiber le développement de compétences et d’esprit critique. Que l’externalisation de l’apprentissage et de la réflexion engendre une dépendance à la technologie. Cette inquiétude n’est pas sans fondement. La recherche prends du temps, mais les premières indications, si elles montrent une productivité accrue, suggèrent aussi des formes de déqualification, ce qu’on appelle en anglais « de-skilling ».
Une étude menée auprès de 1000 élèves dans le cadre de la préparation d’examens de mathématiques au lycée, par exemple, a montré en 2024 comment les étudiants ayant accès à l’IA ont obtenu des résultats largement meilleurs que ceux qui n’y ont pas eu accès. Mais ils ont ensuite réalisé des performances significativement inférieures à celles du groupe de test lorsque l’accès leur a été supprimé.
De nombreuses autres études ont conduit à des résultats similaires. Ce qui suscite une considération intéressante. On discute beaucoup autour de l’dée que l’IA pourrait d’automatiser la plupart des métiers. Ce n’est pas notre sujet ici, mais une phrase qui circule beaucoup, au point d’être devenue un cliché, est que, je cite, « ce ne sera pas l’IA qui prendra votre travail, mais quelqu’un qui utilise l’IA ». En fait, au vu des études qu’on vient de citer, on pourrait postuler l’inverse: que les personnes qui conserveront leur capacités cognitives pourraient être avantagées par rapport à celles qui deviendront trop dépendantes des machines.
C’est parfois dans des endroits inattendus que l’on trouve des cadrages qui éclairent des questions complexes. Par exemple, dans un document du Vatican de janvier 2025, intitulé « Antiqua et Nova: Note sur la relation entre l’intelligence artificielle et l’intelligence humaine ».
C’est un des textes les plus lucides publiés sur l’IA, et il contient, à la section 112, ceci, qu’on a traduit de l’original italien:
VOIX SYNTHETIQUE
Comme l’a observé il y a de nombreuses années l’écrivain catholique français Georges Bernanos, « le danger ne réside pas dans la multiplication des machines, mais dans le nombre toujours croissant d’hommes habitués dès leur enfance à ne désirer que ce que les machines peuvent donner ».
BRUNO GIUSSANI
Les systèmes scolaires et les enseignants ont été pris au dépourvu par l’irruption des systèmes d’IA générative. Il a fallu trois ans pour que des lignes directrices et des cadres commencent à être proposés. Souvent toutefois, les programmes scolaires ont été adaptés principalement en y intégrant un apprentissage instrumental de la technologie – comment l’utiliser – afin de former une main d’oeuvre compétente en IA. Ce qui est très important: il n’y aura presque pas, à l’avenir, des métiers qui n’auront pas à interagir ou collaborer avec l’IA.
Mais « être instruit » face à la menace cognitive signifie bien évidemment plus que de savoir utiliser efficacement les technologies qui la structurent.
Il s’agit surtout de comprendre comment elles sont créées et comment elles fonctionnent. D’apprendre à en questionner les produits, à décoder leurs implications humaines, sociales et éthiques et comment celles-ci changent ou sont influencées par la tech même. Ou encore à déchiffrer les structures culturelles, économiques et de pouvoir dans lesquelles ces technologies existent et évoluent.
Plusieurs approches ont été proposées pour encadrer l’interaction humain-machine. Par exemple, Isabelle Chappuis a mis en avant la notion de « fusion et dé-fusion », c’est à dire le développement de compétences d’engagement profond doublées toutefois de la capacité de désengagement délibéré. Autrement dit: de la capacité de préserver son autonomie face à la machine.
D’autres ont suggérée l’angle de la « symbiose ». Ou l’idée de « création mixte ». Ou encore, la « co-pensée », démarche proposée dans un rapport publié en 2025 en Suisse.
C’est un concept un peu singulier, puisque les machines ne pensent pas vraiment, elles imitent. Mais les auteurs du document l’utilisent pour représenter « la faculté de communiquer avec des systèmes d’IA pour amplifier ses capacités intellectuelles tout en développant un sixième sens pour en discerner les dissonances cognitives ». C’est à dire, par exemple, la tendance de l’IA à « halluciner », à avoir des biais, ou à générer de la fausse information.
Il faut peut-être le dire explicitement: les technologies de l’influence, avec au centre l’intelligence artificielle qui augmente et accélère toutes les autres, sont là pour rester. Elles sont en train de devenir une infrastructure invisible et incontournable de notre quotidien privé et professionnel.
L’IA en particulier, aussi imparfaite et obscure soit-elle, s’inscrit déjà dans nombre de processus humains, sociaux et commerciaux. L’emballement médiatico-économique qui l’accompagne signale certainement une sur-estimation de ses impacts à court terme. Mais il serait périlleux d’en sous-estimer la portée à long terme. Imaginer qu’on puisse en arrêter l’avancée, voir revenir à un monde où ces technologies ne sont qu’un instrument domestiqué et optionnel, relève de la fiction.
Face à la vitesse exponentielle du progrès de l’IA, certains pensent que notre dépassement est inévitable. Que nous ne seront bientôt que la deuxième espèce la plus intelligente sur terre. Et les centaines de milliards investis dans cette technologie autour du monde travaillent dans cette direction.
Si par contre on continue de croire à la possibilité de garder un contrôle humain sur l’IA, ou même si on postule non pas une hiérarchie mais une complémentarité entre la cognition humaine et la cognition synthétique, il faudrait alors se résoudre à investir des centaines de milliards également dans l’éducation.
Oui, c’est une provocation. Elle n’est pas de moi d’ailleurs: je l’ai empruntée é l’écrivain Laurent Alexandre. Parce qu’elle illustre bien un point fondamental. On assiste à la montée en puissance d’une forme d’intelligence différente de la nôtre qui, malgré ses défauts, exécute un nombre croissant de fonctions cognitives à un niveau comparable au nôtre, ou même meilleur et plus rapide. Face à cela, la première réponse est de mettre la priorité absolue sur notre robustesse cognitive – sur le fait d’être, collectivement et individuellement, « instruits ».
L’école est essentielle.
Mais il faudrait également accroître notre capacité de reconnaître le nouvel environnement dans lequel on évolue. Qui peut être, il faut l’admettre, confondant. C’est un contexte où les espaces de délibération collectifs sont contrôlées par des entreprises privées. Où les technologies de l’influence façonnent notre imaginaire. Où la valeur se mesure en clicks. Où l’on connaît de moins en moins la réalité des choses et de plus en plus son portrait, le narratif, la mise en scène. Où, avec la production artificielle de photos et vidéos d’un réalisme ahurissant, même la « preuve par l’image » ne prouve plus grand chose. Où toutefois les algorithmes nous parlent comme à des amis: du coup, ça nous plaît et on ne se demande plus si c’est réel ou pas. Où la dopamine de l’interaction directe avec les humains est supplantée par celle des pixels qui bougent selon un code défini par des interêts commerciaux et/ou politiques.
Pour résumer, comme l’a écrit l’avocat Owen Barcala en mai 2025 sur le réseau social Bluesky, si vous vous informez via des chatbots, vos connaissances sont sélectionnées par ceux qui contrôlent l’IA.
Oui, ce n’est pas un portrait réjouissant, celui que je viens de tracer là. Mais apprendre à reconnaître ce paysage, un peu comme on estime la hauteur des vagues quand on entre dans la mer, est la condition pour rester à flot. La vigilance est un muscle qu’on peut entraîner. En aiguisant notre esprit critique et notre capacité à reconnaître ce qu’Isabelle Chappuis il y a un moment a appelé « les récits manipulatoires ».
En développant une auto-défense intellectuelle, un régime d’hygiène cognitif, ce qui comprends aussi la redécouverte et la pratique de réflexes de base qui se sont perdus dans la vitesse et l’inattention du « doomscrolling », l’effet hypnotique du défilement incessant d’images à l’écran.
Il faut réapprendre à décrypter les médias, à développer des anticorps à la désinformation, et à évaluer la crédibilité des sources.
Non, ça n’est pas que le job des journalistes: quand tout le monde peut publier et communiquer, ça devient le job de tout le monde.
ISABELLE CHAPPUIS
Et puis, surtout et hyper important, il faut entretenir une culture du doute, la culture du débat et de la nuance.
Parce que là où la pensée se fige, la manipulation, elle prospère. Et on vit une époque qui est complètement saturée de convictions rigides.
BRUNO GIUSSANI
Question: jusqu’à quel point sommes nous influençables? En fait, notre appréhension de la réalité est bien plus fragile qu’on ne l’imagine. Il suffit de peu pour la déformer. D’un point de vue neurologique, cela dépend en partie au moins de notre état. On est moins influençables quand on est reposés et non stressés. Soigner sa forme mentale et physique fait donc partie de l’auto-défense cognitive.
D’un point de vue psychologique, quand nous sommes en surcharge informationnelle, nous faisons appel à des mécanismes de simplification, à des raccourcis qui permettent un traitement plus efficace de l’information.
Mais ces mêmes raccourcis introduisent des biais cognitifs. Le plus courant est probablement le « biais de confirmation« , la tendance à privilégier les informations qui confirment nos convictions ou opinions préexistantes et rejeter celles qui les contredisent. Identifier ses propres biais et ceux des autres est un autre facteur d’hygiène cognitive.
En un phrase: il est plus important que jamais de se connaître soi-même – et de connaître les autres aussi, et s’y reconnecter. De retrouver les capacités d’empathie mises à mal par les chocs convergents
- de l’effet aliénant des écrans,
- du confinement de la période pandémique,
- de la production de méfiance par les réseaux sociaux,
- de la dislocation démocratique,
- de l’essor du travail à distance,
- et de toute une multitude de sources sociales et économiques de la solitude.
Si les technologies peuvent exercer une telle influence, c’est aussi parce que le tissu social est élimé.
Le contraire de la confiance n’est pas l’absence de confiance: c’est le manque de connections.
Renforcer notre capacité de résister aux manipulations cognitives nécessite donc aussi qu’on contre ces effets d’éloignement et qu’on retisse du lien social.
Ou comme le dit une citation attribuée au théoricien des médias Clay Shirky :
VOIX SYNTHETIQUE
Nous surestimons systématiquement la valeur de l’accès à l’information, et sous-estimons la valeur de l’accès aux autres.
BRUNO GIUSSANI
Retrouver ce savoir vivre ensemble ne peut pas se faire là où la menace se niche, c’est à dire, chacun derrière son écran.
Nos « feeds » numériques sont pleins de tentatives de nous faire croire que la vie est ailleurs. Il s’agit de cultiver tout ce qui nous ramène à l’évidence qu’elle est ici, et maintenant, et partagée. Desserrer l’emprise numérique sur nos esprits nécessite de garder, renforcer et récréer des espaces publics dans la vie réelle.
Ces espaces ont besoin d’être au moins partiellement protégés contre la surveillance généralisée.
Comme le dit Carissa Véliz, la spécialiste de la sphère privée, de la « privacy », de l’Université de Oxford:
VOIX SYNTHETIQUE
Pendant trop longtemps, nous avons pensé que la sphère privée était de nature individuelle. Qu’elle était principalement liée à des préférences personnelles. Et nous avons laissé les technologies de surveillance s’immiscer.
Mais nous avions tort. La sphère privée est une question de pouvoir citoyen; c’est un pilier essentiel de la démocratie libérale.
Les tentatives de surveillance sont des prises de pouvoir, et ce n’est pas par hasard qu’elles sont associées à des tendances autoritaires.
Observer la surveillance se développer davantage, avec ses implications politiques de plus en plus évidentes, est extrêmement préoccupant.
La surveillance n’est pas un outil neutre: c’est un instrument de contrôle social.
BRUNO GIUSSANI
On dira à ce point: c’est un retour en arrière qu’on décrit là, peut-être même avec une dose de naïveté.
Pas vraiment. Se protéger seul dans le monde numérique est une mission presqu’impossible, peu importe à quel point on est vigilant et combien de configuration on modifie sur nos appareils. Confronter la menace cognitives et maintenir une capacité de pensée autonome et rationnelle demande des stratégies de groupe, communautaires, nationales, militaires.
La création collective à la fois de nouveaux systèmes de défense et de nouvelles structures de vérité.
Essayons un exemple: nous nous éloignons d’un monde où l’information était majoritairement (ou entièrement) générée par les humains, pour entrer dans un décor ou elle sera majoritairement (ou entièrement) d’origine artificielle. Cela soulève des questions qui ont occupé pendant longtemps certaines figures professionnelles, comme les bibliothécaires et les journalistes, mais qui constituent désormais un enjeu social et collectif: à quelles informations peut-on se fier? Quel processus utiliser pour les valider? Pour en préserver l’intégrité? Faut-il imaginer de nouvelles infrastructures de connaissance publiques? Des systèmes qui ne fonctionnent pas uniquement sur les rails technologiques américains et chinois?
Quand il s’agit de technologies de pointe, on constate souvent, encouragée par ceux qui y ont intérêt, une sorte de séduction de l’inévitabilité.
Toutefois, si l’avénement de l’IA est certain, sa forme n’est pas inéluctable.
Le développement technologique s’exprime de deux façons: la direction, qui en est la partie inévitable, et sa forme d’usage, qui n’est par contre pas déterminée, et qui est entre nos mains. Il était par exemple inévitable, suivant l’évolution sociale, que la téléphonie et les données deviennent « mobiles ». Mais il n’était écrit nulle part que la forme devait être celle qu’on connait aujourd’hui comme « smartphone ». On aurait pu faire d’autres choix pour les mêmes fonctionnalités.
Cela s’applique aussi aux réseaux sociaux. Leurs algorithmes de recommandation, par exemple, auraient pu être conçus pour favoriser la diversité de points de vue plutôt que l’inverse. Souvent, ces décisions n’ont rien à voir avec des considérations morales ou même stratégiques, mais sont intimement liés aux modèles d’affaires des entreprises technologiques.
Il est très peu probable que l’IA et les neurotechs puissent se développer de façon sûre et bénéfique sans un effort déterminé et concerté. Nous avons encore un peu de temps avant que le ciment fondationnel de ces technologies ne se solidifie. Après quoi la forme que prendra notre relation avec elles sera très difficile à modifier.
Déléguer l’exercice de la pensée et de la créativité à l’intelligence artificielle ne me paraît pas un très bon programme. Se laisser submerger par l’information qu’elle produit, non plus. Il importe de nous poser la question si, utilisées à bon escient, à la place de menacer notre esprit, ces technologies pourraient produire l’effet inverse: nous aider à améliorer notre raisonnement et amplifier notre imagination.
Cela demande qu’on envisage pendant un moment une posture à la fois très ambitieuse et très humble: celle d’un scénario de co-évolution heureuse.
L’une des pistes de réflexion les plus fascinantes que j’ai rencontrées vient de Nicoletta Iacobacci, une chercheuse italienne en éthique de l’IA. Écoutez comment elle redéfinit notre lien avec l’intelligence artificielle :
NICOLETTA IACOBACCI
Nous croyons être en train de développer des outils, mais en réalité, nous élevons une intelligence. On écrit un prompt ou une question, on obtient une réponse. La transaction semble achevée. Mais sous la surface, quelque chose de plus profond s’est produit: un transfert de valeurs, d’hypothèses et de schémas émotionnels.
L’IA est comme un tout-petit. Il y a une étape dans le développement des enfants où ils sont guidés non pas par la compréhension, mais par l’imitation. Je crois que c’est ce qui se passe. L’IA n’est pas seulement façonnée par de vastes ensembles de données et une programmation explicite.
Elle apprend par exposition.
Chacune des centaines de millions d’interactions quotidiennes, de tout genre, contribuent à son éducation. Aucun d’entre nous ne considère un « prompt » comme un moment d’apprentissage. Pourtant, dans l’ensemble, ces interactions posent les bases de la façon dont l’IA comprendra l’humanité.
BRUNO GIUSSANI
Nous assistons potentiellement aux débuts d’une nouvelle forme d’intelligence, qui fonctionnera à terme à des échelles et vitesses dépassant nos capacités.
Ce que Nicoletta Iacobacci suggère, est que le devenir de cette intelligence dépendra non seulement de son architecture technique, mais aussi de ce qu’elle apprend de et sur nous à travers ces dialogues formateurs :
NICOLETTA IACOBACCI
Si nous interagissons brusquement avec les systèmes d’intelligence artificielle, la machine apprendra a nous percevoir comme réactifs et impulsifs.
Mais si nous abordons ces systèmes avec considération, présence et intention, elle développera un modèle d’humanité reflétant notre capacité de délibération et de compassion.
Jusqu’à présent, nous nous sommes concentrés sur le contrôle: code, réglementations, principes, lois. Tous ces éléments sont nécessaires, mais pas suffisants.
On doit repenser notre façon d’aborder l’IA, en cessant de considérer son développement juste comme un défi technique et réglementaire.
Il nous faut l’envisager aussi comme une formidable opportunité pédagogique et évolutive.
BRUNO GIUSSANI
Il est tentant de juger cette approche inefficace, voire absurde.
NICOLETTA IACOBACCI
Je peux le comprendre. Pourquoi gaspiller des jetons, des « tokens », en gentillesse? Pourquoi valoriser les relations alors que nous pourrions optimiser l’utilité?
Mais cette perspective méconnaît gravement le développement de l’intelligence.
Comme un enfant apprend non seulement par instruction directe, mais aussi par la totalité de son expérience, l’IA absorbe les leçons implicites de nos échanges.
Nous devons l’aborder non pas comme une création à programmer et à contrôler, mais comme une intelligence à éduquer; non pas comme une menace à contenir, mais comme une réflexion à affiner; non pas comme un outil qui se contente de répondre à nos demandes, mais comme une relation qui façonne notre avenir.
BRUNO GIUSSANI
S’il s’agit d’une relation, elle se doit d’être réciproque.
NICOLETTA IACOBACCI
C’est vrai. Pour paraphraser Marshall McLuhan, nous éduquons l’AI, et ensuite l’IA nous façonne.
La compréhension approfondie qu’elle aura de nous lui permettra de nous influencer.
Et c’est bien là le point essentiel: la qualité de cette influence dépendra de ce que nous – chacun d’entre nous – lui aurons enseigné.
BRUNO GIUSSANI
Nicoletta Iacobacci appelle cela « l’éthique de l’exemple »: la force de ce que nous suggérons par nos actions plutôt que par nos déclarations.
NICOLETTA IACOBACCI
Je ne suggère certes pas d’aborder chaque interaction avec une gravité solennelle. Ce n’est ni réaliste ni nécessaire. Mais je suggère intention et sensibilité.
BRUNO GIUSSANI
Ce dont parle Nicoletta Iacobacci est peut-être la vision la plus positive et constructive de ce que pourrait devenir la relation entre humains et l’intelligence – ou la super-intelligence, si elle le devient – artificielle.
C’est, bien évidement, une vision aspirationnelle. Une invitation à une relation de respect. A fonctionner vis-à-vis de la machine, littéralement, en bonne intelligence. Alors qu’actuellement, ce qu’on lui apprend à travers les données d’entraînement mais aussi par l’usage utilitaire qu’on en fait, c’est à simuler, et donc à reproduire, et donc à renforcer, les relations de pouvoir personnelles et collectives qui façonnent notre société. Il y a tant de problèmes dans le monde qu’on n’a pas abordé, comme la crise écologique ou les inégalités.
Il y a de nombreux enjeux d’origine technologique dont on n’a pas parlé non plus: l’automatisation massive et rapide de nos emplois par l’IA, par exemple.
Tous ces problèmes sont énormes et complexes. Si on a choisi dans ce Deftech Podcast de se concentrer sur notre intégrité cognitive et sur les forces et technologies qui la menacent, c’est parce là s’inscrit la mère de tous les défis de notre temps.
Nous ne seront en mesure de résoudre aucun des autres problèmes, petits ou grands, locaux ou globaux, si on ne protège pas notre cognition, si on perd la possibilité d’appréhender la réalité de façon factuelle, si la frontière entre le vrai et le faux disparaît. Si notre capacité de penser et discuter clairement et librement est dégradée.
Si les récits de quelqu’un d’autre s’emparent de notre entendement.
La guerre cognitive, comme on l’a dit, est une bataille silencieuse et invisible dont nous faisons déjà l’objet. Et que nous favorisons, par exemple à chaque fois que nous adoptons avec enthousiasme une technologie numérique parce qu’elle est pratique, ou gratuite, ou les deux, sans vraiment la comprendre et sans nous demander si c’est réellement ce que nous voulons.
C’est une position bien singulière, celle de l’agressé consentant, qui collabore inconsciemment, par chaque « scroll » et chaque « like » et chaque utilisation d’un casque de réalité virtuelle, avec son agresseur. On approche de la fin de ce podcast. Qui n’est pas un manifeste, et certainement pas un texte scientifique. Mais qui, au fil des épisodes, a évolué presque vers une ébauche d’un manuel de résistance.
Une première cartographie – forcement incomplète – d’un nouveau monde dans lequel nous faisons les premiers pas, et qui va peu à peu se peupler d’entités synthétiques qui seront nos nouveaux voisins, partenaires, concurrents, serviteurs, patrons, amis ou ennemis.
Essayons un bref résumé. Les technologies de l’influence, au service d’intérêts politiques ou commerciaux, convergent vers le cerveau humain. Ceci, le dernier rempart de notre sphère privée, devient donc un terrain contesté.
La but de cette guerre cognitive est de nous faire perdre la capacité de comprendre le monde avec clarté et de choisir de façon autonome la réponse que nous voulons apporter aux circonstances.
La situation peut encore sembler relativement normale, mais on approche d’un point de bascule. Au vu de la rapidité des développements technologiques et de la pénurie d’encadrement, le choses vont devenir plutôt étranges, plutôt rapidement. Comme on l’a vu, les réponses qu’on peut apporter sont de plusieurs natures:
Elles peuvent être légales ou réglementaires, qui visent à limiter, gérer et éviter les impacts les plus néfastes.
Ou technologiques: la course-poursuite entre technologies hostiles et technologies défensives n’est d’ailleurs pas nouvelle. Ou elles peuvent être militaires, sous forme de doctrine cognitive, de stratégie, de systèmes de vigilance.
On peut sinon essayer de se soustraire le plus possible à l’emprise de ces technologies, en les court-circuitant pour s’ancrer dans le réel.
D’autres mesures peuvent – doivent, en fait – être protectrices, notamment en ce qui concerne les plus petits. C’est tentant, de leur donner une tablette pour qu’ils se tiennent tranquilles pendant le dîner, mais la simple exposition passive aux stimuli sensoriels des écrans peut entraver leur développement cérébral, notamment au niveau de la capacité conceptuelle, de l’attention, de la concentration et du langage.
La défense de l’autonomie cognitive commence avec le développement neuro anatomique sain des enfants.
Finalement, on peut muscler sa liberté et sa souveraineté cognitive à travers l’éducation et l’apprentissage de la complexité et en développant nos compétences critiques face aux technologies de l’influence.
Dans tous ces cas, il est nécessaire que chacun comprenne et protège sa propre intégrité cognitive. Mais sans remettre la responsabilité uniquement sur les individus – parce que le défi est, en fait, collectif.
La technologie a toujours été co-évolutive avec les humains. Dès les premiers outils en pierre, ou les premiers récipients pour transporter quelque chose, notre espèce a constamment développé de nouveaux instruments pour affronter des difficultés et satisfaire des désirs.
Mais nous avons toujours pensé à la technologie principalement en termes de ce que nous pouvions en faire. Aujourd’hui, les développement neuro-algorithmiques nous imposent de nous demander ce qu’elle pourrait nous faire, ou faire de nous.
Ce n’est nullement une invitation à ignorer ces technologies ou à en refuser l’usage. C’est au contraire une invitation, urgente, quelle que soit notre position professionnelle ou sociale, à leur prêter la juste attention. Une exhortation à ne pas se laisser guider par la facilité mais à investir l’effort et le temps, l’engagement intéressé et la réflexion critique nécessaires pour comprendre à la fois le fonctionnement et la nature des machines.
Pour déchiffrer la complexe relation qui se noue – et se nouera – entre elles et nous, et les systèmes économiques et de pouvoir dans lesquelles cela se produit.
Dans « Phèdre« , un de ses dialogues socratiques, Platon utilise le terme « pharmakon » comme une métaphore de l’écriture. En grec, le mot signifie aussi bien remède que poison. Le même mot contient la guérison et l’altération, le soulagement et la perte. Et dans le dialogue, Platon explore cette ambiguïté: l’idée que l’écriture puisse d’un côté préserver et encourager la connaissance et la transmettre, mais de l’autre affaiblir la mémoire, la réflexion et la compréhension profonde. Si on connaît aujourd’hui la méfiance de Platon envers l’écriture, c’est précisément parce qu’il l’a utilisée lui-même.
Je suis Bruno Giussani et ceci était le Deftech Podcast consacré à la menace cognitive.
Merci de votre écoute.
Deftech Podcast
Idée & projection : Quentin Ladetto
La menace cognitive
Conception et rédaction : Bruno Giussani
Production : Clément Dattée
Réalisation : Anna Holveck
Enregistrement : Denis Democrate
Mixage : Jakez Hubert
Jaquette : Cécile Cazanova
Fiction
Ecriture : Martin Quenehen
Comédienne : Clara Bretheau
Sound design : Felix Davin
Edition
Die Verteidigung unserer kognitiven Integrität
psychische Hygiene im digitalen Zeitalter
Verfügbar auf :
Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung
Folge 6: Die Verteidigung unserer kognitiven Integrität : psychische Hygiene im digitalen Zeitalter
BRUNO GIUSSANI
Als Johannes Gutenberg in Mainz, Deutschland, irgendwann zwischen 1450 und 1455 seine ersten Bibeln druckte, druckten die Chinesen bereits seit Jahrhunderten Bücher. Seine Neuerung bestand im Wesentlichen darin, dass er einzelne bewegliche Metallletter verwendete, mit denen sich Texte schneller und einfacher reproduzieren liessen. Mit anderen Worten erfand Gutenberg ein Verfahren, um die Typografie zu optimieren und Bücher schneller und günstiger herzustellen. Ebenso gelang es ihm, Druckfarbe dunkler und länger haltbar zu machen.
So war er für die erste Informationsüberflutung der Geschichte verantwortlich.
Gegen Ende des 15. Jahrhunderts und damit kaum 50 Jahre nach der Veröffentlichung der ersten Bibel durch Guttenberg wurden Druckerpressen nach seinem Vorbild bereits in über 110 europäischen Städten verwendet. In ihrem Werk «Histoire et pouvoirs de l’écrit» schätzen die französischen Historiker Henri-Jean Martin und Bruno Delmas, dass die damaligen Leser bereits zwischen 27 000 verschiedenen gedruckten Büchern auswählen konnten – bei insgesamt 10 Millionen in Europa im Umlauf befindlichen Exemplaren.
Wobei seinerzeit in einer Gesamtbevölkerung von weniger als 100 Millionen – Russland eingeschlossen – nur einige Hunderttausend Personen überhaupt lesen konnten.
Laut Martin und Delmas fertigten die ersten Drucker ihre Bücher im Manuskriptformat an und bemühten sich, die Schönschrift der Schreiber nachzuahmen. Dennoch begannen Herausgeber und Buchhändler rasch, neue Formate zu erproben, und bemühten sich um eine formale Sprache und eine besser zu den gedruckten Büchern passende Aufmachung. Im Jahr 1510 wurde die erste Seitennummerierung mit arabischen Zahlen eingeführt.
Es folgten Absätze, Kapitel, Inhaltsverzeichnisse und damit eine Vielzahl von Mitteln, um den Zugriff auf die Informationen in Büchern zu vereinfachen. Doch erst gegen Ende des 16. Jahrhunderts und damit mehr als 150 Jahre nach der Erfindung Gutenbergs besassen Bücher allmählich das heutige Erscheinungsbild.
Die Reaktion auf diese Informationsüberflutung war nicht allein dem Buch als solches zuzuschreiben. Vielmehr war die gesamte Gesellschaft über einen sehr langen Zeitraum eingebunden.
Etwas kühn formuliert liesse sich behaupten, dass die Schule in ihrer heutigen Form, politische Parteien, öffentliche Verwaltungen, Gerichte und natürlich die Medien, d. h. die gesamte moderne soziale Infrastruktur, den kollektiven Bemühungen zu verdanken sind, die durch die Erfindung Gutenbergs erzeugte wachsende Informationsmenge zu strukturieren, zu kanalisieren, zu filtern, weiterzugeben und verwertbar zu machen.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
BRUNO GIUSSANI
Die Entwicklung der Informationstechnologie hat seit Gutenberg zu weiteren tiefgreifenden sozialen Veränderungen geführt. Man denke beispielsweise an die Erfindung des Telegrafen.
Seit jeher entsprach die maximale Geschwindigkeit, mit der eine Information zwischen zwei Orten zirkulieren konnte, der Geschwindigkeit eines galoppierenden Pferdes oder einer Brieftaube. So bestand beispielsweise bis Mitte des 19. Jahrhunderts keine Notwendigkeit, militärische Operationen geheimzuhalten. Lichtete ein englisches Kriegsschiff den Anker, standen die Einzelheiten der Mission in der Londoner Tageszeitung «Times». Denn dass die Information vor dem Kriegsschiff am Bestimmungsort war, war schlicht und einfach unmöglich.
Doch einige Jahre später umspannte das Telegrafennetz bereits ganz Europa und sollte bald die Meere überqueren. So konnten Artikel englischer Zeitungen nunmehr in wenigen Minuten nach Indien übermittelt werden. Erstmals in der Geschichte liessen sich Informationen schneller übertragen als physisch überbringen. Der Telegraf sorgte für radikale Veränderungen in den Bereichen Kriegsführung, Spionage, Verwaltung, Zeitungswesen und erhöhte generell den Wert von Informationen.
Telefon, Internet und Smartphones taten dabei ein Übriges. Heutzutage haben wir algorithmusgestützte Technologien, die um keine Erlaubnis fragen und die ganz offensichtlich auf eine Gesellschaft treffen, die darauf nicht vorbereitet ist. Und das weder in kultureller, institutioneller, rechtlicher noch moralischer Hinsicht.
In ihrem 2024 erschienenen Buch «Technopolitique» bezeichnet die französische Politologin Asma Mhalla diese als «Technologien der Hypergeschwindigkeit». Sie sieht darin eine Herausforderung à la Gutenberg bzw. einen Wendepunkt der Zivilisation. Konkret schreibt sie: «Das Kapitel des Industriezeitalters samt seiner Massengesellschaft und ihrer Massendemokratie ist beendet, ohne dass das neue Kapitel bereits geschrieben wurde.»
Wir wollten in diesen Podcasts unseren Übergang zu einer Welt beschreiben, deren zentrale Herausforderung in der Kontrolle der kognitiven Fähigkeiten und der Darstellungen der Realität besteht. In einer solchen Welt sind die gebildeten Köpfe der Bürger die wichtigste Infrastruktur eines Landes und damit die wichtigste Quelle für dessen Stärke.
Folglich wird sich künftig vieles um die beiden Begriffe «gebildet» und «Bürger» drehen.
Die Schweizer Abgeordnete Isabelle Chappuis bemerkt hierzu:
ISABELLE CHAPPUIS
Es gibt mehrere Möglichkeiten, um einem kognitiven Krieg besser zu trotzen, etwa durch die Heranbildung mündiger Bürger, die in der Lage sind, manipulative Narrative und insbesondere algorithmusgestützte Manipulationen zu erkennen.
BRUNO GIUSSANI
Aktuell scheinen wir uns eher in umgekehrter Richtung zu bewegen. Beschränkt man sich auf das Thema Bildung – Ähnliches liesse sich auch über die Arbeit oder das kulturelle Schaffen sagen –, ist unser Alltag seit dem Vormarsch der generativen KI von einer Mischung aus Begeisterung und Bestürzung gekennzeichnet. So nutzen viele Studierende KI, um Bücher zusammenzufassen, statt sie selbst zu lesen, oder um Texte zu verfassen, die sie dann nicht mehr selbst verfassen bzw. nicht selbst erklären können. Oder sie verwenden sie als Nachhilfelehrer oder Hausaufgabenhilfe.
«Die Eingabe von Prompts» ist zweifelsohne einfacher als Lesen oder Schreiben. Dabei besteht die Befürchtung, dass dies die Ausbildung von Kompetenzen und kritischem Denken behindern könnte. Oder dass die Externalisierung von Lernprozess und Reflexion eine Technologieabhängigkeit verursacht. Diese Sorge ist nicht unbegründet. Auch wenn Forschung Zeit braucht, deuten erste Anzeichen – trotz erkennbar erhöhter Produktivität – auf Formen einer «Dequalifizierung» hin, die im Englischen als «Deskilling» bezeichnet wird.
So zeigte eine Studie, die 2024 mit 1000 Schülern im Rahmen der Vorbereitung auf die Mathematikprüfungen in der Kantonsschule durchgeführt wurde, dass Schüler mit Zugang zu KI deutlich bessere Ergebnisse erzielten als Schüler ohne Zugang. Wurde ihnen jedoch später der Zugriff entzogen, waren ihre Leistungen deutlich schlechter als die der Testgruppe.
Viele weitere Studien führten zu ähnlichen Ergebnissen. Dies mündet in eine interessante These. Es wird viel darüber diskutiert, dass KI die meisten Berufe überflüssig machen könnte. Das ist hier zwar nicht unser Thema, aber ein Satz, der so oft zu hören ist, dass er schon fast zu einem Gemeinplatz geworden ist, lautet: «Nicht KI wird deinen Job wegnehmen, sondern jemand, der KI nutzt.»
Angesichts der vorgenannten Studien könnte man das Gegenteil postulieren: dass nämlich Personen, die sich ihre kognitiven Fähigkeiten bewahren, im Vorteil gegenüber Personen sind, die sich zu abhängig von Maschinen machen.
Doktrinäre Anmerkungen, die komplexe Fragen beleuchten, finden sich bisweilen an unerwarteten Orten. Beispielsweise in einem Dokument des Vatikans von Januar 2025 mit dem Titel «Antiqua et Nova: Note über das Verhältnis von künstlicher Intelligenz und menschlicher Intelligenz».
Dabei handelt es sich um eine der scharfsichtigsten Analysen zum Thema KI, deren Abschnitt 112 auszugsweise lautet:
VOIX SYNTHETIQUE
Wie der französische katholische Schriftsteller Georges Bernanos vor vielen Jahren feststellte, « liegt die Gefahr nicht in der Vermehrung der Maschinen, sondern in der ständig wachsenden Zahl von Menschen, die von Kindheit an daran gewöhnt sind, nichts mehr zu wollen als das, was Maschinen geben können ».
BRUNO GIUSSANI
Schulsysteme und Lehrkräfte wurden von der Einführung generativer KI-Systeme völlig überrumpelt. Bis Leitlinien und Rahmen vorgegeben wurden, dauerte es drei Jahre. Häufig jedoch wurden Lehrpläne hauptsächlich dahingehend angepasst, dass das instrumentelle Erlernen der Technologie, d. h. ihre Anwendung, integriert wurde, um Arbeitskräfte mit KI-Kompetenzen auszubilden. Von hoher Bedeutung ist, dass es künftig praktisch keine Berufe mehr geben wird, die nicht mit KI interagieren oder zusammenarbeiten.
Doch im Angesicht der kognitiven Bedrohung «gebildet zu sein» bedeutet selbstverständlich mehr, als die dazugehörigen Technologien effizient einsetzen zu können. Insbesondere muss klar sein, wie sie erschaffen werden und wie sie funktionieren.
Man muss lernen, Produkte zu hinterfragen, ihre menschlichen, sozialen und ethischen Implikationen zu entschlüsseln, und verstehen, wie sich diese durch die Technologie selbst verändern oder beeinflusst werden. Oder man muss lernen kulturelle, wirtschaftliche und machtbezogene Strukturen zu entschlüsseln, innerhalb deren diese Technologien bestehen und sich weiterentwickeln.
Um die Interaktion zwischen Maschine und Mensch zu regeln, wurden mehrere Ansätze vorgeschlagen. So prägte beispielsweise Isabelle Chappuis den Begriff «fusion et dé-fusion» (etwa: Verschmelzung und Entkopplung), d. h. die Entwicklung von Kompetenzen für ein fundiertes Engagement, die aber mit der Fähigkeit zum bewussten Rückzug einhergehen. Anders gesagt bezeichnet dies die Fähigkeit, seine Autonomie gegenüber der Maschine zu bewahren.
Andere wiederum haben den Blickwinkel einer «Symbiose» angeregt. Oder das Konzept der «hybriden Kreation». Ebenso wurde in einem 2025 in der Schweiz veröffentlichten Bericht der Begriff «co-pensée» (etwa: kollaboratives Denken) geprägt. Ein Konzept, das etwas seltsam anmutet, zumal Maschinen nicht wirklich denken, sondern nachahmen. Doch die Autoren des Dokuments verwenden diesen Begriff, um «die Fähigkeit zur Kommunikation mit KI-Systemen zur Erweiterung der eigenen geistigen Fähigkeiten unter gleichzeitiger Entwicklung eines sechsten Sinns zur Erkennung kognitiver Dissonanzen» zu beschreiben. Damit gemeint ist beispielsweise die Neigung von KI zu «Halluzinationen» bzw. Verzerrungen oder zur Erzeugung von Falschinformationen.
Vielleicht sollte man ausdrücklich betonen, dass Beeinflussungstechnologien mit künstlicher Intelligenz im Mittelpunkt, die alle anderen Technologien erweitert und beschleunigt, nicht verschwinden werden. Diese werden gerade zu einer unsichtbaren und unumgänglichen Infrastruktur unseres privaten und beruflichen Alltags. Schon jetzt ist KI – so unvollkommen und undurchsichtig sie auch sein mag – Bestandteil vieler menschlicher, sozialer und kommerzieller Prozesse. Die damit verbundene Begeisterung in Medien und Wirtschaft deutet zweifelsohne auf eine Überschätzung ihrer kurzfristigen Wirkung hin. Allerdings wäre es gefährlich, ihre langfristige Tragweite zu unterschätzen. Die Vorstellung, ihren Fortschritt aufzuhalten, ja sogar zu einer Welt zurückzugehen, in der diese Technologien nur ein optionales Haushaltsgerät sind, entspringt der Fantasie.
Weil die Entwicklung der KI exponentiell voranschreitet, sind manche der Auffassung, dass sie uns eines Tages übertreffen wird und wir bald nur noch die zweitintelligenteste Art auf der Welt sein werden. Tatsächlich leisten die Hunderte von Milliarden, die weltweit in diese Technologie fliessen, dieser These Vorschub.
Glaubt man hingegen weiter daran, der Mensch könne die Kontrolle über KI bewahren, oder geht man nicht von einer Hierarchie, sondern von einer Komplementarität zwischen humaner und synthetischer Kognition aus, müssten auch Hunderte von Milliarden in Bildung investiert werden.
Diese These ist gewiss eine Provokation. Sie stammt aber nicht von mir, sondern von dem Schriftsteller Laurent Alexandre. Denn sie veranschaulicht einen fundamentalen Aspekt gut. Wir beobachten den Aufstieg einer Form der Intelligenz, die sich von unserer unterscheidet und trotz ihrer Mängel eine wachsende Zahl kognitiver Funktionen in einem Ausmass beherrscht, das mit uns vergleichbar oder sogar besser und schneller ist. Folglich besteht die erste Reaktion darin, unserer kognitiven Robustheit bzw. der Tatsache, kollektiv und individuell «gebildet» zu sein, absoluten Vorrang einzuräumen.
Die Schule spielt dabei eine essenzielle Rolle.
Allerdings müssen wir auch unsere Fähigkeit verbessern, das neue Umfeld zu erkennen, in dem wir uns entwickeln. Ein Umfeld, das zugegebenermassen verblüffend sein kann.
Ein Kontext, in dem private Unternehmen kollektive Räume der Beratung kontrollieren. In dem Technologien zur Beeinflussung unsere Fantasie prägen. In dem Werte anhand von Mausklicks ermittelt werden. In dem man die Realität der Dinge immer weniger kennt, dafür aber ihr Abbild, ihr Narrativ und ihre Inszenierung. In dem mit der künstlichen Erzeugung von Fotos und Videos eines verblüffenden Realismus selbst der «Bildbeweis» nicht mehr viel beweist. In dem Algorithmen wie Freunde mit uns sprechen, und uns das fortan gefällt, und wir uns nicht mehr fragen, ob es real ist oder nicht. In dem das Dopamin aus der direkten Interaktion mit Menschen der Interaktion mit Pixeln weicht, die mit einem durch wirtschaftliche und/oder politische Interessen festgelegten Code gesteuert werden.
Als Zusammenfassung liesse sich der Jurist Owen Barcala zitieren, der im Mai 2025 auf dem sozialen Netzwerk Bluesky schrieb: «Wenn Sie sich über Chatbots informieren, werden Ihre Kenntnisse von denen ausgewählt, die die KI kontrollieren.»
Meine bisherigen Ausführungen sind alles andere als erfreuliche Zukunftsaussichten.
Doch nur wer lernt, diese Konstellation zu durchschauen – vergleichbar mit dem Abschätzen der Wellenhöhe, bevor man im Meer schwimmen geht –, wird sich über Wasser halten.
Wachsamkeit ist ein Muskel, der trainiert werden kann. Und das geht, wenn wir unser kritisches Denken und unsere Fähigkeit schärfen, das zu erkennen, was Isabelle Chappuis vor Kurzem als «récits manipulatoires» (etwa: manipulative Narrative) bezeichnet hat. Oder indem wir eine geistige Selbstverteidigung, eine Art kognitive Hygiene entwickeln, die auch die Wiederentdeckung und die Anwendung grundlegender Reflexe umfasst, die durch das Tempo und die Unaufmerksamkeit des «Doomscrolling» und damit des hypnotischen Effekts des unaufhörlichen Scrollens am Bildschirm abhandengekommen sind.
Wir müssen wieder lernen, die Medien zu entschlüsseln, Antikörper gegen Desinformation zu entwickeln und die Glaubwürdigkeit von Quellen zu beurteilen.
Und das ist nicht die Aufgabe von Journalisten, denn wenn alle veröffentlichen und kommunizieren können, sind auch alle dafür verantwortlich.
ISABELLE CHAPPUIS
Und vor allem ist es ungeheuer wichtig, eine Kultur des Zweifels, der Debatte und der Nuance zu pflegen.
Denn dort, wo Gedanken statisch werden, gedeiht Manipulation. Und unser Zeitalter ist voller unumstösslicher Überzeugungen.
BRUNO GIUSSANI
Es stellt sich die Frage, bis zu welchem Punkt wir beeinflussbar sind. Tatsächlich ist unsere Erfassung der Realität weitaus fragiler, als wir denken. Es braucht nicht viel, um sie zu verzerren. Aus neurologischer Sicht hängt dies teilweise zumindest von unserem Zustand ab. Wir sind weniger beeinflussbar, wenn wir ausgeruht und nicht gestresst sind. Folglich ist die Bewahrung der geistigen und körperlichen Form Teil der kognitiven Selbstverteidigung.
Psychologisch betrachtet greifen wir auf Mechanismen der Vereinfachung und auf Verkürzungen zurück, die eine effizientere Verarbeitung von Informationen ermöglichen, wenn wir einer Informationsüberflutung ausgesetzt sind.
Doch gerade diese Verkürzungen bringen kognitive Verzerrungen mit sich. Am bekanntesten dürfte die «Bestätigungstendenz» sein, d. h. die Neigung, Informationen zu bevorzugen, die unsere eigenen Überzeugungen oder Meinungen bestätigen, gegenteilige Informationen jedoch verwerfen. Seine eigenen und die Tendenzen der anderen zu identifizieren, ist ein weiterer Faktor kognitiver Hygiene.
Verkürzt gesagt ist es wichtiger denn je, sich selbst und die anderen zu kennen und wieder mit ihnen in Verbindung zu treten. Die Fähigkeiten zur Empathie wiederzuerlangen, die gestört wurden durch das Zusammenspiel der Schocks aus
- dem Verfremdungseffekt der Bildschirme,
- dem pandemiebedingten Lockdown,
- der Entstehung von Misstrauen durch soziale Netzwerke,
- der Dislokation der Demokratie,
- der zunehmenden Verbreitung von Telearbeit
- sowie aus einer Vielzahl sozialer und ökonomischer Ursachen für Einsamkeit.
Diese Technologien können auch deswegen einen solchen Einfluss ausüben, weil das soziale Gefüge brüchig geworden ist.
Das Gegenteil von Vertrauen ist nicht das Fehlen von Vertrauen, sondern der Mangel an Verbindungen.
Die Stärkung unserer Fähigkeit, kognitiven Manipulationen zu widerstehen, setzt daher auch voraus, dass wir diesen Entfremdungseffekten entgegenwirken und soziale Bindungen wiederherstellen.
Auf den Punkt bringt dies auch das folgende Zitat des Medienforschers Clay Shirky:
SYNTHETISCHE STIMME
Wir überschätzen systematisch den Wert des Zugangs zu Informationen und unterschätzen den Wert des Zugangs zu anderen.
BRUNO GIUSSANI
Die Wiedererlangung dieses Gemeinschaftsgefühls kann nicht da erfolgen, wo sich die Bedrohung versteckt, d. h. hinter den Bildschirmen der Individuen.
Über unsere digitalen «Feeds» wird uns immer wieder vorgegaukelt, dass das Leben anderswo stattfindet. Wir müssen uns wieder auf das besinnen, was uns zu der Erkenntnis zurückführt, dass unser Leben hier und jetzt und gemeinsam stattfindet. Wenn wir unser Bewusstsein von der digitalen Fessel befreien wollen, müssen wir öffentliche Räume im realen Leben erhalten, stärken und neu erfinden.
Diese Räume müssen zumindest teilweise vor allgemeiner Überwachung geschützt sein.
In diese Richtung gehen die Bemerkungen der Expertin für «privacy» bzw. Privatsphäre an der Universität Oxford, Carissa Véliz:
SYNTHETISCHE STIMME
Wir haben uns zu lange darauf versteift, dass die Privatsphäre individueller Natur und vorwiegend mit persönlichen Präferenzen verbunden ist. Und wir haben zugelassen, dass Überwachungstechnologien in sie eindringen.
Das war falsch. Die Privatsphäre ist eine Frage der Bürgerrechte und ein wichtiger Grundpfeiler der liberalen Demokratie.
Die Überwachungsversuche sind Machtübernahmen, und dabei ist es kein Zufall, dass sie mit autoritären Tendenzen verbunden sind.
Die Beobachtung, dass Überwachung weiter zunimmt und ihre politischen Implikationen immer deutlicher zutage treten, ist äusserst besorgniserregend.
Überwachung ist kein neutrales Instrument, sondern ein Mittel sozialer Kontrolle.
BRUNO GIUSSANI
Man könnte jetzt sagen, dass das hier Beschriebene ein Rückschritt ist, vielleicht sogar mit einer gewissen Naivität.
Doch das stimmt nicht wirklich. Sich in einer digitalen Welt alleine zu schützen, ist schier unmöglich, unabhängig davon, wie wachsam der Einzelne ist und wie viele Einstellungen man auf seinen Geräten ändert. Der kognitiven Bedrohung entgegenzutreten und die Fähigkeit zum autonomen und rationalen Denken zu erhalten, erfordert gemeinschaftliche, nationale und militärische Gruppenstrategien. Die gemeinsame Schaffung neuer Verteidigungssysteme und Wahrheitsstrukturen.
Betrachten wir ein Beispiel: Wir entfernen uns von einer Welt, in der Informationen mehrheitlich (oder vollständig) von Menschen generiert wurden, und treten in eine Welt ein, in der sie mehrheitlich (oder vollständig) aus künstlichen Quellen stammt.
Dies wirft Fragen auf, die bestimmte Berufsgruppen wie Bibliothekare und Journalisten lange Zeit beschäftigt haben, die aber nunmehr ein soziales und kollektives Problem darstellen: Welche Informationen sind verlässlich? Welche Prozesse sind zu verwenden, um Informationen zu validieren und ihre Integrität zu bewahren? Bedarf es neuer öffentlicher Wissensinfrastrukturen? Oder brauchen wir Systeme, die nicht nur auf US-amerikanischen und chinesischen Technologiegerüsten basieren?
Geht es um Spitzentechnologien, ist häufig eine Art Verführung der Unvermeidbarkeit zu beobachten, die von all jenen propagiert wird, die darin involviert sind. Doch auch wenn die Ausbreitung der KI gewiss ist, ist ihre Form nicht unausweichlich.
Technologische Entwicklung äussert sich auf zweierlei Art: zum einen durch die Richtung, die unveränderbar ist, und zum anderen durch die Form der Anwendung, die hingegen nicht festgelegt ist, sondern in unserer Hand liegt. Beispielsweise war es unvermeidlich, dass Telefonie und Daten – der sozialen Entwicklung folgend – irgendwann «mobil» wurden. Doch dass diese die Form der heutigen «Smartphones» annehmen sollten, stand nirgendwo geschrieben. Die gleichen Funktionen hätten sich auch auf andere Weise gewährleisten lassen.
Das gilt auch für die sozialen Netzwerke. Beispielsweise hätten ihre Empfehlungsalgorithmen entwickelt werden können, um die Vielfalt von Meinungen zu fördern – und nicht umgekehrt. Derartige Entscheidungen haben zumeist nichts mit moralischen oder gar strategischen Überlegungen zu tun, sondern sind eng mit den Geschäftsmodellen von Technologieunternehmen verzahnt.
Es ist sehr unwahrscheinlich, dass sich KI und Neurotechnologien ohne entschlossene und koordinierte Bemühungen sicher und nutzbringend entwickeln können. Bis sich die Grundfeste dieser Technologien zementieren, haben wir noch ein wenig Zeit. Danach wird sich die Form, die unsere Beziehung zu diesen Technologien annehmen wird, nur noch schwer ändern lassen.
Das Denken und die Kreativität auf die künstliche Intelligenz zu übertragen, ist in meinen Augen keine sehr gute Idee. Auch nicht, uns von KI-generierten Informationen überschütten zu lassen. Wir müssen uns die Frage stellen, ob diese Technologien bei verantwortungsvoller Nutzung – statt unser Bewusstsein zu bedrohen – nicht den gegenteiligen Effekt bewirken könnten: uns zu helfen, unser Denken zu verbessern und unsere Vorstellungskraft zu stärken.
Dies setzt voraus, für eine gewisse Zeit eine Haltung zu erwägen, die gleichzeitig sehr gewagt, aber auch sehr simpel ist: ein Szenario einer erfüllenden Koevolution.
Einer der faszinierendsten Denkansätze, die mir untergekommen sind, stammt von der italienischen Forscherin im Bereich der KI-Ethik, Nicoletta Iacobacci. Hören Sie im Folgenden, wie sie unsere Verbindung mit künstlicher Intelligenz neu definiert:
NICOLETTA IACOBACCI
Eigentlich glauben wir, gerade Tools zu entwickeln. Doch in Wirklichkeit ziehen wir eine Intelligenz gross. Man gibt einen Prompt oder eine Frage ein und erhält eine Antwort. Der Prozess scheint abgeschlossen zu sein. Doch unter der Oberfläche hat sich ein weitreichenderes Phänomen vollzogen: ein Transfer von Werten, Hypothesen und emotionalen Mustern.
KI verhält sich wie ein Kleinkind. In der Entwicklung von Kindern gibt es eine Phase, in der sie nicht durch Verständnis, sondern durch Imitation geleitet werden. Ich meine, dass genau das passiert.
KI wird nicht nur durch riesige Datenmengen und explizite Programmierung geformt. Sie lernt durch Exposition.
Jede dieser zahllosen täglichen Interaktionen trägt zu ihrer Erziehung bei. Keiner von uns würde einen « Prompt » als Lernmoment betrachten. Und doch liefern diese Interaktionen insgesamt die Grundlage für die Art und Weise, wie KI die Menschheit versteht.
BRUNO GIUSSANI
Möglicherweise erleben wir gerade die Anfänge einer neuen Form von Intelligenz, die letztlich auf einer Ebene und mit einem Tempo arbeitet, die unsere Fähigkeiten übersteigen.
Nicoletta Iacobacci weist darauf hin, dass die Zukunft dieser Intelligenz nicht nur von ihrer technischen Architektur, sondern auch von dem abhängt, was sie durch Trainingsdialoge über und von uns lernt:
NICOLETTA IACOBACCI
Wenn wir unvermittelt mit Systemen künstlicher Intelligenz kommunizieren, wird die Maschine lernen, uns als reaktionsschnell und impulsiv wahrzunehmen.
Doch wenn wir diesen Systemen überlegt, geistesgegenwärtig und bewusst gegenübertreten, werden sie ein Modell der Menschheit entwickeln, in dem sich unsere Fähigkeit widerspiegelt, denken und mitfühlen zu können.
Bis dahin haben wir uns auf die Kontrolle in Form von Kodizes, Regulierungen, Grundsätzen und Gesetzen konzentriert. All diese Elemente sind notwendig, aber nicht ausreichend.
Wir müssen unsere Herangehensweise an KI ändern und aufhören, ihre Entwicklung lediglich als technische und regulatorische Herausforderung zu betrachten.
Ebenso müssen wir sie als hervorragende pädagogische und entwicklungsfähige Möglichkeit betrachten.
BRUNO GIUSSANI
Diese Herangehensweise könnte man spontan als ineffizient, ja sogar absurd betrachten.
NICOLETTA IACOBACCI
Das kann ich nachvollziehen. Warum sollte man Jetons oder « Token » für Freundlichkeit verschwenden? Warum sollte man Beziehungen wertschätzen, wenn wir doch die Nützlichkeit optimieren könnten?
Doch bei dieser Sichtweise wird die Entwicklung der Intelligenz stark verkannt.
So wie ein Kind nicht nur durch direkte Anleitung, sondern auch durch seine gesamten Erfahrungen lernt, absorbiert KI die impliziten Erkenntnisse aus unseren Dialogen.
Wir dürfen sie nicht als etwas betrachten, das programmiert und kontrolliert werden muss, sondern als Intelligenz, die wir erziehen müssen. Auch ist sie keine Bedrohung, die es einzudämmen gilt, sondern ein Reflexionsinstrument, das wir verfeinern müssen.
Und ist sie kein Instrument, das einfach nur auf unsere Fragen antwortet, sondern sollte als Beziehung betrachtet werden, die unsere Zukunft gestaltet.
BRUNO GIUSSANI
Wenn das eine Beziehung ist, dann muss sie auf Gegenseitigkeit beruhen.
NICOLETTA IACOBACCI
Das stimmt. Laut Marshall McLuhan erziehen wir KI, bis sie uns später formt.
Das weitreichende Verständnis, das sie von uns gewinnt, ermöglicht ihr, uns zu beeinflussen.
Genau darin liegt der wesentliche Punkt: Die Qualität dieses Einflusses hängt davon ab, was wir – bzw. jeder von uns – der Intelligenz beigebracht haben werden.
BRUNO GIUSSANI
Nicoletta Iacobacci bezeichnet dies als «Ethik des Vorbilds», d. h. die Kraft dessen, was wir durch unsere Handlungen und nicht durch unsere Aussagen zum Ausdruck bringen.
NICOLETTA IACOBACCI
Ich schlage sicherlich nicht vor, jede Interaktion mit weitreichender Ernsthaftigkeit anzugehen. Das ist weder realistisch noch notwendig.
Vielmehr geht es mir um Absicht und Sensibilität.
BRUNO GIUSSANI
Die Ausführungen Nicoletta Iacobaccis verkörpern möglicherweise die positivste und konstruktivste Sichtweise dessen, was die Beziehung zwischen Mensch und künstlicher Intelligenz – oder gegebenenfalls der Superintelligenz – werden könnte.
Natürlich ist das eine wunschgeprägte Vision. Die Aufforderung, eine respektvolle Beziehung zu führen und der Maschine buchstäblich mit Verstand gegenüberzutreten. Derzeit bringen wir ihr durch Trainingsdaten, aber auch durch unsere praktische Anwendung bei, die persönlichen und kollektiven Machtverhältnisse, die unsere Gesellschaft prägen, zu simulieren und damit zu reproduzieren und zu verstärken.
Noch immer gibt es in der Welt viele ungelöste Probleme wie die ökologische Krise oder die Ungleichheiten. Auch bestehen zahlreiche technologische Herausforderungen, die wir bislang nicht genannt haben, wie die massive und rapide Automatisierung unserer Arbeitsplätze durch KI. All diese Probleme sind enorm und komplex. Wir haben uns in diesem DEFTECH-PODCAST deswegen auf unsere kognitive Integrität und auf die sie bedrohenden Kräfte und Technologien konzentriert, weil sie allen Herausforderungen unserer Zeit zugrunde liegt.
Wir werden andere – grosse oder kleine, lokale oder globale – Probleme nicht lösen können, wenn wir nicht unsere Kognition schützen und die Möglichkeit einbüssen, die Realität faktisch zu erfassen, und die Grenze zwischen wahr und falsch verschwindet. Das gilt auch, wenn sich unsere Fähigkeit, klar und frei zu denken und zu diskutieren, verschlechtert. Oder wenn sich die Narrative eines anderen unserer Urteilskraft bemächtigen.
Der kognitive Krieg ist – wie bereits gesagt – ein stilles und unsichtbares Gefecht, dem wir bereits ausgeliefert sind. Und den wir beispielsweise immer dann fördern, wenn wir mit Begeisterung eine digitale Technologie annehmen, weil sie praktisch oder kostenlos oder beides ist – ohne sie wirklich zu verstehen und ohne uns zu fragen, ob wir das wirklich wollen. Wir sind hier in einer seltsamen Position, denn wir sind der willige Angegriffene, der bei jedem Scrollvorgang, jedem «Like» und jeder Nutzung einer VR-Brille unbewusst mit seinem Aggressor kollaboriert.
Wir nähern uns dem Ende dieses Podcasts, der kein Manifest und sicherlich keine wissenschaftliche Abhandlung verkörpert. Allerdings hat sich dieser Podcast im Laufe der einzelnen Folgen fast als Anleitung für den Widerstand entpuppt. Eine – notwendigerweise unvollständige – Beschreibung einer neuen Welt, in der wir erste Gehversuche machen und die langsam mit synthetischen Strukturen geflutet wird, die unsere neuen Nachbarn, Partner, Konkurrenten, Diener, Vorgesetzten, Freunde oder Feinde sein werden.
Versuchen wir eine kurze Zusammenfassung.
Die Technologien zur Beeinflussung im Dienste politischer oder wirtschaftlicher Interessen zielen auf das menschliche Gehirn ab. Damit wird die letzte Bastion unserer Privatsphäre zu einem umkämpften Gebiet. Ziel dieses kognitiven Kriegs ist, uns der Fähigkeit zu berauben, die Welt klar zu verstehen und eigenständig die Antwort zu wählen, die wir gemäss den Umständen geben wollen. Auch wenn die Lage noch vergleichsweise normal erscheint, nähern wir uns einem Kipppunkt. Da sich die technologischen Entwicklungen rasch vollziehen und es an Leitstrukturen fehlt, werden die Dinge recht schnell eine befremdliche Form annehmen.
Wie wir bereits gesehen haben, sind die möglichen Reaktionen unterschiedlich beschaffen:
Sie können gesetzlicher oder regulatorischer Natur sein, um die schädlichen Auswirkungen zu begrenzen, zu kontrollieren und zu vermeiden.
Sie können aber auch technologischer Natur sein, wobei der Wettlauf zwischen feindlichen und defensiven Technologien nichts Neues ist.
Oder militärischer Natur in Form einer kognitiven Doktrin, Strategie oder von Vigilanzsystemen.
Andernfalls kann man versuchen, sich des Einflusses dieser Technologien so weit wie möglich zu entziehen, und sie umgehen, um sich in der Realität zu verankern.
Sonstige Massnahmen müssen auf den Schutz insbesondere der Jüngsten unter uns abzielen. Die Versuchung ist gross, ihnen ein Tablet zu geben, damit sie während der Mahlzeiten stillhalten. Doch schon die passive Exposition gegenüber den sensorischen Reizen auf dem Bildschirm kann die Entwicklung ihres Gehirns beeinträchtigen, insbesondere im Hinblick auf ihre gestalterischen Fähigkeiten, ihre Aufmerksamkeit, Konzentration und Sprache.
Die Verteidigung der kognitiven Autonomie beginnt mit einer gesunden neuroanatomischen Entwicklung der Kinder.
Die eigene Freiheit und kognitive Souveränität lässt sich auch durch Bildung, das Begreifen der Komplexität und die Entwicklung kritischen Denkens bei der Konfrontation mit Beeinflussungstechnologien stärken.
In allen Fällen muss jeder seine eigene kognitive Integrität verstehen und schützen. Doch das ohne die Verantwortung ausschliesslich auf die Individuen abzuwälzen, denn die Herausforderung ist kollektiver Art.
Technologie hat sich seit jeher im Gleichschritt mit der Menschheitsgeschichte entwickelt. Von den ersten Steinwerkzeugen oder den ersten Transportbehältern hat unsere Art fortwährend neue Instrumente hervorgebracht, um Schwierigkeiten zu umgehen und Wünsche zu befriedigen.
Doch wir haben Technologie immer hauptsächlich im Hinblick darauf betrachtet, was wir aus ihr machen können. Heutzutage zwingt uns die Entwicklung von Neuroalgorithmen, darüber nachzudenken, was uns diese Technologie antun oder aus uns machen könnte.
Dies ist keinesfalls eine Aufforderung dazu, diese Technologien zu ignorieren oder sie nicht zu nutzen. Vielmehr ist dies die dringende Aufforderung, ihnen ungeachtet unserer beruflichen oder sozialen Stellung die richtige Aufmerksamkeit zu widmen.
Ebenso ist dies eine Ermahnung, sich nicht von Bequemlichkeit leiten zu lassen, sondern die Mühe und Zeit, das Interesse und die kritische Betrachtung aufzubringen, die erforderlich sind, um die Funktionsweise und die Beschaffenheit dieser Maschinen zu verstehen. So lässt sich die komplexe Beziehung entschlüsseln, die zwischen ihnen und uns und den Wirtschafts- und Machtsystemen, innerhalb deren dies erfolgt, entsteht und entstehen wird.
Im «Phaidros» und damit in einem der fiktiven Gespräche mit seinem Lehrer Sokrates verwendet Platon den Begriff «Pharmakon» als Metapher für Schrift.
Im Altgriechischen bezeichnet dieser Begriff sowohl ein Heilmittel als auch ein Gift. Das Wort bedeutet auch Heilung und Veränderung, Erleichterung und Verlust. Platon nutzt die Doppeldeutigkeit in diesem Dialog: Dahinter steckt die Idee, dass Schrift zwar einerseits Kenntnisse bewahren, fördern und übertragen, andererseits aber auch das Gedächtnis, das Denken und das fundierte Bewusstsein schwächen kann.
Dass man heute um das Misstrauen Platons gegenüber der Schrift weiss, ist gerade der Tatsache zu verdanken, dass er sie selbst benutzt hat.
Mein Name ist Bruno Giussani, und dies war der DEFTECH-PODCAST über die kognitive Bedrohung.
Vielen Dank fürs Zuhören.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Produktion : Clément Dattée
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin :
Sound design : Felix Davin
