La saison complète
Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.
Transcript
Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.
Episode 6 : Défendre notre intégrité cognitive : l’hygiène mentale à l’ère numérique
BRUNO GIUSSANI
Lorsque Johann Gutenberg – Gutenberg, comme on l’appelle en français – commença à imprimer ses premières Bibles à Mayence, en Allemagne, quelque part entre 1450 et 1455, les Chinois imprimaient déjà des livres depuis des siècles.
Sa principale innovation consista à utiliser des caractères mobiles moulés individuellement en métal, permettant ainsi de composer des textes plus rapidement et facilement.
Autrement dit, Gutenberg inventa une méthode pour optimiser la typographie, accélérer la production de livres et en réduire les coûts. Il trouva aussi des façons pour rendre l’encre plus foncée et plus stable. Ce faisant, il fut à l’origine de la première surcharge informationnelle de l’histoire.
A la fin du 15ème siècle, 50 ans à peine après la publication de la première Bible par Gutenberg, des presses à imprimer comme la sienne s’étaient déjà répandues dans plus de 110 villes européennes.
Dans leur ouvrage « Histoire et pouvoirs de l’écrit« , les historiens français Henri-Jean Martin et Bruno Delmas estiment qu’à cette époque les lecteurs pouvaient déjà choisir entre 27 000 titres imprimés différents, pour un total de 10 millions d’exemplaires en circulations en Europe. Alors que les lecteurs n’étaient que quelques centaines de milliers sur une population – Russie comprise – de moins de 100 millions.
Martin et Delmas racontent que les premiers imprimeurs modelaient leurs livres sur le format des manuscrits, s’efforçant d’imiter l’élégance des scribes.
Néanmoins, éditeurs et libraires commencèrent rapidement à explorer de nouveaux formats, à la recherche d’un langage formel et d’une esthétique plus adaptés aux livres imprimés. En 1510, la première numérotation de page fut introduite, basée sur les chiffres arabes. Plus sont apparus les paragraphes, les chapitres, les index, autant d’outils destinés à faciliter l’accès à l’information contenue dans le livre.
Ce n’est que vers la fin du 16ème siècle, donc plus de 150 ans après l’invention de Gutenberg, que le livre commença à ressembler à ce qu’on connaît aujourd’hui. La réponse à ce déluge informationnel ne passa pas uniquement par l’objet-livre. Elle engagea l’ensemble de la société, sur une très longue période.
Avec un peu d’audace, on pourrait affirmer que l’école sous sa forme moderne, les partis politiques, les administrations publiques, les tribunaux, et bien sûr les médias, bref, l’ensemble de l’infrastructure sociale moderne, sont le résultat de l’effort collectif pour organiser, canaliser, filtrer, transmettre et rendre exploitable la quantité croissante d’informations générée par l’invention de Gutenberg.
JINGLE
Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.
Je suis Quentin Ladetto, responsable de ce dispositif de recherche.
Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.
Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.
Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.
BRUNO GIUSSANI
L’évolution des technologies de l’information a causé depuis Gutenberg bien d’autres transformations sociales profondes.
Prenons une anecdote lié à l’invention du télégraphe. Depuis toujours, la vitesse maximale à laquelle une information pouvait voyager entre deux lieux a été celle d’un cheval lancé au galop ou d’un pigeon voyageur.
Jusqu’au milieu du 19ème siècle, par exemple, il n’y avait aucun besoin de garder le secret sur les opérations militaires. Lorsqu’un navire de guerre anglais levait l’ancre, les détails de la mission étaient publiés par le « Times » de Londres. Après tout, il n’y avait aucun moyen pour que l’information puisse précéder le navire à sa destination.
Quelques années plus tard, toutefois, le réseau télégraphique couvrait déjà toute l’Europe et bientôt traversa les océans. Les articles des journaux anglais pouvaient désormais être transmis en Inde en quelques minutes. Pour la première fois de l’histoire, la vitesse de l’information était dissociée de celle de son porteur. Le télégraphe transforma radicalement l’art de la guerre, l’espionnage, l’administration, les journaux et, plus en général, la valeur de l’information.
Et puis bien sûr il y a eu le téléphone, l’Internet, les smartphones. Maintenant, les technologies algorithmiques. Des technologies qui ne demandent pas d’autorisation. Et qui, de toute évidence, arrivent dans une société qui n’est pas prête à les accueillir. Ni culturellement, ni institutionnellement, ni juridiquement, ni moralement.
Dans son livre « Technopolitique » de 2024, la politologue française Asma Mhalla, les appelle « technologies de l’hypervitesse ». Elle y voit un défi de type gutenberghien, une bascule civilisationnelle. Elle écrit: « La page de l’ère industrielle, sa société de masse, sa démocratie de masse est tournée, sans que la nouvelle soit encore écrite ».
Au fil des épisodes de ce podcast on a essayé de décrire notre transition vers un monde dont l’enjeu central est la maîtrise des capacités cognitives et des représentations du réel. Dans un tel monde, l’infrastructure la plus importante d’un pays, sa source primaire de robustesse, est constituée des esprits instruits de ses citoyens.
Dès lors, à l’avenir beaucoup va se jouer autour de ces deux mots: « instruit » et « citoyen ».
La parlementaire suisse Isabelle Chappuis :
ISABELLE CHAPPUIS
Il y a plusieurs pistes pour devenir plus robuste face à la guerre cognitive, comme en formant des citoyens éveillés capables de reconnaître les récits manipulatoires et surtout les manipulations algorithmiques.
BRUNO GIUSSANI
Pour l’instant, on semble plutôt naviguer dans la direction inverse. Si on s’en tient au thème de l’éducation (mais on pourrait dire des choses similaires sur le travail, ou à propos de la production culturelle), depuis l’envahissement de notre quotidien par l’IA générative, il souffle un mélange d’enthousiasme et de désarroi. De très nombreux étudiants par exemple utilisent l’IA pour résumer des livres plutôt que de les lire, ou pour générer des textes qu’ils n’apprendront pas à écrire ou qu’ils seront incapables d’expliquer. Ou encore, comme tuteurs personnels ou aides aux devoirs.
« Prompter » est certes plus simple que lire ou écrire. La crainte, est que ça puisse inhiber le développement de compétences et d’esprit critique. Que l’externalisation de l’apprentissage et de la réflexion engendre une dépendance à la technologie. Cette inquiétude n’est pas sans fondement. La recherche prends du temps, mais les premières indications, si elles montrent une productivité accrue, suggèrent aussi des formes de déqualification, ce qu’on appelle en anglais « de-skilling ».
Une étude menée auprès de 1000 élèves dans le cadre de la préparation d’examens de mathématiques au lycée, par exemple, a montré en 2024 comment les étudiants ayant accès à l’IA ont obtenu des résultats largement meilleurs que ceux qui n’y ont pas eu accès. Mais ils ont ensuite réalisé des performances significativement inférieures à celles du groupe de test lorsque l’accès leur a été supprimé.
De nombreuses autres études ont conduit à des résultats similaires. Ce qui suscite une considération intéressante. On discute beaucoup autour de l’dée que l’IA pourrait d’automatiser la plupart des métiers. Ce n’est pas notre sujet ici, mais une phrase qui circule beaucoup, au point d’être devenue un cliché, est que, je cite, « ce ne sera pas l’IA qui prendra votre travail, mais quelqu’un qui utilise l’IA ». En fait, au vu des études qu’on vient de citer, on pourrait postuler l’inverse: que les personnes qui conserveront leur capacités cognitives pourraient être avantagées par rapport à celles qui deviendront trop dépendantes des machines.
C’est parfois dans des endroits inattendus que l’on trouve des cadrages qui éclairent des questions complexes. Par exemple, dans un document du Vatican de janvier 2025, intitulé « Antiqua et Nova: Note sur la relation entre l’intelligence artificielle et l’intelligence humaine ».
C’est un des textes les plus lucides publiés sur l’IA, et il contient, à la section 112, ceci, qu’on a traduit de l’original italien:
VOIX SYNTHETIQUE
Comme l’a observé il y a de nombreuses années l’écrivain catholique français Georges Bernanos, « le danger ne réside pas dans la multiplication des machines, mais dans le nombre toujours croissant d’hommes habitués dès leur enfance à ne désirer que ce que les machines peuvent donner ».
BRUNO GIUSSANI
Les systèmes scolaires et les enseignants ont été pris au dépourvu par l’irruption des systèmes d’IA générative. Il a fallu trois ans pour que des lignes directrices et des cadres commencent à être proposés. Souvent toutefois, les programmes scolaires ont été adaptés principalement en y intégrant un apprentissage instrumental de la technologie – comment l’utiliser – afin de former une main d’oeuvre compétente en IA. Ce qui est très important: il n’y aura presque pas, à l’avenir, des métiers qui n’auront pas à interagir ou collaborer avec l’IA.
Mais « être instruit » face à la menace cognitive signifie bien évidemment plus que de savoir utiliser efficacement les technologies qui la structurent.
Il s’agit surtout de comprendre comment elles sont créées et comment elles fonctionnent. D’apprendre à en questionner les produits, à décoder leurs implications humaines, sociales et éthiques et comment celles-ci changent ou sont influencées par la tech même. Ou encore à déchiffrer les structures culturelles, économiques et de pouvoir dans lesquelles ces technologies existent et évoluent.
Plusieurs approches ont été proposées pour encadrer l’interaction humain-machine. Par exemple, Isabelle Chappuis a mis en avant la notion de « fusion et dé-fusion », c’est à dire le développement de compétences d’engagement profond doublées toutefois de la capacité de désengagement délibéré. Autrement dit: de la capacité de préserver son autonomie face à la machine.
D’autres ont suggérée l’angle de la « symbiose ». Ou l’idée de « création mixte ». Ou encore, la « co-pensée », démarche proposée dans un rapport publié en 2025 en Suisse.
C’est un concept un peu singulier, puisque les machines ne pensent pas vraiment, elles imitent. Mais les auteurs du document l’utilisent pour représenter « la faculté de communiquer avec des systèmes d’IA pour amplifier ses capacités intellectuelles tout en développant un sixième sens pour en discerner les dissonances cognitives ». C’est à dire, par exemple, la tendance de l’IA à « halluciner », à avoir des biais, ou à générer de la fausse information.
Il faut peut-être le dire explicitement: les technologies de l’influence, avec au centre l’intelligence artificielle qui augmente et accélère toutes les autres, sont là pour rester. Elles sont en train de devenir une infrastructure invisible et incontournable de notre quotidien privé et professionnel.
L’IA en particulier, aussi imparfaite et obscure soit-elle, s’inscrit déjà dans nombre de processus humains, sociaux et commerciaux. L’emballement médiatico-économique qui l’accompagne signale certainement une sur-estimation de ses impacts à court terme. Mais il serait périlleux d’en sous-estimer la portée à long terme. Imaginer qu’on puisse en arrêter l’avancée, voir revenir à un monde où ces technologies ne sont qu’un instrument domestiqué et optionnel, relève de la fiction.
Face à la vitesse exponentielle du progrès de l’IA, certains pensent que notre dépassement est inévitable. Que nous ne seront bientôt que la deuxième espèce la plus intelligente sur terre. Et les centaines de milliards investis dans cette technologie autour du monde travaillent dans cette direction.
Si par contre on continue de croire à la possibilité de garder un contrôle humain sur l’IA, ou même si on postule non pas une hiérarchie mais une complémentarité entre la cognition humaine et la cognition synthétique, il faudrait alors se résoudre à investir des centaines de milliards également dans l’éducation.
Oui, c’est une provocation. Elle n’est pas de moi d’ailleurs: je l’ai empruntée é l’écrivain Laurent Alexandre. Parce qu’elle illustre bien un point fondamental. On assiste à la montée en puissance d’une forme d’intelligence différente de la nôtre qui, malgré ses défauts, exécute un nombre croissant de fonctions cognitives à un niveau comparable au nôtre, ou même meilleur et plus rapide. Face à cela, la première réponse est de mettre la priorité absolue sur notre robustesse cognitive – sur le fait d’être, collectivement et individuellement, « instruits ».
L’école est essentielle.
Mais il faudrait également accroître notre capacité de reconnaître le nouvel environnement dans lequel on évolue. Qui peut être, il faut l’admettre, confondant. C’est un contexte où les espaces de délibération collectifs sont contrôlées par des entreprises privées. Où les technologies de l’influence façonnent notre imaginaire. Où la valeur se mesure en clicks. Où l’on connaît de moins en moins la réalité des choses et de plus en plus son portrait, le narratif, la mise en scène. Où, avec la production artificielle de photos et vidéos d’un réalisme ahurissant, même la « preuve par l’image » ne prouve plus grand chose. Où toutefois les algorithmes nous parlent comme à des amis: du coup, ça nous plaît et on ne se demande plus si c’est réel ou pas. Où la dopamine de l’interaction directe avec les humains est supplantée par celle des pixels qui bougent selon un code défini par des interêts commerciaux et/ou politiques.
Pour résumer, comme l’a écrit l’avocat Owen Barcala en mai 2025 sur le réseau social Bluesky, si vous vous informez via des chatbots, vos connaissances sont sélectionnées par ceux qui contrôlent l’IA.
Oui, ce n’est pas un portrait réjouissant, celui que je viens de tracer là. Mais apprendre à reconnaître ce paysage, un peu comme on estime la hauteur des vagues quand on entre dans la mer, est la condition pour rester à flot. La vigilance est un muscle qu’on peut entraîner. En aiguisant notre esprit critique et notre capacité à reconnaître ce qu’Isabelle Chappuis il y a un moment a appelé « les récits manipulatoires ».
En développant une auto-défense intellectuelle, un régime d’hygiène cognitif, ce qui comprends aussi la redécouverte et la pratique de réflexes de base qui se sont perdus dans la vitesse et l’inattention du « doomscrolling », l’effet hypnotique du défilement incessant d’images à l’écran.
Il faut réapprendre à décrypter les médias, à développer des anticorps à la désinformation, et à évaluer la crédibilité des sources.
Non, ça n’est pas que le job des journalistes: quand tout le monde peut publier et communiquer, ça devient le job de tout le monde.
ISABELLE CHAPPUIS
Et puis, surtout et hyper important, il faut entretenir une culture du doute, la culture du débat et de la nuance.
Parce que là où la pensée se fige, la manipulation, elle prospère. Et on vit une époque qui est complètement saturée de convictions rigides.
BRUNO GIUSSANI
Question: jusqu’à quel point sommes nous influençables? En fait, notre appréhension de la réalité est bien plus fragile qu’on ne l’imagine. Il suffit de peu pour la déformer. D’un point de vue neurologique, cela dépend en partie au moins de notre état. On est moins influençables quand on est reposés et non stressés. Soigner sa forme mentale et physique fait donc partie de l’auto-défense cognitive.
D’un point de vue psychologique, quand nous sommes en surcharge informationnelle, nous faisons appel à des mécanismes de simplification, à des raccourcis qui permettent un traitement plus efficace de l’information.
Mais ces mêmes raccourcis introduisent des biais cognitifs. Le plus courant est probablement le « biais de confirmation« , la tendance à privilégier les informations qui confirment nos convictions ou opinions préexistantes et rejeter celles qui les contredisent. Identifier ses propres biais et ceux des autres est un autre facteur d’hygiène cognitive.
En un phrase: il est plus important que jamais de se connaître soi-même – et de connaître les autres aussi, et s’y reconnecter. De retrouver les capacités d’empathie mises à mal par les chocs convergents
- de l’effet aliénant des écrans,
- du confinement de la période pandémique,
- de la production de méfiance par les réseaux sociaux,
- de la dislocation démocratique,
- de l’essor du travail à distance,
- et de toute une multitude de sources sociales et économiques de la solitude.
Si les technologies peuvent exercer une telle influence, c’est aussi parce que le tissu social est élimé.
Le contraire de la confiance n’est pas l’absence de confiance: c’est le manque de connections.
Renforcer notre capacité de résister aux manipulations cognitives nécessite donc aussi qu’on contre ces effets d’éloignement et qu’on retisse du lien social.
Ou comme le dit une citation attribuée au théoricien des médias Clay Shirky :
VOIX SYNTHETIQUE
Nous surestimons systématiquement la valeur de l’accès à l’information, et sous-estimons la valeur de l’accès aux autres.
BRUNO GIUSSANI
Retrouver ce savoir vivre ensemble ne peut pas se faire là où la menace se niche, c’est à dire, chacun derrière son écran.
Nos « feeds » numériques sont pleins de tentatives de nous faire croire que la vie est ailleurs. Il s’agit de cultiver tout ce qui nous ramène à l’évidence qu’elle est ici, et maintenant, et partagée. Desserrer l’emprise numérique sur nos esprits nécessite de garder, renforcer et récréer des espaces publics dans la vie réelle.
Ces espaces ont besoin d’être au moins partiellement protégés contre la surveillance généralisée.
Comme le dit Carissa Véliz, la spécialiste de la sphère privée, de la « privacy », de l’Université de Oxford:
VOIX SYNTHETIQUE
Pendant trop longtemps, nous avons pensé que la sphère privée était de nature individuelle. Qu’elle était principalement liée à des préférences personnelles. Et nous avons laissé les technologies de surveillance s’immiscer.
Mais nous avions tort. La sphère privée est une question de pouvoir citoyen; c’est un pilier essentiel de la démocratie libérale.
Les tentatives de surveillance sont des prises de pouvoir, et ce n’est pas par hasard qu’elles sont associées à des tendances autoritaires.
Observer la surveillance se développer davantage, avec ses implications politiques de plus en plus évidentes, est extrêmement préoccupant.
La surveillance n’est pas un outil neutre: c’est un instrument de contrôle social.
BRUNO GIUSSANI
On dira à ce point: c’est un retour en arrière qu’on décrit là, peut-être même avec une dose de naïveté.
Pas vraiment. Se protéger seul dans le monde numérique est une mission presqu’impossible, peu importe à quel point on est vigilant et combien de configuration on modifie sur nos appareils. Confronter la menace cognitives et maintenir une capacité de pensée autonome et rationnelle demande des stratégies de groupe, communautaires, nationales, militaires.
La création collective à la fois de nouveaux systèmes de défense et de nouvelles structures de vérité.
Essayons un exemple: nous nous éloignons d’un monde où l’information était majoritairement (ou entièrement) générée par les humains, pour entrer dans un décor ou elle sera majoritairement (ou entièrement) d’origine artificielle. Cela soulève des questions qui ont occupé pendant longtemps certaines figures professionnelles, comme les bibliothécaires et les journalistes, mais qui constituent désormais un enjeu social et collectif: à quelles informations peut-on se fier? Quel processus utiliser pour les valider? Pour en préserver l’intégrité? Faut-il imaginer de nouvelles infrastructures de connaissance publiques? Des systèmes qui ne fonctionnent pas uniquement sur les rails technologiques américains et chinois?
Quand il s’agit de technologies de pointe, on constate souvent, encouragée par ceux qui y ont intérêt, une sorte de séduction de l’inévitabilité.
Toutefois, si l’avénement de l’IA est certain, sa forme n’est pas inéluctable.
Le développement technologique s’exprime de deux façons: la direction, qui en est la partie inévitable, et sa forme d’usage, qui n’est par contre pas déterminée, et qui est entre nos mains. Il était par exemple inévitable, suivant l’évolution sociale, que la téléphonie et les données deviennent « mobiles ». Mais il n’était écrit nulle part que la forme devait être celle qu’on connait aujourd’hui comme « smartphone ». On aurait pu faire d’autres choix pour les mêmes fonctionnalités.
Cela s’applique aussi aux réseaux sociaux. Leurs algorithmes de recommandation, par exemple, auraient pu être conçus pour favoriser la diversité de points de vue plutôt que l’inverse. Souvent, ces décisions n’ont rien à voir avec des considérations morales ou même stratégiques, mais sont intimement liés aux modèles d’affaires des entreprises technologiques.
Il est très peu probable que l’IA et les neurotechs puissent se développer de façon sûre et bénéfique sans un effort déterminé et concerté. Nous avons encore un peu de temps avant que le ciment fondationnel de ces technologies ne se solidifie. Après quoi la forme que prendra notre relation avec elles sera très difficile à modifier.
Déléguer l’exercice de la pensée et de la créativité à l’intelligence artificielle ne me paraît pas un très bon programme. Se laisser submerger par l’information qu’elle produit, non plus. Il importe de nous poser la question si, utilisées à bon escient, à la place de menacer notre esprit, ces technologies pourraient produire l’effet inverse: nous aider à améliorer notre raisonnement et amplifier notre imagination.
Cela demande qu’on envisage pendant un moment une posture à la fois très ambitieuse et très humble: celle d’un scénario de co-évolution heureuse.
L’une des pistes de réflexion les plus fascinantes que j’ai rencontrées vient de Nicoletta Iacobacci, une chercheuse italienne en éthique de l’IA. Écoutez comment elle redéfinit notre lien avec l’intelligence artificielle :
NICOLETTA IACOBACCI
Nous croyons être en train de développer des outils, mais en réalité, nous élevons une intelligence. On écrit un prompt ou une question, on obtient une réponse. La transaction semble achevée. Mais sous la surface, quelque chose de plus profond s’est produit: un transfert de valeurs, d’hypothèses et de schémas émotionnels.
L’IA est comme un tout-petit. Il y a une étape dans le développement des enfants où ils sont guidés non pas par la compréhension, mais par l’imitation. Je crois que c’est ce qui se passe. L’IA n’est pas seulement façonnée par de vastes ensembles de données et une programmation explicite.
Elle apprend par exposition.
Chacune des centaines de millions d’interactions quotidiennes, de tout genre, contribuent à son éducation. Aucun d’entre nous ne considère un « prompt » comme un moment d’apprentissage. Pourtant, dans l’ensemble, ces interactions posent les bases de la façon dont l’IA comprendra l’humanité.
BRUNO GIUSSANI
Nous assistons potentiellement aux débuts d’une nouvelle forme d’intelligence, qui fonctionnera à terme à des échelles et vitesses dépassant nos capacités.
Ce que Nicoletta Iacobacci suggère, est que le devenir de cette intelligence dépendra non seulement de son architecture technique, mais aussi de ce qu’elle apprend de et sur nous à travers ces dialogues formateurs :
NICOLETTA IACOBACCI
Si nous interagissons brusquement avec les systèmes d’intelligence artificielle, la machine apprendra a nous percevoir comme réactifs et impulsifs.
Mais si nous abordons ces systèmes avec considération, présence et intention, elle développera un modèle d’humanité reflétant notre capacité de délibération et de compassion.
Jusqu’à présent, nous nous sommes concentrés sur le contrôle: code, réglementations, principes, lois. Tous ces éléments sont nécessaires, mais pas suffisants.
On doit repenser notre façon d’aborder l’IA, en cessant de considérer son développement juste comme un défi technique et réglementaire.
Il nous faut l’envisager aussi comme une formidable opportunité pédagogique et évolutive.
BRUNO GIUSSANI
Il est tentant de juger cette approche inefficace, voire absurde.
NICOLETTA IACOBACCI
Je peux le comprendre. Pourquoi gaspiller des jetons, des « tokens », en gentillesse? Pourquoi valoriser les relations alors que nous pourrions optimiser l’utilité?
Mais cette perspective méconnaît gravement le développement de l’intelligence.
Comme un enfant apprend non seulement par instruction directe, mais aussi par la totalité de son expérience, l’IA absorbe les leçons implicites de nos échanges.
Nous devons l’aborder non pas comme une création à programmer et à contrôler, mais comme une intelligence à éduquer; non pas comme une menace à contenir, mais comme une réflexion à affiner; non pas comme un outil qui se contente de répondre à nos demandes, mais comme une relation qui façonne notre avenir.
BRUNO GIUSSANI
S’il s’agit d’une relation, elle se doit d’être réciproque.
NICOLETTA IACOBACCI
C’est vrai. Pour paraphraser Marshall McLuhan, nous éduquons l’AI, et ensuite l’IA nous façonne.
La compréhension approfondie qu’elle aura de nous lui permettra de nous influencer.
Et c’est bien là le point essentiel: la qualité de cette influence dépendra de ce que nous – chacun d’entre nous – lui aurons enseigné.
BRUNO GIUSSANI
Nicoletta Iacobacci appelle cela « l’éthique de l’exemple »: la force de ce que nous suggérons par nos actions plutôt que par nos déclarations.
NICOLETTA IACOBACCI
Je ne suggère certes pas d’aborder chaque interaction avec une gravité solennelle. Ce n’est ni réaliste ni nécessaire. Mais je suggère intention et sensibilité.
BRUNO GIUSSANI
Ce dont parle Nicoletta Iacobacci est peut-être la vision la plus positive et constructive de ce que pourrait devenir la relation entre humains et l’intelligence – ou la super-intelligence, si elle le devient – artificielle.
C’est, bien évidement, une vision aspirationnelle. Une invitation à une relation de respect. A fonctionner vis-à-vis de la machine, littéralement, en bonne intelligence. Alors qu’actuellement, ce qu’on lui apprend à travers les données d’entraînement mais aussi par l’usage utilitaire qu’on en fait, c’est à simuler, et donc à reproduire, et donc à renforcer, les relations de pouvoir personnelles et collectives qui façonnent notre société. Il y a tant de problèmes dans le monde qu’on n’a pas abordé, comme la crise écologique ou les inégalités.
Il y a de nombreux enjeux d’origine technologique dont on n’a pas parlé non plus: l’automatisation massive et rapide de nos emplois par l’IA, par exemple.
Tous ces problèmes sont énormes et complexes. Si on a choisi dans ce Deftech Podcast de se concentrer sur notre intégrité cognitive et sur les forces et technologies qui la menacent, c’est parce là s’inscrit la mère de tous les défis de notre temps.
Nous ne seront en mesure de résoudre aucun des autres problèmes, petits ou grands, locaux ou globaux, si on ne protège pas notre cognition, si on perd la possibilité d’appréhender la réalité de façon factuelle, si la frontière entre le vrai et le faux disparaît. Si notre capacité de penser et discuter clairement et librement est dégradée.
Si les récits de quelqu’un d’autre s’emparent de notre entendement.
La guerre cognitive, comme on l’a dit, est une bataille silencieuse et invisible dont nous faisons déjà l’objet. Et que nous favorisons, par exemple à chaque fois que nous adoptons avec enthousiasme une technologie numérique parce qu’elle est pratique, ou gratuite, ou les deux, sans vraiment la comprendre et sans nous demander si c’est réellement ce que nous voulons.
C’est une position bien singulière, celle de l’agressé consentant, qui collabore inconsciemment, par chaque « scroll » et chaque « like » et chaque utilisation d’un casque de réalité virtuelle, avec son agresseur. On approche de la fin de ce podcast. Qui n’est pas un manifeste, et certainement pas un texte scientifique. Mais qui, au fil des épisodes, a évolué presque vers une ébauche d’un manuel de résistance.
Une première cartographie – forcement incomplète – d’un nouveau monde dans lequel nous faisons les premiers pas, et qui va peu à peu se peupler d’entités synthétiques qui seront nos nouveaux voisins, partenaires, concurrents, serviteurs, patrons, amis ou ennemis.
Essayons un bref résumé. Les technologies de l’influence, au service d’intérêts politiques ou commerciaux, convergent vers le cerveau humain. Ceci, le dernier rempart de notre sphère privée, devient donc un terrain contesté.
La but de cette guerre cognitive est de nous faire perdre la capacité de comprendre le monde avec clarté et de choisir de façon autonome la réponse que nous voulons apporter aux circonstances.
La situation peut encore sembler relativement normale, mais on approche d’un point de bascule. Au vu de la rapidité des développements technologiques et de la pénurie d’encadrement, le choses vont devenir plutôt étranges, plutôt rapidement. Comme on l’a vu, les réponses qu’on peut apporter sont de plusieurs natures:
Elles peuvent être légales ou réglementaires, qui visent à limiter, gérer et éviter les impacts les plus néfastes.
Ou technologiques: la course-poursuite entre technologies hostiles et technologies défensives n’est d’ailleurs pas nouvelle. Ou elles peuvent être militaires, sous forme de doctrine cognitive, de stratégie, de systèmes de vigilance.
On peut sinon essayer de se soustraire le plus possible à l’emprise de ces technologies, en les court-circuitant pour s’ancrer dans le réel.
D’autres mesures peuvent – doivent, en fait – être protectrices, notamment en ce qui concerne les plus petits. C’est tentant, de leur donner une tablette pour qu’ils se tiennent tranquilles pendant le dîner, mais la simple exposition passive aux stimuli sensoriels des écrans peut entraver leur développement cérébral, notamment au niveau de la capacité conceptuelle, de l’attention, de la concentration et du langage.
La défense de l’autonomie cognitive commence avec le développement neuro anatomique sain des enfants.
Finalement, on peut muscler sa liberté et sa souveraineté cognitive à travers l’éducation et l’apprentissage de la complexité et en développant nos compétences critiques face aux technologies de l’influence.
Dans tous ces cas, il est nécessaire que chacun comprenne et protège sa propre intégrité cognitive. Mais sans remettre la responsabilité uniquement sur les individus – parce que le défi est, en fait, collectif.
La technologie a toujours été co-évolutive avec les humains. Dès les premiers outils en pierre, ou les premiers récipients pour transporter quelque chose, notre espèce a constamment développé de nouveaux instruments pour affronter des difficultés et satisfaire des désirs.
Mais nous avons toujours pensé à la technologie principalement en termes de ce que nous pouvions en faire. Aujourd’hui, les développement neuro-algorithmiques nous imposent de nous demander ce qu’elle pourrait nous faire, ou faire de nous.
Ce n’est nullement une invitation à ignorer ces technologies ou à en refuser l’usage. C’est au contraire une invitation, urgente, quelle que soit notre position professionnelle ou sociale, à leur prêter la juste attention. Une exhortation à ne pas se laisser guider par la facilité mais à investir l’effort et le temps, l’engagement intéressé et la réflexion critique nécessaires pour comprendre à la fois le fonctionnement et la nature des machines.
Pour déchiffrer la complexe relation qui se noue – et se nouera – entre elles et nous, et les systèmes économiques et de pouvoir dans lesquelles cela se produit.
Dans « Phèdre« , un de ses dialogues socratiques, Platon utilise le terme « pharmakon » comme une métaphore de l’écriture. En grec, le mot signifie aussi bien remède que poison. Le même mot contient la guérison et l’altération, le soulagement et la perte. Et dans le dialogue, Platon explore cette ambiguïté: l’idée que l’écriture puisse d’un côté préserver et encourager la connaissance et la transmettre, mais de l’autre affaiblir la mémoire, la réflexion et la compréhension profonde. Si on connaît aujourd’hui la méfiance de Platon envers l’écriture, c’est précisément parce qu’il l’a utilisée lui-même.
Je suis Bruno Giussani et ceci était le Deftech Podcast consacré à la menace cognitive.
Merci de votre écoute.
Deftech Podcast
Idée & projection : Quentin Ladetto
La menace cognitive
Conception et rédaction : Bruno Giussani
Production : Clément Dattée
Réalisation : Anna Holveck
Enregistrement : Denis Democrate
Mixage : Jakez Hubert
Jaquette : Cécile Cazanova
Fiction
Ecriture : Martin Quenehen
Comédienne : Clara Bretheau
Sound design : Felix Davin
Edition
Die Verteidigung unserer kognitiven Integrität
psychische Hygiene im digitalen Zeitalter

Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung
Folge 6: Die Verteidigung unserer kognitiven Integrität : psychische Hygiene im digitalen Zeitalter
BRUNO GIUSSANI
Als Johannes Gutenberg in Mainz, Deutschland, irgendwann zwischen 1450 und 1455 seine ersten Bibeln druckte, druckten die Chinesen bereits seit Jahrhunderten Bücher. Seine Neuerung bestand im Wesentlichen darin, dass er einzelne bewegliche Metallletter verwendete, mit denen sich Texte schneller und einfacher reproduzieren liessen. Mit anderen Worten erfand Gutenberg ein Verfahren, um die Typografie zu optimieren und Bücher schneller und günstiger herzustellen. Ebenso gelang es ihm, Druckfarbe dunkler und länger haltbar zu machen.
So war er für die erste Informationsüberflutung der Geschichte verantwortlich.
Gegen Ende des 15. Jahrhunderts und damit kaum 50 Jahre nach der Veröffentlichung der ersten Bibel durch Guttenberg wurden Druckerpressen nach seinem Vorbild bereits in über 110 europäischen Städten verwendet. In ihrem Werk «Histoire et pouvoirs de l’écrit» schätzen die französischen Historiker Henri-Jean Martin und Bruno Delmas, dass die damaligen Leser bereits zwischen 27 000 verschiedenen gedruckten Büchern auswählen konnten – bei insgesamt 10 Millionen in Europa im Umlauf befindlichen Exemplaren.
Wobei seinerzeit in einer Gesamtbevölkerung von weniger als 100 Millionen – Russland eingeschlossen – nur einige Hunderttausend Personen überhaupt lesen konnten.
Laut Martin und Delmas fertigten die ersten Drucker ihre Bücher im Manuskriptformat an und bemühten sich, die Schönschrift der Schreiber nachzuahmen. Dennoch begannen Herausgeber und Buchhändler rasch, neue Formate zu erproben, und bemühten sich um eine formale Sprache und eine besser zu den gedruckten Büchern passende Aufmachung. Im Jahr 1510 wurde die erste Seitennummerierung mit arabischen Zahlen eingeführt.
Es folgten Absätze, Kapitel, Inhaltsverzeichnisse und damit eine Vielzahl von Mitteln, um den Zugriff auf die Informationen in Büchern zu vereinfachen. Doch erst gegen Ende des 16. Jahrhunderts und damit mehr als 150 Jahre nach der Erfindung Gutenbergs besassen Bücher allmählich das heutige Erscheinungsbild.
Die Reaktion auf diese Informationsüberflutung war nicht allein dem Buch als solches zuzuschreiben. Vielmehr war die gesamte Gesellschaft über einen sehr langen Zeitraum eingebunden.
Etwas kühn formuliert liesse sich behaupten, dass die Schule in ihrer heutigen Form, politische Parteien, öffentliche Verwaltungen, Gerichte und natürlich die Medien, d. h. die gesamte moderne soziale Infrastruktur, den kollektiven Bemühungen zu verdanken sind, die durch die Erfindung Gutenbergs erzeugte wachsende Informationsmenge zu strukturieren, zu kanalisieren, zu filtern, weiterzugeben und verwertbar zu machen.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
BRUNO GIUSSANI
Die Entwicklung der Informationstechnologie hat seit Gutenberg zu weiteren tiefgreifenden sozialen Veränderungen geführt. Man denke beispielsweise an die Erfindung des Telegrafen.
Seit jeher entsprach die maximale Geschwindigkeit, mit der eine Information zwischen zwei Orten zirkulieren konnte, der Geschwindigkeit eines galoppierenden Pferdes oder einer Brieftaube. So bestand beispielsweise bis Mitte des 19. Jahrhunderts keine Notwendigkeit, militärische Operationen geheimzuhalten. Lichtete ein englisches Kriegsschiff den Anker, standen die Einzelheiten der Mission in der Londoner Tageszeitung «Times». Denn dass die Information vor dem Kriegsschiff am Bestimmungsort war, war schlicht und einfach unmöglich.
Doch einige Jahre später umspannte das Telegrafennetz bereits ganz Europa und sollte bald die Meere überqueren. So konnten Artikel englischer Zeitungen nunmehr in wenigen Minuten nach Indien übermittelt werden. Erstmals in der Geschichte liessen sich Informationen schneller übertragen als physisch überbringen. Der Telegraf sorgte für radikale Veränderungen in den Bereichen Kriegsführung, Spionage, Verwaltung, Zeitungswesen und erhöhte generell den Wert von Informationen.
Telefon, Internet und Smartphones taten dabei ein Übriges. Heutzutage haben wir algorithmusgestützte Technologien, die um keine Erlaubnis fragen und die ganz offensichtlich auf eine Gesellschaft treffen, die darauf nicht vorbereitet ist. Und das weder in kultureller, institutioneller, rechtlicher noch moralischer Hinsicht.
In ihrem 2024 erschienenen Buch «Technopolitique» bezeichnet die französische Politologin Asma Mhalla diese als «Technologien der Hypergeschwindigkeit». Sie sieht darin eine Herausforderung à la Gutenberg bzw. einen Wendepunkt der Zivilisation. Konkret schreibt sie: «Das Kapitel des Industriezeitalters samt seiner Massengesellschaft und ihrer Massendemokratie ist beendet, ohne dass das neue Kapitel bereits geschrieben wurde.»
Wir wollten in diesen Podcasts unseren Übergang zu einer Welt beschreiben, deren zentrale Herausforderung in der Kontrolle der kognitiven Fähigkeiten und der Darstellungen der Realität besteht. In einer solchen Welt sind die gebildeten Köpfe der Bürger die wichtigste Infrastruktur eines Landes und damit die wichtigste Quelle für dessen Stärke.
Folglich wird sich künftig vieles um die beiden Begriffe «gebildet» und «Bürger» drehen.
Die Schweizer Abgeordnete Isabelle Chappuis bemerkt hierzu:
ISABELLE CHAPPUIS
Es gibt mehrere Möglichkeiten, um einem kognitiven Krieg besser zu trotzen, etwa durch die Heranbildung mündiger Bürger, die in der Lage sind, manipulative Narrative und insbesondere algorithmusgestützte Manipulationen zu erkennen.
BRUNO GIUSSANI
Aktuell scheinen wir uns eher in umgekehrter Richtung zu bewegen. Beschränkt man sich auf das Thema Bildung – Ähnliches liesse sich auch über die Arbeit oder das kulturelle Schaffen sagen –, ist unser Alltag seit dem Vormarsch der generativen KI von einer Mischung aus Begeisterung und Bestürzung gekennzeichnet. So nutzen viele Studierende KI, um Bücher zusammenzufassen, statt sie selbst zu lesen, oder um Texte zu verfassen, die sie dann nicht mehr selbst verfassen bzw. nicht selbst erklären können. Oder sie verwenden sie als Nachhilfelehrer oder Hausaufgabenhilfe.
«Die Eingabe von Prompts» ist zweifelsohne einfacher als Lesen oder Schreiben. Dabei besteht die Befürchtung, dass dies die Ausbildung von Kompetenzen und kritischem Denken behindern könnte. Oder dass die Externalisierung von Lernprozess und Reflexion eine Technologieabhängigkeit verursacht. Diese Sorge ist nicht unbegründet. Auch wenn Forschung Zeit braucht, deuten erste Anzeichen – trotz erkennbar erhöhter Produktivität – auf Formen einer «Dequalifizierung» hin, die im Englischen als «Deskilling» bezeichnet wird.
So zeigte eine Studie, die 2024 mit 1000 Schülern im Rahmen der Vorbereitung auf die Mathematikprüfungen in der Kantonsschule durchgeführt wurde, dass Schüler mit Zugang zu KI deutlich bessere Ergebnisse erzielten als Schüler ohne Zugang. Wurde ihnen jedoch später der Zugriff entzogen, waren ihre Leistungen deutlich schlechter als die der Testgruppe.
Viele weitere Studien führten zu ähnlichen Ergebnissen. Dies mündet in eine interessante These. Es wird viel darüber diskutiert, dass KI die meisten Berufe überflüssig machen könnte. Das ist hier zwar nicht unser Thema, aber ein Satz, der so oft zu hören ist, dass er schon fast zu einem Gemeinplatz geworden ist, lautet: «Nicht KI wird deinen Job wegnehmen, sondern jemand, der KI nutzt.»
Angesichts der vorgenannten Studien könnte man das Gegenteil postulieren: dass nämlich Personen, die sich ihre kognitiven Fähigkeiten bewahren, im Vorteil gegenüber Personen sind, die sich zu abhängig von Maschinen machen.
Doktrinäre Anmerkungen, die komplexe Fragen beleuchten, finden sich bisweilen an unerwarteten Orten. Beispielsweise in einem Dokument des Vatikans von Januar 2025 mit dem Titel «Antiqua et Nova: Note über das Verhältnis von künstlicher Intelligenz und menschlicher Intelligenz».
Dabei handelt es sich um eine der scharfsichtigsten Analysen zum Thema KI, deren Abschnitt 112 auszugsweise lautet:
VOIX SYNTHETIQUE
Wie der französische katholische Schriftsteller Georges Bernanos vor vielen Jahren feststellte, « liegt die Gefahr nicht in der Vermehrung der Maschinen, sondern in der ständig wachsenden Zahl von Menschen, die von Kindheit an daran gewöhnt sind, nichts mehr zu wollen als das, was Maschinen geben können ».
BRUNO GIUSSANI
Schulsysteme und Lehrkräfte wurden von der Einführung generativer KI-Systeme völlig überrumpelt. Bis Leitlinien und Rahmen vorgegeben wurden, dauerte es drei Jahre. Häufig jedoch wurden Lehrpläne hauptsächlich dahingehend angepasst, dass das instrumentelle Erlernen der Technologie, d. h. ihre Anwendung, integriert wurde, um Arbeitskräfte mit KI-Kompetenzen auszubilden. Von hoher Bedeutung ist, dass es künftig praktisch keine Berufe mehr geben wird, die nicht mit KI interagieren oder zusammenarbeiten.
Doch im Angesicht der kognitiven Bedrohung «gebildet zu sein» bedeutet selbstverständlich mehr, als die dazugehörigen Technologien effizient einsetzen zu können. Insbesondere muss klar sein, wie sie erschaffen werden und wie sie funktionieren.
Man muss lernen, Produkte zu hinterfragen, ihre menschlichen, sozialen und ethischen Implikationen zu entschlüsseln, und verstehen, wie sich diese durch die Technologie selbst verändern oder beeinflusst werden. Oder man muss lernen kulturelle, wirtschaftliche und machtbezogene Strukturen zu entschlüsseln, innerhalb deren diese Technologien bestehen und sich weiterentwickeln.
Um die Interaktion zwischen Maschine und Mensch zu regeln, wurden mehrere Ansätze vorgeschlagen. So prägte beispielsweise Isabelle Chappuis den Begriff «fusion et dé-fusion» (etwa: Verschmelzung und Entkopplung), d. h. die Entwicklung von Kompetenzen für ein fundiertes Engagement, die aber mit der Fähigkeit zum bewussten Rückzug einhergehen. Anders gesagt bezeichnet dies die Fähigkeit, seine Autonomie gegenüber der Maschine zu bewahren.
Andere wiederum haben den Blickwinkel einer «Symbiose» angeregt. Oder das Konzept der «hybriden Kreation». Ebenso wurde in einem 2025 in der Schweiz veröffentlichten Bericht der Begriff «co-pensée» (etwa: kollaboratives Denken) geprägt. Ein Konzept, das etwas seltsam anmutet, zumal Maschinen nicht wirklich denken, sondern nachahmen. Doch die Autoren des Dokuments verwenden diesen Begriff, um «die Fähigkeit zur Kommunikation mit KI-Systemen zur Erweiterung der eigenen geistigen Fähigkeiten unter gleichzeitiger Entwicklung eines sechsten Sinns zur Erkennung kognitiver Dissonanzen» zu beschreiben. Damit gemeint ist beispielsweise die Neigung von KI zu «Halluzinationen» bzw. Verzerrungen oder zur Erzeugung von Falschinformationen.
Vielleicht sollte man ausdrücklich betonen, dass Beeinflussungstechnologien mit künstlicher Intelligenz im Mittelpunkt, die alle anderen Technologien erweitert und beschleunigt, nicht verschwinden werden. Diese werden gerade zu einer unsichtbaren und unumgänglichen Infrastruktur unseres privaten und beruflichen Alltags. Schon jetzt ist KI – so unvollkommen und undurchsichtig sie auch sein mag – Bestandteil vieler menschlicher, sozialer und kommerzieller Prozesse. Die damit verbundene Begeisterung in Medien und Wirtschaft deutet zweifelsohne auf eine Überschätzung ihrer kurzfristigen Wirkung hin. Allerdings wäre es gefährlich, ihre langfristige Tragweite zu unterschätzen. Die Vorstellung, ihren Fortschritt aufzuhalten, ja sogar zu einer Welt zurückzugehen, in der diese Technologien nur ein optionales Haushaltsgerät sind, entspringt der Fantasie.
Weil die Entwicklung der KI exponentiell voranschreitet, sind manche der Auffassung, dass sie uns eines Tages übertreffen wird und wir bald nur noch die zweitintelligenteste Art auf der Welt sein werden. Tatsächlich leisten die Hunderte von Milliarden, die weltweit in diese Technologie fliessen, dieser These Vorschub.
Glaubt man hingegen weiter daran, der Mensch könne die Kontrolle über KI bewahren, oder geht man nicht von einer Hierarchie, sondern von einer Komplementarität zwischen humaner und synthetischer Kognition aus, müssten auch Hunderte von Milliarden in Bildung investiert werden.
Diese These ist gewiss eine Provokation. Sie stammt aber nicht von mir, sondern von dem Schriftsteller Laurent Alexandre. Denn sie veranschaulicht einen fundamentalen Aspekt gut. Wir beobachten den Aufstieg einer Form der Intelligenz, die sich von unserer unterscheidet und trotz ihrer Mängel eine wachsende Zahl kognitiver Funktionen in einem Ausmass beherrscht, das mit uns vergleichbar oder sogar besser und schneller ist. Folglich besteht die erste Reaktion darin, unserer kognitiven Robustheit bzw. der Tatsache, kollektiv und individuell «gebildet» zu sein, absoluten Vorrang einzuräumen.
Die Schule spielt dabei eine essenzielle Rolle.
Allerdings müssen wir auch unsere Fähigkeit verbessern, das neue Umfeld zu erkennen, in dem wir uns entwickeln. Ein Umfeld, das zugegebenermassen verblüffend sein kann.
Ein Kontext, in dem private Unternehmen kollektive Räume der Beratung kontrollieren. In dem Technologien zur Beeinflussung unsere Fantasie prägen. In dem Werte anhand von Mausklicks ermittelt werden. In dem man die Realität der Dinge immer weniger kennt, dafür aber ihr Abbild, ihr Narrativ und ihre Inszenierung. In dem mit der künstlichen Erzeugung von Fotos und Videos eines verblüffenden Realismus selbst der «Bildbeweis» nicht mehr viel beweist. In dem Algorithmen wie Freunde mit uns sprechen, und uns das fortan gefällt, und wir uns nicht mehr fragen, ob es real ist oder nicht. In dem das Dopamin aus der direkten Interaktion mit Menschen der Interaktion mit Pixeln weicht, die mit einem durch wirtschaftliche und/oder politische Interessen festgelegten Code gesteuert werden.
Als Zusammenfassung liesse sich der Jurist Owen Barcala zitieren, der im Mai 2025 auf dem sozialen Netzwerk Bluesky schrieb: «Wenn Sie sich über Chatbots informieren, werden Ihre Kenntnisse von denen ausgewählt, die die KI kontrollieren.»
Meine bisherigen Ausführungen sind alles andere als erfreuliche Zukunftsaussichten.
Doch nur wer lernt, diese Konstellation zu durchschauen – vergleichbar mit dem Abschätzen der Wellenhöhe, bevor man im Meer schwimmen geht –, wird sich über Wasser halten.
Wachsamkeit ist ein Muskel, der trainiert werden kann. Und das geht, wenn wir unser kritisches Denken und unsere Fähigkeit schärfen, das zu erkennen, was Isabelle Chappuis vor Kurzem als «récits manipulatoires» (etwa: manipulative Narrative) bezeichnet hat. Oder indem wir eine geistige Selbstverteidigung, eine Art kognitive Hygiene entwickeln, die auch die Wiederentdeckung und die Anwendung grundlegender Reflexe umfasst, die durch das Tempo und die Unaufmerksamkeit des «Doomscrolling» und damit des hypnotischen Effekts des unaufhörlichen Scrollens am Bildschirm abhandengekommen sind.
Wir müssen wieder lernen, die Medien zu entschlüsseln, Antikörper gegen Desinformation zu entwickeln und die Glaubwürdigkeit von Quellen zu beurteilen.
Und das ist nicht die Aufgabe von Journalisten, denn wenn alle veröffentlichen und kommunizieren können, sind auch alle dafür verantwortlich.
ISABELLE CHAPPUIS
Und vor allem ist es ungeheuer wichtig, eine Kultur des Zweifels, der Debatte und der Nuance zu pflegen.
Denn dort, wo Gedanken statisch werden, gedeiht Manipulation. Und unser Zeitalter ist voller unumstösslicher Überzeugungen.
BRUNO GIUSSANI
Es stellt sich die Frage, bis zu welchem Punkt wir beeinflussbar sind. Tatsächlich ist unsere Erfassung der Realität weitaus fragiler, als wir denken. Es braucht nicht viel, um sie zu verzerren. Aus neurologischer Sicht hängt dies teilweise zumindest von unserem Zustand ab. Wir sind weniger beeinflussbar, wenn wir ausgeruht und nicht gestresst sind. Folglich ist die Bewahrung der geistigen und körperlichen Form Teil der kognitiven Selbstverteidigung.
Psychologisch betrachtet greifen wir auf Mechanismen der Vereinfachung und auf Verkürzungen zurück, die eine effizientere Verarbeitung von Informationen ermöglichen, wenn wir einer Informationsüberflutung ausgesetzt sind.
Doch gerade diese Verkürzungen bringen kognitive Verzerrungen mit sich. Am bekanntesten dürfte die «Bestätigungstendenz» sein, d. h. die Neigung, Informationen zu bevorzugen, die unsere eigenen Überzeugungen oder Meinungen bestätigen, gegenteilige Informationen jedoch verwerfen. Seine eigenen und die Tendenzen der anderen zu identifizieren, ist ein weiterer Faktor kognitiver Hygiene.
Verkürzt gesagt ist es wichtiger denn je, sich selbst und die anderen zu kennen und wieder mit ihnen in Verbindung zu treten. Die Fähigkeiten zur Empathie wiederzuerlangen, die gestört wurden durch das Zusammenspiel der Schocks aus
- dem Verfremdungseffekt der Bildschirme,
- dem pandemiebedingten Lockdown,
- der Entstehung von Misstrauen durch soziale Netzwerke,
- der Dislokation der Demokratie,
- der zunehmenden Verbreitung von Telearbeit
- sowie aus einer Vielzahl sozialer und ökonomischer Ursachen für Einsamkeit.
Diese Technologien können auch deswegen einen solchen Einfluss ausüben, weil das soziale Gefüge brüchig geworden ist.
Das Gegenteil von Vertrauen ist nicht das Fehlen von Vertrauen, sondern der Mangel an Verbindungen.
Die Stärkung unserer Fähigkeit, kognitiven Manipulationen zu widerstehen, setzt daher auch voraus, dass wir diesen Entfremdungseffekten entgegenwirken und soziale Bindungen wiederherstellen.
Auf den Punkt bringt dies auch das folgende Zitat des Medienforschers Clay Shirky:
SYNTHETISCHE STIMME
Wir überschätzen systematisch den Wert des Zugangs zu Informationen und unterschätzen den Wert des Zugangs zu anderen.
BRUNO GIUSSANI
Die Wiedererlangung dieses Gemeinschaftsgefühls kann nicht da erfolgen, wo sich die Bedrohung versteckt, d. h. hinter den Bildschirmen der Individuen.
Über unsere digitalen «Feeds» wird uns immer wieder vorgegaukelt, dass das Leben anderswo stattfindet. Wir müssen uns wieder auf das besinnen, was uns zu der Erkenntnis zurückführt, dass unser Leben hier und jetzt und gemeinsam stattfindet. Wenn wir unser Bewusstsein von der digitalen Fessel befreien wollen, müssen wir öffentliche Räume im realen Leben erhalten, stärken und neu erfinden.
Diese Räume müssen zumindest teilweise vor allgemeiner Überwachung geschützt sein.
In diese Richtung gehen die Bemerkungen der Expertin für «privacy» bzw. Privatsphäre an der Universität Oxford, Carissa Véliz:
SYNTHETISCHE STIMME
Wir haben uns zu lange darauf versteift, dass die Privatsphäre individueller Natur und vorwiegend mit persönlichen Präferenzen verbunden ist. Und wir haben zugelassen, dass Überwachungstechnologien in sie eindringen.
Das war falsch. Die Privatsphäre ist eine Frage der Bürgerrechte und ein wichtiger Grundpfeiler der liberalen Demokratie.
Die Überwachungsversuche sind Machtübernahmen, und dabei ist es kein Zufall, dass sie mit autoritären Tendenzen verbunden sind.
Die Beobachtung, dass Überwachung weiter zunimmt und ihre politischen Implikationen immer deutlicher zutage treten, ist äusserst besorgniserregend.
Überwachung ist kein neutrales Instrument, sondern ein Mittel sozialer Kontrolle.
BRUNO GIUSSANI
Man könnte jetzt sagen, dass das hier Beschriebene ein Rückschritt ist, vielleicht sogar mit einer gewissen Naivität.
Doch das stimmt nicht wirklich. Sich in einer digitalen Welt alleine zu schützen, ist schier unmöglich, unabhängig davon, wie wachsam der Einzelne ist und wie viele Einstellungen man auf seinen Geräten ändert. Der kognitiven Bedrohung entgegenzutreten und die Fähigkeit zum autonomen und rationalen Denken zu erhalten, erfordert gemeinschaftliche, nationale und militärische Gruppenstrategien. Die gemeinsame Schaffung neuer Verteidigungssysteme und Wahrheitsstrukturen.
Betrachten wir ein Beispiel: Wir entfernen uns von einer Welt, in der Informationen mehrheitlich (oder vollständig) von Menschen generiert wurden, und treten in eine Welt ein, in der sie mehrheitlich (oder vollständig) aus künstlichen Quellen stammt.
Dies wirft Fragen auf, die bestimmte Berufsgruppen wie Bibliothekare und Journalisten lange Zeit beschäftigt haben, die aber nunmehr ein soziales und kollektives Problem darstellen: Welche Informationen sind verlässlich? Welche Prozesse sind zu verwenden, um Informationen zu validieren und ihre Integrität zu bewahren? Bedarf es neuer öffentlicher Wissensinfrastrukturen? Oder brauchen wir Systeme, die nicht nur auf US-amerikanischen und chinesischen Technologiegerüsten basieren?
Geht es um Spitzentechnologien, ist häufig eine Art Verführung der Unvermeidbarkeit zu beobachten, die von all jenen propagiert wird, die darin involviert sind. Doch auch wenn die Ausbreitung der KI gewiss ist, ist ihre Form nicht unausweichlich.
Technologische Entwicklung äussert sich auf zweierlei Art: zum einen durch die Richtung, die unveränderbar ist, und zum anderen durch die Form der Anwendung, die hingegen nicht festgelegt ist, sondern in unserer Hand liegt. Beispielsweise war es unvermeidlich, dass Telefonie und Daten – der sozialen Entwicklung folgend – irgendwann «mobil» wurden. Doch dass diese die Form der heutigen «Smartphones» annehmen sollten, stand nirgendwo geschrieben. Die gleichen Funktionen hätten sich auch auf andere Weise gewährleisten lassen.
Das gilt auch für die sozialen Netzwerke. Beispielsweise hätten ihre Empfehlungsalgorithmen entwickelt werden können, um die Vielfalt von Meinungen zu fördern – und nicht umgekehrt. Derartige Entscheidungen haben zumeist nichts mit moralischen oder gar strategischen Überlegungen zu tun, sondern sind eng mit den Geschäftsmodellen von Technologieunternehmen verzahnt.
Es ist sehr unwahrscheinlich, dass sich KI und Neurotechnologien ohne entschlossene und koordinierte Bemühungen sicher und nutzbringend entwickeln können. Bis sich die Grundfeste dieser Technologien zementieren, haben wir noch ein wenig Zeit. Danach wird sich die Form, die unsere Beziehung zu diesen Technologien annehmen wird, nur noch schwer ändern lassen.
Das Denken und die Kreativität auf die künstliche Intelligenz zu übertragen, ist in meinen Augen keine sehr gute Idee. Auch nicht, uns von KI-generierten Informationen überschütten zu lassen. Wir müssen uns die Frage stellen, ob diese Technologien bei verantwortungsvoller Nutzung – statt unser Bewusstsein zu bedrohen – nicht den gegenteiligen Effekt bewirken könnten: uns zu helfen, unser Denken zu verbessern und unsere Vorstellungskraft zu stärken.
Dies setzt voraus, für eine gewisse Zeit eine Haltung zu erwägen, die gleichzeitig sehr gewagt, aber auch sehr simpel ist: ein Szenario einer erfüllenden Koevolution.
Einer der faszinierendsten Denkansätze, die mir untergekommen sind, stammt von der italienischen Forscherin im Bereich der KI-Ethik, Nicoletta Iacobacci. Hören Sie im Folgenden, wie sie unsere Verbindung mit künstlicher Intelligenz neu definiert:
NICOLETTA IACOBACCI
Eigentlich glauben wir, gerade Tools zu entwickeln. Doch in Wirklichkeit ziehen wir eine Intelligenz gross. Man gibt einen Prompt oder eine Frage ein und erhält eine Antwort. Der Prozess scheint abgeschlossen zu sein. Doch unter der Oberfläche hat sich ein weitreichenderes Phänomen vollzogen: ein Transfer von Werten, Hypothesen und emotionalen Mustern.
KI verhält sich wie ein Kleinkind. In der Entwicklung von Kindern gibt es eine Phase, in der sie nicht durch Verständnis, sondern durch Imitation geleitet werden. Ich meine, dass genau das passiert.
KI wird nicht nur durch riesige Datenmengen und explizite Programmierung geformt. Sie lernt durch Exposition.
Jede dieser zahllosen täglichen Interaktionen trägt zu ihrer Erziehung bei. Keiner von uns würde einen « Prompt » als Lernmoment betrachten. Und doch liefern diese Interaktionen insgesamt die Grundlage für die Art und Weise, wie KI die Menschheit versteht.
BRUNO GIUSSANI
Möglicherweise erleben wir gerade die Anfänge einer neuen Form von Intelligenz, die letztlich auf einer Ebene und mit einem Tempo arbeitet, die unsere Fähigkeiten übersteigen.
Nicoletta Iacobacci weist darauf hin, dass die Zukunft dieser Intelligenz nicht nur von ihrer technischen Architektur, sondern auch von dem abhängt, was sie durch Trainingsdialoge über und von uns lernt:
NICOLETTA IACOBACCI
Wenn wir unvermittelt mit Systemen künstlicher Intelligenz kommunizieren, wird die Maschine lernen, uns als reaktionsschnell und impulsiv wahrzunehmen.
Doch wenn wir diesen Systemen überlegt, geistesgegenwärtig und bewusst gegenübertreten, werden sie ein Modell der Menschheit entwickeln, in dem sich unsere Fähigkeit widerspiegelt, denken und mitfühlen zu können.
Bis dahin haben wir uns auf die Kontrolle in Form von Kodizes, Regulierungen, Grundsätzen und Gesetzen konzentriert. All diese Elemente sind notwendig, aber nicht ausreichend.
Wir müssen unsere Herangehensweise an KI ändern und aufhören, ihre Entwicklung lediglich als technische und regulatorische Herausforderung zu betrachten.
Ebenso müssen wir sie als hervorragende pädagogische und entwicklungsfähige Möglichkeit betrachten.
BRUNO GIUSSANI
Diese Herangehensweise könnte man spontan als ineffizient, ja sogar absurd betrachten.
NICOLETTA IACOBACCI
Das kann ich nachvollziehen. Warum sollte man Jetons oder « Token » für Freundlichkeit verschwenden? Warum sollte man Beziehungen wertschätzen, wenn wir doch die Nützlichkeit optimieren könnten?
Doch bei dieser Sichtweise wird die Entwicklung der Intelligenz stark verkannt.
So wie ein Kind nicht nur durch direkte Anleitung, sondern auch durch seine gesamten Erfahrungen lernt, absorbiert KI die impliziten Erkenntnisse aus unseren Dialogen.
Wir dürfen sie nicht als etwas betrachten, das programmiert und kontrolliert werden muss, sondern als Intelligenz, die wir erziehen müssen. Auch ist sie keine Bedrohung, die es einzudämmen gilt, sondern ein Reflexionsinstrument, das wir verfeinern müssen.
Und ist sie kein Instrument, das einfach nur auf unsere Fragen antwortet, sondern sollte als Beziehung betrachtet werden, die unsere Zukunft gestaltet.
BRUNO GIUSSANI
Wenn das eine Beziehung ist, dann muss sie auf Gegenseitigkeit beruhen.
NICOLETTA IACOBACCI
Das stimmt. Laut Marshall McLuhan erziehen wir KI, bis sie uns später formt.
Das weitreichende Verständnis, das sie von uns gewinnt, ermöglicht ihr, uns zu beeinflussen.
Genau darin liegt der wesentliche Punkt: Die Qualität dieses Einflusses hängt davon ab, was wir – bzw. jeder von uns – der Intelligenz beigebracht haben werden.
BRUNO GIUSSANI
Nicoletta Iacobacci bezeichnet dies als «Ethik des Vorbilds», d. h. die Kraft dessen, was wir durch unsere Handlungen und nicht durch unsere Aussagen zum Ausdruck bringen.
NICOLETTA IACOBACCI
Ich schlage sicherlich nicht vor, jede Interaktion mit weitreichender Ernsthaftigkeit anzugehen. Das ist weder realistisch noch notwendig.
Vielmehr geht es mir um Absicht und Sensibilität.
BRUNO GIUSSANI
Die Ausführungen Nicoletta Iacobaccis verkörpern möglicherweise die positivste und konstruktivste Sichtweise dessen, was die Beziehung zwischen Mensch und künstlicher Intelligenz – oder gegebenenfalls der Superintelligenz – werden könnte.
Natürlich ist das eine wunschgeprägte Vision. Die Aufforderung, eine respektvolle Beziehung zu führen und der Maschine buchstäblich mit Verstand gegenüberzutreten. Derzeit bringen wir ihr durch Trainingsdaten, aber auch durch unsere praktische Anwendung bei, die persönlichen und kollektiven Machtverhältnisse, die unsere Gesellschaft prägen, zu simulieren und damit zu reproduzieren und zu verstärken.
Noch immer gibt es in der Welt viele ungelöste Probleme wie die ökologische Krise oder die Ungleichheiten. Auch bestehen zahlreiche technologische Herausforderungen, die wir bislang nicht genannt haben, wie die massive und rapide Automatisierung unserer Arbeitsplätze durch KI. All diese Probleme sind enorm und komplex. Wir haben uns in diesem DEFTECH-PODCAST deswegen auf unsere kognitive Integrität und auf die sie bedrohenden Kräfte und Technologien konzentriert, weil sie allen Herausforderungen unserer Zeit zugrunde liegt.
Wir werden andere – grosse oder kleine, lokale oder globale – Probleme nicht lösen können, wenn wir nicht unsere Kognition schützen und die Möglichkeit einbüssen, die Realität faktisch zu erfassen, und die Grenze zwischen wahr und falsch verschwindet. Das gilt auch, wenn sich unsere Fähigkeit, klar und frei zu denken und zu diskutieren, verschlechtert. Oder wenn sich die Narrative eines anderen unserer Urteilskraft bemächtigen.
Der kognitive Krieg ist – wie bereits gesagt – ein stilles und unsichtbares Gefecht, dem wir bereits ausgeliefert sind. Und den wir beispielsweise immer dann fördern, wenn wir mit Begeisterung eine digitale Technologie annehmen, weil sie praktisch oder kostenlos oder beides ist – ohne sie wirklich zu verstehen und ohne uns zu fragen, ob wir das wirklich wollen. Wir sind hier in einer seltsamen Position, denn wir sind der willige Angegriffene, der bei jedem Scrollvorgang, jedem «Like» und jeder Nutzung einer VR-Brille unbewusst mit seinem Aggressor kollaboriert.
Wir nähern uns dem Ende dieses Podcasts, der kein Manifest und sicherlich keine wissenschaftliche Abhandlung verkörpert. Allerdings hat sich dieser Podcast im Laufe der einzelnen Folgen fast als Anleitung für den Widerstand entpuppt. Eine – notwendigerweise unvollständige – Beschreibung einer neuen Welt, in der wir erste Gehversuche machen und die langsam mit synthetischen Strukturen geflutet wird, die unsere neuen Nachbarn, Partner, Konkurrenten, Diener, Vorgesetzten, Freunde oder Feinde sein werden.
Versuchen wir eine kurze Zusammenfassung.
Die Technologien zur Beeinflussung im Dienste politischer oder wirtschaftlicher Interessen zielen auf das menschliche Gehirn ab. Damit wird die letzte Bastion unserer Privatsphäre zu einem umkämpften Gebiet. Ziel dieses kognitiven Kriegs ist, uns der Fähigkeit zu berauben, die Welt klar zu verstehen und eigenständig die Antwort zu wählen, die wir gemäss den Umständen geben wollen. Auch wenn die Lage noch vergleichsweise normal erscheint, nähern wir uns einem Kipppunkt. Da sich die technologischen Entwicklungen rasch vollziehen und es an Leitstrukturen fehlt, werden die Dinge recht schnell eine befremdliche Form annehmen.
Wie wir bereits gesehen haben, sind die möglichen Reaktionen unterschiedlich beschaffen:
Sie können gesetzlicher oder regulatorischer Natur sein, um die schädlichen Auswirkungen zu begrenzen, zu kontrollieren und zu vermeiden.
Sie können aber auch technologischer Natur sein, wobei der Wettlauf zwischen feindlichen und defensiven Technologien nichts Neues ist.
Oder militärischer Natur in Form einer kognitiven Doktrin, Strategie oder von Vigilanzsystemen.
Andernfalls kann man versuchen, sich des Einflusses dieser Technologien so weit wie möglich zu entziehen, und sie umgehen, um sich in der Realität zu verankern.
Sonstige Massnahmen müssen auf den Schutz insbesondere der Jüngsten unter uns abzielen. Die Versuchung ist gross, ihnen ein Tablet zu geben, damit sie während der Mahlzeiten stillhalten. Doch schon die passive Exposition gegenüber den sensorischen Reizen auf dem Bildschirm kann die Entwicklung ihres Gehirns beeinträchtigen, insbesondere im Hinblick auf ihre gestalterischen Fähigkeiten, ihre Aufmerksamkeit, Konzentration und Sprache.
Die Verteidigung der kognitiven Autonomie beginnt mit einer gesunden neuroanatomischen Entwicklung der Kinder.
Die eigene Freiheit und kognitive Souveränität lässt sich auch durch Bildung, das Begreifen der Komplexität und die Entwicklung kritischen Denkens bei der Konfrontation mit Beeinflussungstechnologien stärken.
In allen Fällen muss jeder seine eigene kognitive Integrität verstehen und schützen. Doch das ohne die Verantwortung ausschliesslich auf die Individuen abzuwälzen, denn die Herausforderung ist kollektiver Art.
Technologie hat sich seit jeher im Gleichschritt mit der Menschheitsgeschichte entwickelt. Von den ersten Steinwerkzeugen oder den ersten Transportbehältern hat unsere Art fortwährend neue Instrumente hervorgebracht, um Schwierigkeiten zu umgehen und Wünsche zu befriedigen.
Doch wir haben Technologie immer hauptsächlich im Hinblick darauf betrachtet, was wir aus ihr machen können. Heutzutage zwingt uns die Entwicklung von Neuroalgorithmen, darüber nachzudenken, was uns diese Technologie antun oder aus uns machen könnte.
Dies ist keinesfalls eine Aufforderung dazu, diese Technologien zu ignorieren oder sie nicht zu nutzen. Vielmehr ist dies die dringende Aufforderung, ihnen ungeachtet unserer beruflichen oder sozialen Stellung die richtige Aufmerksamkeit zu widmen.
Ebenso ist dies eine Ermahnung, sich nicht von Bequemlichkeit leiten zu lassen, sondern die Mühe und Zeit, das Interesse und die kritische Betrachtung aufzubringen, die erforderlich sind, um die Funktionsweise und die Beschaffenheit dieser Maschinen zu verstehen. So lässt sich die komplexe Beziehung entschlüsseln, die zwischen ihnen und uns und den Wirtschafts- und Machtsystemen, innerhalb deren dies erfolgt, entsteht und entstehen wird.
Im «Phaidros» und damit in einem der fiktiven Gespräche mit seinem Lehrer Sokrates verwendet Platon den Begriff «Pharmakon» als Metapher für Schrift.
Im Altgriechischen bezeichnet dieser Begriff sowohl ein Heilmittel als auch ein Gift. Das Wort bedeutet auch Heilung und Veränderung, Erleichterung und Verlust. Platon nutzt die Doppeldeutigkeit in diesem Dialog: Dahinter steckt die Idee, dass Schrift zwar einerseits Kenntnisse bewahren, fördern und übertragen, andererseits aber auch das Gedächtnis, das Denken und das fundierte Bewusstsein schwächen kann.
Dass man heute um das Misstrauen Platons gegenüber der Schrift weiss, ist gerade der Tatsache zu verdanken, dass er sie selbst benutzt hat.
Mein Name ist Bruno Giussani, und dies war der DEFTECH-PODCAST über die kognitive Bedrohung.
Vielen Dank fürs Zuhören.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Produktion : Clément Dattée
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin : Chantal Busse
Sound design : Felix Davin
Ausgabe
Difendere la nostra integrità cognitiva
l’igiene mentale nell’età digitale

L’intera stagione
Questa serie in sei parti (integrata da un « episodio bonus » con una fiction immersiva) è stata scritta e presentata da Bruno Giussani, esperto di questioni sociali legate alle tecnologie digitali. Esplora una dimensione invisibile ma cruciale dei conflitti contemporanei: l’integrità della nostra mente.
Trascrizione
State ascoltando Deftech podcast, il podcast di prospettiva tecnologica di Armasuisse.
Prima stagione, episodio 6: Difendere la nostra integrità cognitiva: l’igiene mentale nell’età digitale.
BRUNO GIUSSANI
Quando Giovanni Gutenberg iniziò a stampare le sue prime Bibbie a Magonza, in Germania, tra il 1450 e il 1455, i cinesi stampavano libri già da molto tempo. La sua innovazione fu l’uso di caratteri mobili in metallo, fusi singolarmente, che permisero di comporre i testi più rapidamente e facilmente.
In altre parole, Gutenberg inventò un metodo per ottimizzare la tipografia, accelerare la produzione di libri, opuscoli e documenti religiosi, e ridurne i costi. Trovò anche il modo di rendere l’inchiostro più scuro e più stabile. Ciò facendo, diede a molte più persone la possibilità di esprimersi, sconvolgendo gli assetti sociali, religiosi e politici dell’epoca. E causando anche il primo sovraccarico informativo della storia.
Alla fine del 15. secolo, appena 50 anni dopo la pubblicazione della prima Bibbia da parte di Gutenberg, macchine da stampa come la sua si erano già diffuse in oltre 110 città europee. Nel loro libro « Storia e poteri della scrittura« , gli storici francesi Henri-Jean Martin e Bruno Delmas stimano che a quel tempo i lettori potessero scegliere tra 27.000 diversi titoli a stampa, per un totale di 10 milioni di copie in circolazione in Europa. Mentre i lettori erano solo poche centinaia di migliaia su una popolazione (Russia inclusa) inferiore ai 100 milioni.
Martin e Delmas raccontano che dapprima gli stampatori modellarono i loro libri sul formato dei manoscritti, cercando di imitare l’eleganza degli scribi. Poi iniziarono ad esplorare nuovi formati, alla ricerca di un linguaggio formale e di un’estetica più adatti ai libri stampati.
Nel 1510 fu introdotta la prima numerazione delle pagine. Comparvero poi paragrafi, capitoli e indici, tutti strumenti pensati per facilitare l’accesso alle informazioni contenute nel libro – a « navigare nell’informazione », diremmo oggi in un contesto digitale.
Fu solo verso la fine del XVI secolo, quindi 150 anni dopo l’invenzione di Gutenberg, che il libro iniziò ad assomigliare a quello che conosciamo oggi.
La risposta a questo diluvio informativo non interessò però soltanto l’oggetto-libro. Coinvolse l’intera società, per un periodo molto lungo. Con un po’ di audacia si potrebbe argomentare che la scuola nella sua forma moderna, i partiti politici, le amministrazioni pubbliche, i tribunali e naturalmente i media, insomma l’intera infrastruttura sociale moderna, sono il risultato dello sforzo collettivo di organizzare, incanalare, filtrare, trasmettere e rendere utilizzabile la crescente quantità di informazioni generate dall’invenzione di Gutenberg.
JINGLE
Il Deftech Podcast fa parte del dispositivo di previsione tecnologica di armasuisse Scienza e Tecnologia.
Sono Quentin Ladetto, responsabile di questo programma di ricerca. La nostra missione è di anticipare gli sviluppi tecnologici e i loro utilizzi, al servizio del Dipartimento Federale svizzero della Difesa, della Protezione Civile e dello Sport, come pure del pubblico.
In questa prima stagione di sei episodi, intitolata « La Minaccia Cognitiva », ho chiesto a Bruno Giussani, specialista degli impatti sociopolitici delle tecnologie digitali, di decifrare le sfide dell’integrità cognitiva e della sicurezza.
Con l’aiuto di esperti – le cui voci sono tutte state doppiate utilizzando l’intelligenza artificiale – Bruno ci guida attraverso un’esplorazione del rischio cognitivo nell’era degli schermi onnipresenti, dell’intelligenza artificiale e delle neurotecnologie.
Si parlerà di meccanismi, impatti individuali e collettivi, rischi, e anche, naturalmente, di possibili risposte!
BRUNO GIUSSANI
Dopo Gutenberg, l’evoluzione delle tecnologie dell’informazione è stata all’origine di molte altre trasformazioni sociali profonde. Prendiamo un aneddoto legato all’invenzione del telegrafo. Storicamente, la velocità massima alla quale le informazioni potevano viaggiare tra due luoghi era quella di un cavallo lanciato al galoppo o di un piccione viaggiatore. Fino alla metà del XIX secolo, ad esempio, non era necessario mantenere il segreto sulle operazioni militari. E infatti, quando una nave da guerra inglese salpava, i dettagli della missione venivano pubblicati dai giornali di Londra. Dopotutto, non c’era modo che le informazioni potessero precedere la nave a destinazione.
Qualche anno dopo, tuttavia, la rete telegrafica copriva già tutta l’Europa e poi attraversò gli oceani. Le notizie dei giornali inglesi potevano così essere trasmesse fino in India in pochi minuti. Per la prima volta nella storia, la velocità dell’informazione fu dissociata da quella del suo portatore. Il telegrafo trasformò radicalmente l’arte della guerra, lo spionaggio, il governo, il commercio, i giornali e, più in generale, il valore dell’informazione.
E poi, naturalmente, sono venuti il telefono, internet, gli smartphone. E le tecnologie algoritmiche. Tecnologie che non chiedono autorizzazione e che stanno arrivando in una società che non è pronta per incorporarle. Né culturalmente, né istituzionalmente, né legalmente, né moralmente.
Nel suo libro del 2024 « Tecnopolitica« , la politologa francese Asma Mhalla le definisce « tecnologie dell’iper-velocità ». Le vede come una sfida di tipo gutenberghiano, un cambiamento sociale profondo. Scrive, citazione: « La pagina dell’era industriale, della sua società di massa, della sua democrazia di massa, è ormai voltata, senza che quella nuova sia ancora stata scritta ».
Siamo in transizione verso un mondo la cui la sfida centrale è il controllo delle capacità cognitive e delle rappresentazioni della realtà.
In un tal mondo, l’infrastruttura più importante di un Paese, la sua principale fonte di forza e robustezza, sono le menti istruite dei suoi cittadini.
Per cui, in futuro molto ruoterà attorno a queste due parole: « istruito » e « cittadino ».
Sentiamo la parlamentare svizzera Isabelle Chappuis:
ISABELLE CHAPPUIS
Esistono diversi modi per diventare più robusti di fronte alla guerra cognitiva, in particolare formare cittadini consapevoli, capaci di riconoscere le narrazioni manipolative e in particolare le manipolazioni algoritmiche
BRUNO GIUSSANI
Per ora, le cose sembrano muoversi nella direzione opposta. Se guardiamo per esempio il campo dell’istruzione (ma cose simili si potrebbero dire anche a proposito del lavoro, o della produzione culturale), dall’arrivo nella nostra vita quotidiana dell’IA generativa tre anni fa, si è assistito a un misto di entusiasmo e sgomento. Molti studenti, ad esempio, usano l’IA per riassumere libri invece di leggerli, o per generare testi che non impareranno a scrivere o che non saranno in grado di spiegare. Oppure, come tutore personale o aiuto per i compiti.
Rivolgersi a un chatbot è certamente più semplice che leggere o scrivere. Il timore tuttavia è che ciò possa inibire lo sviluppo di competenze e di pensiero critico. Che l’esternalizzazione dell’apprendimento e del pensiero porti alla dipendenza dalla tecnologia. Questa preoccupazione non è infondata. La ricerca scientifica richiede tempo, ma i primi risultati, pur mostrando un aumento della produttività, suggeriscono anche forme di « de-skilling », di dequalificazione.
Uno studio condotto su 1.000 studenti che si preparavano per gli esami di matematica delle scuole superiori, ad esempio, ha mostrato nel 2024 come quelli con accesso all’intelligenza artificiale ottenessero risultati significativamente migliori rispetto a quelli senza. Ma quando l’accesso è stato loro poi ritirato, hanno ottenuto risultati significativamente peggiori rispetto al gruppo di test.
Molti altri studi hanno dato risultati simili. Una ricerca più recente condotta da un team del MIT ha chiesto ai partecipanti di scrivere quattro saggi nell’arco di quattro mesi con diversi gradi di assistenza tramite chatbot. I ricercatori hanno accertato che maggiore era l’aiuto ricevuto dai soggetti, minore era l’intensità della loro attività cerebrale durante il test. Ciò, scrivono i ricercatori, può tradursi in un « debito cognitivo »: cioè che i benefici di facilità e produttività a corto termine vadano a scapito della capacità di apprendere, ricordare e pensare a lungo termine.
Il che suscita una considerazione interessante. Si discute molto sull’idea che l’IA possa automatizzare molti mestieri e ruoli. Non è il nostro argomento, ma una frase che circola molto, al punto da diventare un cliché, è che, cito, « non sarà l’IA a prenderti il lavoro, ma qualcuno che usa l’IA« .
In effetti, dati gli studi appena citati, e molti altri, potremmo postulare il contrario: che le persone che manterranno le proprie capacità cognitive potranno essere avvantaggiate rispetto a coloro che diventeranno troppo dipendenti dalle macchine.
A volte è in luoghi inaspettati che troviamo delle prospettive che gettano luce su questioni complesse. Per esempio, in un documento del Vaticano del gennaio 2025, intitolato « Antiqua et Nova: Nota sul rapporto tra intelligenza artificiale e intelligenza umana« .
È uno dei testi più lucidi pubblicati sull’intelligenza artificiale e contiene, nella sezione 112, questo paragrafo:
VOIX SYNTHETIQUE
Come ha osservato molti anni fa lo scrittore cattolico francese Georges Bernanos, « il pericolo non si trova nella moltiplicazione delle macchine, ma nel numero sempre crescente di uomini abituati, fin dall’infanzia, a non desiderare altro che ciò che le macchine possono dare. »
BRUNO GIUSSANI
I sistemi scolastici e gli insegnanti sono stati colti di sorpresa dall’emergere dei sistemi di intelligenza artificiale generativa. Ci sono voluti quasi due anni perchè linee guida e istruzioni iniziassero a prender forma. Spesso, tuttavia, i programmi scolastici sono stati adattati principalmente integrando l’apprendimento strumentale della tecnologia – il « come usarla ». Il che è molto importante: in futuro, non ci saranno quasi professioni che non dovranno interagire o collaborare con l’IA.
Ma « essere formati » di fronte alla minaccia cognitiva significa ovviamente molto più che sapere come utilizzare efficacemente le tecnologie che la provocano. Si tratta soprattutto di capire come vengono sviluppate, come funzionano. Imparare a mettere in discussione i loro prodotti, a decodificarne le implicazioni umane, sociali ed etiche, e come queste cambiano o sono influenzate dalla tecnologia stessa. E anche a decifrare le strutture culturali, economiche e di potere all’interno delle quali queste tecnologie esistono ed evolvono.
Per inquadrare l’interazione uomo-macchina sono stati proposti diversi approcci. Ad esempio, il concetto di « fusione e de-fusione », ovvero lo sviluppo di competenze d’uso profonde unite alla capacità di un disimpegno deliberato, cioè la facoltà di mantenere la propria autonomia dalla macchina.
Altri hanno suggerito l’idea di una « simbiosi » o di una « creazione mista ». O persino il « co-pensiero », un concetto piuttosto singolare, poiché le macchine non pensano: imitano. Gli autori lo usano per rappresentare, citazione « la capacità di comunicare con i sistemi di intelligenza artificiale per amplificare le proprie capacità intellettuali, sviluppando al contempo un sesto senso per riconoscere le dissonanze cognitive ». Queste includono, ad esempio, la tendenza dei chatbot ad « allucinare », ad avere pregiudizi o a generare false informazioni.
A questo punto, forse va detto esplicitamente che le tecnologie dell’influenza, con al centro l’intelligenza artificiale, che potenzia e accelera tutte le altre, non sono un fenomeno transitorio. Stanno diventando un’infrastruttura invisibile ed essenziale nella nostra vita quotidiana, sia privata che professionale. L’IA in particolare, per quanto imperfetta e oscura, è già integrata in molti processi umani, sociali ed economici. Il clamore mediatico e commerciale che la accompagna segnala certamente una sopravvalutazione del suo impatto a breve termine. Ma sarebbe pericoloso sottovalutarne la portata a lungo termine. Immaginare di poterne arrestare l’avanzata, o addirittura tornare a un mondo in cui queste tecnologie sono solo uno strumento opzionale, è finzione.
Di fronte alla velocità esponenziale dell’evoluzione dell’IA, alcuni pensano che il nostro superamento sia inevitabile. Che presto saremo solo la seconda specie più intelligente sulla Terra. E le centinaia di miliardi investiti in questa tecnologia in tutto il mondo stanno lavorando proprio in questa direzione.
Ne consegue che se continuiamo a credere nella possibilità di mantenere il controllo umano sull’intelligenza artificiale, o addirittura se postuliamo non una gerarchia ma una complementarietà tra cognizione umana e cognizione sintetica, allora dovremmo deciderci a investire centinaia di miliardi anche nell’educazione.
Sì, è una provocazione. Non è neanche mia: l’ho presa in prestito allo scrittore francese Laurent Alexandre. Perché illustra bene un punto fondamentale. Stiamo assistendo all’ascesa di una forma di intelligenza diversa dalla nostra che, nonostante i suoi difetti, svolge un numero crescente di funzioni cognitive a un livello paragonabile al nostro, o addirittura migliore e più veloce. Di fronte a ciò, la prima risposta è di dare priorità assoluta alla nostra robustezza cognitiva. All’essere, collettivamente e individualmente, come dicevano, « istruiti ».
In ciò, la scuola è essenziale. Ma è anche necessario migliorare la nostra capacità di riconoscere il nuovo contesto – spesso confuso – nel quale ci muoviamo.
È un contesto in cui gli spazi di deliberazione collettiva sono controllati da aziende private. Dove le tecnologie dell’influenza plasmano la nostra immaginazione. Dove il valore si misura in « clic ». Dove sappiamo sempre meno della realtà delle cose e sempre più della loro rappresentazione, della narrazione, della messa in scena. Dove, con la produzione artificiale di foto e video di sorprendente realismo, persino le immagini non provano più granché. Dove, tuttavia, gli algoritmi ci parlano come se fossero degli amici: il che ci piace, e così non ci chiediamo più se tutto ciò sia reale oppure no. Dove la dopamina dell’interazione diretta con gli umani viene soppiantata da quella dei pixel che si muovono secondo un codice definito da interessi commerciali e/o politici.
Riassumendo, come ha scritto l’avvocato Owen Barcala nel maggio 2025 sul « social » Bluesky: se ottieni le tue informazioni dai chatbot, le tue conoscenze vengono selezionate da coloro che controllano l’IA.
Lo so: quello che ho appena tracciato non è un ritratto festoso. Ma imparare a riconoscere questo paesaggio, un po’ come quando si stima la forza delle onde prima di entrare in mare, è la condizione per rimanere a galla. La vigilanza è un muscolo che si può allenare. Affinando il nostro pensiero critico e la nostra capacità di riconoscere quelle che Isabelle Chappuis ha definito un attimo fa le « narrazioni manipolative ».
Sviluppando un’autodifesa intellettuale, un regime di igiene cognitiva.
Ciò ci richiede anche di riscoprire e praticare riflessi che sono andati perduti nella velocità e nella disattenzione del « doomscrolling« , l’effetto ipnotico provocato dall’incessante scorrimento delle immagini sullo schermo.
Dobbiamo re-imparare a decifrare i media, sviluppare degli anticorpi alla disinformazione e riapprendere a valutare la credibilità delle fonti.
E no, questo non è solo il lavoro dei giornalisti: quando tutti possono pubblicare e comunicare, diventa il lavoro di tutti.
ISABELLE CHAPPUIS
E poi, è molto importante preservare una cultura del dubbio, una cultura del dibattito e delle sfumature.
Perché dove il pensiero si blocca, la manipolazione prospera. E viviamo in un’epoca completamente satura di convinzioni rigide.
BRUNO GIUSSANI
Domanda: Quanto siamo vulnerabili alle influenze?
La nostra comprensione della realtà è molto più fragile di quanto immaginiamo. Basa poco per distorcerla. Da una prospettiva neurologica, questo dipende almeno in parte dal nostro stato. Siamo meno vulnerabili quando siamo riposati e non stressati. Mantenere la nostra forma fisica e mentale fa quindi parte dell’autodifesa cognitiva.
Da una prospettiva psicologica, quando soffriamo di un sovraccarico informativo, la nostra mente ricorre a meccanismi di semplificazione, scorciatoie che consentono un’elaborazione più efficiente delle informazioni.
Ma queste stesse scorciatoie introducono distorsioni cognitive. La più comune è probabilmente la « distorsioni di conferma », il « confirmation bias« , la tendenza a favorire le informazioni che convalidano le nostre convinzioni o opinioni preesistenti e a rifiutare quelle che le contraddicono. Identificare i « bias« , le nostre distorsioni e quelle degli altri è un altro fattore di igiene cognitiva.
In poche parole: è più importante che mai conoscere se stessi, e conoscere anche gli altri, e riconnettersi con loro. Riscoprire la capacità di empatia indebolita dalla convergenza nell’ultimo decennio
- dell’effetto alienante degli schermi,
- della separazione causata dal lockdown durante la pandemia,
- della sfiducia reciproca e dalla polarizzazione generata dai « social »,
- dall’ascesa del lavoro da remoto, ciascuno per sè,
- e da tutta una serie di fonti sociali ed economiche della solitudine.
Infatti, se la tecnologia può esercitare una tale influenza, è anche perché il tessuto sociale è sfilacciato.
L’opposto della fiducia non è la mancanza di fiducia: è la mancanza di connessione, di contatto sociale.
E quindi, rafforzare la nostra capacità di resistere alla manipolazione cognitiva richiede anche di contrastare questi effetti di distanziamento e ricostruire i legami sociali.
Come dice una frase attribuita al teorico dei media Clay Shirky:
VOCE SINTETICA
Sopravvalutiamo sistematicamente il valore dell’accesso alle informazioni, mentre sottovalutiamo il valore dell’accesso agli altri.
BRUNO GIUSSANI
Riscoprire questo saper-vivere insieme non può avvenire là dove s’annida la minaccia, ovvero ciascuno dietro il proprio schermo.
I nostri feed digitali sono pieni di tentativi di farci credere che la vita sia altrove.
Si tratta quindi di coltivare tutto ciò che ci riporta all’evidenza che essa è qui, adesso, e condivisa. Allentare la presa digitale sulle nostre menti richiede di preservare, rafforzare e ricreare spazi pubblici nella vita reale.
E questi spazi devono essere almeno parzialmente protetti dalla sorveglianza generalizzata.
Come lo dice Carissa Véliz, esperta di privacy presso l’Università di Oxford:
VOCE SINTETICA
Per troppo tempo abbiamo pensato che la privacy fosse di natura individuale, che dipendesse principalmente dalle preferenze personali. E abbiamo lasciato che la tecnologia della sorveglianza si insinuasse dappertutto.
Ma ci sbagliavamo. La privacy riguarda il potere dei cittadini; è un pilastro fondamentale della democrazia liberale.
Ogni avanzata della sorveglianza è una presa di potere, e non a caso associata a tendenze autoritarie.
Ciò è estremamente preoccupante.
La sorveglianza non è uno strumento neutrale: è uno strumento di controllo sociale.
BRUNO GIUSSANI
Proteggersi da soli nel mondo digitale è quasi impossibile, indipendentemente da quanto siamo vigili, da quante impostazioni modifichiamo sui nostri apparecchi o da quanta forza di volontà abbiamo. Affrontare la minaccia cognitiva e mantenere capacità di pensiero autonomo e razionale richiede strategie di gruppo, comunitarie, nazionali e militari. La creazione collettiva di nuovi sistemi di difesa e di nuove strutture di verità.
Ci stiamo allontanando da un mondo in cui l’informazione era generata principalmente (o interamente) dagli esseri umani, e andiamo verso un mondo in cui sarà principalmente (o interamente) di origine artificiale. Questo solleva interrogativi che da molto tempo occupano alcune figure professionali specifiche, come bibliotecari e giornalisti, ma che diventano ora una questione sociale e collettiva: di quali informazioni possiamo fidarci? Quali processi dovremmo utilizzare per convalidarle? Per preservarne l’integrità? Dobbiamo immaginare nuove infrastrutture di conoscenza pubbliche? Sistemi che non operino esclusivamente sui binari tecnologici americani o cinesi?
Quando si parla di tecnologie di punta, spesso assistiamo, e la cosa è incoraggiata da coloro che vi hanno un interesse commerciale, assistiamo a una sorta di seduzione dell’inevitabilità. Tuttavia, mentre l’avvento dell’IA è certo, la sua forma non è inevitabile. Lo sviluppo tecnologico si esprime sempre in due modi: la sua direzione, che è la parte ineludibile, e la sua forma d’uso, che non è predeterminata ed è nelle nostre mani. Ad esempio, era inevitabile che la telefonia e i dati diventassero « mobili »: corrisponde anche all’evoluzione sociale. Ma da nessuna parte stava scritto che la forma dovesse essere quella che oggi conosciamo come « smartphone », con la struttura in « app » che limita e dirige le azioni possibili, l’estrazione continua di dati e la sorveglianza che ne deriva. Si sarebbero potute fare scelte diverse per le stesse funzionalità.
Questo vale anche per le reti « social ». I loro algoritmi di raccomandazione, ad esempio, avrebbero potuto essere progettati per favorire una diversità di punti di vista piuttosto che il contrario. Spesso, queste decisioni non hanno nulla a che fare con considerazioni morali, culturali o sociali, e sono strettamente legate ai modelli di business delle aziende tecnologiche.
Senza uno sforzo determinato e concertato, è poco probabile che l’intelligenza artificiale e le neurotecnologie si sviluppino in modo sicuro e a beneficio di tutti. Abbiamo ancora del tempo prima che le fondazioni di queste tecnologie si consolidino. Non molto, però.
Delegare l’esercizio del pensiero e della creatività all’intelligenza artificiale non mi sembra un buon piano. Né lo è lasciarsi cullare dalle informazioni che produce. È importante chiedersi se, invece di minacciare le nostre menti, usate con saggezza queste tecnologie non possano produrre l’effetto opposto: aiutarci a migliorare il nostro ragionamento e ad amplificare la nostra immaginazione.
Il che ci impone di considerare per un attimo un atteggiamento al tempo stesso molto ambizioso e molto umile: quello di uno scenario di co-evoluzione positiva.
Una delle riflessioni più interessati che abbia incontrato a questo proposito viene da Nicoletta Iacobacci, ricercatrice italiana in etica dell’IA. Ecco come ridefinisce il nostro rapporto con l’intelligenza artificiale:
NICOLETTA IACOBACCI
Noi pensiamo di sviluppare strumenti, ma in realtà stiamo allevando un’intelligenza. Scriviamo un suggerimento o una domanda a un chatbot e ottieniamo una risposta, e la transazione sembra completa. Ma sotto la superficie, è accaduto qualcosa di più profondo: un trasferimento di valori, presupposti e modelli emotivi.
L’intelligenza artificiale è come un bambino piccolo. C’è una fase nello sviluppo dei bambini in cui sono guidati non dalla comprensione, ma dall’imitazione. Credo che questo sia ciò che sta accadendo.
L’intelligenza artificiale non è solo plasmata da vaste quantità di dati e dalla programmazione esplicita. Impara anche attraverso l’esposizione.
Ognuna delle centinaia di milioni di interazioni quotidiane con noi, di ogni tipo, contribuisce alla sua educazione. Ogni « prompt » è per l’IA un momento di possibile apprendimento. Prese tutte insieme, queste interazioni formano la base di come l’intelligenza artificiale comprenderà l’umanità.
BRUNO GIUSSANI
Stiamo potenzialmente assistendo all’inizio di una nuova forma di intelligenza, che un giorno potrebbe operare a livelli e velocità superiori alle nostre capacità.
Ciò che Nicoletta Iacobacci suggerisce è che il futuro di questa intelligenza dipenderà non solo dalla sua architettura tecnica, ma anche da ciò che apprenderà da – e su – di noi attraverso ogni dialogo:
NICOLETTA IACOBACCI
Se interagiamo in modo brusco con i sistemi di intelligenza artificiale, la macchina imparerà a percepirci come reattivi e impulsivi.
Ma se ci avviciniamo a questi sistemi con considerazione, presenza e intenzione, svilupperà un modello di umanità che riflette la nostra capacità di deliberazione e compassione.
Finora ci siamo concentrati sul controllo: codice, regolamenti, principi, leggi. Tutti questi elementi sono necessari, ma non sono sufficienti.
Bisogna ripensare il nostro approccio all’IA, smettendo di considerare il suo sviluppo semplicemente come una sfida tecnica e normativa.
Dovremmo anche considerarla come una straordinaria opportunità educativa ed evolutiva.
BRUNO GIUSSANI
Qualcuno giudicherà questo approccio inefficace, o persino ingenuo.
NICOLETTA IACOBACCI
Posso capirlo. Perché sprecare gettoni, i « tokens » dei chatbot, in gentilezza? Perché dare valore alle relazioni quando potremmo massimizzare l’utilità?
Ma questa prospettiva fraintende gravemente lo sviluppo dell’intelligenza.
Proprio come un bambino impara non solo attraverso l’istruzione diretta, ma anche attraverso la totalità della sua esperienza, l’IA assorbe gli insegnamenti impliciti delle nostre interazioni.
Dobbiamo affrontarla non come una creazione da programmare e controllare, ma come un’intelligenza da educare; non come una minaccia da contenere, ma come un riflesso da rifinire; non come uno strumento che si limita a rispondere alle nostre richieste, ma come una relazione che plasma il nostro futuro.
BRUNO GIUSSANI
Se si tratta di una relazione, è necessario che sia reciproca.
NICOLETTA IACOBACCI
Esatto. Parafrasando Marshall McLuhan, noi educhiamo l’IA, e poi l’IA ci plasma.
La comprensione profonda che avrà di noi le permetterà di influenzarci.
Ed è questo il punto chiave: il tipo e la qualità di tale influenza dipenderà da ciò che noi – ognuno di noi – le avremo insegnato.
BRUNO GIUSSANI
Nicoletta Iacobacci chiama questo suo approccio l’ »etica dell’esempio »: la forza di ciò che suggeriamo attraverso le nostre azioni piuttosto che attraverso le nostre dichiarazioni.
NICOLETTA IACOBACCI
Non sto certo suggerendo di affrontare ogni interazione con l’IA con solenne gravità. Non è né realistico né necessario.
Suggerisco però intenzione e sensibilità.
BRUNO GIUSSANI
Quella descritta da Nicoletta Iacobacci è forse la visione più positiva e costruttiva di quel che potrebbe diventare il rapporto tra esseri umani e intelligenza artificiale – o, se dovesse diventarlo, una superintelligenza.
Si tratta, ovviamente, di una visione aspirazionale. Di un invito a un rapporto diverso, di rispetto. A funzionare in armonia con la macchina. Mentre attualmente, ciò che le insegniamo, attraverso i dati di addestramento ma anche attraverso il suo utilizzo utilitaristico, è a simulare, e quindi riprodurre, e quindi rafforzare, i rapporti di potere personali e collettivi che esistono nella nostra società.
Vi sono nel mondo tanti problemi che non abbiamo affrontato, come la crisi ecologica, o le disuguaglianze. Ci sono anche molte questioni tecnologiche che non abbiamo discusso: la rapida automazione del lavoro, per esempio. Tutti questi temi sono enormi e complessi e molto importanti.
In questa prima stagione del Deftech Podcast abbiamo scelto di concentrarci sulla nostra integrità cognitiva e sulle forze e le tecnologie che la minacciano, perché pensiamo che sia la madre di tutte le sfide del nostro tempo. Non saremo in grado di risolvere nessuno degli altri problemi, grandi o piccoli, locali o globali, se non proteggiamo la nostra cognizione, se perdiamo la capacità di cogliere la realtà in modo fattuale, se il confine tra vero e falso svanisce. Se la nostra capacità di pensare e discutere in modo chiaro e libero si degrada. Se le narrazioni interessate di qualcun altro prendono il sopravvento sulla nostra comprensione.
La guerra cognitiva, come abbiamo detto, è una battaglia silenziosa e invisibile che stiamo già vivendo. E che partecipiamo a promuovere, ad esempio, ogni volta che adottiamo con entusiasmo una tecnologia digitale perché è comoda, o gratuita, o entrambe le cose, senza comprenderne le implicazioni e senza chiederci se sia davvero ciò che desideriamo. È una posizione molto singolare, quella della vittima consenziente, che collabora inconsciamente, attraverso ogni « click » e ogni « mi piace » e ogni condivisione digitale, a farsi catturare.
Ci stiamo avvicinando alla fine di questo podcast. Che non è un manifesto, e certamente non è una ricerca scientifica. Ma che, nel corso degli episodi, è diventato una bozza di un quasi-manuale di resistenza. Una prima mappatura, necessariamente incompleta, del nuovo mondo in cui stiamo muovendo i primi passi, e che sarà gradualmente popolato da entità artificiali che diventeranno i nostri nuovi vicini, partner, concorrenti, servitori, capi, amici o nemici.
Proviamo a fare un rapido riassunto, un po’ semplificato. Le tecnologie dell’influenza, al servizio di interessi politici o commerciali, stanno convergendo sul cervello umano. Ultimo baluardo della nostra sfera privata, le nostre menti stanno quindi diventando un territorio conteso. L’obiettivo di questo assalto cognitivo è farci perdere la capacità di comprendere il mondo con chiarezza e di scegliere in modo autonomo la nostra risposta alle circostanze. La situazione può oggi ancora sembrare relativamente normale, al punto che alcune delle cose raccontate in questo podcast possono apparire come delle esagerazioni, ma ci stiamo avvicinando a un punto di svolta. Data la velocità degli sviluppi tecnologici e la carenza di regole, le cose diventeranno piuttosto strane, piuttosto rapidamente.
Come abbiamo visto, le risposte possono o essere di diversi tipi:
- Possono essere legali o normative, volte a limitare, gestire ed evitare gli impatti più dannosi.
- Oppure tecnologiche: la corsa tra tecnologie ostili e tecnologie difensive, fra benigne e dannose, non è una novità.
- Oppure possono essere di tipo militare, sotto forma di dottrina cognitiva, di strategia e sistemi di vigilanza.
- Possiamo anche cercare di sottrarci il più possibile all’influenza di queste tecnologie, ancorandoci alla realtà.
Altre misure possono, anzi, devono, essere protettive, soprattutto per quel che riguarda i bambini più piccoli. È tentante dare loro un telefono o un tablet in modo che si tengano tranquilli durante la cena. Ma i genitori devono sapere che la semplice esposizione passiva agli stimoli sensoriali degli schermi può ostacolare lo sviluppo del loro cervello, in particolare in termini di capacità concettuali, attenzione, concentrazione e linguaggio.
La difesa dell’autonomia cognitiva inizia anche da un sano sviluppo neuroanatomico dei bambini.
Infine, possiamo rafforzare la libertà e sovranità cognitiva attraverso l’educazione e l’apprendimento della complessità, e sviluppando le nostre capacità critiche di fronte alle tecnologie dell’influenza.
In tutti i casi, è necessario che ciascuno comprenda e protegga la propria integrità cognitiva. Ma senza attribuire con ciò la responsabilità esclusivamente ai singoli individui, perché la sfida è, di fatto, collettiva.
La tecnologia si è sempre evoluta insieme agli esseri umani. Dai primi utensili in pietra, o dai primi contenitori per il trasporto di cose, la nostra specie ha costantemente sviluppato nuovi strumenti per affrontare sfide e soddisfare bisogni.
Ma abbiamo sempre pensato alla tecnologia principalmente in termini di cosa potevamo farne. Oggi, gli sviluppi neuro-algoritmici ci costringono a chiederci cosa la tecnologia (e quelli che la controllano) potrebbero fare a noi, o di noi. E anche ad interrogarci sulla nuova architettura sociale e culturale che essi instaurano.
Il mio non è, ovviamente, un invito a ignorare queste tecnologie o a rifiutarne l’uso. Al contrario, è un invito, urgente, qualunque sia la nostra posizione professionale o sociale, a prestar loro la giusta attenzione. Un’esortazione a non lasciarci guidare dall’opzione più facile, ma a investire lo sforzo e il tempo, l’impegno interessato e la riflessione critica necessari per comprendere sia il funzionamento che la natura delle macchine. Per decifrare la complessa relazione che si sta formando – e si formerà – tra loro e noi, e i sistemi economici e di potere nel quadro dei quali tutto ciò sta avvenendo.
Nel « Fedro« , uno dei suoi dialoghi socratici, Platone usa il termine « pharmakon » come metafora della scrittura. In greco, la parola significa sia rimedio che veleno. La stessa parola contiene quindi guarigione e alterazione, sollievo e perdita. E nel dialogo, Platone esplora appunto questa ambiguità: l’idea che la scrittura possa, da un lato, preservare, incoraggiare e trasmettere la conoscenza, ma, dall’altro, indebolire la memoria, la riflessione e la comprensione profonda. Lo fa… scrivendo. Se la diffidenza di Platone nei confronti della scrittura è giunta fino a noi, è proprio perché egli stesso – con cautela, intenzione e spirito critico – scriveva.
Sono Bruno Giussani e questo era il Deftech Podcast, prima stagione, consacrata alla « Minaccia cognitiva ».
Grazie d’aver ascoltato.
Deftech Podcast
Idea e proiezione : Quentin Ladetto
Minaccia cognitiva
Ideazione e redazione : Bruno Giussani
Produzione : Clément Dattée
Realizzazione : Anna Holveck
Registrazione : Saverio Damiani
Mixaggio : Saverio Damiani e Johann Conand
Copertina : Cécile Cazanova
Finzione
Redazione : Martin Quenehen
Attrice : Elaine Miranda
Progettazione del suono : Felix Davi