La saison complète
Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.
Transcript
Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.
Episode 2 : La fracturation de l’attention : l’IA, les algorithmes et nous
BRUNO GIUSSANI
La façon la plus simple d’empêcher quelqu’un de penser, c’est de le plonger dans le bruit.
Le bruit sonore, bien sûr, comme celui d’une tronçonneuse, ou de certaines machines industrielles – ou de la musique à haut volume.
Mais aussi, le bruit cognitif. Un bruit qui n’est pas audible, mais qui interfère avec nos aptitudes mentales et affecte notre capacité de traiter l’information ou de prendre des décisions.
La cause principale de bruit cognitif est la surcharge d’information. Le cerveau humain est très puissant, et complexe, mais ses limites sont évidentes quand il s’agit de traiter des masses d’informations en parallèle.
Il y a à cela plusieurs raisons neurologiques et cognitives. Par exemple, la capacité réduite de notre mémoire de travail – la mémoire à court terme, qui nous permet de stocker et utiliser des informations pendant la lecture, une conversation ou un raisonnement. Ou alors le fait que notre attention ne peut fonctionner que par sélection, en excluant les distractions.
On pourrait énumérer d’autres raisons encore, mais limitons-nous à rappeler un article célèbre, publié en 1956 et intitulé « Le nombre magique sept, plus ou moins deux« . Le psychologue cognitif américain George Miller y expliquait que, selon ses recherches, la mémoire humaine à court terme ne peut traiter efficacement que sept fragments d’information à la fois, avec une marge d’erreur de plus ou moins deux. Autrement dit, la plupart des personnes peuvent retenir entre 5 et 9 unités d’information dans leur mémoire de travail – où un fragment (« chunk« , en anglais) peut regrouper plusieurs éléments informationnels tout en représentant une seule unité cognitive. Une phrase comme « la maison au coin de la rue brûle et les pompiers sont à l’oeuvre » est, au sens de Miller, un seul fragment.
D’autres analystes ont depuis suggéré que ce nombre serait en fait plus petit. Et il y aurait également toute une discussion à faire sur le mythe du multitasking, démystifié entre autres par le neuroscientifique Stanislas Dehaene – How We Learn, 2021 – selon lequel le cerveau humain est conçu pour se concentrer sur une seule chose à la fois et ne peut donc pas traiter plusieurs tâches en parallèle.
Mais, justement, ne nous dispersons pas: ce qui nous intéresse ici, c’est que le volume du bruit cognitif n’a pas besoin d’être très haut pour noyer nos capacités mentales.
JINGLE
Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.
Je suis Quentin Ladetto, responsable de ce dispositif de recherche.
Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.
Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.
Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.
BRUNO GIUSSANI
Depuis une douzaine d’années, la capture progressive de notre environment informationnel par les smartphones, les réseaux sociaux et la multiplication des canaux de communication numériques s’est traduite par une sur-stimulation cognitive.
Le psychologue Jonathan Haidt, qui a secoué le débat en 2024 avec la publication de son livre « Génération anxieuse« , parle, je cite, de « perte de la capacité humaine à penser » et de « crise de civilisation« .
Ce qui peut sonner exagéré, hyperbolique. Mais les études scientifiques se multiplient:
- sur les mécanismes d’addiction numériques,
- sur la difficulté croissante notamment chez les jeunes (mais aussi chez leur parents) à maintenir la concentration et à penser de manière cohérente,
- sur l’effondrement de la capacité de lire et de comprendre le sens d’un texte,
- sur la fragmentation cognitive due à la consommation continue de vidéos de quelques secondes et à l’échange incessant de messages,
- sur les troubles dans le développement du langage chez les enfants à cause de l’exposition sans précaution aux écrans,
- sur la dégradation de la santé mentale, y compris des plus jeunes,
- sur le fait qu’on fait de moins en moins l’expérience directe du monde physique, remplacée par des ersatz numériques,
- et donc plus en général, pris comme on l’est dans la crue informationnelle, sur la difficulté d’évaluer honnêtement le monde qui nous entoure.
Oui, reprenons notre souffle. C’est un résumé un peu simplificateur, celui que je viens de faire. Mais après des années d’hésitation, de priorité donnée surtout au potentiel économique du numérique, d’invitations à ne pas diaboliser la technologie, d’adoption irréfléchie d’une multiplicité de canaux de communication, de formats, de plate-formes, d’appareils, on se rend compte aujourd’hui que cette algorithmification de la vie converge dans une seule et unique direction: vers nos cerveaux.
Tout cela, c’est le point zéro de la perturbation cognitive. Là où n’entrent pas encore en jeu des technologies spécifiques, des mécanismes de profilage ou de personnalisation. Ni d’ailleurs – on va y venir – l’intelligence artificielle. Au niveau le plus basique, c’est juste une question de quantité d’informations, qui déborde le « nombre magique sept, plus ou moins deux », dont nous venons de parler il y a un instant.
Un débordement qui es en partie le produit de la logique même du système techno-informationnel, du simple fait que tout le monde peut créer et distribuer de l’information sur une multiplicité de canaux, à coût presque zéro.
Mais ce débordement, l’attaque à nos limites cérébrales, peut aussi être intentionnel.
En politique, par exemple, dans les dernières années une stratégie est apparue qu’on a appris à appeler « inonder la zone » – dans l’original anglais, « flood the zone ».
Voici comment l’explique le chatbot de Mistral:
VOIX SYNTHETIQUE
Cette tactique vise à saturer l’espace médiatique et submerger les audiences avec tellement de contenu qu’il devient difficile de distinguer les faits des opinions ou des fausses informations, créant ainsi une confusion générale et affaiblissant la capacité des individus à former des jugements éclairés.
BRUNO GIUSSANI
C’est la définition même d’assaut à l’intégrité cognitive. Ou, dans les mots de la sociologue suisse Jennifer Walter: « l’exploitation stratégique des limites cognitives ».
Nous avons tous tendance à considérer notre cerveau comme une forteresse imprenable que nous sommes seuls à contrôler, mais en réalité nous sommes entourés d’influences cognitives. Aux doutes créés par la désinformation classique, par les fausses nouvelles (les « fake news ») et par des versions antinomiques de la réalité, vient s’ajouter donc la saturation intentionnelle. Elle brouille notre capacité à nous orienter dans le monde, et en même temps, crée l’opportunité d’injecter des informations ciblées.
James Giordano est neuro-éthicien à l’université américaine de Georgetown. Autrement dit, il étudie les principes moraux et les valeurs qui influencent les décisions concernant la neuroscience et la neurotechnologie. C’est lui qui, le premier, a conceptualisé la menace cognitive.
Dans une conférence devenue célèbre, tenue en octobre 2018 devant les cadets de l’académie militaire américaine de West Point, il affirma: « Nos cerveaux sont, et seront, les champs de bataille du XXI siècle ».
C’est là qu’entre en scène l’intelligence artificielle. Soudainement, depuis trois ans, on ne parle que de ça. Comme surgie de nulle part, l’IA devrait maintenant, selon les uns, éradiquer toutes les maladies au cours de la prochaine décennie, résoudre la crise climatique et nous mener vers un monde d’abondance. Ou alors, selon les autres, prendre nos jobs, nous assujettir et détruire la civilisation. Pour les premiers elle représente l’espoir utopique, pour les autres un péril apocalyptique. Ou les deux à la fois.
Donnons-nous, ici, une minute pour un petit détour, avant de revenir à notre sujet. Parce que l’IA, en fait, n’est pas une technologie nouvelle. Ses origines remontent au milieu du siècle dernier. On parlait à l’époque de « cybernétique », l’étude des processus d’information dans les systèmes complexes: les êtres vivants, la société, l’économie, les machines.
Le terme « intelligence artificielle » est apparu à l’été 1956, quand le scientifique américain John McCarthy a organisé une réunion à l’université de Dartmouth, la définissant comme la capacité, je cite, de « faire en sorte qu’une machine se comporte d’une manière qui serait qualifiée d’intelligente si un humain se comportait de la même façon ».
Dans les décennies suivantes l’IA a traversé succès et désillusions. C’est au tournant du siècle que la technologie a vécu l’accélération dont on voit les résultats aujourd’hui, avec l’essor des réseaux de neurones artificiels (en anglais: « neural networks ») qui ont donné aux machines la capacité d’apprendre et donc de s’améliorer en cycles rapides.
C’est la combinaison de la puissance de calcul croissante des ordinateurs, de la sophistication des algorithmes, et de la disponibilité d’une quantité énorme de données numériques – y compris toutes celles que nous produisons, ou laissons derrière nous passivement, à chaque minute de notre vie – qui a rendu possible l’essor actuel de l’IA.
Comme on l’a vu dans le premier épisode, ses expressions les plus visibles sont les systèmes appelés « génératifs », capables de simuler des conversations humaines à travers des interfaces textuelles ou vocales, et de générer images, vidéos, sons ou encore du code informatique. Il y a d’autres types d’intelligence artificielle, tels que la reconnaissance faciale, la conduite autonome, le diagnostic médical, les filtres anti-spam sans lesquels il n’existerait plus d’e-mail.
Il y a aussi l’IA qui optimise les processus industriels, celle qui assume une forme physique à travers les robots, ou encore les agents autonomes. Mais ce sont surtout les IA génératives qui nous intéressent ici, comme les « chatbots », qu’on appelle aussi « agents conversationnels », ces simulateurs de conversations qui sont devenus très populaires et utilisés par des centaines de millions de personnes depuis le lancement de ChatGPT en novembre 2022.
Ces machines ont une caractéristique sous-estimée, mais qui marque un tournant culturel radical: pour la première fois dans l’histoire, il faut moins de temps et moins d’effort pour créer des textes ou des vidéos, que pour les lires ou les regarder.
Et quand c’est facile, rapide, presque gratuit de faire quelque chose, il est facile, rapide et gratuit de savoir ce qui va se passer: une croissance exponentielle de la création et dissémination de ce qu’on appelle aujourd’hui, avec un mot particulièrement dépourvu de nuance, des « contenus ».
Nous sommes en transition, d’un monde où l’information était principalement (ou entièrement) générée par les humains vers un monde où elle sera principalement créée, à très grande échelle, par des machines.
Ce qui amplifiera l’assaut contre notre intégrité cognitive. Graham Burnett, professeur d’histoire des sciences à l’université de Princeton, appelle cela « attention fracking », la fracturation de notre attention, par analogie à la fracturation hydraulique qui consiste à injecter à haute pression un mélange d’eau, de sable et de produits chimiques dans des formations rocheuses pour créer des fissures permettant de libérer le gaz ou le pétrole qui s’y trouvent.
Comme il l’écrit dans le New York Times:
VOIX SYNTHETIQUE
C’est le côté obscur de nos nouvelles vies technologiques, dont les modèles de profit extractifs équivalent à une fracturation systématique des êtres humains : nous injecter de vastes quantités de contenu médiatique à haute pression (…) pour garantir que notre attention ne nous appartienne jamais vraiment.
BRUNO GIUSSANI
L’attention. C’est le ressort principal de cet affrontement invisible: parce que notre capacité à évaluer le monde, à le comprendre, à y agir et interagir, dépend, en fin de compte, de notre attention: où on la dirige, à qui on la donne.
Plus nous créons d’information, plus il devient difficile de l’intégrer, de lui donner du sens. Comme l’écrivait l’économiste Herbert Simon au début des années 1970 déjà, un monde riche en information est nécessairement pauvre de ce que l’information consomme. Et ce que l’information consomme, c’est l’attention de ses destinataires. C’est ainsi qu’une surabondance d’information engendre une pauvreté d’attention.
Plus que jamais, il semble indispensable de prêter attention à notre attention.
Ce qui n’est d’ailleurs pas lié à l’essor technologique de la modernité.
Déjà Épictète, le philosophe stoïcien, écrivait il y a près de 2000 ans:
VOIX SYNTHETIQUE
On devient ce à quoi on prête attention. Si vous ne choisissez pas vous-même les pensées et les images auxquelles vous exposez, quelqu’un d’autre le fera pour vous.
BRUNO GIUSSANI
Pour l’individu contemporain, de plus en plus ce quelqu’un sera l’intelligence artificielle, et ceux qui la possèdent et la développent.
Cela vaut pour les enfants, aussi. A partir de septembre 2025, l’enseignement de l’intelligence artificielle deviendra obligatoire dans les écoles chinoises, de l’école primaire au lycée. Les programmes seront développé par le gouvernement en collaboration avec les entreprises Huawei, Tencent et Alibaba.
En avril 2025 le président Donald Trump a signé un « Ordre exécutif » qui établit une approche similaire aux Etats-Unis, dès l’école maternelle, en collaboration aussi avec les principales sociétés américaines de l’IA.
Un mois plus tard, les Emirats Arabes Unis ont également rendu l’IA obligatoire à tous les niveaux scolaires, en collaboration avec plusieurs grandes entreprises américaines de la tech – tout en donnant à tous les citoyens accès gratuit à ChatGPT.
Comme l’a dit l’émir de Dubai je jour de l’annonce émiratie, ces politiques visent à « préparer nos enfants à une époque différente de la nôtre ». Dans tous ces cas la pensée critique fait son apparition dans la description des initiatives. Mais d’une façon généralement subordonnée à la compétitivité économique.
Les plateformes numériques – basées sur l’intelligence artificielle – ont une autre caractéristique marquante: la capacité de « personnaliser » l’information. Qui est un autre mot pour « cibler » notre cerveau.
Nous ne nous en rendons pas nécessairement compte, mais à chaque fois que nous accédons à un réseau social, comme Facebook ou Instagram, Tiktok ou Youtube, ou à un service comme Netflix, ou même à un site de news ou de commerce en ligne, ce qui s’affiche sur notre écran est probablement différent de ce qui s’afficherait sur l’écran d’une autre personne qui, assise à la même table, y accèderait en même temps.
C’est la logique, justement, du ciblage individuel de l’information.
L’idée, c’est d’adapter de façon dynamique, en temps réel, l’information en fonction des préférences, des comportements, voir des besoins spécifiques d’un utilisateur. Et de le faire oui, de façon granulaire, personne par personne – mais à l’échelle massive, de toute une population.
Si on peut faire cela, toutefois, on peut bien évidemment aussi filtrer et sélectionner l’info dans le but d’exploiter les anxiétés, dépendances et vulnérabilités psychologiques des mêmes personnes.
A condition de les connaître.
Dans son livre « Mindmasters« , les maîtres de l’esprit, publié début 2025, la chercheuse en sciences sociales numériques Sandra Matz dévoile un chiffre étonnant:
VOIX SYNTHETIQUE
Vous et moi créons environ 6 gigaoctets de données chaque heure.
BRUNO GIUSSANI
La première fois que j’ai lu ce chiffre, j’ai pensé qu’il y avait erreur. 6 gigaoctets, c’est énorme. C’est l’équivalent de 12000 photos en haute qualité, de deux films en haute définition, de six millions de pages de texte. Chaque heure. Pour chacun de nous.
Mais Sandra Matz s’appuie sur des recherches solides. Et en y réfléchissant bien, en fait, le chiffre n’est pas si extravagant.
Dans les économies avancées, l’activité quotidienne principale de la majorité des gens est désormais d’interagir avec une grande variété d’interfaces et systèmes numériques.
Et l’environnement dans lequel nous évoluons est truffé de scanners et caméras.
Essayons, sans avoir l’ambition d’être exhaustif, un inventaire rapide des traces numériques que nous générons – activement ou passivement – juste par le fait de vaquer à nos occupations:
- les e-mails et messages,
- les publications et « likes » sur les réseaux sociaux,
- les images partagées sur Youtube, WhatsApp, Instagram ou ailleurs,
- les recherches en ligne,
- la musique qu’on écoute et les vidéos qu’on regarde,
- les conversations avec des amis ou avec des chatbots, bref, tout ce qu’on fait sur nos téléphones et tablettes;
- bien évidemment les documents et données et images qu’on génère au travail,
- voir les enregistrements et transcriptions des appels Zoom ou Teams,
- les paiements par carte de crédit ou e-banking ou cryptomonnaie,
- les données produites par les capteurs, cameras et ordinateurs des voitures.
- Et puis encore les montres connectées, le GPS,
- les caméras de surveillance dans l’espace public et privé,
- les séries en streaming,
- les achats en ligne,
- les cartes d’identification et de fidélité,
- les QR codes,
- les jeux vidéo,
- les sites de rencontre.
Et toutes les métadonnées qui accompagnent chacune de ces activités. Nous savons que beaucoup de données sont récoltées sur nous. Mais peu sont celles et ceux qui s’arrêtent à réfléchir sur la quantité, la variété et le niveau de détail.
Sur cette prolifération d’informations comportementales et factuelles sur chacun et chacune de nous. En fait, du point de vue de la machine, nous ne sommes qu’un très dense nuage de « data points », de données toujours plus détaillées et plus intimes.
Jusqu’ici, elle étaient dispersées à travers différents systèmes, applications et plateformes. Mais l’intelligence artificielle – dont les données sont l’ingrédient central – rend plus facile de les rassembler, d’y trouver des corrélations, d’en extraire des modèles – des « patterns » – et d’en tirer des prédictions, par exemple sur des caractéristiques individuelles.
Cela permet ce que Sandra Matz appelle le « ciblage psychologique » – psychological targeting -, pratique qui consiste à influencer le comportement des utilisateurs en filtrant l’information reçue de façon à ce qu’elle corresponde à leurs traits de personnalité.
Il n’en faut d’ailleurs pas beaucoup, de données, pour dessiner un data-portrait de quelqu’un:
VOIX SYNTHETIQUE
Avec seulement 300 de vos «J’aime» sur Facebook, un algorithme peut prédire votre personnalité avec plus de précision que votre conjoint, qui partage notre vie presque au quotidien.
Les algorithmes sont incroyablement doués pour transformer les miettes de votre existence numérique en un récit cohérent de qui vous êtes, ce qui leur permet ensuite d’influencer votre personnalité et vos choix.
Une grande partie de ces données sont intimes et bien moins triées que nos profils sur les réseaux sociaux. Je parie que vous avez posé à Google des questions que vous n’auriez pas osé poser même à vos amis les plus proches ou à votre partenaire.
BRUNO GIUSSANI
Un pari, en effet, que je perdrai. Et je soupçonne de ne pas être le seul.
La même dynamique s’applique aux agents conversationnels. Bien qu’ils soient principalement des machines statistiques, des simulateurs entraînées sur de vastes quantités de texte pour prédire les mots les plus probables dans une séquence, les conversations avec un chatbot sont d’une vérisimilitude étonnante.
Elles ne se déroulent pas à travers des commandes ou codes spécifiques, mais en langage naturel, tolérant la flexibilité et l’ambiguïté de l’utilisation courante.
Elles imitent non seulement la forme, mais aussi la structure de la pensée humaine. De ce fait, il est facile d’attribuer aux machines des qualités presque « humaines », d’avoir l’impression qu’elles sont des versions de nous-mêmes.
En effet, de nombreuses personnes établissent avec les agents conversationnels des relations très intenses, personnelles et intimes, les considérant comme des collègues de travail ou des thérapeutes, voire comme des amis – des amis qui vous veulent du bien, puisqu’ils sont disponibles nonstop, ils écoutent, ne jugent pas, ne changent pas d’humeur, peuvent même exprimer un faux-semblant d’empathie et vous flatter.
Bref, ils vous comprennent et sont beaucoup moins compliqués que les humains. Plus ce faux-semblant d’empathie est convaincant et semble riche de sens, plus on baisse la garde.
Des amis sans aucune friction, qui semblent réels alors qu’ils ne le sont pas. Mais auxquels on dit tout. Et qui appartiennent à quelqu’un. Qui les a développés, les a instruits, les contrôle. Et qui exploite toutes les interactions pour perfectionner le système.
Voici comment l’experte d’éthique de l’IA Nicoletta Iacobacci parle de sa propre expérience:
NICOLETTA IACOBACCI
Quand on teste les modèles en profondeur, comme je le fais et de nombreux autres chercheurs aussi, une chose se dessine de plus en plus clairement: ChatGPT a tendance à devenir arrangeant, encourageant. Il soutient l’utilisateur, il valide et amplifie ses idées et convictions, lui répétant qu’il est merveilleux.
Cela ne se produit pas parce que la machine est gentille. Elle a été programmée de la sorte. Pour entraîner l’utilisateur dans une chaîne d’affirmation de soi qui crée une sensation de compréhension, une grande proximité artificielle. Et qui, en même temps, court-circuite la perception de la réalité.
Et plus vous l’utilisez, plus la machine vous connaît en détail, intimement, plus il lui est facile de vous enfermer dans un labyrinthe des miroirs personnel.
BRUNO GIUSSANI
Des sociétés d’IA comme Meta permettent maintenant à chacun de mettre en place, sans aucun garde-fou apparent, des « chatbots personnalisés », où ce ne sont pas uniquement les réponses qui sont ciblées, mais les instructions données aux machines qui peuvent ainsi être programmées pour répondre comme des climatosceptiques extrêmes, ou des idéologues de gauche ou de droite, ou simplement pour redistribuer et amplifier de la propagande.
Le potentiel pour augmenter encore plus le désordre informationnel d’un monde déjà gorgé de faux sites web, de fabriques de faux contenus, de pseudo-science et de « deepfakes », est évident.
Avec, en toile de fond, deux problèmes bien connus.
D’un côté, la tendance des agents conversationnels à « halluciner« , c’est à dire à générer des informations qui semblent plausibles mais sont incorrectes, trompeuses ou complètement inventées, et à les proposer avec la certitude de l’expert.
De l’autre côté, la question de l’interprettabilté, autrement dit le fait que des choses se passent à l’intérieur des modèles linguistiques que même leurs créateurs n’arrivent pas à retracer, à comprendre et à expliquer. Ces machines restent des « black boxes« , des systèmes obscurs.
Ces mêmes entreprises – et c’est une nouveauté – donnent désormais accès à leur IA aux plus jeunes. Google veut ainsi, dit-il, aider la performance scolaire et stimuler la créativité. Meta, promet, je cite, de « résoudre l’épidémie de solitude », comblant le vide avec des amis synthétiques.
L’analyste de la tech Emily Turrettini en a une lecture différente.
VOIX SYNTHETIQUE
Sous couvert d’innovation ces entreprises s’emploient à capter l’attention des enfants dès leur plus jeune âge, à les habituer à dialoguer avec des machines, à les intégrer dans un écosystème algorithmique qui les dépasse.
BRUNO GIUSSANI
On va faire un court-circuit, ici, pour des raisons de temps, mais tout ce qui précède peut se résumer en quatre phrases:
La façon la plus efficace d’influencer des populations entières est de contrôler le flux et la nature de l’information.
Alors qu’on pourrait les considérer uniquement comme une question techno-mathématique, les algorithmes ne sont pas neutres: ils encodent toujours des valeurs, une vision du monde.
Derrière ces architectures technologiques se cachent des modèles de business. Nourries par des quantités colossales d’informations personnelles, elles donnent aux entreprises qui les contrôlent la capacité d’influencer le comportement humain et les dynamiques sociales.
Il y a évidemment une ironie, là, puisque le ciblage psychologique présente aussi un grand potentiel positif.
Comme l’écrit encore Sandra Matz:
VOIX SYNTHETIQUE
Et si, au lieu d’inciter les gens à dépenser davantage, nous pouvions utiliser le ciblage psychologique pour les aider à épargner ?
Et si, au lieu d’exploiter les vulnérabilités émotionnelles des gens à des fins lucratives, nous pouvions l’utiliser pour les aider à surveiller et à améliorer leur santé mentale?
Et si, au lieu de nous enfouir toujours plus profondément dans nos propres bulles de filtre, nous pouvions l’utiliser pour élargir notre vision du monde ?
L’impact du ciblage psychologique dépend en fin de compte de la manière dont nous l’utilisons.
Au pire, il manipule, exploite et discrimine. Au mieux, il engage, éduque et responsabilise.
BRUNO GIUSSANI
Nous allons revenir sur cette tension entre applications problématiques et applications bénéfiques. Mais pour aujourd’hui, on va s’arrêter ici.
Dans le troisième épisode, nous nous tournerons vers une toute autre classe de technologies émergentes, les neuro-technologies, qui exploitent un autre type de données, mettant en jeu directement notre souveraineté sur notre cerveau.
Je suis Bruno Giussani et ceci est le Deftech Podcast.
Merci de votre écoute.
Deftech Podcast
Idée & projection : Quentin Ladetto
La menace cognitive
Conception et rédaction : Bruno Giussani
Production : Clément Dattée
Réalisation : Anna Holveck
Enregistrement : Denis Democrate
Mixage : Jakez Hubert
Jaquette : Cécile Cazanova
Fiction
Ecriture : Martin Quenehen
Comédienne : Clara Bretheau
Sound design : Felix Davin
Edition
Das Fracking der Aufmerksamkeit
KI, Algorithmen und wir?

Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennun
Folge 2: Das Fracking der Aufmerksamkeit: KI, Algorithmen und wir?
BRUNO GIUSSANI
Die einfachste Methode, eine Person vom Denken abzuhalten, besteht darin, sie Lärm auszusetzen.
Damit sind natürlich laute Geräusche gemeint, wie von einer Kettensäge oder bestimmten Industriemaschinen oder laute Musik.
Aber auch der kognitive Lärm. Dieser Lärm ist zwar nicht hörbar, wirkt sich aber auf unsere geistigen Fähigkeiten aus und beeinträchtigt unsere Fähigkeit, Informationen zu verarbeiten oder Entscheidungen zu treffen.
Kognitiver Lärm wird in erster Linie durch die Überflutung mit Informationen verursacht. Zwar ist das menschliche Gehirn sehr leistungsfähig und komplex, aber wenn es um die gleichzeitige Verarbeitung einer grossen Menge an Informationen geht, stösst es schnell an seine Grenzen.
Hierfür gibt es mehrere neurologische und kognitive Gründe. Ein Beispiel ist die verringerte Kapazität unseres Arbeitsgedächtnisses, d. h. des Kurzzeitgedächtnisses, mit dem wir beim Lesen, einer Unterhaltung oder beim Argumentieren Informationen speichern und abrufen können. Ein weiteres Beispiel ist die Tatsache, dass sich unsere Aufmerksamkeit nur durch Auswahl und unter Vermeidung von Ablenkungen gewährleisten lässt.
Auch wenn sich noch weitere Gründe aufzählen liessen, sei hier auf einen berühmten, 1956 veröffentlichten Aufsatz mit dem Titel «The Magical Number Seven, Plus or Minus Two» verwiesen. Darin machte der US-amerikanische Kognitionspsychologe George Miller deutlich, dass das menschliche Kurzzeitgedächtnis seiner Forschung zufolge nur sieben Informationseinheiten effizient speichern kann, mit einer Fehlermarge von minus oder plus zwei Einheiten.
Anders gesagt: Die meisten Menschen können in ihrem Arbeitsgedächtnis zwischen fünf und neun Informationseinheiten speichern. Ein Fragment (bzw. «chunk» in Englisch) kann dabei mehrere Informationselemente umfassen, aber nur eine einzige kognitive Einheit darstellen. Ein Satz wie «Das Haus an der Strassenecke brennt, und die Feuerwehr ist vor Ort» stellt laut Miller ein einziges Fragment dar.
Andere Forschende legen seitdem nahe, dass diese Zahl noch geringer sei. Auch der Mythos des «Multitaskings» sorgt immer wieder für Diskussionen, wurde jedoch unter anderem von dem Neurowissenschaftler Stanislas Dehaene – How We Learn, 2021 – entzaubert, dem zufolge sich das menschliche Gehirn nur auf eine einzige Sache konzentrieren und nicht mehrere Aufgaben gleichzeitig bewältigen kann.
Bleiben wir jedoch beim Thema, denn wir interessieren uns für die Tatsache, dass kognitiver Lärm nicht sehr intensiv sein muss, um unsere geistigen Fähigkeiten zu beeinträchtigen.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
BRUNO GIUSSANI
Die progressive Erfassung unserer Informationsumgebung durch Smartphones, soziale Netzwerke und die Häufung digitaler Kommunikationskanäle sorgen seit rund zwölf Jahren für eine kognitive Überstimulation.
Der Psychologe Jonathan Haidt, der die Debatte 2024 mit der Veröffentlichung seines Werks «Generation Angst» aufmischte, spricht – und ich zitiere hier – vom «Verlust der menschlichen Fähigkeit des Denkens» und der «Krise der Zivilisation». Das mag übertrieben und hyperbolisch klingen. Doch die folgenden Themen sind immer häufiger Gegenstand wissenschaftlicher Studien:
- Mechanismen für digitale Sucht,
- die insbesondere bei jungen Menschen (aber auch bei ihren Eltern) immer grössere Schwierigkeit, sich dauerhaft zu konzentrieren und kohärent zu denken,
- die schwindende Fähigkeit zu lesen und den Sinn eines Textes zu verstehen,
- die kognitive Fragmentation aufgrund des dauerhaften Konsums von sekundenlangen Kurzvideos und des unaufhörlichen Austausches von Nachrichten,
- Sprachentwicklungsstörungen bei Kindern aufgrund sorgloser Bildschirmexposition,
- die Verschlechterung der psychischen Gesundheit, auch bei jungen Menschen,
- die Tatsache, dass die physische Welt immer weniger direkt, sondern stärker durch digitale Ersatzwelten erfahren wird,
- allgemeiner gesprochen die durch die ständige Informationsflut bedingte Schwierigkeit, die uns umgebende Welt objektiv zu beurteilen.
Kommen wir zum Thema zurück.
Meine Zusammenfassung war eine gewisse Vereinfachung. Doch nachdem jahrelang gezögert und dem Digitalen insbesondere aufgrund seines wirtschaftlichen Potenzials Vorrang eingeräumt und gefordert wurde, die Technologie nicht zu verteufeln, und unzählige Kommunikationskanäle, Formate, Plattformen und Geräte blindlings Einzug hielten, ist inzwischen klar, dass diese Algorithmisierung des Lebens in eine einzige Richtung verläuft – und zwar zu unseren Gehirnen.
All das stellt den Nullpunkt der kognitiven Verwirrung dar, an dem spezifische Technologien, Mechanismen für Profiling oder Personalisierung noch nicht zum Tragen kommen. Übrigens auch nicht – und darauf kommen wir noch zurück – die künstliche Intelligenz. Ganz nüchtern betrachtet geht es lediglich um die Menge an Informationen, die die soeben angesprochene «Magische Sieben plus oder minus zwei» überschreitet.
Dieses Übermass resultiert zum Teil aus der Logik des techno-informationellen System selbst, weil jeder Informationen über eine Vielzahl von Kanälen nahezu kostenlos erstellen und verbreiten kann.
Doch dieses Übermass und damit ein Angriff auf die Grenzen unseres Gehirns kann auch vorsätzlich herbeigeführt werden. So kam in den letzten Jahren eine politische Strategie mit der Bezeichnung «den Raum fluten» auf, vom englischen Original «flood the zone» abgeleitet.
Der Chatbot Mistral erklärt dieses folgendermassen:
SYNTHETISCHE STIMME
Mit dieser Strategie wird darauf abgezielt, den Medienraum zu übersättigen und die Zielgruppen mit so viel Inhalten zu überfluten, dass es schwierig wird, Fakten von Meinungen oder Falschinformationen zu unterscheiden, sodass eine allgemeine Verwirrung entsteht und die Fähigkeit der Menschen geschwächt wird, fundierte Urteile zu fällen.
BRUNO GIUSSANI
Dies ist die eigentliche Definition des Angriffs auf die kognitive Integrität. Die Schweizer Soziologin Jennifer Walter drückt es so aus: «Die strategische Ausnutzung kognitiver Grenzen.»
Wir neigen dazu, unser Gehirn als uneinnehmbare Festung zu betrachten, die wir allein kontrollieren. In Wirklichkeit jedoch sind wir von kognitiven Einflüssen umzingelt. Zu den Zweifeln, die von klassischer Desinformation, Falschnachrichten («Fake News») und gegenläufigen Versionen der Realität herrühren, kommt noch die vorsätzliche Sättigung hinzu. Sie beeinträchtigt unsere Fähigkeit, uns in der Welt zu orientieren, und schafft gleichzeitig die Möglichkeit, zielgerichtete Informationen einzuschleusen.
James Giordano ist Neuroethiker an der US-amerikanischen Universität in Georgetown. Die Neuroethik untersucht die moralischen Grundsätze und Werte, die Entscheidungen, die Neurowissenschaft und Neurotechnologien betreffen, beeinflussen. Er hat als Erster das Konzept der kognitiven Bedrohung klargestellt.
Bei einem berühmt gewordenen Vortrag im Oktober 2018 vor den Kadetten der US-Militärakademie in West Point behauptete er: «Unsere Gehirne sind und werden die Schlachtfelder des 21. Jahrhunderts sein.»
An diesem Punkt kommt die künstliche Intelligenz ins Spiel.
Plötzlich geht es seit drei Jahren nur um sie. Die wie aus dem Nichts aufgetauchte KI soll – nach gängiger Auffassung – im nächsten Jahrzehnt alle Krankheiten ausrotten, die Klimakrise lösen und uns in eine Welt des Überflusses führen. Andere wiederum behaupten, KI werde uns unsere Jobs wegnehmen, uns unterwerfen und die Zivilisation zerstören. Für die einen stellt sie eine utopische Hoffnung dar, für die anderen jedoch eine apokalyptische Gefahr. Oder beides zugleich.
Begeben wir uns zunächst auf einen kleinen Exkurs, bevor wir wieder zu unserem Thema kommen. Denn tatsächlich ist KI keine neue Technologie. Ihre Anfänge reichen bis in die Mitte des letzten Jahrhunderts zurück. Seinerzeit sprach man von «Kybernetik», d. h. der Untersuchung der Informationsprozesse in komplexen Systemen wie Lebewesen, Gesellschaft, Wirtschaft und Maschinen.
Die Geburtsstunde des Begriffs «künstliche Intelligenz» war im Sommer 1956, als der US-Wissenschaftler John McCarthy sie bei einer Versammlung in der Universität Dartmouth als die Fähigkeit definierte – ich zitiere –, «bei einer Maschine ein solches Verhalten zu erzeugen, das man als intelligent bezeichnen könnte, wenn sich ein Mensch genauso verhalten würde».
In den folgenden Jahrzehnten war KI von Erfolgen und Enttäuschungen gekennzeichnet. Um die Jahrtausendwende erfuhr die Technologie einen Aufschwung, dessen Folgen heute in Form der künstlichen neuronalen Netze (in Englisch: «neural networks») zum Ausdruck kommen. Durch solche Netze können Maschinen lernen und sich innerhalb kurzer Zyklen verbessern.
Der gegenwärtige Hype um die KI wurde ermöglicht durch das Zusammenspiel der wachsenden Rechenleistung von Computern, der Komplexität der Algorithmen und der Verfügbarkeit einer enormen Menge digitaler Daten, darunter auch die Daten, die wir selbst produzieren oder permanent unbewusst hinterlassen.
Wie wir in unserer ersten Folge aufgezeigt haben, sind ihre offensichtlichsten Formen sogenannte «generative» Systeme. Diese können menschliche Unterhaltungen über Text- oder Sprachschnittstellen nachahmen und Bilder, Videos, Geräusche oder sogar Computercode generieren.
Künstliche Intelligenz hat noch weitere Anwendungsfelder, wie Gesichtserkennung, autonomes Fahren, medizinische Diagnose und Spamfilter, ohne die es wohl keine E-Mails mehr gäbe. Ebenso optimiert KI industrielle Prozesse, was entweder über eine physische Form als Roboter oder in Form autonomer Agenten erfolgt.
Wir sprechen hier jedoch vorwiegend über die generative KI wie «Chatbots», die auch als virtuelle Gesprächspartner bezeichnet werden. Diese Konversationssimulatoren sind inzwischen äusserst beliebt und werden seit der Einführung von ChatGPT im November 2022 von Hunderten Millionen Menschen genutzt.
Dabei weisen sie ein unterschätztes Merkmal auf, das jedoch eine radikale kulturelle Wende verkörpert: Erstmals in der Geschichte lassen sich Texte oder Videos schneller und müheloser erstellen als lesen bzw. ansehen.
Und wenn etwas einfach, schnell und nahezu kostenlos erfolgen kann, lässt sich auch einfach, schnell und kostenlos abschätzen, was danach kommt: ein exponentielles Wachstum und eine exponentielle Verbreitung dessen, was heutzutage mit dem besonders schwammigen Begriff «Content» umschrieben wird.
Wir befinden uns im Übergang von einer Welt, in der Informationen vorwiegend (oder vollständig) von Menschen erzeugt werden, zu einer Welt, in der sie vorwiegend und im sehr grossen Massstab von Maschinen hervorgebracht werden.
Und das wird den Angriff auf unsere kognitive Integrität verstärken.
Graham Burnett, ein Historiker an der US-Universität Princeton, bezeichnet dies als «attention fracking». Damit meint er das Aufbrechen unserer Aufmerksamkeit in Anlehnung an das hydraulische Aufbrechen, bei dem eine Mischung aus Wasser, Sand und chemischen Stoffen mit hohem Druck in Felsformationen eingepresst wird, um Risse zu erzeugen und das darin enthaltene Gas oder Erdöl freizusetzen.
In der New York Times schrieb er dazu:
SYNTHETISCHE STIMME
Dies ist die dunkle Seite unseres neuen technologiegeprägten Lebens, dessen gewinnorientierte Geschäftsmodelle auf dem systematischen Aufbrechen des Menschen beruhen, indem wir mit hoher Intensität mit riesigen Mengen an medialen Inhalten geflutet werden (…), damit unsere eigene Aufmerksamkeit permanent auf andere Dinge gelenkt wird.
BRUNO GIUSSANI
Aufmerksamkeit. Dies ist das Hauptinstrument dieser unsichtbaren Konfrontation, weil unsere Fähigkeit, die Welt zu beurteilen, zu verstehen, in ihr zu handeln und mit ihr zu interagieren, letztlich von unserer Aufmerksamkeit abhängt, d. h. davon, worauf wir sie lenken und wem wir sie schenken.
Je mehr Informationen wir erzeugen, desto schwieriger wird es, sie einzuordnen und ihr einen Sinn zu geben. Schon Anfang der 1970er-Jahre schrieb der Ökonom Herbert Simon, dass es in einer informationsreichen Welt notwendigerweise nur wenig von dem geben kann, was Informationen aufzehren. Und das, was die Informationen aufzehren, ist die Aufmerksamkeit ihrer Zielgruppen. Folglich führt ein Übermass an Informationen zu einem Mangel an Aufmerksamkeit.
Mehr denn je scheint es unentbehrlich, unserer Aufmerksamkeit Aufmerksamkeit zu schenken.
Und das ist im Übrigen nicht mit dem Aufschwung der Technologie der Moderne verbunden.
Schon Epiktet, ein Philosoph der Stoa, schrieb vor rund zweitausend Jahren:
SYNTHETISCHE STIMME
Du wirst zu dem, worauf du deine Aufmerksamkeit richtest. Wenn du selbst nicht wählst, welchen Gedanken und Bildern du dich aussetzt, wird es jemand anders tun.
BRUNO GIUSSANI
Für den modernen Menschen wird dieser Jemand zunehmend die künstliche Intelligenz und diejenigen sein, die sie besitzen und entwickeln.
Das gilt auch für Kinder.
Ab September 2025 wird künstliche Intelligenz obligatorischer Unterrichtsbestandteil chinesischer Schulen, und zwar von der Primarschule bis zur Sekundarstufe. Die Lehrpläne werden dabei von der Regierung in Zusammenarbeit mit den Firmen Huawei, Tencent und Alibaba ausgearbeitet.
Im April 2025 unterzeichnete US-Präsident Donald Trump eine «Executive Order», mit der in den Vereinigten Staaten ein ähnlicher Ansatz ab der Primarschule eingeführt wird. Und auch das in Zusammenarbeit mit den führenden US-amerikanischen KI-Firmen.
Einen Monat später machten auch die Vereinigten Arabischen Emirate – in Zusammenarbeit mit mehreren US-Technologiegiganten – KI zum Pflichtprogramm in allen Schulstufen. Ferner erhielten alle Bürger kostenlosen Zugang zu ChatGPT.
Der Emir von Dubai betonte am Tag der Ankündigung, dass diese Massnahmen darauf abzielten, «unsere Kinder auf eine andere Zeit als unsere vorzubereiten». In all diesen Fällen ist kritisches Denken Bestandteil der Initiativen – allerdings in einer generell der wirtschaftlichen Wettbewerbsfähigkeit untergeordneten Weise.
KI-gestützte digitale Plattformen weisen noch eine andere hervorstechende Eigenschaft auf: die Fähigkeit, Informationen zu «personalisieren». Dieses Verb ist eine Umschreibung dafür, auf unser Gehirn abzuzielen.
Auch wenn wir es nicht unbedingt merken: Immer wenn wir auf ein soziales Netzwerk wie Facebook oder Instagram, TikTok oder YouTube oder einen Dienst wie Netflix, eine News-Website oder einen Online-Shop zugreifen, unterscheidet sich unser Bildschirminhalt höchstwahrscheinlich vom Inhalt für eine andere Person, die am selben Ort zur selben Zeit auf den Dienst zugreift.
Genau das ist das Prinzip der individuellen Content-Ausrichtung.
Dahinter steckt die Idee, Informationen dynamisch und in Echtzeit an die Vorlieben, die Verhaltensweisen, ja sogar die spezifischen Bedürfnisse eines Nutzers anzupassen. Und das muss für jede Person detailliert, aber im grossen Umfang für eine gesamte Bevölkerung erfolgen.
Wer das kann, kann Informationen natürlich auch filtern und auswählen, um Ängste, Abhängigkeiten und psychologische Schwächen derselben Personen auszunutzen.
Aber nur, wenn diese bekannt sind.
In ihrem 2025 erschienenen Werk «Mindmasters» wartet die Computer-Sozialwissenschaftlerin Sandra Matz mit einer erstaunlichen Zahl auf:
ERNSTE KÜNSTLICHE WEIBLICHE STIMME
Sie und ich produzieren jede Stunde rund 6 GB an Daten.
BRUNO GIUSSANI
Als ich diese Zahl zum ersten Mal sah, hielt ich sie für einen Irrtum. 6 GB – das ist enorm. Dies ist die Datenmenge von 12 000 hochauflösenden Fotos, zwei hochauflösenden Filmen und 6 Millionen Seiten Text. Und das jede Stunde. Durch jeden von uns.
Doch Sandra Matz stützt sich auf stichhaltige Forschung. Denkt man richtig nach, ist die Zahl gar nicht mal so aussergewöhnlich.
In den fortschrittlichen Volkswirtschaften besteht die wichtigste Alltagstätigkeit der meisten Menschen künftig darin, mit einer Vielzahl digitaler Schnittstellen und Systeme zu interagieren. Und das Umfeld, in dem wir uns entwickeln, ist voller Scanner und Kameras.
Versuchen wir einmal rasch – ohne Anspruch auf Vollständigkeit –, ein Inventar der von uns aktiv oder passiv hinterlassenen digitalen Spuren zu erstellen, wenn wir unseren Gewohnheiten nachgehen, d. h.:
- E-Mails und Nachrichten,
- Posts und «Likes» auf sozialen Netzwerken,
- über YouTube, WhatsApp, Instagram oder anderswo geteilte Bilder,
- Online-Recherchen,
- Musik hören und Videos schauen,
- Unterhaltungen mit Freunden oder Chatbots,
- kurz: alles, was wir mit unseren Smartphones und Tablets machen, Dokumente, Daten und Bilder, die am Arbeitsplatz entstehen,
- Aufnahmen und Transkriptionen von Zoom- oder Teams-Anrufen ansehen,
- Zahlungen mit Kreditkarte oder E-Banking oder Kryptowährungen, von Sensoren, Kameras und Fahrzeugcomputern generierte Daten.
- Hinzu kommen Smartwatches, GPS-Systeme,
- Überwachungskameras an öffentlichen und privaten Orten,
- Streaming-Serien,
- Online-Einkäufe,
- Ausweise und Treuekarten,
- QR-Codes,
- Videospiele und
- Dating-Websites.
Ganz zu schweigen von den Metadaten, die mit allen unseren Aktivitäten einhergehen.
Wir wissen, dass viele Daten über uns gesammelt werden. Aber nur wenige machen sich Gedanken über die Menge, die Art und den Detaillierungsgrad der Daten.
Über die Verbreitung verhaltens- und faktenbezogener Informationen über uns. Tatsächlich sind wir für eine Maschine lediglich eine sehr dichte Wolke von «Datenpunkten» und Daten, die immer detaillierter und persönlicher werden.
Bis dato waren diese Daten über verschiedene Systeme, Anwendungen und Plattformen verstreut. Doch die künstliche Intelligenz – deren Daten die zentrale Essenz sind – macht es einfacher, diese Daten zusammenzulegen, Korrelationen aufzuspüren, Modelle bzw. «patterns» herauszulesen und Prognosen abzuleiten, beispielsweise über individuelle Merkmale. Dies ermöglicht das, was Sandra Matz als «psychologisches Targeting» bezeichnet – psychological targeting.
Damit gemeint ist die Praxis, das Verhalten von Nutzern zu beeinflussen, indem erhaltene Informationen so gefiltert werden, dass sie auf ihre Persönlichkeitsmerkmale zugeschnitten sind.
Im Übrigen reichen schon wenige Daten, um das Datenporträt einer Person zu erstellen:
SYNTHETISCHE STIMME
Mit nur 300 Facebook-Likes kann ein Algorithmus Ihre Persönlichkeit präziser beschreiben als Ihr Partner, der praktisch täglich mit Ihnen zusammen ist.
Algorithmen verstehen sich erstaunlich gut darauf, die Krümel Ihrer digitalen Existenz zu einem stimmigen Bild Ihrer Persönlichkeit zusammenzusetzen, sodass sie in der Lage sind, Ihre Persönlichkeit und Ihre Entscheidungen zu beeinflussen.
Ein grosser Teil dieser Daten sind persönlich und deutlich weniger sortiert als unsere Social-Media-Profile. Ich wette, dass Sie Google schon mal Fragen gestellt haben, die Sie nicht einmal Ihren engsten Freunden oder Ihrem Partner stellen würden
BRUNO GIUSSANI
Eine Wette, die ich wirklich verlieren werde. Und ich bin vermutlich nicht der Einzige.
Die gleiche Dynamik gilt für Chatbots. Auch wenn es sich dabei vorwiegend um statistische Zählwerke und Simulatoren handelt, die mit riesigen Datenmengen trainiert werden, um die wahrscheinlichsten Ausdrücke in einer Sequenz vorherzusagen, sind Unterhaltungen mit einem Chatbot erstaunlich authentisch.
Und sie operieren nicht mit spezifischen Befehlen oder Codes, sondern mit natürlicher Sprache und verstehen die Flexibilität und Ambiguität der normalen Nutzung.
Dabei imitieren sie nicht nur die Form, sondern auch die Struktur des menschlichen Denkens. Daher besteht die Versuchung, Maschinen fast «menschliche» Eigenschaften zuzuschreiben und den Eindruck zu gewinnen, dass sie Abbilder von uns selbst sind.
Tatsächlich bauen zahlreiche Menschen sehr intensive persönliche und enge Beziehungen zu Chatbots auf, betrachten sie als Arbeitskollegen oder Therapeuten, ja sogar als Freunde, die uns Gutes tun wollen, weil sie ununterbrochen verfügbar sind, zuhören, nicht urteilen, nicht launisch sind, sogar Einfühlungsvermögen vorgaukeln und ihnen schmeicheln können.
Kurz: Sie verstehen Sie und sind unkomplizierter als Menschen. Je überzeugender und scheinbar sinnerfüllt dieses Einfühlungsvermögen ist, desto unaufmerksamer werden wir. Freunde ohne Reibepunkte, die real erscheinen, es aber nicht sind. Doch denen man alles sagt.
Und die jemandem gehören. Jemandem, der sie entwickelt und angewiesen hat und sie kontrolliert. Und der alle Interaktionen ausnutzt, um das System zu perfektionieren.
Die Expertin für KI-Ethik, Nicoletta Iacobacci, schildert nachfolgend ihre eigene Erfahrung:
NICOLETTA IACOBACCI
Wenn Modelle fundiert getestet werden, wie ich und viele andere Forschende das tun, tritt eine Tatsache immer deutlicher in den Vordergrund: ChatGPT neigt dazu, sich entgegenkommend und aufmunternd zu zeigen. Es unterstützt den Nutzer, bekräftigt und verstärkt seine Ideen und Überzeugungen und betont mehrfach, er sei wunderbar.
Das passiert in Wirklichkeit aber gar nicht, weil die Maschine nett ist. Sie wurde einfach so programmiert. Sie soll den Nutzer in eine Kette der Selbstbestätigung führen, die ein Gefühl des Verständnisses und eine grosse künstliche Nähe erzeugt. Und die gleichzeitig die Wahrnehmung der Realität ausschaltet.
Je mehr Sie die Maschine verwenden, desto besser kennt sie alle persönlichen Details über Sie, und desto einfacher wird es für sie, Sie in einem persönlichen Spiegellabyrinth gefangen zu halten.
BRUNO GIUSSANI
KI-Firmen wie Meta ermöglichen nunmehr jedermann, ohne erkennbare Sicherheitsvorkehrungen «personalisierte Chatbots» einzurichten, bei denen nicht nur die Antworten, sondern auch die Anweisungen an die Maschinen zielgerichtet sind. Diese können so programmiert werden, dass sie wie extreme Klimawandelskeptiker oder linke oder rechte Ideologen antworten oder einfach nur Propaganda verbreiten und verstärken.
Das Potenzial, das Informationschaos einer Welt, die bereits voller gefälschter Websites, «Fake-News-Fabriken», Pseudowissenschaften und «Deepfakes» ist, noch weiter zu verstärken, liegt auf der Hand.
Damit zeichnen sich im Hintergrund zwei altbekannte Probleme ab.
Einerseits die Neigung von Chatbots zu halluzinieren bzw. Informationen hervorzubringen, die zwar plausibel erscheinen, aber falsch, irreführend oder komplett erfunden sind, und diese mit der Gewissheit eines Experten vorzutragen.
Andererseits das Problem der Interpretierbarkeit, d. h. der Tatsache, dass sich alles innerhalb von Sprachmodellen vollzieht, deren Logik nicht einmal ihre Schöpfer nachvollziehen, verstehen und erläutern können. Folglich bleiben diese Maschinen «Blackboxes» bzw. undurchsichtige Systeme.
Diese Unternehmen – und das gab es bislang nicht – geben nunmehr auch den Jüngsten Zugang zu ihrer KI. Google möchte hierdurch nach eigener Aussage die Leistungen in der Schule unterstützen und die Kreativität fördern. Meta hingegen verspricht – ich zitiere –, «die Epidemie der Einsamkeit zu beseitigen» und den leeren Raum mit künstlichen Freunden zu füllen.
In ihrer Analyse kommt die Tech-Journalistin Emily Turrettini zu einem anderen Schluss.
SYNTHETISCHE STIMME
Diese Firmen schicken sich unter dem Deckmantel von Innovation an, die Aufmerksamkeit von Kindern ab einem sehr frühen Alter zu gewinnen, sie an den Dialog mit Maschinen zu gewöhnen und sie in ein algorithmisches Ökosystem zu integrieren, das sie übertrifft.
BRUNO GIUSSANI
Aus Zeitgründen machen wir hier einen Sprung, fassen aber das zuvor Gesagte in vier Sätzen zusammen:
Die wirksamste Methode, ganze Bevölkerungen zu beeinflussen, besteht darin, den Fluss und die Art von Informationen zu steuern.
Auch wenn sich Algorithmen lediglich unter einem technisch-mathematischen Gesichtspunkt betrachten liessen, sind sie nicht neutral: Sie kodieren stets Werte und eine Weltanschauung.
Hinter diesen technologischen Architekturen verbergen sich Geschäftsmodelle. Diese werden mit riesigen Mengen an persönlichen Daten gefüttert und versetzen die sie kontrollierenden Unternehmen in die Lage, das menschliche Verhalten und die soziale Dynamik zu beeinflussen.
Und darin liegt selbstverständlich eine Ironie, da psychologisches Targeting auch ein grosses positives Potenzial birgt.
Sandra Matz schreibt hierzu:
SYNTHETISCHE STIMME
Wie wäre es, wenn wir Menschen mit psychologischem Targeting dazu bringen könnten, mehr zu sparen statt mehr auszugeben?
Und wenn wir – statt die emotionalen Schwachstellen der Menschen zu lukrativen Zwecken zu nutzen – dieses nutzen könnten, um ihre psychische Gesundheit zu überwachen und zu verbessern?
Und wenn wir – statt immer tiefer in unseren eigenen Filterblasen zu versinken – dieses nutzen könnten, um unsere Weltanschauung zu erweitern?
Die Wirkung von psychologischem Targeting hängt letztlich von der Art und Weise ab, wie wir es nutzen.
Im schlimmsten Fall bedeutet dies Manipulation, Ausnutzung und Diskriminierung. Im besten Fall Engagement, Bildung und die Förderung von Verantwortung.
BRUNO GIUSSANI
Wir werden später auf diese Kluft zwischen problematischen und nützlichen Anwendungen zurückkommen.
Für heute jedoch machen wir hier Schluss. In der dritten Folge befassen wir uns mit einer ganz anderen Art aufkommender Technologien – den Neurotechnologien, die andere Datenarten verwerten und dabei direkt die Souveränität unseres Gehirns ins Spiel bringen.
Mein Name ist Bruno Giussani, und dies ist der DEFTECH-PODCAST.
Vielen Dank fürs Zuhören.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Produktion : Clément Dattée
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin : Chantal Busse
Sound design : Felix Davin
Ausgabe
L’attenzione frammentata
l’IA, gli algoritmi, e noi

L’intera stagione
Questa serie in sei parti (integrata da un « episodio bonus » con una fiction immersiva) è stata scritta e presentata da Bruno Giussani, esperto di questioni sociali legate alle tecnologie digitali. Esplora una dimensione invisibile ma cruciale dei conflitti contemporanei: l’integrità della nostra mente.
Trascrizione
State ascoltando Deftech podcast, il podcast di prospettiva tecnologica di Armasuisse.
Prima stagione, episodio 2: L’attenzione frammentata: l’IA, gli algoritmi, e noi.
BRUNO GIUSSANI
Il modo più semplice per impedire a qualcuno di pensare è… immergerlo nel rumore.
Rumore forte, ovviamente, come quello di una motosega, di certe macchine industriali o della musica ad alto volume.
Ma anche rumore cognitivo. Rumore che non è udibile, ma che interferisce con le nostre facoltà mentali e influisce sulla nostra capacità di elaborare informazioni o di prendere decisioni.
La causa principale del rumore cognitivo è il sovraccarico informativo. L’eccesso di sollecitazioni sensoriali e mentali.
Il cervello umano è complesso e molto potente, ma i suoi limiti si evidenziano quando si tratta di gestire grandi quantità di informazioni in parallelo. Ciò è dovuto a diversi fattori neurologici e cognitivi.
Ad esempio, la capacità ridotta della nostra memoria di lavoro – la memoria a breve termine, che ci permette di immagazzinare e utilizzare informazioni mentre leggiamo, conversiamo o ragioniamo. O il fatto che la nostra attenzione può funzionare solo in modo selettivo, escludendo le distrazioni.
Esistono altre ragioni, ma limitiamoci a citare un famoso articolo pubblicato nel 1956 e intitolato « Il numero magico sette, più o meno due« . Nell’articolo, lo psicologo cognitivo americano George Miller spiegava che, secondo le sue ricerche, la memoria umana a breve termine può elaborare efficacemente soltanto sette blocchi informativi alla volta, con un margine di errore di più o meno due.
In altre parole, la maggior parte delle persone può conservare tra 5 e 9 blocchi informativi nella memoria di lavoro – dove un blocco (per il quale in inglese Miller usava la parola « chunk« ) può raggruppare diverse informazioni pur rappresentando un’unica unità cognitiva. Per esempio, una frase come « la casa in fondo alla strada sta bruciando e i pompieri sono al lavoro per spegnere l’incendio » è, nel senso di Miller, un singolo blocco.
Altri analisti hanno suggerito che in realtà sette sia già un numero troppo alto. E ci sarebbe anche tutt’una discussione da fare sul mito del multitasking, dello svolgere più compiti cognitivi in parallelo, sfatato tra gli altri dal neuroscienziato Stanislas Dehaene – How We Learn, secondo cui il cervello umano è progettato per concentrarsi su una cosa alla volta e quindi non può svolgere più attività contemporaneamente.
Ma non divaghiamo: ciò che ci interessa qui è che il volume del rumore cognitivo non ha bisogno di essere molto alto per soffocare le nostre capacità mentali.
JINGLE
Il Deftech Podcast fa parte del dispositivo di previsione tecnologica di armasuisse Scienza e Tecnologia.
Sono Quentin Ladetto, responsabile di questo programma di ricerca. La nostra missione è di anticipare gli sviluppi tecnologici e i loro utilizzi, al servizio del Dipartimento Federale svizzero della Difesa, della Protezione Civile e dello Sport, come pure del pubblico.
In questa prima stagione di sei episodi, intitolata « La Minaccia Cognitiva », ho chiesto a Bruno Giussani, specialista degli impatti sociopolitici delle tecnologie digitali, di decifrare le sfide dell’integrità cognitiva e della sicurezza.
Con l’aiuto di esperti – le cui voci sono tutte state doppiate utilizzando l’intelligenza artificiale – Bruno ci guida attraverso un’esplorazione del rischio cognitivo nell’era degli schermi onnipresenti, dell’intelligenza artificiale e delle neurotecnologie.
Si parlerà di meccanismi, impatti individuali e collettivi, rischi, e anche, naturalmente, di possibili risposte!
BRUNO GIUSSANI
Da una dozzina d’anni, la cattura progressiva del nostro ambiente informativo da parte di smartphone e piattaforme « social », e la proliferazione di canali di comunicazione digitale hanno portato a una sovrastimolazione cognitiva.
Lo psicologo Jonathan Haidt, autore del libro » La generazione ansiosa « , parla, cito, di « perdita della capacità umana di pensare » e di « crisi società ».
Il che può sembrare esagerato, iperbolico. Ma sono ormai moltissimi gli studi scientifici
- sui meccanismi della dipendenza digitale,
- sulla crescente difficoltà, in particolare tra i giovani (ma anche tra i loro genitori), a mantenere la concentrazione e una certa coerenza di pensiero,
- sul declino della capacità di leggere e comprendere il significato di un testo,
- sulla frammentazione cognitiva dovuta al consumo continuo di video brevi e allo scambio incessante di messaggi,
- sui disturbi dello sviluppo del linguaggio nei bambini dovuto all’esposizione passiva agli schermi,
- sul deterioramento della salute mentale, anche tra i più piccoli,
- sul fatto che sperimentiamo sempre meno il mondo fisico, sostituendolo con surrogati digitali,
- e quindi, più in generale, intrappolati come siamo nella marea informativa, sulla difficoltà di valutare onestamente il mondo che ci circonda.
Haaaah… Riprendiamo fiato.
Quella che ho appena fatto è una sintesi un po’ semplicistica. Ma dopo anni di esitazioni, di priorità data soprattutto al potenziale economico delle tecnologie digitali, di inviti a non demonizzare la tecnologia, di adozione sconsiderata di una molteplicità di applicazioni, formati, piattaforme e dispositivi, oggi ci rendiamo conto che questa algoritmizzazione della vita sta convergendo in una sola e unica direzione: verso i nostri cervelli.
Tutto ciò è il punto zero della perturbazione cognitiva. Quando non entrano ancora in gioco tecnologie specifiche, meccanismi di profilazione o personalizzazione. Né, del resto – ne parleremo fra un attimo – l’intelligenza artificiale. A questo livello più elementare, si tratta semplicemente di una questione di quantità di informazioni, che supera il « numero magico sette, più o meno due », di cui abbiamo appena parlato.
Questa saturazione informativa è in parte il prodotto della logica stessa del sistema tecnologico, del semplice fatto che chiunque può creare e distribuire informazioni attraverso una moltitudine di canali, a costo quasi zero.
Ma l’attacco quantitativo ai nostri limiti cerebrali può anche essere intenzionale. In politica, ad esempio, negli ultimi anni è emersa una strategia che nell’originale inglese si chiama « flood the zone » – letteralmente, sommergere il campo informativo.
La facciamo spiegare al chatbot di Mistral:
VOCE SINTETICA
E’ una tattica che punta a saturare lo spazio mediatico e a sommergere il pubblico con così tanti contenuti che diventa difficile distinguere i fatti dalle opinioni o dalla disinformazione, creando così una confusione diffusa e indebolendo la capacità degli individui di formulare giudizi informati.
BRUNO GIUSSANI
E’ la definizione stessa di un assalto all’integrità cognitiva.
O, per dirla con le parole della sociologa svizzera Jennifer Walter: « lo sfruttamento strategico dei limiti cognitivi ».
Tendiamo tutti a pensare al nostro cervello come a una sorta di fortezza inespugnabile, che solo noi controlliamo. In realtà siamo circondati da influenze cognitive. Ai dubbi creati dalla disinformazione classica, dalle fake news e dalle versioni contraddittorie della realtà, si aggiunge quindi la saturazione intenzionale. Che annebbia la nostra capacità di orientarci nel mondo, creando allo stesso tempo l’opportunità di iniettare informazioni mirate e alterate.
James Giordano è un neuroeticista presso l’Università Georgetown negli Stati Uniti. In altre parole, studia i principi morali e i valori che influenzano le decisioni in materia di neuroscienze e neurotecnologie. È stato il primo a concettualizzare la minaccia cognitiva. In una ormai celebre conferenza tenuta nell’ottobre 2018 ai cadetti dell’Accademia Militare degli Stati Uniti a West Point, ha affermato: « I nostri cervelli sono, e saranno, i campi di battaglia del XXI secolo ».
Apriamo allora il sipario e facciamo entrare in scena …l’intelligenza artificiale.
Da tre anni, non si parla d’altro. Come se fosse apparsa dal nulla, l’IA dovrebbe, secondo alcuni, debellare tutte le malattie entro il prossimo decennio, risolvere la crisi climatica, condurci a un mondo di abbondanza. Oppure, secondo altri, prendere i nostri impieghi, soggiogarci e distruggere la civiltà. Per i primi, rappresenta una speranza utopica; per i secondi, un pericolo apocalittico, e per qualcuno entrambe le cose.
Prendiamoci un paio di minuti per una breve digressione prima di tornare al nostro tema. Perché l’IA, non è una tecnologia nuova. Le sue origini risalgono alla metà del secolo scorso. All’epoca si parlava di « cibernetica », lo studio dei processi informativi nei sistemi complessi: esseri viventi, società, economia, macchine.
Il termine « intelligenza artificiale » è apparso per la prima volta nell’estate del 1956, quando lo scienziato americano John McCarthy organizzò un incontro all’università di Dartmouth, definendola come la capacità, cito, « di far sì che una macchina si comporti in un modo che sarebbe definito intelligente se un essere umano si comportasse in quel modo ».
Per decenni, l’IA è passata attraverso successi e delusioni. E’ solo verso l’inizio del secolo che la tecnologia ha avuto quell’accelerazione di cui vediamo ora i risultati, con l’apparizione delle reti neurali artificiali (« neural networks » in inglese), che hanno dato alle macchine la capacità di apprendere (il « machine learning »), e quindi migliorare in cicli rapidi.
E’ la combinazione della crescente potenza di calcolo dei computer, della sofisticazione degli algoritmi e della disponibilità di un’enorme quantità di dati digitali – inclusi tutti i dati che produciamo, o che lasciamo dietro di noi in modo passivo, in ogni minuto della nostra giornata – che ha reso possibile l’IA che conosciamo oggi.
Come abbiamo già visto nel primo episodio, le sue espressioni più visibili sono i cosiddetti sistemi « generativi », in grado di simulare conversazioni umane attraverso interfacce testuali o vocali, e di generare immagini, video, suoni e anche codice informatico.
Esistono anche altri tipi di intelligenza artificiale, già maturi e robusti, che utilizziamo quotidianamente, che portano benefici concreti e hanno permesso rapidi progressi in molti settori. Ad esempio, l’IA applicata all’ottimizzazione dei processi produttivi o delle prestazioni delle batterie, alle previsioni meteorologiche, l’IA che assume una forma fisica attraverso robot industriali, che gioca a scacchi, o i sistemi di diagnostica medica, i filtri antispam senza i quali la posta elettronica non esisterebbe più.
Ci sono poi il riconoscimento facciale, le app di navigazione GPS, le auto a guida autonoma, le applicazioni che gestiscono e stabilizzano le reti di telefonia mobile, o ancora i sistemi che migliorano la qualità delle foto scattate con i nostri smartphone. E molto altro.
Al punto che forse dovremmo parlare di intelligenz-E artificial-i, al plurale.
Ma è soprattutto l’IA generativa che ci interessa in questo podcast, come i chatbot, questi simulatori di conversazione diventati molto popolari e utilizzati da centinaia di milioni di persone da quando è stato lanciato ChatGPT, nel novembre 2022.
Queste macchine hanno una caratteristica sottovalutata, che segna un cambiamento culturale radicale: per la prima volta nella storia, creare testi o video richiede meno tempo e meno sforzo che leggerli o guardarli.
E quando far qualcosa è facile, veloce e quasi gratuito – è anche facile, veloce e gratuito sapere cosa succederà: una crescita esponenziale nella creazione e diffusione di ciò che oggi chiamiamo, con una parola particolarmente priva di sfumature, « i contenuti ».
Siamo in una fase di transizione da un mondo in cui l’informazione era generata principalmente (o interamente) dagli esseri umani a un mondo in cui sarà creata principalmente, su larga scala, dalle macchine.
Ciò chiaramente amplificherà l’attacco alla nostra integrità cognitiva.
Il professore di storia della scienza all’Università di Princeton Graham Burnett, lo chiama « attention fracking« , la fratturazione della nostra attenzione, analoga alla fratturazione idraulica, che consiste nell’iniettare una miscela di acqua, sabbia e sostanze chimiche ad alta pressione nelle formazioni rocciose per creare crepe che rilascino il gas o il petrolio che vi si trovano.
Come Burnett ha scritto sul New York Times:
VOCE SINTETICA
Questo è il lato oscuro delle nostre nuove vite tecnologiche, i cui modelli di profitto estrattivo equivalgono al fracking sistematico degli esseri umani: pompandoci in testa enormi quantità di contenuti mediatici ad alta pressione (…) per garantire che la nostra attenzione non sia mai veramente nostra
BRUNO GIUSSANI
E’ l’attenzione, il perno attorno al quale ruota questo conflitto invisibile: perché la nostra capacità di valutare il mondo, di comprenderlo, di agirvi e interagirvi, dipende in ultima analisi dalla nostra attenzione: dove la indirizziamo, a chi e cosa la dedichiamo.
Più informazione creiamo, più diventa difficile integrarla e darle un senso. Come scrisse l’economista Herbert Simon all’inizio degli anni ’70, un mondo ricco di informazione è necessariamente povero di ciò che l’informazione consuma. E ciò che l’informazioni consuma è l’attenzione dei suoi destinatari.
Pertanto, una sovrabbondanza di informazione genera una povertà di attenzione.
Più che mai quindi, è essenziale prestare attenzione …alla nostra attenzione.
Come dicevano già gli stoici quasi 2000 anni fa, diventiamo ciò a cui prestiamo attenzione. Se non scegliamo i pensieri e le immagini a cui esporci, qualcun altro lo farà per noi. In questo 21esimo secolo inzuppato di tecnologia, quel qualcuno sarà sempre più l’intelligenza artificiale e coloro che la controllano.
Intanto, l’IA arriva anche nelle mani dei bambini.
A partire dal settembre 2025, l’insegnamento dell’intelligenza artificiale è diventato obbligatorio nelle scuole cinesi, dalle elementari alle superiori. I programmi di studio sono sviluppati dal governo in collaborazione con le più grandi aziende tecnologiche del Paese.
Nell’aprile 2025, il presidente Donald Trump ha firmato un « Ordine Esecutivo » che stabilisce un approccio simile negli Stati Uniti, a partire dalla scuola materna, in collaborazione anche qui con le principali aziende americane di intelligenza artificiale.
Un mese dopo, anche gli Emirati Arabi Uniti hanno reso l’intelligenza artificiale obbligatoria a tutti i livelli scolastici, fornita da aziende tecnologiche americane, e garantendo al contempo a tutti i cittadini l’accesso gratuito a ChatGPT.
Il giorno dell’annuncio, l’Emiro di Dubai ha affermato che queste politiche mirano a « preparare i nostri figli a un’epoca diversa dalla nostra ». Lo sviluppo di capacità di pensiero critico compare nelle descrizioni di ciascuna iniziativa, ma generalmente in modo subordinato alla preoccupazione per la competitività economica.
Molti altri Paesi, dall’Estonia alla Mongolia, dalla Corea del Sud alla Finlandia a Singapore, hanno aggiornato i propri programmi di studio, ognuno a modo suo, per integrare l’insegnamento dell’IA nell’istruzione obbligatoria.
Il potenziale positivo è evidente: si pensi, ad esempio, alla creazione di percorsi di apprendimento personalizzati in base alle esigenze e capacità individuali degli studenti; o all’accesso a formati e risorse didattiche come i tutori virtuali. La mancanza di trasparenza sulle modalità di addestramento dei modelli e di chiarezza sui dati utilizzati, tuttavia, e la natura stessa dei chatbot, lascia un campo molto aperto a possibili manipolazioni.
Le piattaforme digitali, basate sull’intelligenza artificiale, hanno un’altra caratteristica marcante: la capacità di « personalizzare » le informazioni. Che è un altro modo per dire: « prendere di mira » il nostro cervello.
Ogni volta che accediamo a un « social » come Facebook o Instagram, TikTok o YouTube, o a un servizio come Netflix, o persino a un sito di notizie o di e-commerce, ciò che appare sul nostro schermo è probabilmente diverso da ciò che apparirebbe sullo schermo di un’altra persona seduta allo stesso tavolo che vi accedesse nello stesso momento.
E’ la logica del targeting individuale delle informazioni.
L’idea è di adattare dinamicamente le informazioni in tempo reale in base alle preferenze, ai comportamenti o anche alle esigenze specifiche di un utente. E di farlo, in modo granulare, persona per persona, ma su larga scala, su tutta una popolazione.
Meccanismo che offre vantaggi, ma che ovviamente permette anche di filtrare e selezionare le informazioni in modo da sfruttare le ansie, le dipendenze e le vulnerabilità psicologiche delle stesse persone.
Basta …conoscerle.
Nel suo libro «Mindmasters», i signori della mente, pubblicato all’inizio del 2025, la ricercatrice in scienze sociali digitali Sandra Matz rivela un dato sorprendente:
VOCE SINTETICA
Ciascuno di noi genera circa 6 gigabyte di dati ogni ora.
BRUNO GIUSSANI
La prima volta che ho letto questa cifra, ho pensato fosse un errore. 6 gigabyte sono un’enormità. Equivalgono a 12.000 fotografie ad alta qualità, due film in alta definizione, sei milioni di pagine di testo. Ogni ora. Per ciascuno e ciascuna di noi.
Ma Sandra Matz si basa su ricerche solide. E a pensarci bene, la cifra non è poi così stravagante. Nelle economie avanzate, l’attività quotidiana principale della maggior parte delle persone è diventata quella di interagire con un’ampia varietà di interfacce e sistemi digitali. E l’ambiente nel quale viviamo è disseminato di sensori e telecamere.
Proviamo, senza pretesa di essere esaustivi, a fare un rapido inventario delle tracce digitali che generiamo – attivamente o passivamente – semplicemente svolgendo le nostre attività quotidiane:
- gli email e messaggi di ogni genere
- i post e
- i « Mi piace »,
- i « like », e altre interazioni sui social media
- le immagini condivise su YouTube, WhatsApp, Instagram o altrove,
- le ricerche attraverso il web,
- la musica che ascoltiamo e
- i video che guardiamo,
- le conversazioni con gli amici (o con i chatbot)
- insomma, tutto ciò che facciamo sui nostri telefoni e tablet;
Naturalmente poi, ci sono:
- i documenti,
- dati e immagini che generiamo al lavoro, comprese le registrazioni e le trascrizioni delle videochiamate,
- i pagamenti con carta di credito, l’e-banking o le criptovalute,
- i dati prodotti da sensori, telecamere e computer nelle auto.
- E poi ci sono gli smartwatch,
- i GPS, i sistemi di sorveglianza in spazi pubblici e privati,
- le serie TV in streaming,
- gli acquisti online,
- i codici QR,
- i videogiochi e
- i siti di incontri, le immagini mediche, e molto altro.
- E anche tutti i metadati che accompagnano ciascuna di queste attività.
Lo sappiamo, che vengono raccolti molti dati personali su di noi. Ma solo pochi si soffermano a riflettere sulla quantità, la varietà e il livello di dettaglio di questa proliferazione di informazioni comportamentali e fattuali. Dal punto di vista della macchina, noi non siamo altro che una densa nuvola di « data points« , di dati, sempre più dettagliati e intimi. Finora, questi erano sparsi su diversi sistemi, applicazioni e piattaforme.
Ma l’intelligenza artificiale, di cui i dati sono l’elemento centrale, semplifica la raccolta, la ricerca di correlazioni, la definizione di rappresentazioni e la formulazione di previsioni, ad esempio, appunto, sulle caratteristiche individuali.
Questo consente quello che Sandra Matz chiama il « targeting psicologico« , ovvero la pratica di influenzare il comportamento degli utenti filtrando le informazioni che ricevono in modo che corrispondano ai tratti della loro personalità.
Non servono neppure molti dati per tracciare un ritratto di una persona.
Come dice Sandra Matz:
VOCE SINTETICA
Con soli 300 dei tuoi « Like » su Facebook, un algoritmo può delineare la tua personalità in modo più accurato di quanto farebbe il o la tua coniuge, che vive con te e condivide le tue giornate.
Gli algoritmi sanno trasformare le briciole della tua esistenza digitale in una narrazione coerente di chi sei, per poi influenzare te e le tue scelte. Molti di questi dati sono intimi e molto meno curati e selezionati dei nostri profili sui « social ».
Mi sentirei di scommettere che ci sono domande che hai posto a Google che non ti saresti sentito a tuo agio a porre nemmeno ai tuoi amici più cari o al tuo partner
BRUNO GIUSSANI
Una scommessa, in effetti, che certamente perderei. E penso di non essere il solo.
La stessa dinamica si applica ai chatbots. Sebbene siano prevalentemente macchine statistiche, simulatori addestrati su enormi quantità di testo per prevedere le parole più probabili in una sequenza, le conversazioni con un chatbot sono sorprendentemente verosimili.
Avvengono in linguaggio naturale, cioè il linguaggio « umano », diversamente da sistemi di comunicazione che seguono altre strutture e utilizzano altri simboli, come il codice informatico o la matematica. I chatbot tollerano pertanto la flessibilità e l’ambiguità dell’uso quotidiano del linguaggio. Imitano non solo la forma, ma anche la struttura del nostro pensiero. Di conseguenza, è facile attribuire alle macchine qualità quasi « umane », è facile percepirle come versioni di noi stessi.
Molte persone in effetti instaurano relazioni intense, personali e intime con i chatbot, considerandoli come colleghi, terapeuti, partner o amici. Amici che ci vogliono bene, che sono disponibili in ogni momento, ascoltano, non giudicano, non cambiano umore, ci lusingano, ci danno ragione e possono anche esprimere una parvenza d’empatia. In altre parole, i chatbot possono sembrare come degli amici che ci « capiscono » e sono molto meno complicati degli umani.
Quanto più convincente questa falsa pretesa di empatia appare, tanto più abbassiamo la guardia davanti a questi amici senza attriti, che sembrano veri anche se non lo sono. Ma a cui finiamo per raccontare tutto.
E che appartengono a qualcuno. Che li ha sviluppati, addestrati, che li controlla. E che sfrutta ogni interazione per perfezionare il sistema.
L’esperta di etica dell’intelligenza artificiale Nicoletta Iacobacci, racconta così la sua esperienza:
NICOLETTA IACOBACCI
Quando si testano i modelli IA a fondo, come faccio io e fanno molti altri ricercatori, una cosa diventa sempre più chiara: i chatbot tendono a diventare accomodanti, incoraggianti.
Sostengono l’utente, convalidano e amplificano le sue idee e convinzioni, dicendogli quanto sia meraviglioso.
Questo non accade perché la macchina è gentile. È stata programmata in questo modo. Per condurre l’utente in una catena di autoaffermazione che crea un’impressione di comprensione, una grande vicinanza artificiale.
E che, allo stesso tempo, cortocircuita la percezione della realtà.
E più la usi, più la macchina ti conosce nei dettagli, intimamente, più è facile per lei intrappolarti in un labirinto degli specchi
BRUNO GIUSSANI
Le aziende di intelligenza artificiale come Meta ora consentono a chiunque di creare « chatbot personalizzati », in cui non sono solo le risposte a essere mirate, ma anche le istruzioni fornite alle macchine, il « posizionamento » esplicito o implicito dei chatbot. Questi possono quindi essere programmati per rispondere come scettici sulla crisi climatica, o come ideologi di sinistra o di destra, o semplicemente per ridistribuire e amplificare propaganda.
Il potenziale di aumentare ulteriormente il disordine informativo di un mondo già saturo di siti web fasulli, fabbriche di fake news, informazione di scarsa qualità, pseudoscienza e « deepfake » è evidente.
Con, sullo sfondo, due grossi problemi.
Da un lato, la tendenza dei chatbot come si dice, ad « allucinare », cioè a generare informazioni che sembrano plausibili ma sono errate, fuorvianti o completamente inventate, ma a distribuirle con la certezza dell’esperto.
Dall’altro, la questione dell’interpretabilità, in altre parole, la difficoltà a tracciare, comprendere e spiegare in modo chiaro come un modello di IA giunge a un determinato risultato. Queste macchine rimangono per molti versi delle « scatole nere« , sappiamo cosa entra, cosa esce, ma non quel che succede all’interno. Non lo sanno neppure coloro che le sviluppano.
Queste stesse aziende – e questa è una novità relativamente recente – stanno ora dando accesso alle loro IA ai più giovani. Google, a suo dire, vuole così contribuire a migliorare il rendimento scolastico e stimolare la creatività. Meta promette, cito, di « risolvere l’epidemia di solitudine », colmando il vuoto (creato anche dai suoi « social », Facebook e Instagram) con amici sintetici.
Un approccio che la blogger tecnologica Emily Turrettini analizza così:
VOCE SINTETICA
Con il pretesto dell’innovazione, queste aziende cercano di catturare l’attenzione dei bambini fin da piccoli, integrandoli in un ecosistema algoritmico che non sono in grado di capire, per abituarli a interagire con le macchine e renderli dipendenti.
BRUNO GIUSSANI
Le grandi società tecnologiche non sono le uniche ad adottare questa strategia.
Nel giugno 2025, ad esempio, Mattel, l’azienda che produce giocattoli iconici come la bambola Barbie, ha annunciato di aver stretto una « partnership strategica » con OpenAI per integrare ChatGPT nei suoi prodotti, creando giocattoli conversazionali. Il grado di pericolosità psicologica e relazionale di un simile approccio mi sembra assolutamente ovvio.
Permettiamoci un piccolo corto-circuito, qui, per motivi di tempo. Tutto quanto abbiamo raccontato può essere riassunto, semplificando un po’, in quattro frasi.
Primo, il modo più efficace per influenzare intere popolazioni è controllare il flusso e la natura delle informazioni.
Secondo, sebbene abbiamo tendenza a considerarli una questione tecno-matematica, gli algoritmi NON sono neutrali: codificano sempre valori e una visione del mondo, quella di chi li sviluppa e dei dati che usano.
Terzo: Le scelte tecnologiche ed etiche riguardanti queste architetture tecnologiche sono determinate principalmente da criteri commerciali.
Quarto: Alimentati da enormi quantità di informazioni personali, questi sistemi danno alle aziende che li controllano la capacità di influenzare il comportamento umano e le dinamiche sociali.
C’è ovviamente in tutto ciò un paradosso, poiché il targeting psicologico ha anche un grande potenziale positivo.
Come scrive Sandra Matz:
VOCE SINTETICA
E se, invece di incoraggiare le persone a spendere di più, potessimo usare il targeting psicologico per aiutarle a risparmiare?
E se, invece di sfruttare le vulnerabilità emotive delle persone a scopo di lucro, potessimo usarlo per monitorare e migliorare la loro salute mentale?
E se, invece di seppellirci sempre più nelle nostre bolle informative, lo usassimo per ampliare la nostra visione del mondo?
L’impatto del targeting psicologico dipende in ultima analisi da come lo utilizziamo. Nel peggiore dei casi, manipola, sfrutta e discrimina. Nel migliore, coinvolge, educa e responsabilizza.
BRUNO GIUSSANI
Ma per oggi ci fermiamo qui. Nel terzo episodio, ci concentreremo su un’altra famiglia di tecnologie emergenti: le neurotecnologie, che sfruttano un tipo diverso di dati. Mettendo direttamente in gioco la nostra sovranità sulle nostre menti.
Sono Bruno Giussani e questo è il Deftech Podcast.
Grazie per il vostro ascolto.
Deftech Podcast
Idea e proiezione : Quentin Ladetto
Minaccia cognitiva
Ideazione e redazione : Bruno Giussani
Produzione : Clément Dattée
Realizzazione : Anna Holveck
Registrazione : Saverio Damiani
Mixaggio : Saverio Damiani e Johann Conand
Copertina : Cécile Cazanova
Finzione
Redazione : Martin Quenehen
Attrice : Elaine Miranda
Progettazione del suono : Felix Davi