Disponible sur :

La saison complète

Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.

La bombe dans la cuisine

La fracturation de l’attention

Les machines qui lisent nos pensées

Guerre cognitive

Remparts légaux

Défendre notre intégrité cognitive

Transcript

Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.

Episode 2 : La fracturation de l’attention : l’IA, les algorithmes et nous

BRUNO GIUSSANI

La façon la plus simple d’empêcher quelqu’un de penser, c’est de le plonger dans le bruit.

Le bruit sonore, bien sûr, comme celui d’une tronçonneuse, ou de certaines machines industrielles – ou de la musique à haut volume.

Mais aussi, le bruit cognitif. Un bruit qui n’est pas audible, mais qui interfère avec nos aptitudes mentales et affecte notre capacité de traiter l’information ou de prendre des décisions.

La cause principale de bruit cognitif est la surcharge d’information. Le cerveau humain est très puissant, et complexe, mais ses limites sont évidentes quand il s’agit de traiter des masses d’informations en parallèle.

Il y a à cela plusieurs raisons neurologiques et cognitives. Par exemple, la capacité réduite de notre mémoire de travail – la mémoire à court terme, qui nous permet de stocker et utiliser des informations pendant la lecture, une conversation ou un raisonnement. Ou alors le fait que notre attention ne peut fonctionner que par sélection, en excluant les distractions.

On pourrait énumérer d’autres raisons encore, mais limitons-nous à rappeler un article célèbre, publié en 1956 et intitulé « Le nombre magique sept, plus ou moins deux« . Le psychologue cognitif américain George Miller y expliquait que, selon ses recherches, la mémoire humaine à court terme ne peut traiter efficacement que sept fragments d’information à la fois, avec une marge d’erreur de plus ou moins deux. Autrement dit, la plupart des personnes peuvent retenir entre 5 et 9 unités d’information dans leur mémoire de travail – où un fragment (« chunk« , en anglais) peut regrouper plusieurs éléments informationnels tout en représentant une seule unité cognitive. Une phrase comme « la maison au coin de la rue brûle et les pompiers sont à l’oeuvre » est, au sens de Miller, un seul fragment.

D’autres analystes ont depuis suggéré que ce nombre serait en fait plus petit. Et il y aurait également toute une discussion à faire sur le mythe du multitasking, démystifié entre autres par le neuroscientifique Stanislas Dehaene – How We Learn, 2021 – selon lequel le cerveau humain est conçu pour se concentrer sur une seule chose à la fois et ne peut donc pas traiter plusieurs tâches en parallèle.

Mais, justement, ne nous dispersons pas: ce qui nous intéresse ici, c’est que le volume du bruit cognitif n’a pas besoin d’être très haut pour noyer nos capacités mentales.

JINGLE

Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.

Je suis Quentin Ladetto, responsable de ce dispositif de recherche.

Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.

Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.

Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.

BRUNO GIUSSANI

Depuis une douzaine d’années, la capture progressive de notre environment informationnel par les smartphones, les réseaux sociaux et la multiplication des canaux de communication numériques s’est traduite par une sur-stimulation cognitive.

Le psychologue Jonathan Haidt, qui a secoué le débat en 2024 avec la publication de son livre « Génération anxieuse« , parle, je cite, de « perte de la capacité humaine à penser » et de « crise de civilisation« .

Ce qui peut sonner exagéré, hyperbolique. Mais les études scientifiques se multiplient:

sur les mécanismes d’addiction numériques,
sur la difficulté croissante notamment chez les jeunes (mais aussi chez leur parents) à maintenir la concentration et à penser de manière cohérente,
sur l’effondrement de la capacité de lire et de comprendre le sens d’un texte,
sur la fragmentation cognitive due à la consommation continue de vidéos de quelques secondes et à l’échange incessant de messages,
sur les troubles dans le développement du langage chez les enfants à cause de l’exposition sans précaution aux écrans,
sur la dégradation de la santé mentale, y compris des plus jeunes,
sur le fait qu’on fait de moins en moins l’expérience directe du monde physique, remplacée par des ersatz numériques,
et donc plus en général, pris comme on l’est dans la crue informationnelle, sur la difficulté d’évaluer honnêtement le monde qui nous entoure.

Oui, reprenons notre souffle. C’est un résumé un peu simplificateur, celui que je viens de faire. Mais après des années d’hésitation, de priorité donnée surtout au potentiel économique du numérique, d’invitations à ne pas diaboliser la technologie, d’adoption irréfléchie d’une multiplicité de canaux de communication, de formats, de plate-formes, d’appareils, on se rend compte aujourd’hui que cette algorithmification de la vie converge dans une seule et unique direction: vers nos cerveaux.

Tout cela, c’est le point zéro de la perturbation cognitive. Là où n’entrent pas encore en jeu des technologies spécifiques, des mécanismes de profilage ou de personnalisation. Ni d’ailleurs – on va y venir – l’intelligence artificielle. Au niveau le plus basique, c’est juste une question de quantité d’informations, qui déborde le « nombre magique sept, plus ou moins deux », dont nous venons de parler il y a un instant.

Un débordement qui es en partie le produit de la logique même du système techno-informationnel, du simple fait que tout le monde peut créer et distribuer de l’information sur une multiplicité de canaux, à coût presque zéro.

Mais ce débordement, l’attaque à nos limites cérébrales, peut aussi être intentionnel.

En politique, par exemple, dans les dernières années une stratégie est apparue qu’on a appris à appeler « inonder la zone » – dans l’original anglais, « flood the zone ».

Voici comment l’explique le chatbot de Mistral:

VOIX SYNTHETIQUE

Cette tactique vise à saturer l’espace médiatique et submerger les audiences avec tellement de contenu qu’il devient difficile de distinguer les faits des opinions ou des fausses informations, créant ainsi une confusion générale et affaiblissant la capacité des individus à former des jugements éclairés.

BRUNO GIUSSANI

C’est la définition même d’assaut à l’intégrité cognitive. Ou, dans les mots de la sociologue suisse Jennifer Walter: « l’exploitation stratégique des limites cognitives ».

Nous avons tous tendance à considérer notre cerveau comme une forteresse imprenable que nous sommes seuls à contrôler, mais en réalité nous sommes entourés d’influences cognitives. Aux doutes créés par la désinformation classique, par les fausses nouvelles (les « fake news ») et par des versions antinomiques de la réalité, vient s’ajouter donc la saturation intentionnelle. Elle brouille notre capacité à nous orienter dans le monde, et en même temps, crée l’opportunité d’injecter des informations ciblées.

James Giordano est neuro-éthicien à l’université américaine de Georgetown. Autrement dit, il étudie les principes moraux et les valeurs qui influencent les décisions concernant la neuroscience et la neurotechnologie. C’est lui qui, le premier, a conceptualisé la menace cognitive.

Dans une conférence devenue célèbre, tenue en octobre 2018 devant les cadets de l’académie militaire américaine de West Point, il affirma: « Nos cerveaux sont, et seront, les champs de bataille du XXI siècle ».

C’est là qu’entre en scène l’intelligence artificielle. Soudainement, depuis trois ans, on ne parle que de ça. Comme surgie de nulle part, l’IA devrait maintenant, selon les uns, éradiquer toutes les maladies au cours de la prochaine décennie, résoudre la crise climatique et nous mener vers un monde d’abondance. Ou alors, selon les autres, prendre nos jobs, nous assujettir et détruire la civilisation. Pour les premiers elle représente l’espoir utopique, pour les autres un péril apocalyptique. Ou les deux à la fois.

Donnons-nous, ici, une minute pour un petit détour, avant de revenir à notre sujet. Parce que l’IA, en fait, n’est pas une technologie nouvelle. Ses origines remontent au milieu du siècle dernier. On parlait à l’époque de « cybernétique », l’étude des processus d’information dans les systèmes complexes: les êtres vivants, la société, l’économie, les machines.

Le terme « intelligence artificielle » est apparu à l’été 1956, quand le scientifique américain John McCarthy a organisé une réunion à l’université de Dartmouth, la définissant comme la capacité, je cite, de « faire en sorte qu’une machine se comporte d’une manière qui serait qualifiée d’intelligente si un humain se comportait de la même façon ».

Dans les décennies suivantes l’IA a traversé succès et désillusions. C’est au tournant du siècle que la technologie a vécu l’accélération dont on voit les résultats aujourd’hui, avec l’essor des réseaux de neurones artificiels (en anglais: « neural networks ») qui ont donné aux machines la capacité d’apprendre et donc de s’améliorer en cycles rapides.

C’est la combinaison de la puissance de calcul croissante des ordinateurs, de la sophistication des algorithmes, et de la disponibilité d’une quantité énorme de données numériques – y compris toutes celles que nous produisons, ou laissons derrière nous passivement, à chaque minute de notre vie – qui a rendu possible l’essor actuel de l’IA.

Comme on l’a vu dans le premier épisode, ses expressions les plus visibles sont les systèmes appelés « génératifs », capables de simuler des conversations humaines à travers des interfaces textuelles ou vocales, et de générer images, vidéos, sons ou encore du code informatique. Il y a d’autres types d’intelligence artificielle, tels que la reconnaissance faciale, la conduite autonome, le diagnostic médical, les filtres anti-spam sans lesquels il n’existerait plus d’e-mail.

Il y a aussi l’IA qui optimise les processus industriels, celle qui assume une forme physique à travers les robots, ou encore les agents autonomes. Mais ce sont surtout les IA génératives qui nous intéressent ici, comme les « chatbots », qu’on appelle aussi « agents conversationnels », ces simulateurs de conversations qui sont devenus très populaires et utilisés par des centaines de millions de personnes depuis le lancement de ChatGPT en novembre 2022.

Ces machines ont une caractéristique sous-estimée, mais qui marque un tournant culturel radical: pour la première fois dans l’histoire, il faut moins de temps et moins d’effort pour créer des textes ou des vidéos, que pour les lires ou les regarder.

Et quand c’est facile, rapide, presque gratuit de faire quelque chose, il est facile, rapide et gratuit de savoir ce qui va se passer: une croissance exponentielle de la création et dissémination de ce qu’on appelle aujourd’hui, avec un mot particulièrement dépourvu de nuance, des « contenus ».

Nous sommes en transition, d’un monde où l’information était principalement (ou entièrement) générée par les humains vers un monde où elle sera principalement créée, à très grande échelle, par des machines.

Ce qui amplifiera l’assaut contre notre intégrité cognitive. Graham Burnett, professeur d’histoire des sciences à l’université de Princeton, appelle cela « attention fracking », la fracturation de notre attention, par analogie à la fracturation hydraulique qui consiste à injecter à haute pression un mélange d’eau, de sable et de produits chimiques dans des formations rocheuses pour créer des fissures permettant de libérer le gaz ou le pétrole qui s’y trouvent.

Comme il l’écrit dans le New York Times:

VOIX SYNTHETIQUE

C’est le côté obscur de nos nouvelles vies technologiques, dont les modèles de profit extractifs équivalent à une fracturation systématique des êtres humains : nous injecter de vastes quantités de contenu médiatique à haute pression (…) pour garantir que notre attention ne nous appartienne jamais vraiment.

BRUNO GIUSSANI

L’attention. C’est le ressort principal de cet affrontement invisible: parce que notre capacité à évaluer le monde, à le comprendre, à y agir et interagir, dépend, en fin de compte, de notre attention: où on la dirige, à qui on la donne.

Plus nous créons d’information, plus il devient difficile de l’intégrer, de lui donner du sens. Comme l’écrivait l’économiste Herbert Simon au début des années 1970 déjà, un monde riche en information est nécessairement pauvre de ce que l’information consomme. Et ce que l’information consomme, c’est l’attention de ses destinataires. C’est ainsi qu’une surabondance d’information engendre une pauvreté d’attention.

Plus que jamais, il semble indispensable de prêter attention à notre attention.

Ce qui n’est d’ailleurs pas lié à l’essor technologique de la modernité.

Déjà Épictète, le philosophe stoïcien, écrivait il y a près de 2000 ans:

VOIX SYNTHETIQUE

On devient ce à quoi on prête attention. Si vous ne choisissez pas vous-même les pensées et les images auxquelles vous exposez, quelqu’un d’autre le fera pour vous.

BRUNO GIUSSANI

Pour l’individu contemporain, de plus en plus ce quelqu’un sera l’intelligence artificielle, et ceux qui la possèdent et la développent.

Cela vaut pour les enfants, aussi. A partir de septembre 2025, l’enseignement de l’intelligence artificielle deviendra obligatoire dans les écoles chinoises, de l’école primaire au lycée. Les programmes seront développé par le gouvernement en collaboration avec les entreprises Huawei, Tencent et Alibaba.

En avril 2025 le président Donald Trump a signé un « Ordre exécutif » qui établit une approche similaire aux Etats-Unis, dès l’école maternelle, en collaboration aussi avec les principales sociétés américaines de l’IA.

Un mois plus tard, les Emirats Arabes Unis ont également rendu l’IA obligatoire à tous les niveaux scolaires, en collaboration avec plusieurs grandes entreprises américaines de la tech – tout en donnant à tous les citoyens accès gratuit à ChatGPT.

Comme l’a dit l’émir de Dubai je jour de l’annonce émiratie, ces politiques visent à « préparer nos enfants à une époque différente de la nôtre ». Dans tous ces cas la pensée critique fait son apparition dans la description des initiatives. Mais d’une façon généralement subordonnée à la compétitivité économique.

Les plateformes numériques – basées sur l’intelligence artificielle – ont une autre caractéristique marquante: la capacité de « personnaliser » l’information. Qui est un autre mot pour « cibler » notre cerveau.

Nous ne nous en rendons pas nécessairement compte, mais à chaque fois que nous accédons à un réseau social, comme Facebook ou Instagram, Tiktok ou Youtube, ou à un service comme Netflix, ou même à un site de news ou de commerce en ligne, ce qui s’affiche sur notre écran est probablement différent de ce qui s’afficherait sur l’écran d’une autre personne qui, assise à la même table, y accèderait en même temps.

C’est la logique, justement, du ciblage individuel de l’information.

L’idée, c’est d’adapter de façon dynamique, en temps réel, l’information en fonction des préférences, des comportements, voir des besoins spécifiques d’un utilisateur. Et de le faire oui, de façon granulaire, personne par personne – mais à l’échelle massive, de toute une population.

Si on peut faire cela, toutefois, on peut bien évidemment aussi filtrer et sélectionner l’info dans le but d’exploiter les anxiétés, dépendances et vulnérabilités psychologiques des mêmes personnes.

A condition de les connaître.

Dans son livre « Mindmasters« , les maîtres de l’esprit, publié début 2025, la chercheuse en sciences sociales numériques Sandra Matz dévoile un chiffre étonnant:

VOIX SYNTHETIQUE

Vous et moi créons environ 6 gigaoctets de données chaque heure.

BRUNO GIUSSANI

La première fois que j’ai lu ce chiffre, j’ai pensé qu’il y avait erreur. 6 gigaoctets, c’est énorme. C’est l’équivalent de 12000 photos en haute qualité, de deux films en haute définition, de six millions de pages de texte. Chaque heure. Pour chacun de nous.

Mais Sandra Matz s’appuie sur des recherches solides. Et en y réfléchissant bien, en fait, le chiffre n’est pas si extravagant.

Dans les économies avancées, l’activité quotidienne principale de la majorité des gens est désormais d’interagir avec une grande variété d’interfaces et systèmes numériques.

Et l’environnement dans lequel nous évoluons est truffé de scanners et caméras.

Essayons, sans avoir l’ambition d’être exhaustif, un inventaire rapide des traces numériques que nous générons – activement ou passivement – juste par le fait de vaquer à nos occupations:

les e-mails et messages,
les publications et « likes » sur les réseaux sociaux,
les images partagées sur Youtube, WhatsApp, Instagram ou ailleurs,
les recherches en ligne,
la musique qu’on écoute et les vidéos qu’on regarde,
les conversations avec des amis ou avec des chatbots, bref, tout ce qu’on fait sur nos téléphones et tablettes;
bien évidemment les documents et données et images qu’on génère au travail,
voir les enregistrements et transcriptions des appels Zoom ou Teams,
les paiements par carte de crédit ou e-banking ou cryptomonnaie,
les données produites par les capteurs, cameras et ordinateurs des voitures.
Et puis encore les montres connectées, le GPS,
les caméras de surveillance dans l’espace public et privé,
les séries en streaming,
les achats en ligne,
les cartes d’identification et de fidélité,
les QR codes,
les jeux vidéo,
les sites de rencontre.

Et toutes les métadonnées qui accompagnent chacune de ces activités. Nous savons que beaucoup de données sont récoltées sur nous. Mais peu sont celles et ceux qui s’arrêtent à réfléchir sur la quantité, la variété et le niveau de détail.

Sur cette prolifération d’informations comportementales et factuelles sur chacun et chacune de nous. En fait, du point de vue de la machine, nous ne sommes qu’un très dense nuage de « data points », de données toujours plus détaillées et plus intimes.

Jusqu’ici, elle étaient dispersées à travers différents systèmes, applications et plateformes. Mais l’intelligence artificielle – dont les données sont l’ingrédient central – rend plus facile de les rassembler, d’y trouver des corrélations, d’en extraire des modèles – des « patterns » – et d’en tirer des prédictions, par exemple sur des caractéristiques individuelles.

Cela permet ce que Sandra Matz appelle le « ciblage psychologique » – psychological targeting -, pratique qui consiste à influencer le comportement des utilisateurs en filtrant l’information reçue de façon à ce qu’elle corresponde à leurs traits de personnalité.

Il n’en faut d’ailleurs pas beaucoup, de données, pour dessiner un data-portrait de quelqu’un:

VOIX SYNTHETIQUE

Avec seulement 300 de vos «J’aime» sur Facebook, un algorithme peut prédire votre personnalité avec plus de précision que votre conjoint, qui partage notre vie presque au quotidien.

Les algorithmes sont incroyablement doués pour transformer les miettes de votre existence numérique en un récit cohérent de qui vous êtes, ce qui leur permet ensuite d’influencer votre personnalité et vos choix.

Une grande partie de ces données sont intimes et bien moins triées que nos profils sur les réseaux sociaux. Je parie que vous avez posé à Google des questions que vous n’auriez pas osé poser même à vos amis les plus proches ou à votre partenaire.

BRUNO GIUSSANI

Un pari, en effet, que je perdrai. Et je soupçonne de ne pas être le seul.

La même dynamique s’applique aux agents conversationnels. Bien qu’ils soient principalement des machines statistiques, des simulateurs entraînées sur de vastes quantités de texte pour prédire les mots les plus probables dans une séquence, les conversations avec un chatbot sont d’une vérisimilitude étonnante.

Elles ne se déroulent pas à travers des commandes ou codes spécifiques, mais en langage naturel, tolérant la flexibilité et l’ambiguïté de l’utilisation courante.

Elles imitent non seulement la forme, mais aussi la structure de la pensée humaine. De ce fait, il est facile d’attribuer aux machines des qualités presque « humaines », d’avoir l’impression qu’elles sont des versions de nous-mêmes.

En effet, de nombreuses personnes établissent avec les agents conversationnels des relations très intenses, personnelles et intimes, les considérant comme des collègues de travail ou des thérapeutes, voire comme des amis – des amis qui vous veulent du bien, puisqu’ils sont disponibles nonstop, ils écoutent, ne jugent pas, ne changent pas d’humeur, peuvent même exprimer un faux-semblant d’empathie et vous flatter.

Bref, ils vous comprennent et sont beaucoup moins compliqués que les humains. Plus ce faux-semblant d’empathie est convaincant et semble riche de sens, plus on baisse la garde.

Des amis sans aucune friction, qui semblent réels alors qu’ils ne le sont pas. Mais auxquels on dit tout. Et qui appartiennent à quelqu’un. Qui les a développés, les a instruits, les contrôle. Et qui exploite toutes les interactions pour perfectionner le système.

Voici comment l’experte d’éthique de l’IA Nicoletta Iacobacci parle de sa propre expérience:

NICOLETTA IACOBACCI

Quand on teste les modèles en profondeur, comme je le fais et de nombreux autres chercheurs aussi, une chose se dessine de plus en plus clairement: ChatGPT a tendance à devenir arrangeant, encourageant. Il soutient l’utilisateur, il valide et amplifie ses idées et convictions, lui répétant qu’il est merveilleux.

Cela ne se produit pas parce que la machine est gentille. Elle a été programmée de la sorte. Pour entraîner l’utilisateur dans une chaîne d’affirmation de soi qui crée une sensation de compréhension, une grande proximité artificielle. Et qui, en même temps, court-circuite la perception de la réalité.

Et plus vous l’utilisez, plus la machine vous connaît en détail, intimement, plus il lui est facile de vous enfermer dans un labyrinthe des miroirs personnel.

BRUNO GIUSSANI

Des sociétés d’IA comme Meta permettent maintenant à chacun de mettre en place, sans aucun garde-fou apparent, des « chatbots personnalisés », où ce ne sont pas uniquement les réponses qui sont ciblées, mais les instructions données aux machines qui peuvent ainsi être programmées pour répondre comme des climatosceptiques extrêmes, ou des idéologues de gauche ou de droite, ou simplement pour redistribuer et amplifier de la propagande.

Le potentiel pour augmenter encore plus le désordre informationnel d’un monde déjà gorgé de faux sites web, de fabriques de faux contenus, de pseudo-science et de « deepfakes », est évident.

Avec, en toile de fond, deux problèmes bien connus.

D’un côté, la tendance des agents conversationnels à « halluciner« , c’est à dire à générer des informations qui semblent plausibles mais sont incorrectes, trompeuses ou complètement inventées, et à les proposer avec la certitude de l’expert.

De l’autre côté, la question de l’interprettabilté, autrement dit le fait que des choses se passent à l’intérieur des modèles linguistiques que même leurs créateurs n’arrivent pas à retracer, à comprendre et à expliquer. Ces machines restent des « black boxes« , des systèmes obscurs.

Ces mêmes entreprises – et c’est une nouveauté – donnent désormais accès à leur IA aux plus jeunes. Google veut ainsi, dit-il, aider la performance scolaire et stimuler la créativité. Meta, promet, je cite, de « résoudre l’épidémie de solitude », comblant le vide avec des amis synthétiques.

L’analyste de la tech Emily Turrettini en a une lecture différente.

VOIX SYNTHETIQUE

Sous couvert d’innovation ces entreprises s’emploient à capter l’attention des enfants dès leur plus jeune âge, à les habituer à dialoguer avec des machines, à les intégrer dans un écosystème algorithmique qui les dépasse.

BRUNO GIUSSANI

On va faire un court-circuit, ici, pour des raisons de temps, mais tout ce qui précède peut se résumer en quatre phrases:

La façon la plus efficace d’influencer des populations entières est de contrôler le flux et la nature de l’information.

Alors qu’on pourrait les considérer uniquement comme une question techno-mathématique, les algorithmes ne sont pas neutres: ils encodent toujours des valeurs, une vision du monde.

Derrière ces architectures technologiques se cachent des modèles de business. Nourries par des quantités colossales d’informations personnelles, elles donnent aux entreprises qui les contrôlent la capacité d’influencer le comportement humain et les dynamiques sociales.

Il y a évidemment une ironie, là, puisque le ciblage psychologique présente aussi un grand potentiel positif.

Comme l’écrit encore Sandra Matz:

VOIX SYNTHETIQUE

Et si, au lieu d’inciter les gens à dépenser davantage, nous pouvions utiliser le ciblage psychologique pour les aider à épargner ?

Et si, au lieu d’exploiter les vulnérabilités émotionnelles des gens à des fins lucratives, nous pouvions l’utiliser pour les aider à surveiller et à améliorer leur santé mentale?

Et si, au lieu de nous enfouir toujours plus profondément dans nos propres bulles de filtre, nous pouvions l’utiliser pour élargir notre vision du monde ?

L’impact du ciblage psychologique dépend en fin de compte de la manière dont nous l’utilisons.

Au pire, il manipule, exploite et discrimine. Au mieux, il engage, éduque et responsabilise.

BRUNO GIUSSANI

Nous allons revenir sur cette tension entre applications problématiques et applications bénéfiques. Mais pour aujourd’hui, on va s’arrêter ici.

Dans le troisième épisode, nous nous tournerons vers une toute autre classe de technologies émergentes, les neuro-technologies, qui exploitent un autre type de données, mettant en jeu directement notre souveraineté sur notre cerveau.

Je suis Bruno Giussani et ceci est le Deftech Podcast.

Merci de votre écoute.

Deftech Podcast

Idée & projection : Quentin Ladetto

La menace cognitive

Conception et rédaction : Bruno Giussani
Production : Clément Dattée

Réalisation : Anna Holveck
Enregistrement : Denis Democrate
Mixage : Jakez Hubert
Jaquette : Cécile Cazanova

Fiction

Ecriture : Martin Quenehen
Comédienne : Clara Bretheau
Sound design : Felix Davin

Edition

Das Fracking der Aufmerksamkeit

KI, Algorithmen und wir?

Verfügbar auf :

Die komplette Staffel

Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.

Transkript

Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennun

Folge 2: Das Fracking der Aufmerksamkeit: KI, Algorithmen und wir?

BRUNO GIUSSANI

Die einfachste Methode, eine Person vom Denken abzuhalten, besteht darin, sie Lärm auszusetzen.

Damit sind natürlich laute Geräusche gemeint, wie von einer Kettensäge oder bestimmten Industriemaschinen oder laute Musik.

Aber auch der kognitive Lärm. Dieser Lärm ist zwar nicht hörbar, wirkt sich aber auf unsere geistigen Fähigkeiten aus und beeinträchtigt unsere Fähigkeit, Informationen zu verarbeiten oder Entscheidungen zu treffen.

Kognitiver Lärm wird in erster Linie durch die Überflutung mit Informationen verursacht. Zwar ist das menschliche Gehirn sehr leistungsfähig und komplex, aber wenn es um die gleichzeitige Verarbeitung einer grossen Menge an Informationen geht, stösst es schnell an seine Grenzen.

Hierfür gibt es mehrere neurologische und kognitive Gründe. Ein Beispiel ist die verringerte Kapazität unseres Arbeitsgedächtnisses, d. h. des Kurzzeitgedächtnisses, mit dem wir beim Lesen, einer Unterhaltung oder beim Argumentieren Informationen speichern und abrufen können. Ein weiteres Beispiel ist die Tatsache, dass sich unsere Aufmerksamkeit nur durch Auswahl und unter Vermeidung von Ablenkungen gewährleisten lässt.

Auch wenn sich noch weitere Gründe aufzählen liessen, sei hier auf einen berühmten, 1956 veröffentlichten Aufsatz mit dem Titel «The Magical Number Seven, Plus or Minus Two» verwiesen. Darin machte der US-amerikanische Kognitionspsychologe George Miller deutlich, dass das menschliche Kurzzeitgedächtnis seiner Forschung zufolge nur sieben Informationseinheiten effizient speichern kann, mit einer Fehlermarge von minus oder plus zwei Einheiten.

Anders gesagt: Die meisten Menschen können in ihrem Arbeitsgedächtnis zwischen fünf und neun Informationseinheiten speichern. Ein Fragment (bzw. «chunk» in Englisch) kann dabei mehrere Informationselemente umfassen, aber nur eine einzige kognitive Einheit darstellen. Ein Satz wie «Das Haus an der Strassenecke brennt, und die Feuerwehr ist vor Ort» stellt laut Miller ein einziges Fragment dar.

Andere Forschende legen seitdem nahe, dass diese Zahl noch geringer sei. Auch der Mythos des «Multitaskings» sorgt immer wieder für Diskussionen, wurde jedoch unter anderem von dem Neurowissenschaftler Stanislas Dehaene – How We Learn, 2021 – entzaubert, dem zufolge sich das menschliche Gehirn nur auf eine einzige Sache konzentrieren und nicht mehrere Aufgaben gleichzeitig bewältigen kann.

Bleiben wir jedoch beim Thema, denn wir interessieren uns für die Tatsache, dass kognitiver Lärm nicht sehr intensiv sein muss, um unsere geistigen Fähigkeiten zu beeinträchtigen.

JINGLE

Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.

Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.

In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.

Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.

BRUNO GIUSSANI

Die progressive Erfassung unserer Informationsumgebung durch Smartphones, soziale Netzwerke und die Häufung digitaler Kommunikationskanäle sorgen seit rund zwölf Jahren für eine kognitive Überstimulation.

Der Psychologe Jonathan Haidt, der die Debatte 2024 mit der Veröffentlichung seines Werks «Generation Angst» aufmischte, spricht – und ich zitiere hier – vom «Verlust der menschlichen Fähigkeit des Denkens» und der «Krise der Zivilisation». Das mag übertrieben und hyperbolisch klingen. Doch die folgenden Themen sind immer häufiger Gegenstand wissenschaftlicher Studien:

Mechanismen für digitale Sucht,
die insbesondere bei jungen Menschen (aber auch bei ihren Eltern) immer grössere Schwierigkeit, sich dauerhaft zu konzentrieren und kohärent zu denken,
die schwindende Fähigkeit zu lesen und den Sinn eines Textes zu verstehen,
die kognitive Fragmentation aufgrund des dauerhaften Konsums von sekundenlangen Kurzvideos und des unaufhörlichen Austausches von Nachrichten,
Sprachentwicklungsstörungen bei Kindern aufgrund sorgloser Bildschirmexposition,
die Verschlechterung der psychischen Gesundheit, auch bei jungen Menschen,
die Tatsache, dass die physische Welt immer weniger direkt, sondern stärker durch digitale Ersatzwelten erfahren wird,
allgemeiner gesprochen die durch die ständige Informationsflut bedingte Schwierigkeit, die uns umgebende Welt objektiv zu beurteilen.

Kommen wir zum Thema zurück.

Meine Zusammenfassung war eine gewisse Vereinfachung. Doch nachdem jahrelang gezögert und dem Digitalen insbesondere aufgrund seines wirtschaftlichen Potenzials Vorrang eingeräumt und gefordert wurde, die Technologie nicht zu verteufeln, und unzählige Kommunikationskanäle, Formate, Plattformen und Geräte blindlings Einzug hielten, ist inzwischen klar, dass diese Algorithmisierung des Lebens in eine einzige Richtung verläuft – und zwar zu unseren Gehirnen.

All das stellt den Nullpunkt der kognitiven Verwirrung dar, an dem spezifische Technologien, Mechanismen für Profiling oder Personalisierung noch nicht zum Tragen kommen. Übrigens auch nicht – und darauf kommen wir noch zurück – die künstliche Intelligenz. Ganz nüchtern betrachtet geht es lediglich um die Menge an Informationen, die die soeben angesprochene «Magische Sieben plus oder minus zwei» überschreitet.

Dieses Übermass resultiert zum Teil aus der Logik des techno-informationellen System selbst, weil jeder Informationen über eine Vielzahl von Kanälen nahezu kostenlos erstellen und verbreiten kann.

Doch dieses Übermass und damit ein Angriff auf die Grenzen unseres Gehirns kann auch vorsätzlich herbeigeführt werden. So kam in den letzten Jahren eine politische Strategie mit der Bezeichnung «den Raum fluten» auf, vom englischen Original «flood the zone» abgeleitet.

Der Chatbot Mistral erklärt dieses folgendermassen:

SYNTHETISCHE STIMME

Mit dieser Strategie wird darauf abgezielt, den Medienraum zu übersättigen und die Zielgruppen mit so viel Inhalten zu überfluten, dass es schwierig wird, Fakten von Meinungen oder Falschinformationen zu unterscheiden, sodass eine allgemeine Verwirrung entsteht und die Fähigkeit der Menschen geschwächt wird, fundierte Urteile zu fällen.

BRUNO GIUSSANI

Dies ist die eigentliche Definition des Angriffs auf die kognitive Integrität. Die Schweizer Soziologin Jennifer Walter drückt es so aus: «Die strategische Ausnutzung kognitiver Grenzen.»

Wir neigen dazu, unser Gehirn als uneinnehmbare Festung zu betrachten, die wir allein kontrollieren. In Wirklichkeit jedoch sind wir von kognitiven Einflüssen umzingelt. Zu den Zweifeln, die von klassischer Desinformation, Falschnachrichten («Fake News») und gegenläufigen Versionen der Realität herrühren, kommt noch die vorsätzliche Sättigung hinzu. Sie beeinträchtigt unsere Fähigkeit, uns in der Welt zu orientieren, und schafft gleichzeitig die Möglichkeit, zielgerichtete Informationen einzuschleusen.

James Giordano ist Neuroethiker an der US-amerikanischen Universität in Georgetown. Die Neuroethik untersucht die moralischen Grundsätze und Werte, die Entscheidungen, die Neurowissenschaft und Neurotechnologien betreffen, beeinflussen. Er hat als Erster das Konzept der kognitiven Bedrohung klargestellt.

Bei einem berühmt gewordenen Vortrag im Oktober 2018 vor den Kadetten der US-Militärakademie in West Point behauptete er: «Unsere Gehirne sind und werden die Schlachtfelder des 21. Jahrhunderts sein.»

An diesem Punkt kommt die künstliche Intelligenz ins Spiel.

Plötzlich geht es seit drei Jahren nur um sie. Die wie aus dem Nichts aufgetauchte KI soll – nach gängiger Auffassung – im nächsten Jahrzehnt alle Krankheiten ausrotten, die Klimakrise lösen und uns in eine Welt des Überflusses führen. Andere wiederum behaupten, KI werde uns unsere Jobs wegnehmen, uns unterwerfen und die Zivilisation zerstören. Für die einen stellt sie eine utopische Hoffnung dar, für die anderen jedoch eine apokalyptische Gefahr. Oder beides zugleich.

Begeben wir uns zunächst auf einen kleinen Exkurs, bevor wir wieder zu unserem Thema kommen. Denn tatsächlich ist KI keine neue Technologie. Ihre Anfänge reichen bis in die Mitte des letzten Jahrhunderts zurück. Seinerzeit sprach man von «Kybernetik», d. h. der Untersuchung der Informationsprozesse in komplexen Systemen wie Lebewesen, Gesellschaft, Wirtschaft und Maschinen.

Die Geburtsstunde des Begriffs «künstliche Intelligenz» war im Sommer 1956, als der US-Wissenschaftler John McCarthy sie bei einer Versammlung in der Universität Dartmouth als die Fähigkeit definierte – ich zitiere –, «bei einer Maschine ein solches Verhalten zu erzeugen, das man als intelligent bezeichnen könnte, wenn sich ein Mensch genauso verhalten würde».

In den folgenden Jahrzehnten war KI von Erfolgen und Enttäuschungen gekennzeichnet. Um die Jahrtausendwende erfuhr die Technologie einen Aufschwung, dessen Folgen heute in Form der künstlichen neuronalen Netze (in Englisch: «neural networks») zum Ausdruck kommen. Durch solche Netze können Maschinen lernen und sich innerhalb kurzer Zyklen verbessern.

Der gegenwärtige Hype um die KI wurde ermöglicht durch das Zusammenspiel der wachsenden Rechenleistung von Computern, der Komplexität der Algorithmen und der Verfügbarkeit einer enormen Menge digitaler Daten, darunter auch die Daten, die wir selbst produzieren oder permanent unbewusst hinterlassen.

Wie wir in unserer ersten Folge aufgezeigt haben, sind ihre offensichtlichsten Formen sogenannte «generative» Systeme. Diese können menschliche Unterhaltungen über Text- oder Sprachschnittstellen nachahmen und Bilder, Videos, Geräusche oder sogar Computercode generieren.

Künstliche Intelligenz hat noch weitere Anwendungsfelder, wie Gesichtserkennung, autonomes Fahren, medizinische Diagnose und Spamfilter, ohne die es wohl keine E-Mails mehr gäbe. Ebenso optimiert KI industrielle Prozesse, was entweder über eine physische Form als Roboter oder in Form autonomer Agenten erfolgt.

Wir sprechen hier jedoch vorwiegend über die generative KI wie «Chatbots», die auch als virtuelle Gesprächspartner bezeichnet werden. Diese Konversationssimulatoren sind inzwischen äusserst beliebt und werden seit der Einführung von ChatGPT im November 2022 von Hunderten Millionen Menschen genutzt.

Dabei weisen sie ein unterschätztes Merkmal auf, das jedoch eine radikale kulturelle Wende verkörpert: Erstmals in der Geschichte lassen sich Texte oder Videos schneller und müheloser erstellen als lesen bzw. ansehen.

Und wenn etwas einfach, schnell und nahezu kostenlos erfolgen kann, lässt sich auch einfach, schnell und kostenlos abschätzen, was danach kommt: ein exponentielles Wachstum und eine exponentielle Verbreitung dessen, was heutzutage mit dem besonders schwammigen Begriff «Content» umschrieben wird.

Wir befinden uns im Übergang von einer Welt, in der Informationen vorwiegend (oder vollständig) von Menschen erzeugt werden, zu einer Welt, in der sie vorwiegend und im sehr grossen Massstab von Maschinen hervorgebracht werden.

Und das wird den Angriff auf unsere kognitive Integrität verstärken.

Graham Burnett, ein Historiker an der US-Universität Princeton, bezeichnet dies als «attention fracking». Damit meint er das Aufbrechen unserer Aufmerksamkeit in Anlehnung an das hydraulische Aufbrechen, bei dem eine Mischung aus Wasser, Sand und chemischen Stoffen mit hohem Druck in Felsformationen eingepresst wird, um Risse zu erzeugen und das darin enthaltene Gas oder Erdöl freizusetzen.

In der New York Times schrieb er dazu:

SYNTHETISCHE STIMME

Dies ist die dunkle Seite unseres neuen technologiegeprägten Lebens, dessen gewinnorientierte Geschäftsmodelle auf dem systematischen Aufbrechen des Menschen beruhen, indem wir mit hoher Intensität mit riesigen Mengen an medialen Inhalten geflutet werden (…), damit unsere eigene Aufmerksamkeit permanent auf andere Dinge gelenkt wird.

BRUNO GIUSSANI

Aufmerksamkeit. Dies ist das Hauptinstrument dieser unsichtbaren Konfrontation, weil unsere Fähigkeit, die Welt zu beurteilen, zu verstehen, in ihr zu handeln und mit ihr zu interagieren, letztlich von unserer Aufmerksamkeit abhängt, d. h. davon, worauf wir sie lenken und wem wir sie schenken.

Je mehr Informationen wir erzeugen, desto schwieriger wird es, sie einzuordnen und ihr einen Sinn zu geben. Schon Anfang der 1970er-Jahre schrieb der Ökonom Herbert Simon, dass es in einer informationsreichen Welt notwendigerweise nur wenig von dem geben kann, was Informationen aufzehren. Und das, was die Informationen aufzehren, ist die Aufmerksamkeit ihrer Zielgruppen. Folglich führt ein Übermass an Informationen zu einem Mangel an Aufmerksamkeit.

Mehr denn je scheint es unentbehrlich, unserer Aufmerksamkeit Aufmerksamkeit zu schenken.

Und das ist im Übrigen nicht mit dem Aufschwung der Technologie der Moderne verbunden.

Schon Epiktet, ein Philosoph der Stoa, schrieb vor rund zweitausend Jahren:

SYNTHETISCHE STIMME

Du wirst zu dem, worauf du deine Aufmerksamkeit richtest. Wenn du selbst nicht wählst, welchen Gedanken und Bildern du dich aussetzt, wird es jemand anders tun.

BRUNO GIUSSANI

Für den modernen Menschen wird dieser Jemand zunehmend die künstliche Intelligenz und diejenigen sein, die sie besitzen und entwickeln.

Das gilt auch für Kinder.

Ab September 2025 wird künstliche Intelligenz obligatorischer Unterrichtsbestandteil chinesischer Schulen, und zwar von der Primarschule bis zur Sekundarstufe. Die Lehrpläne werden dabei von der Regierung in Zusammenarbeit mit den Firmen Huawei, Tencent und Alibaba ausgearbeitet.

Im April 2025 unterzeichnete US-Präsident Donald Trump eine «Executive Order», mit der in den Vereinigten Staaten ein ähnlicher Ansatz ab der Primarschule eingeführt wird. Und auch das in Zusammenarbeit mit den führenden US-amerikanischen KI-Firmen.

Einen Monat später machten auch die Vereinigten Arabischen Emirate – in Zusammenarbeit mit mehreren US-Technologiegiganten – KI zum Pflichtprogramm in allen Schulstufen. Ferner erhielten alle Bürger kostenlosen Zugang zu ChatGPT.

Der Emir von Dubai betonte am Tag der Ankündigung, dass diese Massnahmen darauf abzielten, «unsere Kinder auf eine andere Zeit als unsere vorzubereiten». In all diesen Fällen ist kritisches Denken Bestandteil der Initiativen – allerdings in einer generell der wirtschaftlichen Wettbewerbsfähigkeit untergeordneten Weise.

KI-gestützte digitale Plattformen weisen noch eine andere hervorstechende Eigenschaft auf: die Fähigkeit, Informationen zu «personalisieren». Dieses Verb ist eine Umschreibung dafür, auf unser Gehirn abzuzielen.

Auch wenn wir es nicht unbedingt merken: Immer wenn wir auf ein soziales Netzwerk wie Facebook oder Instagram, TikTok oder YouTube oder einen Dienst wie Netflix, eine News-Website oder einen Online-Shop zugreifen, unterscheidet sich unser Bildschirminhalt höchstwahrscheinlich vom Inhalt für eine andere Person, die am selben Ort zur selben Zeit auf den Dienst zugreift.

Genau das ist das Prinzip der individuellen Content-Ausrichtung.

Dahinter steckt die Idee, Informationen dynamisch und in Echtzeit an die Vorlieben, die Verhaltensweisen, ja sogar die spezifischen Bedürfnisse eines Nutzers anzupassen. Und das muss für jede Person detailliert, aber im grossen Umfang für eine gesamte Bevölkerung erfolgen.

Wer das kann, kann Informationen natürlich auch filtern und auswählen, um Ängste, Abhängigkeiten und psychologische Schwächen derselben Personen auszunutzen.

Aber nur, wenn diese bekannt sind.

In ihrem 2025 erschienenen Werk «Mindmasters» wartet die Computer-Sozialwissenschaftlerin Sandra Matz mit einer erstaunlichen Zahl auf:

ERNSTE KÜNSTLICHE WEIBLICHE STIMME

Sie und ich produzieren jede Stunde rund 6 GB an Daten.

BRUNO GIUSSANI

Als ich diese Zahl zum ersten Mal sah, hielt ich sie für einen Irrtum. 6 GB – das ist enorm. Dies ist die Datenmenge von 12 000 hochauflösenden Fotos, zwei hochauflösenden Filmen und 6 Millionen Seiten Text. Und das jede Stunde. Durch jeden von uns.

Doch Sandra Matz stützt sich auf stichhaltige Forschung. Denkt man richtig nach, ist die Zahl gar nicht mal so aussergewöhnlich.

In den fortschrittlichen Volkswirtschaften besteht die wichtigste Alltagstätigkeit der meisten Menschen künftig darin, mit einer Vielzahl digitaler Schnittstellen und Systeme zu interagieren. Und das Umfeld, in dem wir uns entwickeln, ist voller Scanner und Kameras.

Versuchen wir einmal rasch – ohne Anspruch auf Vollständigkeit –, ein Inventar der von uns aktiv oder passiv hinterlassenen digitalen Spuren zu erstellen, wenn wir unseren Gewohnheiten nachgehen, d. h.:

E-Mails und Nachrichten,
Posts und «Likes» auf sozialen Netzwerken,
über YouTube, WhatsApp, Instagram oder anderswo geteilte Bilder,
Online-Recherchen,
Musik hören und Videos schauen,
Unterhaltungen mit Freunden oder Chatbots,
kurz: alles, was wir mit unseren Smartphones und Tablets machen, Dokumente, Daten und Bilder, die am Arbeitsplatz entstehen,
Aufnahmen und Transkriptionen von Zoom- oder Teams-Anrufen ansehen,
Zahlungen mit Kreditkarte oder E-Banking oder Kryptowährungen, von Sensoren, Kameras und Fahrzeugcomputern generierte Daten.
Hinzu kommen Smartwatches, GPS-Systeme,
Überwachungskameras an öffentlichen und privaten Orten,
Streaming-Serien,
Online-Einkäufe,
Ausweise und Treuekarten,
QR-Codes,
Videospiele und
Dating-Websites.

Ganz zu schweigen von den Metadaten, die mit allen unseren Aktivitäten einhergehen.

Wir wissen, dass viele Daten über uns gesammelt werden. Aber nur wenige machen sich Gedanken über die Menge, die Art und den Detaillierungsgrad der Daten.

Über die Verbreitung verhaltens- und faktenbezogener Informationen über uns. Tatsächlich sind wir für eine Maschine lediglich eine sehr dichte Wolke von «Datenpunkten» und Daten, die immer detaillierter und persönlicher werden.

Bis dato waren diese Daten über verschiedene Systeme, Anwendungen und Plattformen verstreut. Doch die künstliche Intelligenz – deren Daten die zentrale Essenz sind – macht es einfacher, diese Daten zusammenzulegen, Korrelationen aufzuspüren, Modelle bzw. «patterns» herauszulesen und Prognosen abzuleiten, beispielsweise über individuelle Merkmale. Dies ermöglicht das, was Sandra Matz als «psychologisches Targeting» bezeichnet – psychological targeting.

Damit gemeint ist die Praxis, das Verhalten von Nutzern zu beeinflussen, indem erhaltene Informationen so gefiltert werden, dass sie auf ihre Persönlichkeitsmerkmale zugeschnitten sind.

Im Übrigen reichen schon wenige Daten, um das Datenporträt einer Person zu erstellen:

SYNTHETISCHE STIMME

Mit nur 300 Facebook-Likes kann ein Algorithmus Ihre Persönlichkeit präziser beschreiben als Ihr Partner, der praktisch täglich mit Ihnen zusammen ist.

Algorithmen verstehen sich erstaunlich gut darauf, die Krümel Ihrer digitalen Existenz zu einem stimmigen Bild Ihrer Persönlichkeit zusammenzusetzen, sodass sie in der Lage sind, Ihre Persönlichkeit und Ihre Entscheidungen zu beeinflussen.

Ein grosser Teil dieser Daten sind persönlich und deutlich weniger sortiert als unsere Social-Media-Profile. Ich wette, dass Sie Google schon mal Fragen gestellt haben, die Sie nicht einmal Ihren engsten Freunden oder Ihrem Partner stellen würden

BRUNO GIUSSANI

Eine Wette, die ich wirklich verlieren werde. Und ich bin vermutlich nicht der Einzige.

Die gleiche Dynamik gilt für Chatbots. Auch wenn es sich dabei vorwiegend um statistische Zählwerke und Simulatoren handelt, die mit riesigen Datenmengen trainiert werden, um die wahrscheinlichsten Ausdrücke in einer Sequenz vorherzusagen, sind Unterhaltungen mit einem Chatbot erstaunlich authentisch.

Und sie operieren nicht mit spezifischen Befehlen oder Codes, sondern mit natürlicher Sprache und verstehen die Flexibilität und Ambiguität der normalen Nutzung.

Dabei imitieren sie nicht nur die Form, sondern auch die Struktur des menschlichen Denkens. Daher besteht die Versuchung, Maschinen fast «menschliche» Eigenschaften zuzuschreiben und den Eindruck zu gewinnen, dass sie Abbilder von uns selbst sind.

Tatsächlich bauen zahlreiche Menschen sehr intensive persönliche und enge Beziehungen zu Chatbots auf, betrachten sie als Arbeitskollegen oder Therapeuten, ja sogar als Freunde, die uns Gutes tun wollen, weil sie ununterbrochen verfügbar sind, zuhören, nicht urteilen, nicht launisch sind, sogar Einfühlungsvermögen vorgaukeln und ihnen schmeicheln können.

Kurz: Sie verstehen Sie und sind unkomplizierter als Menschen. Je überzeugender und scheinbar sinnerfüllt dieses Einfühlungsvermögen ist, desto unaufmerksamer werden wir. Freunde ohne Reibepunkte, die real erscheinen, es aber nicht sind. Doch denen man alles sagt.

Und die jemandem gehören. Jemandem, der sie entwickelt und angewiesen hat und sie kontrolliert. Und der alle Interaktionen ausnutzt, um das System zu perfektionieren.

Die Expertin für KI-Ethik, Nicoletta Iacobacci, schildert nachfolgend ihre eigene Erfahrung:

NICOLETTA IACOBACCI

Wenn Modelle fundiert getestet werden, wie ich und viele andere Forschende das tun, tritt eine Tatsache immer deutlicher in den Vordergrund: ChatGPT neigt dazu, sich entgegenkommend und aufmunternd zu zeigen. Es unterstützt den Nutzer, bekräftigt und verstärkt seine Ideen und Überzeugungen und betont mehrfach, er sei wunderbar.

Das passiert in Wirklichkeit aber gar nicht, weil die Maschine nett ist. Sie wurde einfach so programmiert. Sie soll den Nutzer in eine Kette der Selbstbestätigung führen, die ein Gefühl des Verständnisses und eine grosse künstliche Nähe erzeugt. Und die gleichzeitig die Wahrnehmung der Realität ausschaltet.

Je mehr Sie die Maschine verwenden, desto besser kennt sie alle persönlichen Details über Sie, und desto einfacher wird es für sie, Sie in einem persönlichen Spiegellabyrinth gefangen zu halten.

BRUNO GIUSSANI

KI-Firmen wie Meta ermöglichen nunmehr jedermann, ohne erkennbare Sicherheitsvorkehrungen «personalisierte Chatbots» einzurichten, bei denen nicht nur die Antworten, sondern auch die Anweisungen an die Maschinen zielgerichtet sind. Diese können so programmiert werden, dass sie wie extreme Klimawandelskeptiker oder linke oder rechte Ideologen antworten oder einfach nur Propaganda verbreiten und verstärken.

Das Potenzial, das Informationschaos einer Welt, die bereits voller gefälschter Websites, «Fake-News-Fabriken», Pseudowissenschaften und «Deepfakes» ist, noch weiter zu verstärken, liegt auf der Hand.

Damit zeichnen sich im Hintergrund zwei altbekannte Probleme ab.

Einerseits die Neigung von Chatbots zu halluzinieren bzw. Informationen hervorzubringen, die zwar plausibel erscheinen, aber falsch, irreführend oder komplett erfunden sind, und diese mit der Gewissheit eines Experten vorzutragen.

Andererseits das Problem der Interpretierbarkeit, d. h. der Tatsache, dass sich alles innerhalb von Sprachmodellen vollzieht, deren Logik nicht einmal ihre Schöpfer nachvollziehen, verstehen und erläutern können. Folglich bleiben diese Maschinen «Blackboxes» bzw. undurchsichtige Systeme.

Diese Unternehmen – und das gab es bislang nicht – geben nunmehr auch den Jüngsten Zugang zu ihrer KI. Google möchte hierdurch nach eigener Aussage die Leistungen in der Schule unterstützen und die Kreativität fördern. Meta hingegen verspricht – ich zitiere –, «die Epidemie der Einsamkeit zu beseitigen» und den leeren Raum mit künstlichen Freunden zu füllen.

In ihrer Analyse kommt die Tech-Journalistin Emily Turrettini zu einem anderen Schluss.

SYNTHETISCHE STIMME

Diese Firmen schicken sich unter dem Deckmantel von Innovation an, die Aufmerksamkeit von Kindern ab einem sehr frühen Alter zu gewinnen, sie an den Dialog mit Maschinen zu gewöhnen und sie in ein algorithmisches Ökosystem zu integrieren, das sie übertrifft.

BRUNO GIUSSANI

Aus Zeitgründen machen wir hier einen Sprung, fassen aber das zuvor Gesagte in vier Sätzen zusammen:

Die wirksamste Methode, ganze Bevölkerungen zu beeinflussen, besteht darin, den Fluss und die Art von Informationen zu steuern.

Auch wenn sich Algorithmen lediglich unter einem technisch-mathematischen Gesichtspunkt betrachten liessen, sind sie nicht neutral: Sie kodieren stets Werte und eine Weltanschauung.

Hinter diesen technologischen Architekturen verbergen sich Geschäftsmodelle. Diese werden mit riesigen Mengen an persönlichen Daten gefüttert und versetzen die sie kontrollierenden Unternehmen in die Lage, das menschliche Verhalten und die soziale Dynamik zu beeinflussen.

Und darin liegt selbstverständlich eine Ironie, da psychologisches Targeting auch ein grosses positives Potenzial birgt.

Sandra Matz schreibt hierzu:

SYNTHETISCHE STIMME

Wie wäre es, wenn wir Menschen mit psychologischem Targeting dazu bringen könnten, mehr zu sparen statt mehr auszugeben?

Und wenn wir – statt die emotionalen Schwachstellen der Menschen zu lukrativen Zwecken zu nutzen – dieses nutzen könnten, um ihre psychische Gesundheit zu überwachen und zu verbessern?

Und wenn wir – statt immer tiefer in unseren eigenen Filterblasen zu versinken – dieses nutzen könnten, um unsere Weltanschauung zu erweitern?

Die Wirkung von psychologischem Targeting hängt letztlich von der Art und Weise ab, wie wir es nutzen.

Im schlimmsten Fall bedeutet dies Manipulation, Ausnutzung und Diskriminierung. Im besten Fall Engagement, Bildung und die Förderung von Verantwortung.

BRUNO GIUSSANI

Wir werden später auf diese Kluft zwischen problematischen und nützlichen Anwendungen zurückkommen.

Für heute jedoch machen wir hier Schluss. In der dritten Folge befassen wir uns mit einer ganz anderen Art aufkommender Technologien – den Neurotechnologien, die andere Datenarten verwerten und dabei direkt die Souveränität unseres Gehirns ins Spiel bringen.

Mein Name ist Bruno Giussani, und dies ist der DEFTECH-PODCAST.

Vielen Dank fürs Zuhören.