Disponible sur :
La saison complète
Ecrite et présentée par Bruno Giussani, expert des enjeux sociétaux liés aux technologies numériques, cette série de six épisodes (augmentée par un « épisode bonus » d’une fiction immersive) explore une dimension aussi invisible que décisive des conflits contemporains : l’intégrité de nos esprits.
Transcript
Vous écoutez Deftech podcast, le podcast de prospective technologique d’armasuisse.
Episode 3 : Les machines qui lisent nos pensées : petit précis de neurotechnologie
BRUNO GIUSSANI
Regardez autour de vous. Combien de personnes connaissez-vous qui portent des montres connectées, des bagues électroniques, des bracelets de fitness ou encore des lunettes avec cameras et ordinateur intégrés? Vous-même, peut-être?
Ces appareils portés sur le corps ou intégrés aux vêtements permettent d’accéder à des notifications et informations, mais également au suivi de l’activité physique, du sommeil, des signes vitaux, des émotions voire de l’attention.
Bref: une meilleure compréhension de notre corps. Ils sont connectés et souvent couplés à des systèmes d’intelligence artificielle. Ils incluent d’autres technologies avancées.
Les écouteurs intelligents – « smart earbuds » en anglais – par exemple, servent bien évidemment à écouter de la musique, mais peuvent inclure aussi des accéléromètres et gyroscopes pour détecter les mouvements de la personne ou en surveiller la posture.
Ils représentent, ces gadgets, l’avant-garde, la première utilisation généralisée d’un tout autre niveau d’intégration humain-machine: non plus basé, comme on l’a vu dans les épisodes précédents, sur les traces numériques qu’on laisse derrière nous au quotidien, mais sur nos données physiologiques et cérébrales. Ils tracent la voie vers la la neurotechnologie personnelle.
Ce domaine combine neurosciences, ingénierie, informatique et d’autres disciplines pour développer une famille de technologies conçues pour interagir avec le cerveau et le système nerveux humain.
Elles visent à monitorer, comprendre et améliorer les fonctions cérébrales dans le cadre de la santé mentale, ou pour dépasser les limitations découlant par exemple d’une paralysie partielle ou totale.
Elles promettent aussi, bien évidemment, d’atteindre de nouveaux niveaux de performance cognitive et de productivité. Mais elles soulèvent également des questions profondes sur le contrôle, la manipulation et la préservation de l’autonomie mentale.
Oui, nous ne comprenons toujours que partiellement le fonctionnement du cerveau et de l’intelligence humaine. Chacun de nos esprits est un univers à part entière, encore largement enveloppé dans le mystère.
Mais des technologies extraordinaires ont permis pendant les dernières décennies de comprendre de mieux en mieux le cerveau, les processus neuronaux inconscients, les émotions et les biais cognitifs.
On utilise maintenant ces connaissances pour développer d’autres technologies, capables, elles, d’influencer et de manipuler ces mêmes processus cognitifs, d’induire des pensées et de reprogrammer l’espace des perceptions.
JINGLE
Le Deftech Podcast fait partie du programme de prospective technologique d’armasuisse Science et Technologie.
Je suis Quentin Ladetto, responsable de ce dispositif de recherche.
Notre mission est d’anticiper les avancées technologiques et leurs usages, au service des acteurs du Département fédéral suisse de la défense, de la protection de la population et des sports, mais également du public.
Dans cette première série de six épisodes, intitulée « La menace cognitive » j’ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l’intégrité et de la sécurité cognitives.
Avec l’aide d’experts – et aussi de quelques voix artificielles: à vous de deviner lesquelles! – Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l’heure des écrans omniprésents, de l’intelligence artificielle et des neurotechnologies. En discutant mécanismes, impacts individuels et collectifs, risques, et réponses possibles.
BRUNO GIUSSANI
Pensez au prodige d’une intention qui se traduit en action, au fait de contrôler un ordinateur avec la pensée, en faisant bouger un curseur sur un écran, ou déclenchant le mouvement d’une machine.
C’est le but des interfaces cerveau-ordinateur (BCI dans l’acronyme anglais: brain-computer interfaces), développées pour permettre de contrôler des appareils externes par la pensée, sans utiliser clavier ni souris, établissant un lien direct entre l’activité cérébrale et les systèmes numériques.
Il existe des approches dites « invasives », comme celles de l’entreprise Neuralink, qui consistent à implanter physiquement des électrodes dans le cerveau. Ceux-ci capturent l’activité des neurones et en transmettent les signaux à des appareils externes, qui les traduisent ensuite en commandes numériques. Soudainement, il devient possible aussi aux personnes paralysées de jouer aux échecs ou écrire à l’ordinateur.
Il y a des technologies « non-invasives », d’entreprises comme Emotiv, qui utilisent des électrodes placés sur le cuir chevelu pour monitorer l’activité cérébrale pour produire l’électroencéphalogramme (EEG) de la personne.
Et il y a l’espace du milieu, « sémi-invasif », où il n’est pas nécessaire d’intervenir chirurgicalment sur le cerveau, mais on peut insérer des électrodes ou autres dispositifs à travers les vaisseaux sanguins, jusqu’à proximité de la zone d’intérêt.
Selon une base de données gérée par la Bibliothèque nationale de médecine, 47 études sont actuellement en cours aux Etats-Unis sur des interfaces cerveau-ordinateur
L’arc de développement de ces technologies – comme on l’a aussi évoqué concernant l’intelligence artificielle – est long. La découverte que le cerveau est un système électrique remonte à plus d’un siècle. Mais jusqu’à un passé récent, étudier ces signaux demandait des équipements coûteux, compliqués et délicats, en laboratoire.
Ces dernières années, la courbe n’a fait qu’accélérer, et la technologie est sortie des labos. Il est désormais possible de recueillir, avec des gadgets relativement peu chers, une grande quantité de données sur nos cerveaux, et essayer de comprendre ce qu’elles nous disent.
Nous pouvons aussi imaginer comment utiliser ces interfaces dans la direction inverse, pour façonner activement l’activité cérébrale: affecter les pensées, influencer l’interprétation de la réalité, orienter les décisions, implanter des faux souvenirs. Potentiellement, un jour, créer des expériences tout à fait vraisemblables, ressenties, émouvantes – rien que par la modulation de signaux électriques.
Un exemple de fonctionnement de ces technologies?
Ecoutons Jean-Marc Rickli, directeur des risques globaux et émergents au Centre de politique de sécurité de Genève :
JEAN-MARC RICKLI
Pensez par exemple aux caméras intégrés à un casque de réalité virtuelle comme celui d’Apple a commercialisé l’année passée, qui regardent sans cesse et traquent l’oeil de l’utilisateur.
En couplant ces informations visuelles qui proviennent de stimuli externes avec des capteurs neuronaux installés dans le même casque, il devient possible de corréler ce qu’une personne regarde avec la zone du cerveau qui s’active.
Et donc in fine il devient possible de savoir quel type d’information visuelle va susciter quelle réponse
BRUNO GIUSSANI
Olivier Desjeux est un spécialiste suisse d’électrotechnologie. Il travaille à un rapport sur la résilience cognitive pour le compte de Deftech.
Pour cela, il s’est plongé dans les brevets qui décrivent les appareils qui participent de ce qu’on appelle appelle IOT, « The Internet of Things« , l’internet des objets:
OLIVIER DESJEUX
L’analyse des brevets déposés montrent que tous ces systèmes IOT sont développés essentiellement pour des raisons bienveillantes.
Ce sont des raisons qui sont très respectables du point de vue de l’éthique. Le plus souvent, ce sont les bénéfices pour la santé ou pour la sécurité des personnes qui sont mis en avant.
Prenons un exemple d’un appareil capteur des flux nerveux qui peut alerter les personnes épileptiques de crises imminentes. ou des appareils qui surveillent le rythme et la pression cardiaque, on les connaît tous, qui sont là pour vraiment rendre service. Plus tard, les personnes qui ont ou qui auront perdu une fonction de locomotion peuvent ou pourront la retrouver à travers des interfaces neuronales.
BRUNO GIUSSANI
Il y a également nombre d’applications professionnelles. Les conducteurs du train à grande vitesse Pékin-Shanghai, la ligne la plus fréquentée au monde, portent des capteurs intégrés à leur casquette, pour monitorer leur vigilance et niveau de fatigue. On dira: ça se passe en Chine. En fait, si la Chine est à la pointe de ces technologies, des milliers d’entreprises des secteurs miniers, de la construction et des transports à travers le monde utilisent des systèmes similaires.
D’autres approches promettent d’utiliser une technique de rétroaction connue comme neurofeedback pour dépasser nos limites: mieux percevoir, améliorer l’efficacité, la concentration, la mémoire, ou augmenter nos performances sportives, par exemple au niveau de la coordination motrice et des réflexes.
On pourrait aussi tirer parti des schémas d’engagement cérébral individuels des écoliers et de leurs états émotionnels pour garantir un rythme d’apprentissage optimal. Il y a déjà plusieurs startups engagées dans le développement de tels produits. L’intention bienveillante qui peut sous-tendre à la création d’une technologie ne dit toutefois rien sur la façon dont elle sera utilisée à l’avenir et sur les conséquences qu’elle aura.
Prenons l’exemple des ultrasons, une des modalités d’imagerie médicale les plus utilisées au monde. Ils ont été découverts il y a près de deux siècles sur la base d’études sur le vol des chauves-souris et sur la propagation du son dans l’eau. Ils ont servi entre autres pour cartographier les fonds marins, retrouver l’épave du Titanic, détecter des sous-marins ennemis, faire du nettoyage industriel, et bien même pour déterminer le sexe d’un fœtus à travers l’imagerie échographique.
En médecine moderne, celle-ci est considérée un outil diagnostique et thérapeutique essentiel. Dans la Chine de la fin des années 1970, toutefois, elle a été mise au service de la politique de l’enfant unique, menant directement à la suppression de millions de fœtus féminins et à des conséquences démographiques et sociales qui perdurent encore aujourd’hui.
Autrement dit, la discussion sur les champs possibles d’application d’une nouveauté technologique est épineuse. Une entreprise a accès aux ondes cérébrales de ses employés, pour des raisons de sécurité, comme dans l’exemple du conducteur de train, voire pour monitorer leur niveau de stress et améliorer leur bien-être mental. Que du bien.
Mais à quel moment cela franchit la limite vers la surveillance, voir la contrainte? Devenant ainsi une extension neuronale de ce qu’on connaît aujourd’hui comme « bossware », les logiciels du chef.
Ces systèmes surveillent les frappes au clavier, l’utilisation d’internet, prennent des captures d’écran et même photographient les employés pour en contrôler les activités et maximiser la productivité? Une entreprise commercialise déjà un produit, d’origine militaire, dont le nom s’explique tout seul: « Cognitive Command and Control« .
Une industrie entière, le neuromarketing, utilise depuis un moment déjà des mesures physiologiques et cérébrales pour comprendre les motivations, les préférences et les processus décisionnels des consommateurs et en manipuler les décisions d’achat.
Pourquoi, par exemple, des films hollywoodiens, de même que certaines publicités, sont si captivants? Parce qu’ils ont été neuro-testés. Des personnes les regardent avec des capteurs sur la tête mesurant leur réactions cérébrales – et c’est sur cette base que sera fait le montage final du film.
Certains imaginent un avenir de publicité implantée dans les rêves. D’autres, des cerveaux connectés à l’intelligence artificielle, développant des réflexions symbiotiques.
Des millions de personnes joueront bientôt à des jeux en ligne via des interface cerveau-ordinateur, ou des casques de réalité virtuelle.
Il y en aura qui utiliseront le neurofeedback pour renforcer leur confiance en soi et favoriser un état mental positif.
Des domaines émergents comme la neuro-architecture étudient la façon dont les neurones réagissent à différents environnements physiques et, à l’envers, la possibilité de créer des espaces capables de détecter, via des systèmes de capteurs, le niveau d’excitation, de stress ou d’antagonisme des personnes s’y trouvant.
Souvent, cela se fera à travers des appareils qu’on ne remarquera presque pas, ou plus du tout.
Ecoutons Olivier Desjeux :
OLIVIER DESJEUX
Les capteurs et les actionneurs qui nous entourent deviennent petit à petit invisibles, indolores, ils sont insensibles, à tel point qu’on les oublie, on en perd la perception.
Prenez l’exemple des « earbuds » qui sont souvent qualifiés d’écouteurs intelligents. Certaines personnes les portent toute la journée de façon courante au point de plus du tout s’en rendre compte.
Dans les dernières nouveautés, le leader mondial des aides auditives qui vient de mettre sur le marché des équipements qui intègrent des microprocesseurs dotés d’une intelligence artificielle.
Le but de cette intelligence artificielle est de reconnaître, de filtrer les bruits de fond pour assurer une meilleure qualité d’audition aux porteurs de ces appareils, de ces aides auditives.
BRUNO GIUSSANI
Bien qu’un tel appareil système améliore de façon significative la vie de ses utilisateurs – il place une puce avec capacité IA, pratiquement invisible, près du cerveau.
De même pour les écouteurs, positionnés de façon optimale pour « lire » les émotions à travers les signaux cérébraux.
OLIVIER DESJEUX
Il y a un principe de physique quantique qui stipule que plus vous mesurez précisément la vitesse d’une particule, et plus vous perdez de précision sur sa position. Pour nous c’est la même chose.
Le simple fait d’avoir connaissance que nos paramètres physiologiques sont mesurés, sont surveillés, ça altère déjà notre mode de fonctionnement.
Ça, c’est vrai pour à peu près tout le monde. Ça peut conduire à des meilleurs comportements, comme par exemple l’injonction de marcher au moins 10 000 pas par jour. Mais ces technologies, elles sont toutes bifaces, elles ont toutes deux côtés.
On peut imaginer que la somme de toutes ces données soit capturée à l’échelle d’une entreprise, qui pourrait être peu éthique, voire même d’un gouvernement hostile.
Donc il devient ensuite relativement facile d’établir des schémas de corrélation sur lesquels actionner des opérations d’influence.
BRUNO GIUSSANI
Bien que le contrôle mental soit jusqu’ici un terreau fertile surtout pour la science-fiction, à diverses époques des gouvernements ont tenté de développer ces capacités.
Certains s’interrogent sur la possibilité d’identifier les individus à travers les patterns cérébraux propres à chacun, leur « signature cognitive » unique. Peut-être qu’à l’avenir, ces « signatures » feront partie de notre profil LinkedIn, utilisés lors des processus de recrutement.
La recherche progresse non seulement sur la façon de décoder et lire les pensées et les souvenirs, mais aussi sur comment les modifier et en implanter de nouvelles.
L’activité cérébrale à court terme peut déjà être modifiée via des technologies telles que la Stimulation Magnétique Trans-crânienne. Cette méthode induit un champ électrique qui modifie l’activité des neurones visés.
Cela peut aider à sortir d’un état dépressif. Pour des changements plus profonds, le défi est celui de la précision, parce que bien évidemment chaque cerveau est, physiquement, un peu différent des autres.
Y intervenir demande donc des méthodes hautement spécifiques. Les interfaces invasives présentent là un avantage, puisqu’elles sont en fait un réseau de fils implantés directement dans le cerveau. Et elles sont donc, du point de vue de la liberté personnelle, potentiellement plus problématiques. Mais les systèmes non invasifs peuvent aussi induire des nouveaux schémas d’activité cérébrale de façon passive.
Une étude remarquable a par exemple été menée en 2024 par des chercheurs de trois universités américaines, Rochester, Yale et Princeton. En utilisant un appareil d’imagerie par résonance magnétique fonctionnelle et un système de neurofeedback, ils ont réussi à inscrire dans le cerveau des participants une nouvelle information comme si ils l’avaient apprise, mais sans effort d’apprentissage conscient.
Voici comment les chercheurs ont décrit le résultat de leurs travaux:
VOIX SYNTHETIQUE
Ce mécanisme de rétroaction a efficacement « sculpté » l’activité cérébrale des participants, les guidant vers le schéma souhaité.
BRUNO GIUSSANI
Cette méthode pourrait aider à accélérer l’apprentissage, puisqu’elle ne nécessite d’aucun effort, étude ou pratique. Et pourrait être utilisée en rééducation, par exemple pour aider les patients victimes d’un AVC à récupérer leurs fonctions cérébrales.
Il est évident toutefois que ces recherches – et d’autres similaires – ouvre la voie à des d’utilisations moins bienveillantes.
Nita Farahany, professeure de droit à l’université Duke, est une des meilleures spécialistes de ces questions au monde, et a disséqué le sujet en détail dans son livre « The Battle for Your Brain » (La bataille pour votre cerveau), paru en 2023.
Elle y dit notamment ceci, traduit et adapté par nos soins :
VOIX SYNTHETIQUE
Je suis enthousiasmée par la promesse de cette technologie d’aider les gens à vivre mieux. Ces technologies collectent nos données cérébrales pour nous aider à devenir plus rapides, plus efficaces, plus sûrs et plus sains. Nous aurons donc des raisons de vouloir partager les données brutes de notre activité cérébrale. Individuellement et collectivement, nous tirerons un grand profit de ce que nous pourrons en apprendre.
Mais il y a un revers de la médaille, une boîte de Pandore qui m’empêche de dormir. Rien dans la loi ni dans les traités internationaux ne confère aux individus une souveraineté même rudimentaire sur leur propre cerveau. Ce n’est pas pour demain, mais nous nous dirigeons rapidement vers un monde de transparence cérébrale totale, où les avancées en neurotechnologie permettront aux scientifiques, aux médecins, aux gouvernements et aux entreprises d’explorer nos cerveaux et nos esprits à volonté.
Je crains que, dans un avenir proche, nous abandonnions, volontairement ou involontairement, notre dernier bastion de liberté: notre vie privée mentale. Que nous échangions avec des entreprises commerciales l’accès à notre activité cérébrale contre des rabais, un accès gratuit aux réseaux sociaux, voire comme condition pour conserver notre emploi. La neurotech pourrait devenir une exigence dans les lieux de travail et les écoles: pas de bracelet, pas d’emploi.
Soyons clairs : les données elles-mêmes ne sont pas la même chose que nos pensées et nos sentiments. Mais de puissants algorithmes d’apprentissage automatique parviennent de mieux en mieux à traduire l’activité cérébrale en ce que nous ressentons, voyons, imaginons ou pensons. En choisissant d’utiliser ces appareils, nous risquons de révéler bien plus que ce qu’on a prévu.
BRUNO GIUSSANI
Bien utilisées, ces technologies peuvent apporter des bénéfices individuels et collectifs indéniables. Augmenter la sécurité. Aider l’attention et la performance.
Mais elles mettent en jeu de façon essentielle notre liberté cognitive, notre droit à l’autodétermination sur notre cerveau et nos expériences mentales. Souvent, notre activité cérébrale commence à changer avant que nous ne le remarquions – par exemple quand un état dépressif ou anxieux s’installe.
Que se passera-t-il quand les machines – contrôlées par des entreprises ou des gouvernements – pourront savoir ce que nous pensons avant même que nous le pensions?
On touche ici à un enjeu central de la neurotechnologie. Comprendre que les données cérébrales sont sensibles. Définir qui peut les collecter et utiliser et comment.
Il ne s’agit pas seulement d’augmenter nos capacités (ce que les neurotech promettent de façon spectaculaire) mais aussi de les protéger. De s’assurer que ces technologies nous aident à améliorer notre compréhension et prise de décision, plutôt que de permettre à une organisation de décider à notre place.
Et surtout d’éviter que l’augmentation de nos capacités cérébrales ne nous affaiblisse en tant qu’êtres humains, nous rendant plus vulnérables à la manipulation.
Toute cela peut sembler un peu abstrait.
Voici comment la chercheuse en éthique de la technologie Nicoletta Iacobacci résume le défi auquel on est confrontés:
NICOLETTA IACOBACCI
Les grandes entreprises de la tech, notamment américaines et chinoises, ambitionnent de créer des formes d’intelligence artificielle générale, c’est-à-dire des systèmes capables d’imiter la pensée humaine.
En même temps, le cerveau, la partie la plus complexe du corps humain, qu’on a longtemps considéré comme incompréhensible, commence à livrer ses secrets. On doit sérieusement s’interroger sur la convergence de ces deux axes de développement, qui fera émerger une machine qui nous dépassera tant en termes de vitesse et puissance de calcul, que de connaissance détaillée de nos schémas mentaux et émotionnels.
Ce sera un cerveau collectif, une superintelligence que nous avons toutes les raisons de craindre, mais que nous participons à créer jour après jour.
BRUNO GIUSSANI
Comme nous l’a dit Nita Farahany, tout cela n’est pas pour tout de suite. Mais la technologie avance à grande vitesse, dessinant un avenir avec lesquel nous devrons composer.
Penser la résilience et la robustesse cognitive devient alors primordial.
Dans le quatrième épisode, on étendra cette analyse à un domaine essentiel, que l’on na pas encore évoqué: la guerre.
Je suis Bruno Giussani et ceci est le Deftech Podcast.
Merci de votre écoute.
Deftech Podcast
Idée & projection : Quentin Ladetto
La menace cognitive
Conception et rédaction : Bruno Giussani
Production : Clément Dattée
Réalisation : Anna Holveck
Enregistrement : Denis Democrate
Mixage : Jakez Hubert
Jaquette : Cécile Cazanova
Fiction
Ecriture : Martin Quenehen
Comédienne : Clara Bretheau
Sound design : Felix Davin
Edition
Die Maschinen, die unsere Gedanken lesen
Ein kleiner Einblick in die Neurotechnologie
Verfügbar auf :
Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung.
Folge 3: Die Maschinen, die unsere Gedanken lesen: Ein kleiner Einblick in die Neurotechnologie.
BRUNO GIUSSANI
Schauen Sie sich mal um. Wie viele Personen kennen Sie, die eine Smartwatch, einen Smartring, Fitnessarmbänder oder Brillen mit integrierten Kameras und Computer tragen? Vielleicht sogar Sie selbst?
Diese am Körper getragenen oder in Kleider integrierten Geräte ermöglichen, auf Benachrichtigungen und Informationen zuzugreifen, aber auch körperliche Aktivitäten, Schlaf, Vitalfunktionen und Emotionen, ja sogar die Aufmerksamkeit zu überwachen. Mit anderen Worten bieten sie ein besseres Verständnis unseres Körpers. Sie sind vernetzt und häufig mit KI-gestützten Systemen gekoppelt und umfassen weitere fortschrittliche Technologien.
Intelligente Ohrhörer oder «Smart Earbuds» in Englisch dienen natürlich dazu, Musik zu hören, können aber auch mit Beschleunigungsmessern und Kreiseln ausgestattet sein, um Bewegungen der Person zu erfassen oder die Haltung zu überwachen.
Diese kleinen Geräte sind die Avantgarde und verkörpern die erste allgemeine Nutzung einer ganz neuen Ebene der Integration zwischen Mensch und Maschine.
Dabei basieren sie nicht mehr – so wie in den vorigen Folgen aufgezeigt – auf unseren im Alltag hinterlassenen digitalen Spuren, sondern auf den Daten unseres Körpers und unseres Gehirns.
So machen sie den Weg frei zur personenbezogenen Neurotechnologie. Dieser Bereich ist eine Mischung aus Neurowissenschaften, Engineering, Informatik und weiteren Disziplinen, um eine Familie von Technologien zu entwickeln, die mit dem Gehirn und dem menschlichen Nervensystem interagieren sollen.
Konkret zielen sie darauf ab, die Hirnfunktionen im Rahmen der psychischen Gesundheit zu überwachen, zu verstehen und zu verbessern oder die Einschränkungen, die sich beispielsweise aus einer Teil- oder Volllähmung ergeben, zu überwinden. Natürlich versprechen diese auch, neue Stufen der kognitiven Leistungsfähigkeit und Produktivität zu erreichen.
Sie werfen aber auch weitreichende Fragen zur Kontrolle, Manipulation und Bewahrung der geistigen Autonomie auf.
Tatsächlich verstehen wir die Funktionsweise des menschlichen Gehirns und der menschlichen Intelligenz noch immer nur zum Teil. Das Bewusstsein ist ein eigenes Universum, das grösstenteils vom Unbekannten umgeben wird.
Gleichwohl haben aussergewöhnliche Technologien in den letzten Jahrzehnten ermöglicht, das Gehirn, die unbewussten neuronalen Prozesse, die Emotionen und kognitive Verzerrungen immer besser zu verstehen.
Diese Erkenntnisse werden inzwischen für die Entwicklung anderer Technologien verwendet, die diese kognitiven Prozesse beeinflussen und manipulieren, Gedanken herbeiführen und den Bereich der Wahrnehmung umprogrammieren können.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
BRUNO GIUSSANI
Denken Sie an die Absicht, die sich in eine Handlung verwandelt, den Computer, der durch Gedanken gesteuert wird, wobei ein Cursor über den Bildschirm geführt oder die Bewegung einer Maschine ausgelöst wird.
Genau das ist der Zweck von Gehirn-Computer-Schnittstellen (englische Abkürzung BCI: brain-computer interfaces), mit denen externe Geräte ohne Tastatur oder Maus durch Gedanken gesteuert werden sollen, wobei eine direkte Verzahnung zwischen der Hirnaktivität und den digitalen Systemen entsteht.
In dieser Hinsicht gibt es sogenannte «invasive» Ansätze – wie denjenigen des Startups Neuralink –, wobei Elektronen physisch in das Gehirn eingesetzt werden. Die Elektronen erfassen die Aktivität der Neuronen und übertragen die Signale an externe Geräte, die sie anschliessend in digitale Befehle umwandeln. Dadurch werden auch gelähmte Personen künftig Schach spielen oder mit dem Computer schreiben können.
Bei den «nicht invasiven» Technologien wie von der Firma Emotiv werden Elektroden an der Kopfhaut angebracht, um die Hirnaktivität zu überwachen und ein Elektroenzephalogramm (EEG) der Person aufzuzeichnen.
Einen Mittelweg stellt der «halbinvasive» Ansatz dar. Dabei ist zwar kein chirurgischer Eingriff am Gehirn erforderlich, es können aber Elektroden oder sonstige Systeme über die Blutgefässe bis in die Nähe der gewünschten Zone eingesetzt werden.
Laut einer Datenbank der Nationalbibliothek für Medizin laufen in den USA aktuell 47 Studien über Gehirn-Computer-Schnittstellen.
Die Entwicklungsspanne dieser Technologien ist – wie auch im Hinblick auf künstliche Intelligenz erwähnt – lang. Dass es sich beim menschlichen Gehirn um ein elektrisches System handelt, wurde vor mehr als 100 Jahren erkannt. Doch die Erforschung dieser Signale erforderte bis vor Kurzem teuere, komplexe und empfindliche Laborgeräte.
In den letzten Jahren hat sich die Kurve fortwährend beschleunigt, und die Technologie hat inzwischen die Labore verlassen. Nunmehr ist es mit vergleichsweise günstigen Geräten möglich, eine grosse Menge an Daten über unsere Gehirne zu erfassen und zu versuchen, die Botschaft dieser Daten zu entschlüsseln.
Auch ist vorstellbar, diese Schnittstellen in umgekehrter Richtung zu verwenden, um die Hirnaktivität aktiv zu gestalten, d. h., Gedanken zu steuern, die Interpretation der Realität zu beeinflussen, Entscheidungen zu lenken und falsche Erinnerungen zu erzeugen. Ferner ist denkbar, dass sich eines Tages nur durch die Modulation elektrischer Signale völlig realistische, gefühlte und bewegende Erlebnisse erzeugen lassen.
Jean-Marc Rickli, Leiter der Abteilung «Globale und neu auftretende Risiken» am Genfer Zentrum für Sicherheitspolitik, erläutert die Funktionsweise dieser Technologien anhand eines Beispiels:
JEAN-MARC RICKLI
Man denke beispielsweise an die Kameras in einer VR-Brille, wie sie letztes Jahr von Apple auf den Markt gebracht wurde. Solche Brillen betrachten und verfolgen permanent das Auge ihres Nutzers.
Durch die Kopplung dieser visuellen Informationen, die von externen Reizen herrühren, mit neuronalen Sensoren in dieser Brille wird es möglich, das, was eine Person sieht, mit der Hirnregion zu koppeln, die aktiviert wird.
Folglich wird sich schlussendlich herausfinden lassen, welche Art visueller Informationen welche Reaktion auslöst.
BRUNO GIUSSANI
Olivier Desjeux ist ein Schweizer Experte für Elektrotechnologie. Gegenwärtig arbeitet er an einem Bericht über kognitive Resilienz für Deftech.
Hierzu beschäftigt er sich mit Patenten von Geräten, die zum Internet der Dinge bzw. dem IOT – «The Internet of Things» – gehören:
OLIVIER DESJEUX
Die Analyse eingereichter Patente zeigt, dass alle IOT-Systeme im Wesentlichen für wohlwollende Zwecke entwickelt werden.
In ethischer Hinsicht sind dies äusserst edle Gründe. Häufig wird dabei der Nutzen für die Gesundheit oder die Sicherheit von Personen hervorgehoben.
Nehmen wir das Beispiel eines Nervenflusssensors, der Epileptiker vor bevorstehenden Anfällen warnen kann. Oder Geräte zur Messung der Herzfrequenz und des Herzdrucks, die allgemein bekannt und sehr nützlich sind. Irgendwann könnten Personen, die eine Bewegungsfunktion verloren haben, diese über neuronale Schnittstellen zurückerlangen.
BRUNO GIUSSANI
Es gibt auch zahlreiche Anwendungen in der Berufswelt. So tragen die Fahrzeugführer des Hochgeschwindigkeitszugs von Peking nach Shanghai und damit der meistbefahrenen Strecke der Welt Sensoren in ihren Mützen, um den Grad ihrer Wachsamkeit und ihrer Ermüdung zu überwachen. Man würde jetzt sagen, das ist in China. Auch wenn China in diesen Technologien führend ist, verwenden Tausende von Unternehmen in den Bereichen Bergbau, Bauwesen und Transport weltweit vergleichbare Systeme.
Weitere Ansätze versprechen die Nutzung einer bekannten Rückmeldetechnik wie Neurofeedback, um unsere Grenzen zu überwinden, d. h. die Verbesserung von Wahrnehmung, Effizienz, Konzentration, Gedächtnis oder sportlichen Leistungen, etwa auf Ebene der motorischen Koordination und der Reflexe. Ebenso könnten die individuellen Muster der Gehirnaktivität von Schülern und ihre emotionalen Zustände genutzt werden, um ein optimales Lerntempo zu gewährleisten. Schon jetzt befassen sich mehrere Startups mit der Entwicklung solcher Produkte.
Die wohlwollende Absicht, die mit der Schaffung einer Technologie verbunden sein kann, sagt gleichwohl nichts aus über die Art und Weise, wie die Technologie künftig genutzt und mit welchen Folgen sie verbunden sein wird. Man denke beispielsweise an Ultraschall, eines der weltweit meistverwendeten Verfahren für die diagnostische Bildgebung.
Entdeckt wurde der Ultraschall vor fast 200 Jahren durch die Untersuchung des Flugs von Fledermäusen und der Ausbreitung von Schall im Wasser. Ultraschall wurde unter anderem eingesetzt für die Kartographierung von Meeresböden, die Entdeckung des Wracks der Titanic, das Orten feindlicher U-Boote, die Gebäudereinigung und sogar für die Bestimmung des Geschlechts eines Fötus durch Ultraschallbildgebung. In der modernen Medizin fungiert er als wichtiges Diagnose- und Behandlungsinstrument.
Allerdings wurde er in China ab Ende der 1970er-Jahre für die Umsetzung der Ein-Kind-Politik eingesetzt und zog unmittelbar die die Tötung von Millionen weiblicher Föten sowie demografische und gesellschaftliche Folgen nach sich, die bis heute spürbar sind.
Mit anderen Worten ist die Diskussion über die möglichen Anwendungsfelder einer neuen Technologie problematisch. Ein Unternehmen hat Zugriff auf die Gehirnwellen seiner Mitarbeitenden, wie im Beispiel des Fahrzeugführers, weil dies aus Sicherheitsgründen erforderlich ist, oder, um das Stressniveau zu überwachen und das psychische Wohlbefinden zu verbessern. Eigentlich alles positiv.
Doch es stellt sich die Frage, wann die Schwelle zur Überwachung, ja sogar zum Zwang überschritten ist.
So werden die Technologien zu einer neuronalen Erweiterung dessen, was heute als «Bossware», d. h. die Software von Vorgesetzten, bekannt ist. Diese Systeme überwachen Tastaturanschläge und Internetnutzung, fertigen Screenshots an und fotografieren sogar Mitarbeitende, um ihre Aktivitäten zu kontrollieren und die Produktivität zu maximieren.
Ein Unternehmen vermarktet bereits ein Produkt aus dem militärischen Bereich, dessen Name selbsterklärend ist: «Cognitive Command and Control».
Eine ganze Branche, d. h. das Neuromarketing, nutzt seit längerer Zeit bereits physiologische und zerebrale Messungen, um die Beweggründe, Vorlieben und Entscheidungsprozesse von Konsumenten zu verstehen und Kaufentscheidungen zu beeinflussen. Warum sind beispielsweise Hollywood-Filme und bestimmte Werbespots so fesselnd? Weil sie neurologisch getestet wurden. Dabei sehen sich Personen die Filme an, auf deren Köpfen Sensoren zur Messung der Reaktionen ihres Gehirns angebracht sind. Daran orientiert sich schliesslich der finale Filmschnitt.
Manche Menschen sinnieren über eine Zukunft mit Werbung, die in Träume eingebaut wird. Andere wiederum stellen sich mit künstlicher Intelligenz vernetzte Gehirne vor, die symbiotische Reflexionen entwickeln. Schon bald werden Millionen Menschen über eine Gehirn-Computer-Schnittstelle oder VR-Brillen Online-Spiele spielen. Andere wiederum werden Neurofeedback verwenden, um ihr Selbstvertrauen zu stärken und einen positiven mentalen Zustand zu fördern.
Neu entstehende Bereiche wie die Neuroarchitektur untersuchen, wie Neuronen in verschiedenen physischen Umgebungen reagieren, und umgekehrt, ob es möglich ist, Räume zu schaffen, die über Sensorsysteme messen können, wie aufgeregt, gestresst oder feindselig darin befindliche Personen sind.
Und dies wird häufig mit Vorrichtungen erfolgen, die kaum oder überhaupt nicht wahrnehmbar sind.
Olivier Desjeux erklärt uns das genauer:
OLIVIER DESJEUX
Die uns umgebenden Sensoren und Aktuatoren werden nach und nach unsichtbar, geruchlos und unmerklich, sodass man sie vergisst und nicht mehr wahrnimmt.
Ein Beispiel sind ‹earbuds›, die häufig als intelligente Ohrhörer bezeichnet werden. Einige Menschen tragen diese den ganzen Tag über so selbstverständlich, dass sie sie gar nicht mehr bemerken.
Zu den letzten Neuheiten zählen Geräte des Weltmarktführers für Hörhilfen, die mit KI-gestützten Mikroprozessoren ausgestattet sind.
Diese künstliche Intelligenz soll Hintergrundgeräusche erkennen und ausfiltern, um den Trägern dieser Apparate bzw. Hörhilfen eine bessere Tonqualität zu bieten
BRUNO GIUSSANI
Auch wenn ein solcher Apparat die Lebensqualität seiner Nutzer deutlich verbessert, ist er mit einem praktisch unsichtbaren KI-fähigen Chip nahe dem Gehirn versehen.
Gleiches gilt für die Ohrhörer, die optimal positioniert sind, um Emotionen über Gehirnsignale zu «lesen».
OLIVIER DESJEUX
Ein Grundsatz der Quantenphysik besagt, dass die Genauigkeit der Position eines Teilchens abnimmt, je präziser man die Geschwindigkeit dieses Teilchens misst. Das gilt auch für uns.
Das blosse Wissen darüber, dass unsere physiologischen Parameter gemessen und überwacht werden, verändert bereits unsere Funktionsweise.
Und das trifft mehr oder weniger auf alle Menschen zu. Es kann zu besseren Verhaltensweisen führen, wie die Anordnung, jeden Tag mindestens 10 000 Schritte zu gehen.
Doch diese Technologien sind allesamt ein zweischneidiges Schwert. Denkbar ist, dass die Summe aller dieser Daten auf Ebene eines Unternehmens, das sich unethisch verhalten könnte, oder sogar auf Ebene eines feindlichen Landes erhoben wird.
Demgemäss ist es im Anschluss vergleichsweise einfach, Korrelationsmuster zu entwerfen, anhand deren eine Operation der Beeinflussung durchgeführt werden kann.
BRUNO GIUSSANI
Auch wenn die Bewusstseinskontrolle bislang insbesondere Stoff für Science-Fiction ist, haben Regierungen immer wieder versucht, solche Fähigkeiten zu entwickeln.
Bisweilen wird die Frage gestellt, ob sich Individuen anhand ihrer jeweiligen zerebralen Muster, d. h. ihrer eigenen «kognitiven Signatur», identifizieren lassen. Möglicherweise werden diese «Signaturen» eines Tages Teil unseres LinkedIn-Profils sein und bei Rekrutierungsprozessen genutzt.
Fortschritte gibt es jedoch nicht nur beim Entschlüsseln und Lesen von Gedanken und Erinnerungen, sondern auch beim Verändern und Implantieren neuer Gedanken und Erinnerungen.
Die kurzfristige Hirnaktivität lässt sich bereits durch Technologien wie die transkranielle Magnetstimulation beeinflussen. Bei diesem Verfahren werden elektrische Ströme induziert, die auf die Aktivität der jeweiligen Neuronen einwirken.
Dies kann helfen, eine Depression zu überwinden. Bei tiefgreifenderen Veränderungen ist Präzision gefragt, denn selbstverständlich unterscheidet sich jedes Gehirn physisch geringfügig von anderen. Um hier etwas zu bewirken, sind folglich hochspezialisierte Methoden erforderlich.
In dieser Hinsicht weisen invasive Schnittstellen einen Vorteil auf, da es sich bei ihnen um ein Netz von Leitungen handelt, die direkt in das Gehirn implantiert werden. Dementsprechend könnten diese unter dem Blickwinkel der persönlichen Freiheit problematischer sein.
Aber auch mit nicht invasiven Systemen lassen sich neue Hirnaktivitätsschemata passiv einschleusen. So führten beispielsweise 2024 Forschende der US-Universitäten Rochester, Yale und Princeton eine aufsehenerregende Studie durch.
Mithilfe der funktionellen Magnetresonanzbildgebung und eines Neurofeedbacksystems gelang es ihnen, in das Gehirn der Teilnehmenden eine neue Information einzuschleusen – so als ob diese Information erlernt worden wäre, aber ohne bewusste geistige Anstrengung.
Die Forschenden beschrieben das Ergebnis ihrer Arbeit so:
SYNTHETISCHE STIMME
Dieser Feedback-Mechanismus hat die Hirnaktivität der Teilnehmenden wirksam beeinflusst und sie zum gewünschten Schema geführt.
BRUNO GIUSSANI
Die Methode könnte dazu beitragen, Lernprozesse zu beschleunigen, da hierfür keinerlei Anstrengungen, Studien oder Übungen erforderlich sind. Sie könnte auch für die Rehabilitation eingesetzt werden, etwa um Betroffenen von Schlaganfällen zu helfen, ihre Hirnfunktionen zurückzuerlangen.
Dass solche und vergleichbare Forschung den Weg für weniger wohlwollende Zwecke ebnet, liegt auf der Hand.
Nita Farahany, Professorin für Rechtswissenschaft an der Duke University, zählt zu den weltweit besten Experten für diese Fragen. In ihrem 2023 erschienenen Buch «The Battle for Your Brain» (Die Schlacht um Ihr Gehirn) beschäftigt sie sich ausgiebig mit diesem Thema.
Zusammengefasst und von uns sinngemäss übersetzt sagt sie darin unter anderem:
SYNTHETISCHE STIMME
Mich begeistert das Versprechen dieser Technologie, die Lebensqualität von Menschen zu verbessern. Diese Technologien erfassen unsere Hirndaten, um uns zu helfen, schneller, effizienter, sicherer und gesünder zu werden. Folglich täten wir gut daran, die Rohdaten unserer Hirnaktivität zu teilen. Einzeln und gemeinsam würden wir einen grossen Nutzen aus dem ziehen, was wir dadurch lernen könnten.
Doch die Medaille hat auch eine Kehrseite, eine Büchse der Pandora, die mir den Schlaf raubt. In Gesetzen und internationalen Verträgen wird dem Individuum nicht einmal eine minimale Souveränität für sein eigenes Gehirn zugestanden. Zwar wird es noch nicht morgen sein, aber wir steuern rasch auf eine Welt vollständiger zerebraler Transparenz zu, in der die Fortschritte der Neurotechnologie Wissenschaftlern, Ärzten, Regierungen und Unternehmen ermöglichen werden, unsere Gehirne und unser Bewusstsein nach Belieben auszukundschaften.
Meine Befürchtung ist, dass wir unsere letzte Bastion der Freiheit – unsere geistige Privatsphäre – in naher Zukunft freiwillig oder unfreiwillig schleifen werden. Dass wir den Zugang zu unserer Hirnaktivität mit kommerziellen Unternehmen gegen Preisnachlässe, den kostenlosen Zugriff auf soziale Netzwerke, ja sogar als Bedingung für die Erhaltung unseres Arbeitsplatzes eintauschen. Neurotechnologie könnte am Arbeitsplatz und in Schulen obligatorisch werden: kein Armband, kein Job.
Klar ist: Die Daten selbst sind nicht dasselbe wie unsere Gedanken und unsere Gefühle. Aber leistungsfähigen Algorithmen für maschinelles Lernen gelingt es immer besser, die Hirnaktivität in das umzuwandeln, was wir fühlen, sehen, uns vorstellen oder denken. Wenn wir uns für die Nutzung solcher Geräte entscheiden, könnten wir weitaus mehr aufdecken als uns lieb ist.
BRUNO GIUSSANI
Bei sachgemässer Nutzung können diese Technologien unbestreitbare Vorteile für den Einzelnen und das Kollektiv bringen. Sie könnten die Sicherheit erhöhen, die Aufmerksamkeit und die Leistung verbessern.
Aber sie gefährden unsere kognitive Freiheit, unser Recht auf Selbstbestimmung für unser Gehirn und unsere geistigen Erfahrungen auf entscheidende Weise. Häufig setzt bei unserer Hirnaktivität eine Veränderung ein, bevor wir es merken, etwa wenn wir in eine Depression oder in Angst verfallen.
Was wäre, wenn von Unternehmen oder Regierungen kontrollierte Maschinen unsere Gedanken kennen könnten, bevor wir sie überhaupt hegen?
Dies ist eine wesentliche Herausforderung der Neurotechnologie. Verstehen, dass Hirndaten sensible Daten sind. Festlegen, wer sie sammeln und – auf welche Weise – verwenden kann.
Hier geht es nicht nur darum, unsere Fähigkeiten zu erweitern (was die Neurotechnologie auf spektakuläre Weise verspricht), sondern auch, sie zu schützen.
Sicherstellen, dass diese Technologien uns helfen, unser Verständnis und unsere Entscheidungsfindung zu verbessern – statt einer Organisation zu erlauben, für uns zu entscheiden. Und vor allem vermeiden, dass die Erweiterung unserer zerebralen Fähigkeiten uns als Menschen schwächt und uns anfälliger für Manipulation macht.
All das kann ein wenig abstrakt erscheinen. Nicoletta Iacobacci, eine Forscherin, die sich mit Technikethik beschäftigt, fasst unsere Herausforderung zusammen:
NICOLETTA IACOBACCI
Die grossen Tech-Unternehmen, insbesondere in den USA und China, wollen Formen künstlicher allgemeiner Intelligenz erschaffen, d. h. Systeme, die das menschliche Denken nachahmen können.
Gleichzeitig verrät uns das Gehirn und damit der komplexeste Teil des menschlichen Körpers, der lange Zeit als unverständlich galt, allmählich seine Geheimnisse.
Man muss sich ernsthaft fragen, ob diese beiden Entwicklungsachsen zusammenlaufen werden und dann eine Maschine entsteht, die uns in puncto Rechengeschwindigkeit und -leistung, aber auch im Hinblick auf detaillierte Kenntnisse über unsere mentalen und emotionalen Muster übertreffen würde.
Wir haben gute Gründe, uns vor einem kollektiven Gehirn und einer Superintelligenz zu fürchten, tragen aber jeden Tag zu ihrer Erschaffung bei.
BRUNO GIUSSANI
So wie Nita Farahany sagt, tritt all das nicht sofort ein. Doch die Technologie schreitet mit Riesenschritten voran und gibt eine Zukunft vor, mit der wir uns arrangieren müssen.
Folglich wird es dann von entscheidender Bedeutung sein, über Resilienz und kognitive Robustheit nachzudenken.
In der vierten Folge weiten wir diese Analyse auf einen wichtigen Bereich aus, den wir noch nicht angesprochen haben – den Krieg.
Mein Name ist Bruno Giussani, und dies ist der DEFTECH-PODCAST.
Vielen Dank fürs Zuhören.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Produktion : Clément Dattée
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin :
Sound design : Felix Davin
