Rechtliche Schutzwälle: Die regulatorische Antwort auf kognitive Bedrohungen
Das Buch als Ergänzung zum Podcast
Wichtig ist – und das sollte man im Hinterkopf behalten –, dass die Möglichkeit, die Antworten eines Chatbots zu bestimmen, gleichbedeutend ist mit der Möglichkeit, den Gesprächspartner zu manipulieren.
Der belagerte Geist
Wie man sich im Zeitalter der Künstlichen Intelligenz nicht manipulieren lässt
Bruno Giussani, 2026, Scheidegger & Spiess
Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung.
Folge 5: Rechtliche Schutzwälle: Die regulatorische Antwort auf kognitive Bedrohungen.
BRUNO GIUSSANI
Im Januar 2025 ist in Italien ein kleines Buch erschienen. Geschrieben hat es ein junger chinesischer Philosoph aus Hongkong namens Jianwei Xun. Die italienische Ausgabe ist die erste Übersetzung dieses Buches in eine Fremdsprache. Der Essay wurde inzwischen auch in Französisch und weiteren Sprachen veröffentlicht.
Das Buch sorgte sofort für grosses Aufsehen und beschäftigte Zeitungen TV-Sender und wurde in On- und Offline-Diskussionen erwähnt.
Ohne Frage legt es seinen Finger in eine offene Wunde. Wie wir in den vorigen Folgen aufgezeigt haben, wird unsere Gesellschaft mit einer Überproduktion der Realität geflutet, in deren Rahmen Technologien, aber insbesondere soziale Netzwerke und künstliche Intelligenz immer mehr unsere Beziehung zur Welt und zu unseren Mitmenschen bestimmen.
Bestimmte Absichten sind offensichtlich, wie das Ziel, uns süchtig zu machen. Andere wiederum sind weniger offensichtlich, wie die Manipulation durch Algorithmen.
Unternehmen und Politiker nutzen diese Dynamik auf missbräuchliche Weise und werden dabei von jenen unterstützt, die der Schriftsteller Giuliano da Empoli als «Ingenieure des Chaos» bezeichnet.
Im Zuge dieser Verwirrung können die richtigen Worte Orientierung bieten, vergleichbar mit einem Leuchtturm bei einem Sturm. Xun hat dies treffend beschrieben.
Sein Buch trägt den Titel «Hypnokratie».
Er beschreibt darin – ich zitiere – das «neue Realitätsregime», in dem wir leben. Dahinter verbirgt sich ein System, in dem die Macht nicht mehr mit rationaler Überzeugung, sondern mit der direkten und algorithmusgestützten Modulation kollektiver Bewusstseinszustände operiert.
Digitale Plattformen und Chatbots, so schreibt er, entpuppen sich als das, was sie sind: keine Kommunikationsmittel, sondern hypnotische Systeme, die eine sogenannte «Architektur der Suggestion» schaffen und die Art und Weise, wie wir die Realität wahrnehmen und interpretieren, aktiv umgestalten.
SYNTHETISCHE STIMME
Die Hypnokratie ist das erste Regime, das direkt auf das Bewusstsein einwirkt. Sie kontrolliert nicht den Körper. Sie unterdrückt nicht die Gedanken. Vielmehr ruft sie einen permanenten Trancezustand hervor. Einen Wachschlaf. Eine funktionelle Trance. Der Wachzustand wurde durch den kontrollierten Traum ersetzt. Die Realität durch die kontinuierliche Suggestion. Durch die Überflutung der Sinne mit ständigen Reizen wird kritisches Denken sanft eingeschläfert und die Wahrnehmung Schicht für Schicht umgeformt. Währenddessen erstrahlen die Bildschirme in umnachteter Vernunft.
BRUNO GIUSSANI
Das Konzept der Hypnokratie ist radikal und unbequem. Doch angesichts des Mangels an Begriffen, die uns helfen, unsere modernen Erfahrungen zu strukturieren, bietet es einen mächtigen Leserahmen.
Es berücksichtigt sowohl die algorithmusgestützte Manipulation der Wahrnehmung als auch die politische Manipulation der Aufmerksamkeit, wie beispielsweise vom US-Präsidenten Donald Trump praktiziert mit einem unaufhörlichen Fluss übertriebener Ankündigungen, Provokationen und Massnahmen.
Ebenso trägt es zur Beantwortung der Frage bei, warum rationale Reaktionen nur wenig Wirkmacht haben.
SYNTHETISCHE STIMME
Während sich die meisten Analysten noch auf Phänomene wie ‹Fake News» oder ‹Postfaktisches» konzentrieren, vollzieht sich in Washington eine wesentliche weitreichendere Transformation: die Entstehung eines Systems, das seine Kontrolle nicht durch die Unterdrückung der Wahrheit ausübt, sondern durch Anhäufung so vieler Narrative, dass jeglicher Fixpunkt verloren geht.
BRUNO GIUSSANI
Ob das Foto Trumps als Papst, der vermeintliche Hitler-Gruss Elon Musks, die theatralische Inszenierung der Abschiebungen von Migranten oder die Missachtung gerichtlicher Entscheidungen: Jede Provokation funktioniert laut Xiu wie ein «Realitätstrenner».
Dieser spaltet den gemeinsamen Kontext, schafft parallele interpretative Universen und drückt die Aussenstehenden je nach ihren bisherigen Überzeugungen in abgetrennte und inkompatible Realitätsblasen.
SYNTHETISCHE STIMME
Obwohl kritische Menschen weiterhin mit rationalen Argumenten, Daten und logischem Denken dagegenhalten, ignorieren sie völlig, dass die moderne Macht inzwischen ausschliesslich durch die Modulation von Bewusstseinszuständen operiert.
Ihre Kritik bleibt gefangen im Kommunikationsmodell der Aufklärung, dem zufolge sich die Wahrheit durch ihr inneres Verdienst durchsetzen muss. Und sie verkennen, dass die Wahrheit nunmehr ein ästhetisches Produkt ist, eine kollektive Erfahrung, die durch Wiederholung, Emotion und Suggestion einer algorithmusgestützten Realität hervorgebracht wird.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
BRUNO GIUSSANI
Einige Wochen später, als der Begriff «Hypnokratie», den ich Ihnen vor der Einleitung erläutert habe, weiter für Diskussionen und Gesprächsstoff sorgte, stellte sich heraus, dass es diesen chinesischen Denker gar nicht gibt. Das Buch war in Wirklichkeit eine von dem italienischen Herausgeber und Philosophen Andrea Colamedici fingierte Darstellung.
Es entstand in Zusammenarbeit mit zwei generativen KI von Anthropic und OpenAI, mit denen der Autor bestens vertraut ist. Tatsächlich besteht sein zweiter Job darin, im europäischen Institut für Design in Rom «Prompt Thinking» und damit die grosse Kunst zu unterrichten, künstliche Intelligenz zu befragen und mit ihr in einen Dialog zu treten, um die gewünschten Ergebnisse zu erhalten.
Indem er ein fesselndes, aber künstliches Konzept in die kulturelle Debatte einbrachte, gelang Colamedici gleichzeitig eine Analyse und eine Demonstration. Auch wenn es den chinesischen Philosophen gar nicht gibt, ist der der Begriff der Hypnokratie deswegen nicht weniger treffend. Er liefert keinesfalls eine Erklärung, aber er trägt zum Verständnis von vielem bei, was bislang in diesem Podcast besprochen wurde.
Wie kann es in diesem Zustand der Hypnose gelingen, genügend Scharfsicht zu entwickeln, um die algorithmusgestützte Beeinflussung unseres Bewusstseins zu entlarven? Und was können wir der Hypnokratie trotz des immer schnelleren technologischen Fortschritts entgegensetzen?
Beleuchten wir ohne Anspruch auf Vollständigkeit einige Ansätze.
Wenn ein Kollektiv einer Bedrohung solchen Ausmasses und Tempos ausgesetzt ist, besteht die erste Massnahme häufig darin, Regeln zu erlassen. Etwa durch gesetzliche Grenzen und die rechtliche Festlegung dessen, was erlaubt ist und was nicht. Oder durch Schutzmassnahmen, Rechte und Pflichten. Ebenso können als schädlich erachtete Methoden oder Produkte verboten werden.
Das Thema ist komplex. Die blosse Nennung der Begriffe «Regel» und «Verbot» reicht bereits, um ablehnende Reaktionen hervorzurufen. Dies trifft insbesondere in Zusammenhang mit Technologie zu. Tatsächlich hat sich in den letzten Jahren die – wesentlich von Produktionsunternehmen propagierte – Ansicht durchgesetzt, dass Regulierung Innovation behindert.
So verlangsame es die Entwicklung künstlicher Intelligenz, wenn das Individuum vor der Extraktion seiner persönlichen Daten geschützt wird. Diese Debatte übersteigt den Rahmen unseres Beitrags. Folglich begnügen wir uns, ihre Existenz zur Kenntnis zu nehmen.
Fest steht, dass eine mögliche Reaktion auf die kognitive Bedrohung tatsächlich rechtlicher und reglementarischer Natur ist.
Dazu kommen weitere Antworten sozialer und kultureller Natur.
Wir jedoch konzentrieren uns heute auf Gesetze.
Die Funktionsweise des menschlichen Geistes galt lange nicht nur als unverständlich, sondern auch als unverletzlich. Folglich bleibt die kognitive Dimension in den Rechtsinstrumenten, die die Freiheit schützen, generell unberücksichtigt.
Diese Unverletzlichkeit wird nun durch den Vormarsch zweier Technologien infrage gestellt – zum einen durch die KI, die unsere persönlichen Daten enthüllen kann, und zum anderen die Neurotechnologie, die unsere Emotionen entschlüsseln kann und allmählich in unsere Gedankenwelt vorstösst.
Hierbei handelt es sich um eine gewaltige Herausforderung, die aktuell in praktisch keinen Rechtsvorschriften dieser Welt Berücksichtigung findet
Gewiss wurden mehrere internationale Übereinkommen, Erklärungen und Empfehlungen ausgearbeitet, mit denen insbesondere Neurotechnologien reglementiert werden sollen. Doch rein rechtlich sind sie alle nicht verbindlich.
Darüber hinaus bestehen Instrumente mit Bestimmungen oder Grundsätzen, die als verwandt betrachtet werden können.
Die Gedankenfreiheit wird geschützt
- durch Artikel 18 der Allgemeinen Erklärung der Menschenrechte von 1948,
- durch Artikel 9 der Europäischen Menschenrechtsdeklaration von 1950,
- und durch Artikel 18 des Internationalen Pakts über bürgerliche und politische Rechte von 1966.
Dies bedeutet im Grundsatz, dass die Gedankenfreiheit eines Individuums niemals verletzt werden darf. Gleichwohl wird sie in den drei Regelwerken ausdrücklich auf die Religions- und Gewissensfreiheit bezogen, wohingegen die kognitive Integrität weder erwähnt wird noch abgeleitet werden kann.
Die Normen, die die Europäische Union im Bereich der digitalen Technologien festgelegt hat, dürften die weitreichendsten Normen sein. In der Datenschutz-Grundverordnung (DSGVO) von 2016 sind die Vorschriften betreffend die Erhebung, Verarbeitung und Speicherung personenbezogener Daten festgeschrieben.
Ebenso erhalten Individuen durch die Verordnung Rechte für die Kontrolle der Verwendung dieser Informationen, wie das Recht auf Auskunft über diese Daten sowie auf Berichtigung und Löschung (als «Recht auf Vergessenwerden» bezeichnet). Ausserdem sind Vorschriften in Bezug auf Transparenz und Einwilligung enthalten.
Die EU-Verordnung über digitale Dienste von 2022 umfasst Massnahmen zum Schutz der Konsumenten insbesondere im Bereich der Meinungsfreiheit und des Datenschutzes. Ausserdem nimmt sie digitale Plattformen stärker in die Verantwortung, was die von diesen verbreiteten Informationen angeht.
Auch wenn sich die in ihr enthaltenen Grundsätze indirekt auf die kognitive Integrität beziehen könnten, finden die Gefahren eines Angriffs auf die kognitive Integrität in keinem der beiden Texte besondere Erwähnung.
Mit dem Gesetz über Künstliche Intelligenz bzw. dem von der Europäischen Union 2024 verabschiedeten «AI Act» nähern wir uns unserem Thema. Es handelt sich dabei um einen normativen Text, der bei den grossen Tech-Unternehmen auf keine Gegenliebe stiess. Das Gesetz enthält einen Rahmen für die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen unter besonderer Berücksichtigung der Grundrechte. Dabei umfasst es einen risikogestütztenAnsatz, indem KI-Systeme je nach ihrer potenziellen Wirkung in vier Gruppen eingeteilt werden.
Bestimmte Anwendungen mit «minimalem Risiko» sind nicht reguliert. Andere mit «begrenztem Risiko» unterliegen insbesondere Transparenzpflichten. Erreicht werden soll beispielsweise hauptsächlich, dass Nutzer nicht durch einen Chatbotgetäuscht werden, der sich als echter Mensch ausgibt, und dass künstlich generierte Informationen auch eindeutig als solche gekennzeichnet sind.
Die dritte Kategorie betrifft «Hochrisiko-Systeme», die folglich reguliert sind. Dies sind Systeme, die in kritischen Infrastrukturen (Wasser oder Strom) oder im Gesundheitsbereich verwendet werden, sowie solche, die eine Schlechterstellung nach sich ziehen können. In diese Gruppe fallen beispielsweise Instrumente, die Lebensläufe für Rekrutierungszwecke filtern, den Zugang zu Bildung festlegen oder Prüfungen oder die Kreditwürdigkeit bei Kreditanträgen bewerten. Derartige Systeme müssen vor dem Inverkehrbringen rigoros getestet werden und über ihre gesamte Verwendung hinweg einer Überwachung durch den Menschen unterliegen.
Ebenso gibt es Praktiken, die «unannehmbare Risiken» mit sich bringen und ganz verboten sind. Beispiele sind soziale Bewertungen, Vorhersagen von Verbrechen, und Systeme zur biometrischen Kategorisierung. Dies ist auch die Kategorie, in die der Gesetzgeber kognitive Bedrohungen eingeordnet hat.
Nachfolgend ein Auszug aus Artikel 5 Absatz 1 Buchstabe a des AI Act:
SYNTHETISCHE STIMME
…sind verboten: das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das Techniken der unterschwelligen Beeinflussung ausserhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzt, mit dem Ziel oder der Folge, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird, wodurch sie veranlasst wird, eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätte…
BRUNO GIUSSANI
Nachfolgend ein Auszug aus Artikel 5 Absatz 1 Buchstabe b:
SYNTHETISCHE STIMME
…sind verboten: das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, dass eine Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person oder einer bestimmten Gruppe von Personen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation mit dem Ziel oder der Wirkung ausnutzt, das Verhalten dieser Person … wesentlich zu verändern…
BRUNO GIUSSANI
Andere Punkte in Artikel 5 verbieten beispielsweise die Nutzung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz oder in einer Bildungseinrichtung. Neurotechnologien hingegen sind nicht Gegenstand des Gesetzes.
Jenseits des Atlantiks bemühen sich die USA nicht wesentlich darum, technologische Entwicklungen zu regulieren. US-Präsident Joe Biden hatte im Oktober 2023 eine Executive Order zur «sicheren Entwicklung und Nutzung von künstlicher Intelligenz» (Safe, Secure and Trustworthy AI) unterzeichnet. Diese umfasste unter anderem Massnahmen für die nationale Sicherheit, den Schutz der Privatsphäre, die Verhinderung diskriminierender Verzerrungen und die Zuverlässigkeit der Systeme. Ein erster Schritt, der im Übrigen in Zusammenhang mit einer Reihe von Konsultationen mit anderen Ländern über die internationale Regulierung von KI erfolgte und stark auf die Selbstregulierung der Branche durch freiwillige Verhaltenskodizes setzte.
Das Dekret überstand keine drei Monate. Am 20. Januar 2024, nur wenige Stunden nach seiner Vereidigung im Beisein von Tech-Bossen, hob Donald Trump das Dekret mit dem Verweis darauf auf, dass es die Innovation im KI-Bereich bremse. Damit bekräftigte er, dass Wettbewerbsfähigkeit und wirtschaftliche Interessen Vorrang vor dem Schutz des Individuums haben. Dies erfolgte aus strategischen und branchenspezifischen Gründen. Die Folge davon ist – wie es der KI-Pionier und meistzitierte Computerwissenschaftler der Welt, Yoshua Bengio, auf der TED-Konferenz im April 2025 ausdrückte –, dass in den USA «ein Sandwich stärker reguliert ist als KI».
Wer die erste Verfassung finden will, in der die geistige Unversehrtheit ausdrücklich genannt wird, muss nach Süden blicken.
Bereits 2021 fügte Chile Artikel 19 seiner Verfassung einen Absatz hinzu:
SYNTHETISCHE STIMME
Die wissenschaftliche und technologische Entwicklung muss im Dienste des Individuums stehen und unter Achtung des Lebens und der körperlichen und geistigen Unversehrtheit erfolgen.
Das Gesetz (…) schützt insbesondere die Hirnaktivität sowie die daraus entstehenden Informationen.
BRUNO GIUSSANI
Mit anderen Worten ist die geistige Unversehrtheit ein Grundrecht, und jede sie beeinträchtigende Entwicklung muss gesetzlich erlaubt sein. In anderen lateinamerikanischen Ländern wird derzeit diskutiert, diese Rechte im Gesetz festzuschreiben, wie in Mexiko, dessen Vorschlag eindeutig auf dem Beispiel Chiles beruht, sowie in Brasilien oder in Argentinien.
2022 hat eine Organisation, die die regionale Integration fördert und als Lateinamerikanisches und Karibisches Parlament bzw. «Parlatino» bezeichnet wird, ein Modellgesetz über «Neurorechte» verabschiedet.
Wir haben die wichtigsten darin vorgeschlagenen Schutzmassnahmen übersetzt und zusammengefasst:
SYNTHETISCHE STIMME
Das Recht auf geistige Privatsphäre sowie das unveräusserliche Recht, ohne die freie, ausdrückliche und nach Aufklärung erteilte Zustimmung keiner Form von Eingriffen in die eigenen neuronalen Verbindungen, Störungen der kognitiven Prozesse oder Eingriffen in das Gehirn durch die Verwendung von Neurotechnologen, Gehirn-Computer-Schnittstellen oder jeglichen sonstigen Systemen oder Geräten zu unterliegen, und zwar auch dann nicht, wenn dieser Eingriff unbewusst erfolgen könnte.
BRUNO GIUSSANI
Die Initiative des Parlatino geht zurück auf die Arbeit der Morningside Group aus dem Jahre 2017. Diese Gruppe aus Wissenschaftlern, Ethikforschern und Technologen prägte den Begriff der «Neurorechte», der Schutzmassnahmen in Zusammenhang mit den Menschenrechten umschreibt, um die mit Neurotechnologie verbundenen Herausforderungen zu bewältigen.
Die Gruppe begründete fünf wesentliche Neurorechte:
SYNTHETISCHE STIMME
Erstes Recht: Das Recht auf kognitive Privatsphäre, d. h. die Fähigkeit, seine geistige Aktivität vor jeglicher Offenlegung zu schützen.
Zweites Recht: Das Recht auf Identität bzw. die Fähigkeit, seine geistige Integrität und Identität zu kontrollieren.
Drittes Recht: Das Recht auf Autonomie, d. h. auf Gedankenfreiheit und die Freiheit, seine Handlungen frei zu bestimmen.
Viertes Recht: Das Recht auf Erweiterung bzw. die Garantie eines gleichberechtigten Zugangs auf Verbesserungen der kognitiven Fähigkeiten, die durch Technologie ermöglicht werden.
Fünftes Recht: Das Recht auf Schutz oder die Bewahrung vor algorithmischen Verzerrungen.
BRUNO GIUSSANI
Ein weiteres Land, in dem aktuell ein Regelungsrahmen diskutiert wird, ist die Schweiz. Ende 2024 wurde eine Initiative ins Parlament eingebracht, um Artikel 10 der Verfassung zu ändern. In diesem heisst es aktuell unter anderem: «Jeder Mensch hat das Recht auf persönliche Freiheit, insbesondere auf körperliche und geistige Unversehrtheit und auf Bewegungsfreiheit.» Die Initiative zielt darauf ab, ausdrücklich den Schutz der kognitiven Integrität hinzuzufügen.
Vorgelegt wurde sie von der Abgeordneten der Mitte, Isabelle Chappuis, die im Folgenden die Gründe erläutert:
ISABELLE CHAPPUIS
Unsere Vorfahren haben dies neben der körperlichen und geistigen Unversehrtheit deswegen nicht in unserer Verfassung verankert, weil sie sich einfach nicht vorstellen konnten, dass unser Bewusstsein eines Tages zur Zielscheibe wird.
Dies ist heutzutage der Fall, also muss man es schützen. Und das ist kein «nice to have»-Recht, sondern ein Grundrecht. Mit seiner Verankerung in der Verfassung stünde es über der Handelsfreiheit und der Marktlogik.
Folglich würde dieses Recht zu einer Art Kompass zur gesetzlichen Regulierung von KI, Algorithmen oder künftigen Technologien.
BRUNO GIUSSANI
Isabelle Chappuis spricht sich hier nicht nur für eine Verfassungsänderung, sondern auch für eine Neuorientierung aus.
Das Gewicht der Handelsfreiheit hat in der jüngeren Vergangenheit dazu geführt, dass zahlreiche Regulierungsversuche in allen Bereichen und in sehr vielen Ländern kritisiert, entschärft oder verworfen wurden. Doch angesichts der kognitiven Bedrohung, so Chappuis weiter, sei es zwingend erforderlich, unserem Recht auf Gedankenfreiheit Vorrang einzuräumen.
Kognitive Souveränität müsse über wirtschaftliche Logik gestellt werden. Damit wird eine symbolische und rechtliche Grenze gezogen, die zu einer strukturierenden Achse der Ethik und Regulierung der Technologien von morgen werden könnte.
Ganz nebenbei bemerkt ist dies genau das Gegenteil des vorher erwähnten Ansatzes von Donald Trump.
Zur Ergänzung dieser Aufzählung von Instrumenten und Gesetzesvorschlägen, die zwar repräsentativ, aber bei Weitem nicht erschöpfend ist, sollte auch erwähnt werden, dass Kalifornien, wo zahlreiche grosse Tech-Unternehmen ansässig sind, im September 2024 der erste US-Bundesstaat war, der den Schutz von «Hirndaten» erstmals in einem Gesetz verankerte.
Ebenso seien die Arbeiten zweier Technologieforscher genannt, d. h. Marcello Ienca von der EPFL Lausanne und der Technischen Universität München, sowie Roberto Andorno von der Universität Zürich. Beide schlagen vier neue Menschenrechte vor, um das zu schützen, was sie als «letztes Refugium der Privatsphäre» betrachten – unser Gehirn. Die drei ersten Rechte haben wir bereits genannt: die Rechte auf kognitive Freiheit, geistige Integrität und geistige Privatsphäre.
Das vierte Recht betrifft das Recht auf psychologische Kontinuität. Dieses Konzept bezieht sich auf die Fähigkeit jedes Einzelnen, die Kohärenz und Stabilität unserer psychologischen Erfahrungen über die Zeit hinweg zu bewahren und uns trotz Veränderungen als fortwährende Identität wahrzunehmen.
Wiederholen wir noch einmal den letzten Teil: «…die Fähigkeit, uns als fortwährende Identität wahrzunehmen». Damit wird vorweggenommen, dass Neurowissenschaften und künftige Technologien unsere Kognition so weit beeinflussen könnten, dass wir nicht mehr in der Lage sind, uns als dieselbe Person wahrzunehmen, und irgendwann völlig aus dem Konzept geraten.
Festhalten lässt sich zumindest, dass die Entwicklung von Rechtsinstrumenten in einem schnell wachsenden Bereich mit grosser Komplexität verbunden ist. Es ist unerlässlich, die Bewahrung grundlegender Werte und Prinzipien wie der Menschenrechte mit so viel Flexibilität zu verbinden, dass Innovation nicht behindert wird.
Ebenso ist die Verantwortung von Unternehmen, die Instrumente zur potenziellen Beeinflussung oder Veränderung kognitiver Prozesse entwickeln oder einsetzen, eindeutig zu definieren.
Auch ist ein Gleichgewicht zwischen den Rechten des Einzelnen auf seine kognitive Privatsphäre und das allgemeine Interesse der Gesellschaft vonnöten.
An diesem Punkt könnte man versucht sein, eine gewisse legitime Verletzung der geistigen Privatsphäre gezielt und verhältnismässig zuzulassen, beispielsweise wenn es darum geht, die Wachsamkeit von Zugführern mithilfe von Sensoren zu überprüfen.
Ausserdem stellt sich die Frage, ob es eine Stufe der kognitiven Beeinflussung gibt, die allgemein akzeptierbar wäre.
Auf einer ganz anderen Ebene käme zudem die Frage auf, welche Autonomie der künstlichen Intelligenz zugestehen zu wäre, wenn wir nicht vollständig verstehen, wie sie funktioniert und warum sie ein bestimmtes Ergebnis hervorbringt.
Bis zu welchem Punkt dürfte eine KI selbst festlegen, worüber sie entscheiden kann? Benötigen künstliche Strukturen in unseren Reihen, die kognitive Fähigkeiten besitzen und unsere Fähigkeiten imitieren, eine Rechtspersönlichkeit? Benötigen sie dann auch psychologische Schutzmechanismen?
Das sind nur einige Beispiele der umfassenden Fragen, die das Aufkommen von KI und Neurotechnologien aufwerfen.
Und dann gibt es den kognitiven Krieg, den wir bereits besprochen haben, bei dem ein Angriff auf unser Bewusstsein als Strategie der Eroberung fungiert. Doch was ist eigentlich zu gewinnen, wenn man einen kognitiven Krieg gewinnt?
Isabelle Chappuis:
ISABELLE CHAPPUIS
Wer das Bewusstsein kontrolliert, kontrolliert Entscheidungen.
Wer den kognitiven Krieg beherrscht, muss kein Gebiet besetzen, sondern besetzt die Gehirne. Er streut Zweifel, spaltet, lenkt von Spannungen ab und schwächt den kollektiven Willen im grossen Massstab.
Schlussendlich ergibt sich der andere von selbst – und das, ohne es zu bemerken.
BRUNO GIUSSANI
Die Verwendung kognitiver Technologien und Strategien zu militärischen Zwecken wirft unter anderem die Frage des Völkerrechts und dessen Relevanz für diese Problematik auf. Algorithmusgestützte und neurokognitive Waffen sind aktuell nicht Gegenstand internationaler Abkommen, obwohl es Übereinkommen über chemische und biologische Waffen und Verträge über die Nichtverbreitung von Atomwaffen gibt.
Auch finden sie keine ausdrückliche Berücksichtigung in internationalen Regeln zur Kriegsführung, die vorwiegend im humanitären Völkerrecht verankert sind, beispielsweise in den Genfer Konventionen.
Mauro Vignati, ein Experte des Internationalen Komitees vom Roten Kreuz, bemerkt hierzu:
MAURO VIGNATI
Allgemein muss ich sagen, dass das humanitäre Völkerrecht so weitreichend konzipiert wurde, dass auch Technologien berücksichtigt werden können, die zum Zeitpunkt der Abfassung der verschiedenen darin enthaltenen Gesetze noch nicht entwickelt und vorhanden waren.
Folglich müssen alle Staaten dieses Recht ordnungsgemäss umsetzen, damit sie im Nachhinein feststellen können, ob Lücken bestehen, und gegebenenfalls Verbesserungen vorschlagen.
BRUNO GIUSSANI
Wären vor dem aktuellen Hintergrund der geostrategischen Neuordnung und des wirtschaftlichen und militärischen Wettbewerbs neue internationale Regeln über den kognitiven Krieg nützlich und insbesondere realistisch?
ISABELLE CHAPPUIS
Nützlich ganz bestimmt. Realistisch noch nicht, aber auf jeden Fall unentbehrlich. Ein wenig ist dies mit chemischen oder atomaren Kampfmitteln vergleichbar. Von diesen geht ein starkes normatives Signal aus.
Auch wenn manche betrügen, was bekanntlich immer vorkommt, entsteht durch das Gesetz zumindest eine Art moralische Grenze. Es besagt, was nicht tolerierbar ist, und legt rote Linien fest
BRUNO GIUSSANI
Der Leiter der Abteilung «Globale und neu auftretende Risiken» am Genfer Zentrum für Sicherheitspolitik, Jean-Marc Rickli, bringt die Diskussion im Hinblick auf Subversion auf den Punkt:
JEAN-MARC RICKLI
Im Gegensatz zu Nötigung, bei der physische Kraft und Gewalt zum Einsatz kommen, ist Subversion der bewusste Versuch, eine legitime Autorität zu unterwandern, und wird gerade zu einem wesentlichen Bestandteil von Macht- und Einflussstrategien weltweit.
Folglich wäre es angebracht, insbesondere im Bereich der Algorithmen ein System zur Kontrolle von Subversion zu schaffen, vergleichbar mit den Systemen für die Kontrolle von Kampfmitteln, die zu Beginn des Atomzeitalters entwickelt wurden. Das exponentielle Wachstum von Desinformation und KI-gestützten kognitiven Angriffen hat eine neue Kategorie von Massenvernichtungswaffen hervorgebracht, die aber keine Waffen für grosse Zerstörung, sondern Waffen für Massendesinformation sind, die schlussendlich zu Waffen für geistige Zerstörung werden könnten.
Im Gegensatz zu Kernwaffen werden Technologien für Subversion gleichwohl nicht von Regierungen, sondern im Wesentlichen von der Privatwirtschaft entwickelt. Da es unmöglich ist, die Verbreitung von Codezeilen zu verhindern, führen diese Entwicklungen durch die Privatwirtschaft und die Besonderheit des digitalen Raums selbst dazu, dass es zu einer äusserst rapiden Verbreitung kommt. Folglich erhöht diese unkontrollierte Verbreitung die Notwendigkeit internationaler und nationaler Governancestrukturen weiter.
BRUNO GIUSSANI
Isabelle Chappuis, die Mitglied der sicherheitspolitischen Kommission des Schweizer Nationalrats ist, kommt auf die Ebene der einzelnen Länder zurück und ist der Auffassung, dass dies mit Abschreckung einhergehen müsste:
ISABELLE CHAPPUIS
Ich denke, dass wir eine Doktrin der kognitiven Abschreckung benötigen (…). Denn ein gut geführter kognitiver Krieg kann eine Demokratie von innen ohne Bomben und Lärm zerstören. Nötig ist lediglich, das Vertrauen zu brechen, die Wahrheit zu verschleiern und den Willen zum gemeinsamen Handeln zu unterwandern. (…) Das Fehlen einer Doktrin im Sicherheitsbereich bedeutet in gewisser Weise bereits eine Niederlage. Eine Doktrin ist keine Bedrohung, sondern ein klarer strategischer Rahmen, der festlegt, was ein Angriff darstellt, der präzisiert, worauf zu reagieren ist, und der diejenigen abschreckt, die versucht sein könnten, die Grenze zu überschreiten.
Das aktuelle Fehlen einer kognitiven Doktrin ist ein strategisches Versäumnis, weil es unsere demokratischen Gesellschaften in einem unsichtbaren Krieg, den andere bereits theoretisch durchgespielt und instrumentalisiert haben, entwaffnet und verletzlich zurücklässt. Folglich ist es Zeit, mit rechtlichen Mitteln, Bündnissen und internationalen Regeln und einer Doktrin darauf zu reagieren.
Unser Gegenschlag – wenn ich das so nennen darf – gegen diesen unsichtbaren Feind muss unbedingt systemischer Natur sein. Denn unser Feind lässt sich nicht klar abgrenzen, und wir müssen kollektiv handeln. Wir müssen im Sinne einer ‹Gesamtverteidigung›, einer militärischen und wirtschaftlichen, aber natürlich auch einer kognitiven, emotionalen und sozialen Verteidigung denken.
BRUNO GIUSSANI
Oder wie wir die Gesellschaft robust machen und den Einzelnen, der der Gesellschaft angehört, vorbereiten können.
Genau das werden wir in unserer nächsten und letzten Folge behandeln.
Mein Name ist Bruno Giussani, und dies ist der DEFTECH-PODCAST.
Vielen Dank fürs Zuhören.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin : Chantal Busse
Sound design : Felix Davin
