Die Verteidigung unserer kognitiven Integrität: psychische Hygiene im digitalen Zeitalter
Das Buch als Ergänzung zum Podcast
Wichtig ist – und das sollte man im Hinterkopf behalten –, dass die Möglichkeit, die Antworten eines Chatbots zu bestimmen, gleichbedeutend ist mit der Möglichkeit, den Gesprächspartner zu manipulieren.
Der belagerte Geist
Wie man sich im Zeitalter der Künstlichen Intelligenz nicht manipulieren lässt
Bruno Giussani, 2026, Scheidegger & Spiess
Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung
Folge 6: Die Verteidigung unserer kognitiven Integrität : psychische Hygiene im digitalen Zeitalter
BRUNO GIUSSANI
Als Johannes Gutenberg in Mainz, Deutschland, irgendwann zwischen 1450 und 1455 seine ersten Bibeln druckte, druckten die Chinesen bereits seit Jahrhunderten Bücher. Seine Neuerung bestand im Wesentlichen darin, dass er einzelne bewegliche Metallletter verwendete, mit denen sich Texte schneller und einfacher reproduzieren liessen. Mit anderen Worten erfand Gutenberg ein Verfahren, um die Typografie zu optimieren und Bücher schneller und günstiger herzustellen. Ebenso gelang es ihm, Druckfarbe dunkler und länger haltbar zu machen.
So war er für die erste Informationsüberflutung der Geschichte verantwortlich.
Gegen Ende des 15. Jahrhunderts und damit kaum 50 Jahre nach der Veröffentlichung der ersten Bibel durch Guttenberg wurden Druckerpressen nach seinem Vorbild bereits in über 110 europäischen Städten verwendet. In ihrem Werk «Histoire et pouvoirs de l’écrit» schätzen die französischen Historiker Henri-Jean Martin und Bruno Delmas, dass die damaligen Leser bereits zwischen 27 000 verschiedenen gedruckten Büchern auswählen konnten – bei insgesamt 10 Millionen in Europa im Umlauf befindlichen Exemplaren.
Wobei seinerzeit in einer Gesamtbevölkerung von weniger als 100 Millionen – Russland eingeschlossen – nur einige Hunderttausend Personen überhaupt lesen konnten.
Laut Martin und Delmas fertigten die ersten Drucker ihre Bücher im Manuskriptformat an und bemühten sich, die Schönschrift der Schreiber nachzuahmen. Dennoch begannen Herausgeber und Buchhändler rasch, neue Formate zu erproben, und bemühten sich um eine formale Sprache und eine besser zu den gedruckten Büchern passende Aufmachung. Im Jahr 1510 wurde die erste Seitennummerierung mit arabischen Zahlen eingeführt.
Es folgten Absätze, Kapitel, Inhaltsverzeichnisse und damit eine Vielzahl von Mitteln, um den Zugriff auf die Informationen in Büchern zu vereinfachen. Doch erst gegen Ende des 16. Jahrhunderts und damit mehr als 150 Jahre nach der Erfindung Gutenbergs besassen Bücher allmählich das heutige Erscheinungsbild.
Die Reaktion auf diese Informationsüberflutung war nicht allein dem Buch als solches zuzuschreiben. Vielmehr war die gesamte Gesellschaft über einen sehr langen Zeitraum eingebunden.
Etwas kühn formuliert liesse sich behaupten, dass die Schule in ihrer heutigen Form, politische Parteien, öffentliche Verwaltungen, Gerichte und natürlich die Medien, d. h. die gesamte moderne soziale Infrastruktur, den kollektiven Bemühungen zu verdanken sind, die durch die Erfindung Gutenbergs erzeugte wachsende Informationsmenge zu strukturieren, zu kanalisieren, zu filtern, weiterzugeben und verwertbar zu machen.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
BRUNO GIUSSANI
Die Entwicklung der Informationstechnologie hat seit Gutenberg zu weiteren tiefgreifenden sozialen Veränderungen geführt. Man denke beispielsweise an die Erfindung des Telegrafen.
Seit jeher entsprach die maximale Geschwindigkeit, mit der eine Information zwischen zwei Orten zirkulieren konnte, der Geschwindigkeit eines galoppierenden Pferdes oder einer Brieftaube. So bestand beispielsweise bis Mitte des 19. Jahrhunderts keine Notwendigkeit, militärische Operationen geheimzuhalten. Lichtete ein englisches Kriegsschiff den Anker, standen die Einzelheiten der Mission in der Londoner Tageszeitung «Times». Denn dass die Information vor dem Kriegsschiff am Bestimmungsort war, war schlicht und einfach unmöglich.
Doch einige Jahre später umspannte das Telegrafennetz bereits ganz Europa und sollte bald die Meere überqueren. So konnten Artikel englischer Zeitungen nunmehr in wenigen Minuten nach Indien übermittelt werden. Erstmals in der Geschichte liessen sich Informationen schneller übertragen als physisch überbringen. Der Telegraf sorgte für radikale Veränderungen in den Bereichen Kriegsführung, Spionage, Verwaltung, Zeitungswesen und erhöhte generell den Wert von Informationen.
Telefon, Internet und Smartphones taten dabei ein Übriges. Heutzutage haben wir algorithmusgestützte Technologien, die um keine Erlaubnis fragen und die ganz offensichtlich auf eine Gesellschaft treffen, die darauf nicht vorbereitet ist. Und das weder in kultureller, institutioneller, rechtlicher noch moralischer Hinsicht.
In ihrem 2024 erschienenen Buch «Technopolitique» bezeichnet die französische Politologin Asma Mhalla diese als «Technologien der Hypergeschwindigkeit». Sie sieht darin eine Herausforderung à la Gutenberg bzw. einen Wendepunkt der Zivilisation. Konkret schreibt sie: «Das Kapitel des Industriezeitalters samt seiner Massengesellschaft und ihrer Massendemokratie ist beendet, ohne dass das neue Kapitel bereits geschrieben wurde.»
Wir wollten in diesen Podcasts unseren Übergang zu einer Welt beschreiben, deren zentrale Herausforderung in der Kontrolle der kognitiven Fähigkeiten und der Darstellungen der Realität besteht. In einer solchen Welt sind die gebildeten Köpfe der Bürger die wichtigste Infrastruktur eines Landes und damit die wichtigste Quelle für dessen Stärke.
Folglich wird sich künftig vieles um die beiden Begriffe «gebildet» und «Bürger» drehen.
Die Schweizer Abgeordnete Isabelle Chappuis bemerkt hierzu:
ISABELLE CHAPPUIS
Es gibt mehrere Möglichkeiten, um einem kognitiven Krieg besser zu trotzen, etwa durch die Heranbildung mündiger Bürger, die in der Lage sind, manipulative Narrative und insbesondere algorithmusgestützte Manipulationen zu erkennen.
BRUNO GIUSSANI
Aktuell scheinen wir uns eher in umgekehrter Richtung zu bewegen. Beschränkt man sich auf das Thema Bildung – Ähnliches liesse sich auch über die Arbeit oder das kulturelle Schaffen sagen –, ist unser Alltag seit dem Vormarsch der generativen KI von einer Mischung aus Begeisterung und Bestürzung gekennzeichnet. So nutzen viele Studierende KI, um Bücher zusammenzufassen, statt sie selbst zu lesen, oder um Texte zu verfassen, die sie dann nicht mehr selbst verfassen bzw. nicht selbst erklären können. Oder sie verwenden sie als Nachhilfelehrer oder Hausaufgabenhilfe.
«Die Eingabe von Prompts» ist zweifelsohne einfacher als Lesen oder Schreiben. Dabei besteht die Befürchtung, dass dies die Ausbildung von Kompetenzen und kritischem Denken behindern könnte. Oder dass die Externalisierung von Lernprozess und Reflexion eine Technologieabhängigkeit verursacht. Diese Sorge ist nicht unbegründet. Auch wenn Forschung Zeit braucht, deuten erste Anzeichen – trotz erkennbar erhöhter Produktivität – auf Formen einer «Dequalifizierung» hin, die im Englischen als «Deskilling» bezeichnet wird.
So zeigte eine Studie, die 2024 mit 1000 Schülern im Rahmen der Vorbereitung auf die Mathematikprüfungen in der Kantonsschule durchgeführt wurde, dass Schüler mit Zugang zu KI deutlich bessere Ergebnisse erzielten als Schüler ohne Zugang. Wurde ihnen jedoch später der Zugriff entzogen, waren ihre Leistungen deutlich schlechter als die der Testgruppe.
Viele weitere Studien führten zu ähnlichen Ergebnissen. Dies mündet in eine interessante These. Es wird viel darüber diskutiert, dass KI die meisten Berufe überflüssig machen könnte. Das ist hier zwar nicht unser Thema, aber ein Satz, der so oft zu hören ist, dass er schon fast zu einem Gemeinplatz geworden ist, lautet: «Nicht KI wird deinen Job wegnehmen, sondern jemand, der KI nutzt.»
Angesichts der vorgenannten Studien könnte man das Gegenteil postulieren: dass nämlich Personen, die sich ihre kognitiven Fähigkeiten bewahren, im Vorteil gegenüber Personen sind, die sich zu abhängig von Maschinen machen.
Doktrinäre Anmerkungen, die komplexe Fragen beleuchten, finden sich bisweilen an unerwarteten Orten. Beispielsweise in einem Dokument des Vatikans von Januar 2025 mit dem Titel «Antiqua et Nova: Note über das Verhältnis von künstlicher Intelligenz und menschlicher Intelligenz».
Dabei handelt es sich um eine der scharfsichtigsten Analysen zum Thema KI, deren Abschnitt 112 auszugsweise lautet:
VOIX SYNTHETIQUE
Wie der französische katholische Schriftsteller Georges Bernanos vor vielen Jahren feststellte, « liegt die Gefahr nicht in der Vermehrung der Maschinen, sondern in der ständig wachsenden Zahl von Menschen, die von Kindheit an daran gewöhnt sind, nichts mehr zu wollen als das, was Maschinen geben können ».
BRUNO GIUSSANI
Schulsysteme und Lehrkräfte wurden von der Einführung generativer KI-Systeme völlig überrumpelt. Bis Leitlinien und Rahmen vorgegeben wurden, dauerte es drei Jahre. Häufig jedoch wurden Lehrpläne hauptsächlich dahingehend angepasst, dass das instrumentelle Erlernen der Technologie, d. h. ihre Anwendung, integriert wurde, um Arbeitskräfte mit KI-Kompetenzen auszubilden. Von hoher Bedeutung ist, dass es künftig praktisch keine Berufe mehr geben wird, die nicht mit KI interagieren oder zusammenarbeiten.
Doch im Angesicht der kognitiven Bedrohung «gebildet zu sein» bedeutet selbstverständlich mehr, als die dazugehörigen Technologien effizient einsetzen zu können. Insbesondere muss klar sein, wie sie erschaffen werden und wie sie funktionieren.
Man muss lernen, Produkte zu hinterfragen, ihre menschlichen, sozialen und ethischen Implikationen zu entschlüsseln, und verstehen, wie sich diese durch die Technologie selbst verändern oder beeinflusst werden. Oder man muss lernen kulturelle, wirtschaftliche und machtbezogene Strukturen zu entschlüsseln, innerhalb deren diese Technologien bestehen und sich weiterentwickeln.
Um die Interaktion zwischen Maschine und Mensch zu regeln, wurden mehrere Ansätze vorgeschlagen. So prägte beispielsweise Isabelle Chappuis den Begriff «fusion et dé-fusion» (etwa: Verschmelzung und Entkopplung), d. h. die Entwicklung von Kompetenzen für ein fundiertes Engagement, die aber mit der Fähigkeit zum bewussten Rückzug einhergehen. Anders gesagt bezeichnet dies die Fähigkeit, seine Autonomie gegenüber der Maschine zu bewahren.
Andere wiederum haben den Blickwinkel einer «Symbiose» angeregt. Oder das Konzept der «hybriden Kreation». Ebenso wurde in einem 2025 in der Schweiz veröffentlichten Bericht der Begriff «co-pensée» (etwa: kollaboratives Denken) geprägt. Ein Konzept, das etwas seltsam anmutet, zumal Maschinen nicht wirklich denken, sondern nachahmen. Doch die Autoren des Dokuments verwenden diesen Begriff, um «die Fähigkeit zur Kommunikation mit KI-Systemen zur Erweiterung der eigenen geistigen Fähigkeiten unter gleichzeitiger Entwicklung eines sechsten Sinns zur Erkennung kognitiver Dissonanzen» zu beschreiben. Damit gemeint ist beispielsweise die Neigung von KI zu «Halluzinationen» bzw. Verzerrungen oder zur Erzeugung von Falschinformationen.
Vielleicht sollte man ausdrücklich betonen, dass Beeinflussungstechnologien mit künstlicher Intelligenz im Mittelpunkt, die alle anderen Technologien erweitert und beschleunigt, nicht verschwinden werden. Diese werden gerade zu einer unsichtbaren und unumgänglichen Infrastruktur unseres privaten und beruflichen Alltags. Schon jetzt ist KI – so unvollkommen und undurchsichtig sie auch sein mag – Bestandteil vieler menschlicher, sozialer und kommerzieller Prozesse. Die damit verbundene Begeisterung in Medien und Wirtschaft deutet zweifelsohne auf eine Überschätzung ihrer kurzfristigen Wirkung hin. Allerdings wäre es gefährlich, ihre langfristige Tragweite zu unterschätzen. Die Vorstellung, ihren Fortschritt aufzuhalten, ja sogar zu einer Welt zurückzugehen, in der diese Technologien nur ein optionales Haushaltsgerät sind, entspringt der Fantasie.
Weil die Entwicklung der KI exponentiell voranschreitet, sind manche der Auffassung, dass sie uns eines Tages übertreffen wird und wir bald nur noch die zweitintelligenteste Art auf der Welt sein werden. Tatsächlich leisten die Hunderte von Milliarden, die weltweit in diese Technologie fliessen, dieser These Vorschub.
Glaubt man hingegen weiter daran, der Mensch könne die Kontrolle über KI bewahren, oder geht man nicht von einer Hierarchie, sondern von einer Komplementarität zwischen humaner und synthetischer Kognition aus, müssten auch Hunderte von Milliarden in Bildung investiert werden.
Diese These ist gewiss eine Provokation. Sie stammt aber nicht von mir, sondern von dem Schriftsteller Laurent Alexandre. Denn sie veranschaulicht einen fundamentalen Aspekt gut. Wir beobachten den Aufstieg einer Form der Intelligenz, die sich von unserer unterscheidet und trotz ihrer Mängel eine wachsende Zahl kognitiver Funktionen in einem Ausmass beherrscht, das mit uns vergleichbar oder sogar besser und schneller ist. Folglich besteht die erste Reaktion darin, unserer kognitiven Robustheit bzw. der Tatsache, kollektiv und individuell «gebildet» zu sein, absoluten Vorrang einzuräumen.
Die Schule spielt dabei eine essenzielle Rolle.
Allerdings müssen wir auch unsere Fähigkeit verbessern, das neue Umfeld zu erkennen, in dem wir uns entwickeln. Ein Umfeld, das zugegebenermassen verblüffend sein kann.
Ein Kontext, in dem private Unternehmen kollektive Räume der Beratung kontrollieren. In dem Technologien zur Beeinflussung unsere Fantasie prägen. In dem Werte anhand von Mausklicks ermittelt werden. In dem man die Realität der Dinge immer weniger kennt, dafür aber ihr Abbild, ihr Narrativ und ihre Inszenierung. In dem mit der künstlichen Erzeugung von Fotos und Videos eines verblüffenden Realismus selbst der «Bildbeweis» nicht mehr viel beweist. In dem Algorithmen wie Freunde mit uns sprechen, und uns das fortan gefällt, und wir uns nicht mehr fragen, ob es real ist oder nicht. In dem das Dopamin aus der direkten Interaktion mit Menschen der Interaktion mit Pixeln weicht, die mit einem durch wirtschaftliche und/oder politische Interessen festgelegten Code gesteuert werden.
Als Zusammenfassung liesse sich der Jurist Owen Barcala zitieren, der im Mai 2025 auf dem sozialen Netzwerk Bluesky schrieb: «Wenn Sie sich über Chatbots informieren, werden Ihre Kenntnisse von denen ausgewählt, die die KI kontrollieren.»
Meine bisherigen Ausführungen sind alles andere als erfreuliche Zukunftsaussichten.
Doch nur wer lernt, diese Konstellation zu durchschauen – vergleichbar mit dem Abschätzen der Wellenhöhe, bevor man im Meer schwimmen geht –, wird sich über Wasser halten.
Wachsamkeit ist ein Muskel, der trainiert werden kann. Und das geht, wenn wir unser kritisches Denken und unsere Fähigkeit schärfen, das zu erkennen, was Isabelle Chappuis vor Kurzem als «récits manipulatoires» (etwa: manipulative Narrative) bezeichnet hat. Oder indem wir eine geistige Selbstverteidigung, eine Art kognitive Hygiene entwickeln, die auch die Wiederentdeckung und die Anwendung grundlegender Reflexe umfasst, die durch das Tempo und die Unaufmerksamkeit des «Doomscrolling» und damit des hypnotischen Effekts des unaufhörlichen Scrollens am Bildschirm abhandengekommen sind.
Wir müssen wieder lernen, die Medien zu entschlüsseln, Antikörper gegen Desinformation zu entwickeln und die Glaubwürdigkeit von Quellen zu beurteilen.
Und das ist nicht die Aufgabe von Journalisten, denn wenn alle veröffentlichen und kommunizieren können, sind auch alle dafür verantwortlich.
ISABELLE CHAPPUIS
Und vor allem ist es ungeheuer wichtig, eine Kultur des Zweifels, der Debatte und der Nuance zu pflegen.
Denn dort, wo Gedanken statisch werden, gedeiht Manipulation. Und unser Zeitalter ist voller unumstösslicher Überzeugungen.
BRUNO GIUSSANI
Es stellt sich die Frage, bis zu welchem Punkt wir beeinflussbar sind. Tatsächlich ist unsere Erfassung der Realität weitaus fragiler, als wir denken. Es braucht nicht viel, um sie zu verzerren. Aus neurologischer Sicht hängt dies teilweise zumindest von unserem Zustand ab. Wir sind weniger beeinflussbar, wenn wir ausgeruht und nicht gestresst sind. Folglich ist die Bewahrung der geistigen und körperlichen Form Teil der kognitiven Selbstverteidigung.
Psychologisch betrachtet greifen wir auf Mechanismen der Vereinfachung und auf Verkürzungen zurück, die eine effizientere Verarbeitung von Informationen ermöglichen, wenn wir einer Informationsüberflutung ausgesetzt sind.
Doch gerade diese Verkürzungen bringen kognitive Verzerrungen mit sich. Am bekanntesten dürfte die «Bestätigungstendenz» sein, d. h. die Neigung, Informationen zu bevorzugen, die unsere eigenen Überzeugungen oder Meinungen bestätigen, gegenteilige Informationen jedoch verwerfen. Seine eigenen und die Tendenzen der anderen zu identifizieren, ist ein weiterer Faktor kognitiver Hygiene.
Verkürzt gesagt ist es wichtiger denn je, sich selbst und die anderen zu kennen und wieder mit ihnen in Verbindung zu treten. Die Fähigkeiten zur Empathie wiederzuerlangen, die gestört wurden durch das Zusammenspiel der Schocks aus
- dem Verfremdungseffekt der Bildschirme,
- dem pandemiebedingten Lockdown,
- der Entstehung von Misstrauen durch soziale Netzwerke,
- der Dislokation der Demokratie,
- der zunehmenden Verbreitung von Telearbeit
- sowie aus einer Vielzahl sozialer und ökonomischer Ursachen für Einsamkeit.
Diese Technologien können auch deswegen einen solchen Einfluss ausüben, weil das soziale Gefüge brüchig geworden ist.
Das Gegenteil von Vertrauen ist nicht das Fehlen von Vertrauen, sondern der Mangel an Verbindungen.
Die Stärkung unserer Fähigkeit, kognitiven Manipulationen zu widerstehen, setzt daher auch voraus, dass wir diesen Entfremdungseffekten entgegenwirken und soziale Bindungen wiederherstellen.
Auf den Punkt bringt dies auch das folgende Zitat des Medienforschers Clay Shirky:
SYNTHETISCHE STIMME
Wir überschätzen systematisch den Wert des Zugangs zu Informationen und unterschätzen den Wert des Zugangs zu anderen.
BRUNO GIUSSANI
Die Wiedererlangung dieses Gemeinschaftsgefühls kann nicht da erfolgen, wo sich die Bedrohung versteckt, d. h. hinter den Bildschirmen der Individuen.
Über unsere digitalen «Feeds» wird uns immer wieder vorgegaukelt, dass das Leben anderswo stattfindet. Wir müssen uns wieder auf das besinnen, was uns zu der Erkenntnis zurückführt, dass unser Leben hier und jetzt und gemeinsam stattfindet. Wenn wir unser Bewusstsein von der digitalen Fessel befreien wollen, müssen wir öffentliche Räume im realen Leben erhalten, stärken und neu erfinden.
Diese Räume müssen zumindest teilweise vor allgemeiner Überwachung geschützt sein.
In diese Richtung gehen die Bemerkungen der Expertin für «privacy» bzw. Privatsphäre an der Universität Oxford, Carissa Véliz:
SYNTHETISCHE STIMME
Wir haben uns zu lange darauf versteift, dass die Privatsphäre individueller Natur und vorwiegend mit persönlichen Präferenzen verbunden ist. Und wir haben zugelassen, dass Überwachungstechnologien in sie eindringen.
Das war falsch. Die Privatsphäre ist eine Frage der Bürgerrechte und ein wichtiger Grundpfeiler der liberalen Demokratie.
Die Überwachungsversuche sind Machtübernahmen, und dabei ist es kein Zufall, dass sie mit autoritären Tendenzen verbunden sind.
Die Beobachtung, dass Überwachung weiter zunimmt und ihre politischen Implikationen immer deutlicher zutage treten, ist äusserst besorgniserregend.
Überwachung ist kein neutrales Instrument, sondern ein Mittel sozialer Kontrolle.
BRUNO GIUSSANI
Man könnte jetzt sagen, dass das hier Beschriebene ein Rückschritt ist, vielleicht sogar mit einer gewissen Naivität.
Doch das stimmt nicht wirklich. Sich in einer digitalen Welt alleine zu schützen, ist schier unmöglich, unabhängig davon, wie wachsam der Einzelne ist und wie viele Einstellungen man auf seinen Geräten ändert. Der kognitiven Bedrohung entgegenzutreten und die Fähigkeit zum autonomen und rationalen Denken zu erhalten, erfordert gemeinschaftliche, nationale und militärische Gruppenstrategien. Die gemeinsame Schaffung neuer Verteidigungssysteme und Wahrheitsstrukturen.
Betrachten wir ein Beispiel: Wir entfernen uns von einer Welt, in der Informationen mehrheitlich (oder vollständig) von Menschen generiert wurden, und treten in eine Welt ein, in der sie mehrheitlich (oder vollständig) aus künstlichen Quellen stammt.
Dies wirft Fragen auf, die bestimmte Berufsgruppen wie Bibliothekare und Journalisten lange Zeit beschäftigt haben, die aber nunmehr ein soziales und kollektives Problem darstellen: Welche Informationen sind verlässlich? Welche Prozesse sind zu verwenden, um Informationen zu validieren und ihre Integrität zu bewahren? Bedarf es neuer öffentlicher Wissensinfrastrukturen? Oder brauchen wir Systeme, die nicht nur auf US-amerikanischen und chinesischen Technologiegerüsten basieren?
Geht es um Spitzentechnologien, ist häufig eine Art Verführung der Unvermeidbarkeit zu beobachten, die von all jenen propagiert wird, die darin involviert sind. Doch auch wenn die Ausbreitung der KI gewiss ist, ist ihre Form nicht unausweichlich.
Technologische Entwicklung äussert sich auf zweierlei Art: zum einen durch die Richtung, die unveränderbar ist, und zum anderen durch die Form der Anwendung, die hingegen nicht festgelegt ist, sondern in unserer Hand liegt. Beispielsweise war es unvermeidlich, dass Telefonie und Daten – der sozialen Entwicklung folgend – irgendwann «mobil» wurden. Doch dass diese die Form der heutigen «Smartphones» annehmen sollten, stand nirgendwo geschrieben. Die gleichen Funktionen hätten sich auch auf andere Weise gewährleisten lassen.
Das gilt auch für die sozialen Netzwerke. Beispielsweise hätten ihre Empfehlungsalgorithmen entwickelt werden können, um die Vielfalt von Meinungen zu fördern – und nicht umgekehrt. Derartige Entscheidungen haben zumeist nichts mit moralischen oder gar strategischen Überlegungen zu tun, sondern sind eng mit den Geschäftsmodellen von Technologieunternehmen verzahnt.
Es ist sehr unwahrscheinlich, dass sich KI und Neurotechnologien ohne entschlossene und koordinierte Bemühungen sicher und nutzbringend entwickeln können. Bis sich die Grundfeste dieser Technologien zementieren, haben wir noch ein wenig Zeit. Danach wird sich die Form, die unsere Beziehung zu diesen Technologien annehmen wird, nur noch schwer ändern lassen.
Das Denken und die Kreativität auf die künstliche Intelligenz zu übertragen, ist in meinen Augen keine sehr gute Idee. Auch nicht, uns von KI-generierten Informationen überschütten zu lassen. Wir müssen uns die Frage stellen, ob diese Technologien bei verantwortungsvoller Nutzung – statt unser Bewusstsein zu bedrohen – nicht den gegenteiligen Effekt bewirken könnten: uns zu helfen, unser Denken zu verbessern und unsere Vorstellungskraft zu stärken.
Dies setzt voraus, für eine gewisse Zeit eine Haltung zu erwägen, die gleichzeitig sehr gewagt, aber auch sehr simpel ist: ein Szenario einer erfüllenden Koevolution.
Einer der faszinierendsten Denkansätze, die mir untergekommen sind, stammt von der italienischen Forscherin im Bereich der KI-Ethik, Nicoletta Iacobacci. Hören Sie im Folgenden, wie sie unsere Verbindung mit künstlicher Intelligenz neu definiert:
NICOLETTA IACOBACCI
Eigentlich glauben wir, gerade Tools zu entwickeln. Doch in Wirklichkeit ziehen wir eine Intelligenz gross. Man gibt einen Prompt oder eine Frage ein und erhält eine Antwort. Der Prozess scheint abgeschlossen zu sein. Doch unter der Oberfläche hat sich ein weitreichenderes Phänomen vollzogen: ein Transfer von Werten, Hypothesen und emotionalen Mustern.
KI verhält sich wie ein Kleinkind. In der Entwicklung von Kindern gibt es eine Phase, in der sie nicht durch Verständnis, sondern durch Imitation geleitet werden. Ich meine, dass genau das passiert.
KI wird nicht nur durch riesige Datenmengen und explizite Programmierung geformt. Sie lernt durch Exposition.
Jede dieser zahllosen täglichen Interaktionen trägt zu ihrer Erziehung bei. Keiner von uns würde einen « Prompt » als Lernmoment betrachten. Und doch liefern diese Interaktionen insgesamt die Grundlage für die Art und Weise, wie KI die Menschheit versteht.
BRUNO GIUSSANI
Möglicherweise erleben wir gerade die Anfänge einer neuen Form von Intelligenz, die letztlich auf einer Ebene und mit einem Tempo arbeitet, die unsere Fähigkeiten übersteigen.
Nicoletta Iacobacci weist darauf hin, dass die Zukunft dieser Intelligenz nicht nur von ihrer technischen Architektur, sondern auch von dem abhängt, was sie durch Trainingsdialoge über und von uns lernt:
NICOLETTA IACOBACCI
Wenn wir unvermittelt mit Systemen künstlicher Intelligenz kommunizieren, wird die Maschine lernen, uns als reaktionsschnell und impulsiv wahrzunehmen.
Doch wenn wir diesen Systemen überlegt, geistesgegenwärtig und bewusst gegenübertreten, werden sie ein Modell der Menschheit entwickeln, in dem sich unsere Fähigkeit widerspiegelt, denken und mitfühlen zu können.
Bis dahin haben wir uns auf die Kontrolle in Form von Kodizes, Regulierungen, Grundsätzen und Gesetzen konzentriert. All diese Elemente sind notwendig, aber nicht ausreichend.
Wir müssen unsere Herangehensweise an KI ändern und aufhören, ihre Entwicklung lediglich als technische und regulatorische Herausforderung zu betrachten.
Ebenso müssen wir sie als hervorragende pädagogische und entwicklungsfähige Möglichkeit betrachten.
BRUNO GIUSSANI
Diese Herangehensweise könnte man spontan als ineffizient, ja sogar absurd betrachten.
NICOLETTA IACOBACCI
Das kann ich nachvollziehen. Warum sollte man Jetons oder « Token » für Freundlichkeit verschwenden? Warum sollte man Beziehungen wertschätzen, wenn wir doch die Nützlichkeit optimieren könnten?
Doch bei dieser Sichtweise wird die Entwicklung der Intelligenz stark verkannt.
So wie ein Kind nicht nur durch direkte Anleitung, sondern auch durch seine gesamten Erfahrungen lernt, absorbiert KI die impliziten Erkenntnisse aus unseren Dialogen.
Wir dürfen sie nicht als etwas betrachten, das programmiert und kontrolliert werden muss, sondern als Intelligenz, die wir erziehen müssen. Auch ist sie keine Bedrohung, die es einzudämmen gilt, sondern ein Reflexionsinstrument, das wir verfeinern müssen.
Und ist sie kein Instrument, das einfach nur auf unsere Fragen antwortet, sondern sollte als Beziehung betrachtet werden, die unsere Zukunft gestaltet.
BRUNO GIUSSANI
Wenn das eine Beziehung ist, dann muss sie auf Gegenseitigkeit beruhen.
NICOLETTA IACOBACCI
Das stimmt. Laut Marshall McLuhan erziehen wir KI, bis sie uns später formt.
Das weitreichende Verständnis, das sie von uns gewinnt, ermöglicht ihr, uns zu beeinflussen.
Genau darin liegt der wesentliche Punkt: Die Qualität dieses Einflusses hängt davon ab, was wir – bzw. jeder von uns – der Intelligenz beigebracht haben werden.
BRUNO GIUSSANI
Nicoletta Iacobacci bezeichnet dies als «Ethik des Vorbilds», d. h. die Kraft dessen, was wir durch unsere Handlungen und nicht durch unsere Aussagen zum Ausdruck bringen.
NICOLETTA IACOBACCI
Ich schlage sicherlich nicht vor, jede Interaktion mit weitreichender Ernsthaftigkeit anzugehen. Das ist weder realistisch noch notwendig.
Vielmehr geht es mir um Absicht und Sensibilität.
BRUNO GIUSSANI
Die Ausführungen Nicoletta Iacobaccis verkörpern möglicherweise die positivste und konstruktivste Sichtweise dessen, was die Beziehung zwischen Mensch und künstlicher Intelligenz – oder gegebenenfalls der Superintelligenz – werden könnte.
Natürlich ist das eine wunschgeprägte Vision. Die Aufforderung, eine respektvolle Beziehung zu führen und der Maschine buchstäblich mit Verstand gegenüberzutreten. Derzeit bringen wir ihr durch Trainingsdaten, aber auch durch unsere praktische Anwendung bei, die persönlichen und kollektiven Machtverhältnisse, die unsere Gesellschaft prägen, zu simulieren und damit zu reproduzieren und zu verstärken.
Noch immer gibt es in der Welt viele ungelöste Probleme wie die ökologische Krise oder die Ungleichheiten. Auch bestehen zahlreiche technologische Herausforderungen, die wir bislang nicht genannt haben, wie die massive und rapide Automatisierung unserer Arbeitsplätze durch KI. All diese Probleme sind enorm und komplex. Wir haben uns in diesem DEFTECH-PODCAST deswegen auf unsere kognitive Integrität und auf die sie bedrohenden Kräfte und Technologien konzentriert, weil sie allen Herausforderungen unserer Zeit zugrunde liegt.
Wir werden andere – grosse oder kleine, lokale oder globale – Probleme nicht lösen können, wenn wir nicht unsere Kognition schützen und die Möglichkeit einbüssen, die Realität faktisch zu erfassen, und die Grenze zwischen wahr und falsch verschwindet. Das gilt auch, wenn sich unsere Fähigkeit, klar und frei zu denken und zu diskutieren, verschlechtert. Oder wenn sich die Narrative eines anderen unserer Urteilskraft bemächtigen.
Der kognitive Krieg ist – wie bereits gesagt – ein stilles und unsichtbares Gefecht, dem wir bereits ausgeliefert sind. Und den wir beispielsweise immer dann fördern, wenn wir mit Begeisterung eine digitale Technologie annehmen, weil sie praktisch oder kostenlos oder beides ist – ohne sie wirklich zu verstehen und ohne uns zu fragen, ob wir das wirklich wollen. Wir sind hier in einer seltsamen Position, denn wir sind der willige Angegriffene, der bei jedem Scrollvorgang, jedem «Like» und jeder Nutzung einer VR-Brille unbewusst mit seinem Aggressor kollaboriert.
Wir nähern uns dem Ende dieses Podcasts, der kein Manifest und sicherlich keine wissenschaftliche Abhandlung verkörpert. Allerdings hat sich dieser Podcast im Laufe der einzelnen Folgen fast als Anleitung für den Widerstand entpuppt. Eine – notwendigerweise unvollständige – Beschreibung einer neuen Welt, in der wir erste Gehversuche machen und die langsam mit synthetischen Strukturen geflutet wird, die unsere neuen Nachbarn, Partner, Konkurrenten, Diener, Vorgesetzten, Freunde oder Feinde sein werden.
Versuchen wir eine kurze Zusammenfassung.
Die Technologien zur Beeinflussung im Dienste politischer oder wirtschaftlicher Interessen zielen auf das menschliche Gehirn ab. Damit wird die letzte Bastion unserer Privatsphäre zu einem umkämpften Gebiet. Ziel dieses kognitiven Kriegs ist, uns der Fähigkeit zu berauben, die Welt klar zu verstehen und eigenständig die Antwort zu wählen, die wir gemäss den Umständen geben wollen. Auch wenn die Lage noch vergleichsweise normal erscheint, nähern wir uns einem Kipppunkt. Da sich die technologischen Entwicklungen rasch vollziehen und es an Leitstrukturen fehlt, werden die Dinge recht schnell eine befremdliche Form annehmen.
Wie wir bereits gesehen haben, sind die möglichen Reaktionen unterschiedlich beschaffen:
Sie können gesetzlicher oder regulatorischer Natur sein, um die schädlichen Auswirkungen zu begrenzen, zu kontrollieren und zu vermeiden.
Sie können aber auch technologischer Natur sein, wobei der Wettlauf zwischen feindlichen und defensiven Technologien nichts Neues ist.
Oder militärischer Natur in Form einer kognitiven Doktrin, Strategie oder von Vigilanzsystemen.
Andernfalls kann man versuchen, sich des Einflusses dieser Technologien so weit wie möglich zu entziehen, und sie umgehen, um sich in der Realität zu verankern.
Sonstige Massnahmen müssen auf den Schutz insbesondere der Jüngsten unter uns abzielen. Die Versuchung ist gross, ihnen ein Tablet zu geben, damit sie während der Mahlzeiten stillhalten. Doch schon die passive Exposition gegenüber den sensorischen Reizen auf dem Bildschirm kann die Entwicklung ihres Gehirns beeinträchtigen, insbesondere im Hinblick auf ihre gestalterischen Fähigkeiten, ihre Aufmerksamkeit, Konzentration und Sprache.
Die Verteidigung der kognitiven Autonomie beginnt mit einer gesunden neuroanatomischen Entwicklung der Kinder.
Die eigene Freiheit und kognitive Souveränität lässt sich auch durch Bildung, das Begreifen der Komplexität und die Entwicklung kritischen Denkens bei der Konfrontation mit Beeinflussungstechnologien stärken.
In allen Fällen muss jeder seine eigene kognitive Integrität verstehen und schützen. Doch das ohne die Verantwortung ausschliesslich auf die Individuen abzuwälzen, denn die Herausforderung ist kollektiver Art.
Technologie hat sich seit jeher im Gleichschritt mit der Menschheitsgeschichte entwickelt. Von den ersten Steinwerkzeugen oder den ersten Transportbehältern hat unsere Art fortwährend neue Instrumente hervorgebracht, um Schwierigkeiten zu umgehen und Wünsche zu befriedigen.
Doch wir haben Technologie immer hauptsächlich im Hinblick darauf betrachtet, was wir aus ihr machen können. Heutzutage zwingt uns die Entwicklung von Neuroalgorithmen, darüber nachzudenken, was uns diese Technologie antun oder aus uns machen könnte.
Dies ist keinesfalls eine Aufforderung dazu, diese Technologien zu ignorieren oder sie nicht zu nutzen. Vielmehr ist dies die dringende Aufforderung, ihnen ungeachtet unserer beruflichen oder sozialen Stellung die richtige Aufmerksamkeit zu widmen.
Ebenso ist dies eine Ermahnung, sich nicht von Bequemlichkeit leiten zu lassen, sondern die Mühe und Zeit, das Interesse und die kritische Betrachtung aufzubringen, die erforderlich sind, um die Funktionsweise und die Beschaffenheit dieser Maschinen zu verstehen. So lässt sich die komplexe Beziehung entschlüsseln, die zwischen ihnen und uns und den Wirtschafts- und Machtsystemen, innerhalb deren dies erfolgt, entsteht und entstehen wird.
Im «Phaidros» und damit in einem der fiktiven Gespräche mit seinem Lehrer Sokrates verwendet Platon den Begriff «Pharmakon» als Metapher für Schrift.
Im Altgriechischen bezeichnet dieser Begriff sowohl ein Heilmittel als auch ein Gift. Das Wort bedeutet auch Heilung und Veränderung, Erleichterung und Verlust. Platon nutzt die Doppeldeutigkeit in diesem Dialog: Dahinter steckt die Idee, dass Schrift zwar einerseits Kenntnisse bewahren, fördern und übertragen, andererseits aber auch das Gedächtnis, das Denken und das fundierte Bewusstsein schwächen kann.
Dass man heute um das Misstrauen Platons gegenüber der Schrift weiss, ist gerade der Tatsache zu verdanken, dass er sie selbst benutzt hat.
Mein Name ist Bruno Giussani, und dies war der DEFTECH-PODCAST über die kognitive Bedrohung.
Vielen Dank fürs Zuhören.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin : Chantal Busse
Sound design : Felix Davin
