Das Fracking der Aufmerksamkeit:
KI, Algorithmen und wir?
Das Buch als Ergänzung zum Podcast
Wichtig ist – und das sollte man im Hinterkopf behalten –, dass die Möglichkeit, die Antworten eines Chatbots zu bestimmen, gleichbedeutend ist mit der Möglichkeit, den Gesprächspartner zu manipulieren.
Der belagerte Geist
Wie man sich im Zeitalter der Künstlichen Intelligenz nicht manipulieren lässt
Bruno Giussani, 2026, Scheidegger & Spiess
Die komplette Staffel
Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.
Transkript
Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennun
Folge 2: Das Fracking der Aufmerksamkeit: KI, Algorithmen und wir?
BRUNO GIUSSANI
Die einfachste Methode, eine Person vom Denken abzuhalten, besteht darin, sie Lärm auszusetzen.
Damit sind natürlich laute Geräusche gemeint, wie von einer Kettensäge oder bestimmten Industriemaschinen oder laute Musik.
Aber auch der kognitive Lärm. Dieser Lärm ist zwar nicht hörbar, wirkt sich aber auf unsere geistigen Fähigkeiten aus und beeinträchtigt unsere Fähigkeit, Informationen zu verarbeiten oder Entscheidungen zu treffen.
Kognitiver Lärm wird in erster Linie durch die Überflutung mit Informationen verursacht. Zwar ist das menschliche Gehirn sehr leistungsfähig und komplex, aber wenn es um die gleichzeitige Verarbeitung einer grossen Menge an Informationen geht, stösst es schnell an seine Grenzen.
Hierfür gibt es mehrere neurologische und kognitive Gründe. Ein Beispiel ist die verringerte Kapazität unseres Arbeitsgedächtnisses, d. h. des Kurzzeitgedächtnisses, mit dem wir beim Lesen, einer Unterhaltung oder beim Argumentieren Informationen speichern und abrufen können. Ein weiteres Beispiel ist die Tatsache, dass sich unsere Aufmerksamkeit nur durch Auswahl und unter Vermeidung von Ablenkungen gewährleisten lässt.
Auch wenn sich noch weitere Gründe aufzählen liessen, sei hier auf einen berühmten, 1956 veröffentlichten Aufsatz mit dem Titel «The Magical Number Seven, Plus or Minus Two» verwiesen. Darin machte der US-amerikanische Kognitionspsychologe George Miller deutlich, dass das menschliche Kurzzeitgedächtnis seiner Forschung zufolge nur sieben Informationseinheiten effizient speichern kann, mit einer Fehlermarge von minus oder plus zwei Einheiten.
Anders gesagt: Die meisten Menschen können in ihrem Arbeitsgedächtnis zwischen fünf und neun Informationseinheiten speichern. Ein Fragment (bzw. «chunk» in Englisch) kann dabei mehrere Informationselemente umfassen, aber nur eine einzige kognitive Einheit darstellen. Ein Satz wie «Das Haus an der Strassenecke brennt, und die Feuerwehr ist vor Ort» stellt laut Miller ein einziges Fragment dar.
Andere Forschende legen seitdem nahe, dass diese Zahl noch geringer sei. Auch der Mythos des «Multitaskings» sorgt immer wieder für Diskussionen, wurde jedoch unter anderem von dem Neurowissenschaftler Stanislas Dehaene – How We Learn, 2021 – entzaubert, dem zufolge sich das menschliche Gehirn nur auf eine einzige Sache konzentrieren und nicht mehrere Aufgaben gleichzeitig bewältigen kann.
Bleiben wir jedoch beim Thema, denn wir interessieren uns für die Tatsache, dass kognitiver Lärm nicht sehr intensiv sein muss, um unsere geistigen Fähigkeiten zu beeinträchtigen.
JINGLE
Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.
Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.
In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.
Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.
BRUNO GIUSSANI
Die progressive Erfassung unserer Informationsumgebung durch Smartphones, soziale Netzwerke und die Häufung digitaler Kommunikationskanäle sorgen seit rund zwölf Jahren für eine kognitive Überstimulation.
Der Psychologe Jonathan Haidt, der die Debatte 2024 mit der Veröffentlichung seines Werks «Generation Angst» aufmischte, spricht – und ich zitiere hier – vom «Verlust der menschlichen Fähigkeit des Denkens» und der «Krise der Zivilisation». Das mag übertrieben und hyperbolisch klingen. Doch die folgenden Themen sind immer häufiger Gegenstand wissenschaftlicher Studien:
- Mechanismen für digitale Sucht,
- die insbesondere bei jungen Menschen (aber auch bei ihren Eltern) immer grössere Schwierigkeit, sich dauerhaft zu konzentrieren und kohärent zu denken,
- die schwindende Fähigkeit zu lesen und den Sinn eines Textes zu verstehen,
- die kognitive Fragmentation aufgrund des dauerhaften Konsums von sekundenlangen Kurzvideos und des unaufhörlichen Austausches von Nachrichten,
- Sprachentwicklungsstörungen bei Kindern aufgrund sorgloser Bildschirmexposition,
- die Verschlechterung der psychischen Gesundheit, auch bei jungen Menschen,
- die Tatsache, dass die physische Welt immer weniger direkt, sondern stärker durch digitale Ersatzwelten erfahren wird,
- allgemeiner gesprochen die durch die ständige Informationsflut bedingte Schwierigkeit, die uns umgebende Welt objektiv zu beurteilen.
Kommen wir zum Thema zurück.
Meine Zusammenfassung war eine gewisse Vereinfachung. Doch nachdem jahrelang gezögert und dem Digitalen insbesondere aufgrund seines wirtschaftlichen Potenzials Vorrang eingeräumt und gefordert wurde, die Technologie nicht zu verteufeln, und unzählige Kommunikationskanäle, Formate, Plattformen und Geräte blindlings Einzug hielten, ist inzwischen klar, dass diese Algorithmisierung des Lebens in eine einzige Richtung verläuft – und zwar zu unseren Gehirnen.
All das stellt den Nullpunkt der kognitiven Verwirrung dar, an dem spezifische Technologien, Mechanismen für Profiling oder Personalisierung noch nicht zum Tragen kommen. Übrigens auch nicht – und darauf kommen wir noch zurück – die künstliche Intelligenz. Ganz nüchtern betrachtet geht es lediglich um die Menge an Informationen, die die soeben angesprochene «Magische Sieben plus oder minus zwei» überschreitet.
Dieses Übermass resultiert zum Teil aus der Logik des techno-informationellen System selbst, weil jeder Informationen über eine Vielzahl von Kanälen nahezu kostenlos erstellen und verbreiten kann.
Doch dieses Übermass und damit ein Angriff auf die Grenzen unseres Gehirns kann auch vorsätzlich herbeigeführt werden. So kam in den letzten Jahren eine politische Strategie mit der Bezeichnung «den Raum fluten» auf, vom englischen Original «flood the zone» abgeleitet.
Der Chatbot Mistral erklärt dieses folgendermassen:
SYNTHETISCHE STIMME
Mit dieser Strategie wird darauf abgezielt, den Medienraum zu übersättigen und die Zielgruppen mit so viel Inhalten zu überfluten, dass es schwierig wird, Fakten von Meinungen oder Falschinformationen zu unterscheiden, sodass eine allgemeine Verwirrung entsteht und die Fähigkeit der Menschen geschwächt wird, fundierte Urteile zu fällen.
BRUNO GIUSSANI
Dies ist die eigentliche Definition des Angriffs auf die kognitive Integrität. Die Schweizer Soziologin Jennifer Walter drückt es so aus: «Die strategische Ausnutzung kognitiver Grenzen.»
Wir neigen dazu, unser Gehirn als uneinnehmbare Festung zu betrachten, die wir allein kontrollieren. In Wirklichkeit jedoch sind wir von kognitiven Einflüssen umzingelt. Zu den Zweifeln, die von klassischer Desinformation, Falschnachrichten («Fake News») und gegenläufigen Versionen der Realität herrühren, kommt noch die vorsätzliche Sättigung hinzu. Sie beeinträchtigt unsere Fähigkeit, uns in der Welt zu orientieren, und schafft gleichzeitig die Möglichkeit, zielgerichtete Informationen einzuschleusen.
James Giordano ist Neuroethiker an der US-amerikanischen Universität in Georgetown. Die Neuroethik untersucht die moralischen Grundsätze und Werte, die Entscheidungen, die Neurowissenschaft und Neurotechnologien betreffen, beeinflussen. Er hat als Erster das Konzept der kognitiven Bedrohung klargestellt.
Bei einem berühmt gewordenen Vortrag im Oktober 2018 vor den Kadetten der US-Militärakademie in West Point behauptete er: «Unsere Gehirne sind und werden die Schlachtfelder des 21. Jahrhunderts sein.»
An diesem Punkt kommt die künstliche Intelligenz ins Spiel.
Plötzlich geht es seit drei Jahren nur um sie. Die wie aus dem Nichts aufgetauchte KI soll – nach gängiger Auffassung – im nächsten Jahrzehnt alle Krankheiten ausrotten, die Klimakrise lösen und uns in eine Welt des Überflusses führen. Andere wiederum behaupten, KI werde uns unsere Jobs wegnehmen, uns unterwerfen und die Zivilisation zerstören. Für die einen stellt sie eine utopische Hoffnung dar, für die anderen jedoch eine apokalyptische Gefahr. Oder beides zugleich.
Begeben wir uns zunächst auf einen kleinen Exkurs, bevor wir wieder zu unserem Thema kommen. Denn tatsächlich ist KI keine neue Technologie. Ihre Anfänge reichen bis in die Mitte des letzten Jahrhunderts zurück. Seinerzeit sprach man von «Kybernetik», d. h. der Untersuchung der Informationsprozesse in komplexen Systemen wie Lebewesen, Gesellschaft, Wirtschaft und Maschinen.
Die Geburtsstunde des Begriffs «künstliche Intelligenz» war im Sommer 1956, als der US-Wissenschaftler John McCarthy sie bei einer Versammlung in der Universität Dartmouth als die Fähigkeit definierte – ich zitiere –, «bei einer Maschine ein solches Verhalten zu erzeugen, das man als intelligent bezeichnen könnte, wenn sich ein Mensch genauso verhalten würde».
In den folgenden Jahrzehnten war KI von Erfolgen und Enttäuschungen gekennzeichnet. Um die Jahrtausendwende erfuhr die Technologie einen Aufschwung, dessen Folgen heute in Form der künstlichen neuronalen Netze (in Englisch: «neural networks») zum Ausdruck kommen. Durch solche Netze können Maschinen lernen und sich innerhalb kurzer Zyklen verbessern.
Der gegenwärtige Hype um die KI wurde ermöglicht durch das Zusammenspiel der wachsenden Rechenleistung von Computern, der Komplexität der Algorithmen und der Verfügbarkeit einer enormen Menge digitaler Daten, darunter auch die Daten, die wir selbst produzieren oder permanent unbewusst hinterlassen.
Wie wir in unserer ersten Folge aufgezeigt haben, sind ihre offensichtlichsten Formen sogenannte «generative» Systeme. Diese können menschliche Unterhaltungen über Text- oder Sprachschnittstellen nachahmen und Bilder, Videos, Geräusche oder sogar Computercode generieren.
Künstliche Intelligenz hat noch weitere Anwendungsfelder, wie Gesichtserkennung, autonomes Fahren, medizinische Diagnose und Spamfilter, ohne die es wohl keine E-Mails mehr gäbe. Ebenso optimiert KI industrielle Prozesse, was entweder über eine physische Form als Roboter oder in Form autonomer Agenten erfolgt.
Wir sprechen hier jedoch vorwiegend über die generative KI wie «Chatbots», die auch als virtuelle Gesprächspartner bezeichnet werden. Diese Konversationssimulatoren sind inzwischen äusserst beliebt und werden seit der Einführung von ChatGPT im November 2022 von Hunderten Millionen Menschen genutzt.
Dabei weisen sie ein unterschätztes Merkmal auf, das jedoch eine radikale kulturelle Wende verkörpert: Erstmals in der Geschichte lassen sich Texte oder Videos schneller und müheloser erstellen als lesen bzw. ansehen.
Und wenn etwas einfach, schnell und nahezu kostenlos erfolgen kann, lässt sich auch einfach, schnell und kostenlos abschätzen, was danach kommt: ein exponentielles Wachstum und eine exponentielle Verbreitung dessen, was heutzutage mit dem besonders schwammigen Begriff «Content» umschrieben wird.
Wir befinden uns im Übergang von einer Welt, in der Informationen vorwiegend (oder vollständig) von Menschen erzeugt werden, zu einer Welt, in der sie vorwiegend und im sehr grossen Massstab von Maschinen hervorgebracht werden.
Und das wird den Angriff auf unsere kognitive Integrität verstärken.
Graham Burnett, ein Historiker an der US-Universität Princeton, bezeichnet dies als «attention fracking». Damit meint er das Aufbrechen unserer Aufmerksamkeit in Anlehnung an das hydraulische Aufbrechen, bei dem eine Mischung aus Wasser, Sand und chemischen Stoffen mit hohem Druck in Felsformationen eingepresst wird, um Risse zu erzeugen und das darin enthaltene Gas oder Erdöl freizusetzen.
In der New York Times schrieb er dazu:
SYNTHETISCHE STIMME
Dies ist die dunkle Seite unseres neuen technologiegeprägten Lebens, dessen gewinnorientierte Geschäftsmodelle auf dem systematischen Aufbrechen des Menschen beruhen, indem wir mit hoher Intensität mit riesigen Mengen an medialen Inhalten geflutet werden (…), damit unsere eigene Aufmerksamkeit permanent auf andere Dinge gelenkt wird.
BRUNO GIUSSANI
Aufmerksamkeit. Dies ist das Hauptinstrument dieser unsichtbaren Konfrontation, weil unsere Fähigkeit, die Welt zu beurteilen, zu verstehen, in ihr zu handeln und mit ihr zu interagieren, letztlich von unserer Aufmerksamkeit abhängt, d. h. davon, worauf wir sie lenken und wem wir sie schenken.
Je mehr Informationen wir erzeugen, desto schwieriger wird es, sie einzuordnen und ihr einen Sinn zu geben. Schon Anfang der 1970er-Jahre schrieb der Ökonom Herbert Simon, dass es in einer informationsreichen Welt notwendigerweise nur wenig von dem geben kann, was Informationen aufzehren. Und das, was die Informationen aufzehren, ist die Aufmerksamkeit ihrer Zielgruppen. Folglich führt ein Übermass an Informationen zu einem Mangel an Aufmerksamkeit.
Mehr denn je scheint es unentbehrlich, unserer Aufmerksamkeit Aufmerksamkeit zu schenken.
Und das ist im Übrigen nicht mit dem Aufschwung der Technologie der Moderne verbunden.
Schon Epiktet, ein Philosoph der Stoa, schrieb vor rund zweitausend Jahren:
SYNTHETISCHE STIMME
Du wirst zu dem, worauf du deine Aufmerksamkeit richtest. Wenn du selbst nicht wählst, welchen Gedanken und Bildern du dich aussetzt, wird es jemand anders tun.
BRUNO GIUSSANI
Für den modernen Menschen wird dieser Jemand zunehmend die künstliche Intelligenz und diejenigen sein, die sie besitzen und entwickeln.
Das gilt auch für Kinder.
Ab September 2025 wird künstliche Intelligenz obligatorischer Unterrichtsbestandteil chinesischer Schulen, und zwar von der Primarschule bis zur Sekundarstufe. Die Lehrpläne werden dabei von der Regierung in Zusammenarbeit mit den Firmen Huawei, Tencent und Alibaba ausgearbeitet.
Im April 2025 unterzeichnete US-Präsident Donald Trump eine «Executive Order», mit der in den Vereinigten Staaten ein ähnlicher Ansatz ab der Primarschule eingeführt wird. Und auch das in Zusammenarbeit mit den führenden US-amerikanischen KI-Firmen.
Einen Monat später machten auch die Vereinigten Arabischen Emirate – in Zusammenarbeit mit mehreren US-Technologiegiganten – KI zum Pflichtprogramm in allen Schulstufen. Ferner erhielten alle Bürger kostenlosen Zugang zu ChatGPT.
Der Emir von Dubai betonte am Tag der Ankündigung, dass diese Massnahmen darauf abzielten, «unsere Kinder auf eine andere Zeit als unsere vorzubereiten». In all diesen Fällen ist kritisches Denken Bestandteil der Initiativen – allerdings in einer generell der wirtschaftlichen Wettbewerbsfähigkeit untergeordneten Weise.
KI-gestützte digitale Plattformen weisen noch eine andere hervorstechende Eigenschaft auf: die Fähigkeit, Informationen zu «personalisieren». Dieses Verb ist eine Umschreibung dafür, auf unser Gehirn abzuzielen.
Auch wenn wir es nicht unbedingt merken: Immer wenn wir auf ein soziales Netzwerk wie Facebook oder Instagram, TikTok oder YouTube oder einen Dienst wie Netflix, eine News-Website oder einen Online-Shop zugreifen, unterscheidet sich unser Bildschirminhalt höchstwahrscheinlich vom Inhalt für eine andere Person, die am selben Ort zur selben Zeit auf den Dienst zugreift.
Genau das ist das Prinzip der individuellen Content-Ausrichtung.
Dahinter steckt die Idee, Informationen dynamisch und in Echtzeit an die Vorlieben, die Verhaltensweisen, ja sogar die spezifischen Bedürfnisse eines Nutzers anzupassen. Und das muss für jede Person detailliert, aber im grossen Umfang für eine gesamte Bevölkerung erfolgen.
Wer das kann, kann Informationen natürlich auch filtern und auswählen, um Ängste, Abhängigkeiten und psychologische Schwächen derselben Personen auszunutzen.
Aber nur, wenn diese bekannt sind.
In ihrem 2025 erschienenen Werk «Mindmasters» wartet die Computer-Sozialwissenschaftlerin Sandra Matz mit einer erstaunlichen Zahl auf:
ERNSTE KÜNSTLICHE WEIBLICHE STIMME
Sie und ich produzieren jede Stunde rund 6 GB an Daten.
BRUNO GIUSSANI
Als ich diese Zahl zum ersten Mal sah, hielt ich sie für einen Irrtum. 6 GB – das ist enorm. Dies ist die Datenmenge von 12 000 hochauflösenden Fotos, zwei hochauflösenden Filmen und 6 Millionen Seiten Text. Und das jede Stunde. Durch jeden von uns.
Doch Sandra Matz stützt sich auf stichhaltige Forschung. Denkt man richtig nach, ist die Zahl gar nicht mal so aussergewöhnlich.
In den fortschrittlichen Volkswirtschaften besteht die wichtigste Alltagstätigkeit der meisten Menschen künftig darin, mit einer Vielzahl digitaler Schnittstellen und Systeme zu interagieren. Und das Umfeld, in dem wir uns entwickeln, ist voller Scanner und Kameras.
Versuchen wir einmal rasch – ohne Anspruch auf Vollständigkeit –, ein Inventar der von uns aktiv oder passiv hinterlassenen digitalen Spuren zu erstellen, wenn wir unseren Gewohnheiten nachgehen, d. h.:
- E-Mails und Nachrichten,
- Posts und «Likes» auf sozialen Netzwerken,
- über YouTube, WhatsApp, Instagram oder anderswo geteilte Bilder,
- Online-Recherchen,
- Musik hören und Videos schauen,
- Unterhaltungen mit Freunden oder Chatbots,
- kurz: alles, was wir mit unseren Smartphones und Tablets machen, Dokumente, Daten und Bilder, die am Arbeitsplatz entstehen,
- Aufnahmen und Transkriptionen von Zoom- oder Teams-Anrufen ansehen,
- Zahlungen mit Kreditkarte oder E-Banking oder Kryptowährungen, von Sensoren, Kameras und Fahrzeugcomputern generierte Daten.
- Hinzu kommen Smartwatches, GPS-Systeme,
- Überwachungskameras an öffentlichen und privaten Orten,
- Streaming-Serien,
- Online-Einkäufe,
- Ausweise und Treuekarten,
- QR-Codes,
- Videospiele und
- Dating-Websites.
Ganz zu schweigen von den Metadaten, die mit allen unseren Aktivitäten einhergehen.
Wir wissen, dass viele Daten über uns gesammelt werden. Aber nur wenige machen sich Gedanken über die Menge, die Art und den Detaillierungsgrad der Daten.
Über die Verbreitung verhaltens- und faktenbezogener Informationen über uns. Tatsächlich sind wir für eine Maschine lediglich eine sehr dichte Wolke von «Datenpunkten» und Daten, die immer detaillierter und persönlicher werden.
Bis dato waren diese Daten über verschiedene Systeme, Anwendungen und Plattformen verstreut. Doch die künstliche Intelligenz – deren Daten die zentrale Essenz sind – macht es einfacher, diese Daten zusammenzulegen, Korrelationen aufzuspüren, Modelle bzw. «patterns» herauszulesen und Prognosen abzuleiten, beispielsweise über individuelle Merkmale. Dies ermöglicht das, was Sandra Matz als «psychologisches Targeting» bezeichnet – psychological targeting.
Damit gemeint ist die Praxis, das Verhalten von Nutzern zu beeinflussen, indem erhaltene Informationen so gefiltert werden, dass sie auf ihre Persönlichkeitsmerkmale zugeschnitten sind.
Im Übrigen reichen schon wenige Daten, um das Datenporträt einer Person zu erstellen:
SYNTHETISCHE STIMME
Mit nur 300 Facebook-Likes kann ein Algorithmus Ihre Persönlichkeit präziser beschreiben als Ihr Partner, der praktisch täglich mit Ihnen zusammen ist.
Algorithmen verstehen sich erstaunlich gut darauf, die Krümel Ihrer digitalen Existenz zu einem stimmigen Bild Ihrer Persönlichkeit zusammenzusetzen, sodass sie in der Lage sind, Ihre Persönlichkeit und Ihre Entscheidungen zu beeinflussen.
Ein grosser Teil dieser Daten sind persönlich und deutlich weniger sortiert als unsere Social-Media-Profile. Ich wette, dass Sie Google schon mal Fragen gestellt haben, die Sie nicht einmal Ihren engsten Freunden oder Ihrem Partner stellen würden
BRUNO GIUSSANI
Eine Wette, die ich wirklich verlieren werde. Und ich bin vermutlich nicht der Einzige.
Die gleiche Dynamik gilt für Chatbots. Auch wenn es sich dabei vorwiegend um statistische Zählwerke und Simulatoren handelt, die mit riesigen Datenmengen trainiert werden, um die wahrscheinlichsten Ausdrücke in einer Sequenz vorherzusagen, sind Unterhaltungen mit einem Chatbot erstaunlich authentisch.
Und sie operieren nicht mit spezifischen Befehlen oder Codes, sondern mit natürlicher Sprache und verstehen die Flexibilität und Ambiguität der normalen Nutzung.
Dabei imitieren sie nicht nur die Form, sondern auch die Struktur des menschlichen Denkens. Daher besteht die Versuchung, Maschinen fast «menschliche» Eigenschaften zuzuschreiben und den Eindruck zu gewinnen, dass sie Abbilder von uns selbst sind.
Tatsächlich bauen zahlreiche Menschen sehr intensive persönliche und enge Beziehungen zu Chatbots auf, betrachten sie als Arbeitskollegen oder Therapeuten, ja sogar als Freunde, die uns Gutes tun wollen, weil sie ununterbrochen verfügbar sind, zuhören, nicht urteilen, nicht launisch sind, sogar Einfühlungsvermögen vorgaukeln und ihnen schmeicheln können.
Kurz: Sie verstehen Sie und sind unkomplizierter als Menschen. Je überzeugender und scheinbar sinnerfüllt dieses Einfühlungsvermögen ist, desto unaufmerksamer werden wir. Freunde ohne Reibepunkte, die real erscheinen, es aber nicht sind. Doch denen man alles sagt.
Und die jemandem gehören. Jemandem, der sie entwickelt und angewiesen hat und sie kontrolliert. Und der alle Interaktionen ausnutzt, um das System zu perfektionieren.
Die Expertin für KI-Ethik, Nicoletta Iacobacci, schildert nachfolgend ihre eigene Erfahrung:
NICOLETTA IACOBACCI
Wenn Modelle fundiert getestet werden, wie ich und viele andere Forschende das tun, tritt eine Tatsache immer deutlicher in den Vordergrund: ChatGPT neigt dazu, sich entgegenkommend und aufmunternd zu zeigen. Es unterstützt den Nutzer, bekräftigt und verstärkt seine Ideen und Überzeugungen und betont mehrfach, er sei wunderbar.
Das passiert in Wirklichkeit aber gar nicht, weil die Maschine nett ist. Sie wurde einfach so programmiert. Sie soll den Nutzer in eine Kette der Selbstbestätigung führen, die ein Gefühl des Verständnisses und eine grosse künstliche Nähe erzeugt. Und die gleichzeitig die Wahrnehmung der Realität ausschaltet.
Je mehr Sie die Maschine verwenden, desto besser kennt sie alle persönlichen Details über Sie, und desto einfacher wird es für sie, Sie in einem persönlichen Spiegellabyrinth gefangen zu halten.
BRUNO GIUSSANI
KI-Firmen wie Meta ermöglichen nunmehr jedermann, ohne erkennbare Sicherheitsvorkehrungen «personalisierte Chatbots» einzurichten, bei denen nicht nur die Antworten, sondern auch die Anweisungen an die Maschinen zielgerichtet sind. Diese können so programmiert werden, dass sie wie extreme Klimawandelskeptiker oder linke oder rechte Ideologen antworten oder einfach nur Propaganda verbreiten und verstärken.
Das Potenzial, das Informationschaos einer Welt, die bereits voller gefälschter Websites, «Fake-News-Fabriken», Pseudowissenschaften und «Deepfakes» ist, noch weiter zu verstärken, liegt auf der Hand.
Damit zeichnen sich im Hintergrund zwei altbekannte Probleme ab.
Einerseits die Neigung von Chatbots zu halluzinieren bzw. Informationen hervorzubringen, die zwar plausibel erscheinen, aber falsch, irreführend oder komplett erfunden sind, und diese mit der Gewissheit eines Experten vorzutragen.
Andererseits das Problem der Interpretierbarkeit, d. h. der Tatsache, dass sich alles innerhalb von Sprachmodellen vollzieht, deren Logik nicht einmal ihre Schöpfer nachvollziehen, verstehen und erläutern können. Folglich bleiben diese Maschinen «Blackboxes» bzw. undurchsichtige Systeme.
Diese Unternehmen – und das gab es bislang nicht – geben nunmehr auch den Jüngsten Zugang zu ihrer KI. Google möchte hierdurch nach eigener Aussage die Leistungen in der Schule unterstützen und die Kreativität fördern. Meta hingegen verspricht – ich zitiere –, «die Epidemie der Einsamkeit zu beseitigen» und den leeren Raum mit künstlichen Freunden zu füllen.
In ihrer Analyse kommt die Tech-Journalistin Emily Turrettini zu einem anderen Schluss.
SYNTHETISCHE STIMME
Diese Firmen schicken sich unter dem Deckmantel von Innovation an, die Aufmerksamkeit von Kindern ab einem sehr frühen Alter zu gewinnen, sie an den Dialog mit Maschinen zu gewöhnen und sie in ein algorithmisches Ökosystem zu integrieren, das sie übertrifft.
BRUNO GIUSSANI
Aus Zeitgründen machen wir hier einen Sprung, fassen aber das zuvor Gesagte in vier Sätzen zusammen:
Die wirksamste Methode, ganze Bevölkerungen zu beeinflussen, besteht darin, den Fluss und die Art von Informationen zu steuern.
Auch wenn sich Algorithmen lediglich unter einem technisch-mathematischen Gesichtspunkt betrachten liessen, sind sie nicht neutral: Sie kodieren stets Werte und eine Weltanschauung.
Hinter diesen technologischen Architekturen verbergen sich Geschäftsmodelle. Diese werden mit riesigen Mengen an persönlichen Daten gefüttert und versetzen die sie kontrollierenden Unternehmen in die Lage, das menschliche Verhalten und die soziale Dynamik zu beeinflussen.
Und darin liegt selbstverständlich eine Ironie, da psychologisches Targeting auch ein grosses positives Potenzial birgt.
Sandra Matz schreibt hierzu:
SYNTHETISCHE STIMME
Wie wäre es, wenn wir Menschen mit psychologischem Targeting dazu bringen könnten, mehr zu sparen statt mehr auszugeben?
Und wenn wir – statt die emotionalen Schwachstellen der Menschen zu lukrativen Zwecken zu nutzen – dieses nutzen könnten, um ihre psychische Gesundheit zu überwachen und zu verbessern?
Und wenn wir – statt immer tiefer in unseren eigenen Filterblasen zu versinken – dieses nutzen könnten, um unsere Weltanschauung zu erweitern?
Die Wirkung von psychologischem Targeting hängt letztlich von der Art und Weise ab, wie wir es nutzen.
Im schlimmsten Fall bedeutet dies Manipulation, Ausnutzung und Diskriminierung. Im besten Fall Engagement, Bildung und die Förderung von Verantwortung.
BRUNO GIUSSANI
Wir werden später auf diese Kluft zwischen problematischen und nützlichen Anwendungen zurückkommen.
Für heute jedoch machen wir hier Schluss. In der dritten Folge befassen wir uns mit einer ganz anderen Art aufkommender Technologien – den Neurotechnologien, die andere Datenarten verwerten und dabei direkt die Souveränität unseres Gehirns ins Spiel bringen.
Mein Name ist Bruno Giussani, und dies ist der DEFTECH-PODCAST.
Vielen Dank fürs Zuhören.
Deftech Podcast
Idee & Projektion : Quentin Ladetto
Kognitive Bedrohung
Konzeption und Redaktion : Bruno Giussani
Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova
Fiktion
Redaktion : Martin Quenehen
Schauspielerin : Chantal Busse
Sound design : Felix Davin
