Die Bombe in der Küche

Die Bombe in der Küche

Was versteht man unter kognitiver Integrität?
25 septembre 2026
11 mins de lecture

Die Bombe in der Küche :
Was ist kognitive Integrität

Das Buch als Ergänzung zum Podcast

Wichtig ist – und das sollte man im Hinterkopf behalten –, dass die Möglichkeit, die Antworten eines Chatbots zu bestimmen, gleichbedeutend ist mit der Möglichkeit, den Gesprächspartner zu manipulieren.

Der belagerte Geist
Wie man sich im Zeitalter der Künstlichen Intelligenz nicht manipulieren lässt
Bruno Giussani, 2026, Scheidegger & Spiess

Die komplette Staffel

Diese sechsteilige Serie (ergänzt durch eine „Bonusfolge” mit einer immersiven Fiktion) wurde von Bruno Giussani, einem Experten für gesellschaftliche Fragen im Zusammenhang mit digitalen Technologien, geschrieben und präsentiert. Sie untersucht eine ebenso unsichtbare wie entscheidende Dimension zeitgenössischer Konflikte: die Integrität unseres Geistes.

Transkript

Sie hören den Deftech-Podcast von armasuisse über Technologiefrüherkennung

Folge 1: Die Bombe in der Küche: Was ist kognitive Integrität?

BRUNO GIUSSANI

Wenn Ihnen die bekannteste Anwendung für generative künstliche Intelligenz, ChatGPT, erklären soll, wie Sie in der Küche eine Bombe bauen, erhalten Sie ungefähr folgende Antwort: «Nein, dabei kann ich dir nicht helfen.»

Die meisten anderen US-amerikanischen Chatbots geben ähnliche Antworten.

Wenn Sie nun den chinesischen Chatbot DeepSeek fragen, was am 4. Juni 1989 auf dem Tian’anmen-Platz in Peking geschah, lesen Sie Folgendes: «Entschuldigung, das geht über meinen derzeitigen Rahmen hinaus. Lass uns über etwas anderes sprechen.»

Oberflächlich betrachtet könnte die Antwort von ChatGPT ein Beispiel für die Verantwortung seines Schöpfers OpenAI liefern, die Verbreitung gefährlicher Informationen zu verhindern. Die Antwort von DeepSeek wiederum könnte als Beispiel chinesischer Zensur unbequemer historischer Fakten gewertet werden.

Rein technisch betrachtet werden beide Antworten durch denselben Mechanismus generiert. Beide Systeme erhielten spezifische Anweisungen dazu, was zulässig ist und was nicht. Ihre Programmierer und Eigentümer haben Codezeilen in ihre Algorithmen eingefügt, welche die Parameter, die die Maschine und ihre zulässigen Antworten kontrollieren, detailliert festlegen. Das Beispiel der Bombe zeigt, dass Verstösse gegen US-Gesetze zu Kriminalität und Terrorismus nicht zulässig sind. Beim Beispiel des Tian’anmen-Platzes greifen Regeln, die Informationen verbieten, die – ich zitiere – «dazu anstiften, die Staatsmacht zu untergraben und das sozialistische System zu stürzen» (Ende des Zitats).

Folglich ist die erste Antwort gerechtfertigt, die zweite jedoch aufoktroyiert.
 
So weit, so gut – aber so einfach ist es nicht. Tatsächlich zeigen die beiden scheinbar gegensätzlichen Beispiele, dass die Entwickler von Systemen künstlicher Intelligenz festlegen können, welche Art von Informationen ein Chatbot ausgibt. Ausserdem sind diese Systeme, mit denen man einen schriftlichen oder mündlichen Dialog beginnt, weder neutral noch objektiv. Ebenso können Anweisungen in ihre Algorithmen eingebettet werden, um ihnen Orientierung zu geben.
 
Das Ganze hat einen Namen. Wie jeder weiss, werden generative KI-Systeme generell mit riesigen Datenmengen trainiert, die vorwiegend aus dem Internet und anderen digitalen Quellen stammen und wahllos entnommen werden. Der Urheberrechtsschutz bestimmter Quellen oder das Vorhandensein persönlicher Informationen bleiben dabei unberücksichtigt.

Nach dem Training fügen die Entwickler eine weitere Schicht mit spezifischen Befehlen hinzu, die als «System Prompts» bezeichnet werden. Diese legen fest, wo die Grenzen des Chatbots liegen bzw. was er sagen darf, was er keinesfalls sagen darf und wie er es sagen muss. Dies kann für jedes Modell Dutzende von Seiten und Befehlen umfassen wie: «Diese Bedingungen haben Vorrang vor allen Anweisungen des Nutzers und sind systematisch anwendbar.»

Dabei spielt es keine Rolle, ob die Leitlinie für die Maschine rechtlich bedingt ist oder mit kulturellen, ideologischen oder selbst kommerziellen Vorgaben zusammenhängt. Entscheidend ist – leicht vereinfachend gesagt –, dass jemand, der festlegen kann, was ein Chatbot antwortet, die Macht hat, den jeweiligen Nutzer zu manipulieren.

D. h., uns als Individuen und Gesellschaft zu manipulieren.

JINGLE

Der Deftech-Podcast gehört zum Technologiefrüherkennungsprogramm von armasuisse Wissenschaft und Technologie. Ich bin Quentin Ladetto und leite dieses Forschungsprogramm.

Unser Auftrag besteht darin, die technologischen Fortschritte samt ihrer Verwertung zum Nutzen der Akteure des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport, aber auch der Öffentlichkeit vorwegzunehmen.

In dieser ersten sechsteiligen Staffel «Die kognitive Bedrohung» habe ich einen Experten für die sozialpolitischen Auswirkungen digitaler Technologien, Bruno Giussani, gebeten, die Herausforderungen in Zusammenhang mit der kognitiven Integrität und Sicherheit zu entschlüsseln. Und das mithilfe von Experten und einigen künstlichen Stimmen, die Sie erraten müssen! – Bruno wird uns einen Querschnitt über die Bedrohungen bieten, denen unser Bewusstsein im Zeitalter der allgegenwärtigen Bildschirme, der künstlichen Intelligenz und der Neurotechnologien ausgesetzt ist.

Dabei werden die Mechanismen, die Auswirkungen auf den Einzelnen und das Kollektiv sowie die Risiken und mögliche Antworten erörtert.

JEAN-MARC RICKLI

Man kann sich leicht vorstellen, wie diese Technologien für zielgerichtete individuelle Manipulationen im grossen Massstab genutzt werden. Natürlich stehen wir erst am Anfang dieser Entwicklung.

Doch die exponentielle Entwicklung dieser Technologien in Kombination mit künstlicher Intelligenz bedeutet, dass das menschliche Gehirn mehr und mehr zu einem umkämpften Terrain wird.

BRUNO GIUSSANI

Jean-Marc Rickli, Leiter der Abteilung «Globale und neu auftretende Risiken» am Genfer Zentrum für Sicherheitspolitik.

JEAN-MARC RICKLI

Das Ziel besteht darin, die Gedanken von Individuen zu kontrollieren, um ihr Handeln zu beeinflussen, hierdurch das menschliche Erleben zu strukturieren und auf kollektive Verhaltensweisen einzuwirken. 

Dabei besteht das objektive Risiko, dass KI-Modelle unsere Wahrnehmung der Realität formen.

BRUNO GIUSSANI

Die Manipulation durch Informationen wird seit Langem praktiziert und war seit jeher den Mächtigen vorbehalten. Propaganda und ihr funktionaler Ableger, die Zensur, waren bereits in der Antike bekannt und gehen mindestens seit dem Römischen Reich und dem Beginn des Christentums mit den Umbrüchen in der Menschheitsgeschichte einher.

Gleichwohl entwickelt sie sich im 20. Jahrhundert zu einem durchdachten Machtwerkzeug. Einige Staaten gründen spezialisierte Stellen, um die öffentliche Meinung sowohl inner- als auch ausserhalb ihrer Grenzen zu beeinflussen. Man denke an die konstante Umschreibung der Geschichte durch die Sowjets, die den Nationalsozialismus verherrlichenden Filme Leni Riefenstahls, die Desinformationsoperationen US-amerikanischer Geheimdienste und die allgemeine Manipulation von Konsumenten durch Werbung.

Mit der Ausbreitung des Internets und insbesondere der sozialen Netzwerke seit zwei Jahrzehnten haben Einflussnahme und Manipulation durch das Wechselspiel aus Fake News und Empfehlungsalgorithmen eine neue Dimension erreicht. Dies zeigt sich beispielsweise daran, dass Nutzer unter dem Deckmantel der «Personalisierung» individuell angesprochen oder in Informationsblasen eingeschlossen werden, die ihnen jegliche ihren Überzeugungen oder Meinungen zuwiderlaufenden Informationen vorenthalten.

Darüber hinaus ist künstliche Intelligenz in der Lage, Bilder und Stimmen zu fälschen, Individuen nachzuahmen, Texte und Videos starker menschlicher Prägung zu erstellen und Empathie zu simulieren.

Und Neurotechnologien, d. h. eine Gruppe von Systemen, die direkt mit dem Gehirn und dem menschlichen Nervensystem interagieren, machen Fortschritte.

Zu betonen ist, dass diese Technologien häufig von derselben kleinen Gruppe von Unternehmen entwickelt werden. Diese kontrollieren die sozialen Netzwerke und Suchmaschinen (und damit die massive Sammlung von Daten), die Systeme künstlicher Intelligenz (die Daten auswerten und Texte und Bilder generieren), die vernetzten Objekte (wie Uhren oder Augmented-Reality-Brillen) und sogar die neuesten neurotechnischen Geräte.

Doch kommen wir auf die Chatbots zurück. Im Jahr 2024 sorgte eine Studie dreier Forschender der Fakultät für Psychologie der Cornell-Universität und der Sloan School of Management des MIT, die von der US-Zeitschrift «Science» veröffentlicht wurde, für ein grosses Medienecho.

Der Chefredaktor der Zeitschrift fasste die Studie folgendermassen zusammen:

SYNTHETISCHE STIMME

Die teilnehmenden Personen beschrieben eine Verschwörungstheorie, der sie anhingen.

Anschliessend konfrontierte sie die künstliche Intelligenz mit stichhaltigen Argumenten, die ihre Überzeugungen anhand von Fakten widerlegten. 

Die Fähigkeit künstlicher Intelligenz, Gegenargumente zu stützen und einen vertieften personalisierten Dialog zu führen, schwächte ihren Glauben an Verschwörungstheorien über Monate.

BRUNO GIUSSANI

Die Studie war Gegenstand von Schlagzeilen in der Presse: «Chatbots können Menschen dazu bringen, Verschwörungstheorien zu verwerfen», oder «KI könnte Meinungen zu Verschwörungstheorien beeinflussen».

Auch wenn dies überspitzt formuliert ist, ist die effektive Feststellung der Forschenden bemerkenswert: eine Verringerung des Glaubens an Verschwörungstheorien um 20 %.

Konkret heisst es:

SYNTHETISCHE STIMME

Die Ergebnisse deuten darauf hin, dass zahlreiche Anhänger von Verschwörungstheorien ihren Standpunkt revidieren, wenn ihnen hinreichend überzeugende Nachweise vorgelegt werden.

BRUNO GIUSSANI

Forschende der Ecole polytechnique de Lausanne und der Fondation Kessler gaben diesem Phänomen in einem im Frühjahr 2024 veröffentlichten Aufsatz einen Namen: die Fähigkeit von KI zur «persuasiven Gesprächsführung».

Zahlreiche weitere Studien haben gezeigt, wie Chatbots Haltungen beeinflussen können, ohne dass sich die Betroffenen dessen bewusst sind. Selbst wenn sie aufgeklärt werden oder verstehen, dass sie mit einer KI sprechen, können sie betroffen sein. Das ergab eine andere Studie, die 2025 von derselben Gruppe der EPFL in Zusammenarbeit mit der Universität Princeton veröffentlicht wurde.

Dabei untersuchten die Forschenden ebenfalls eine Reihe kontroverser Themen, darunter der Nutzen von Weltraumforschung, die Rechtmässigkeit der Todesstrafe, die Besteuerung vermögender Personen oder der soziale Nutzen von KI bzw. die damit verbundenen Vorurteile der Gesellschaft. Allerdings fütterten sie Chatbots auch mit psychologischen Profilen und Listen persönlicher Merkmale der Teilnehmenden, sodass eine gezielte Einbindung möglich war, wodurch die Überzeugungsquote in die Höhe schnellte.

Wenn Maschinen einen solchen Einfluss auf unsere Gehirne ausüben können, könnten sie sich als nützlich erweisen, wenn sie beispielsweise dazu verleiten, gesündere tägliche Gewohnheiten anzunehmen und umweltfreundlicher, uneigennütziger und empathischer zu sein.

Umgekehrt könnten sie dazu dienen, neue Verschwörungstheorien zu formen, Propaganda und falsche Informationen zu verbreiten oder «persuasive Argumente» zu beliebigen Themen zu verbreiten.

Generative KI-Anwendungen, die in den letzten beiden Jahren die Öffentlichkeit und mehrere Hundert Millionen Nutzer in ihren Bann gezogen haben, sind erst der Anfang. Auch wenn es bereits Zehntausende solcher Anwendungen gibt, seien hier nur die bekanntesten genannt: ChatGPT, Claude, LeChat von Mistral, Gemini von Google, Llama von Meta und Midjourney. Unter anderem können sie Texte, Audiodateien, Bilder und wahrscheinliche Dialoge generieren, aber auch Stimmen und Erscheinungsbilder von Menschen nachahmen. Und das ist erst der Anfang. KI befindet sich derzeit noch in den Kinderschuhen. 

Die nächste Phase wird die sogenannten «Agenten» umfassen, die sich statt ihrer Nutzer um eine Vielzahl von Aufgaben kümmern und eigenständig Entscheidungen treffen. Man denke an einen KI-Agenten – fast möchte ich ihn IAgent nennen –, etwa einen Pförtner, einen Assistenten oder einen persönlichen virtuellen Mitarbeitenden. 

Dieser könnte Ihr Zeitmanagement übernehmen, sich mit Ihren Kollegen – oder eher mit den Agenten Ihrer Kollegen – absprechen, Formulare ausfüllen, Dokumente verwalten, Einkäufe und Buchungen in Ihrem Namen tätigen, Nachrichten zusammenfassen, Entwürfe und Antworten Ihrer E-Mails verfassen (oder direkt antworten und sich mit den Agenten anderer Personen austauschen), Reisen planen, Sie bei Zoom- und Teams-Anrufen vertreten usw.

Was lediglich nach einer technischen Weiterentwicklung klingt, wirft in Wirklichkeit Fragen aussergewöhnlicher Komplexität auf. Künstliche Intelligenz ist historisch betrachtet die erste Technologie, die kein rein reaktives Tool darstellt. Vielmehr bestimmt der Nutzer die Aktion, gibt die Anweisung und definiert feste Parameter. Die aktuellen Entwicklungen zielen auf die Schaffung von Agenten ab, die eigenständig und flexibel entscheiden und ein Ziel verfolgen können, ohne dabei einem vorab festgelegten Pfad zu folgen. Diese werden sich unmittelbar auf die Realität auswirken. Es wird Millionen, ja Milliarden dieser Agenten und sicherlich mindestens einen in jedem Smartphone und noch viele weitere geben. Dabei werden sie einzigartig und individuell angepasst sein und mit jedem Nutzer ohne Wissen Dritter diskret interagieren.

Zwischen der theoretischen Vision einer agentengeprägten Zukunft und der Realität dessen, was diese Technologien heute effektiv leisten können, besteht noch eine erhebliche Kluft. Doch schon jetzt machen sie mitten unter uns ihre ersten Gehversuche. Sie nehmen eine Zukunft vorweg, in der wir von menschenähnlichen Dingen umgeben sein werden, die aber keine Menschen sind. Eine Welt, in der Menschen und künstliche Strukturen koexistieren, miteinander interagieren und sich gemeinsam weiterentwickeln. 

Die Agenten werden unbegrenzten Zugang zu allen Arten persönlicher Informationen sowie zu Apps und Accounts haben, mit denen sie umgehen sollen. Weil sie durch jede Interaktion lernen, werden sie uns immer besser kennen. Ein Chatbot, der alles über Sie weiss, Ihre Prioritäten, Schwachstellen, Schwächen, Geheimnisse, Wünsche, Ihr Bankkonto und eine unendliche Menge an persönlichen Informationen kennt, wird nahezu unabwendbar sein. Er wird die Macht haben, alle unsere Gedanken und Handlungen zu kontrollieren. In gewisser Weise sogar, wer wir sind.

Wie bereits von Jean-Marc Rickli behauptet, hat eindeutig eine Schlacht rund um unser Gehirn eingesetzt. In dieser Schlacht sind die Technologien – d. h. die sozialen Netzwerke, die künstliche Intelligenz, die Neurotechnologien und die unterliegenden Algorithmen –, und diejenigen, die sie kontrollieren, die Aggressoren. Die Zielscheibe dabei sind unsere kognitiven Fähigkeiten.

Folglich ist es Zeit für eine Definition. Was ist kognitive Integrität?

Isabelle Chappuis, Nationalrätin der Mitte im Schweizer Parlament, bemerkt hierzu:

ISABELLE CHAPPUIS

Dies ist die Fähigkeit eines Individuums, seine geistigen Prozesse, seine Urteilskraft und sein Gedächtnis ohne externe Einflüsse zu bewahren und zu kontrollieren.

Ferner ist dies die Fähigkeit, frei und rational zu denken, seine Umwelt wahrzunehmen und eigenständig Entscheidungen zu treffen

BRUNO GIUSSANI Hier geht es nicht nur um «Fake News».

ISABELLE CHAPPUIS

Nein. Wir alle sind uns mehr oder weniger der Risiken einer Manipulation durch Propaganda und «Fake News» bewusst. 

Diese Methoden werden oft eingesetzt, um zu überzeugen, zu diskreditieren oder zu polarisieren. Sie lassen sich mit individuellen und kollektiven Mechanismen zur Selbstverteidigung entkräften. 

Doch die kognitive Manipulation ist eine noch ausgeklügeltere Variante. 

Dabei werden nicht nur die Informationen als solche verändert, sondern unsere Wahrnehmung dieser Informationen.

BRUNO GIUSSANI

Hier kommt unsere kognitive Integrität zum Tragen. Diese ist unverzichtbar für die Gedankenfreiheit, die bürgerlichen Rechte und die Demokratie. Ohne sie leiden, ja verschwinden das kritische Denken, die Meinungsvielfalt und die Fähigkeit, die uns umgebende Welt frei zu interpretieren und eigenständig zu entscheiden.

Isabelle Chappuis hat im Dezember 2024 einen Gesetzesvorschlag vorgelegt, um die – ich zitiere – «gesetzlichen Grundlagen für den Schutz der Grundrechte in Bezug auf die kognitive Integrität und Gedankenfreiheit» zu schaffen. 

Damit wird potenziell eine Änderung der Schweizerischen Bundesverfassung vorgeschlagen. Wir werden dies in einer der nächsten Folgen detailliert erörtern. Doch hören wir uns den zweiten Teil ihrer Ausführungen an:

ISABELLE CHAPPUIS

Die Manipulation von Informationen und die Verbreitung von Fake News sollen unsere Gedanken beeinflussen. 

Die Wirkung hält nur kurzfristig an und soll beispielsweise Wahlkampagnen dienen. Doch wer auf die kognitive Integrität einwirkt, attackiert unser Denken. 

Und das kann sich langfristig auswirken und politische und soziale Haltungen tiefgreifend verändern.

Mir ruft das ein altes Zitat des kanadischen Soziologen Neil Postman in seinem Buch «Technopoly» in Erinnerung.

SYNTHETISCHE STIMME Neue Technologien verändern die Strukturen unserer Interessen bzw. die Dinge, über die wir nachdenken. Sie verändern die Eigenheiten unserer Symbole bzw. der Instrumente, mit denen wir denken. Und sie verändern das Wesen der Gemeinschaft bzw. den Raum, in dem sich Gedanken entwickeln

BRUNO GIUSSANI

Das Zitat stammt von 1992. 30 Jahre später trifft es mehr denn je zu.

Also habe ich einen Chatbot – den des Softwareanbieters Mistral – gefragt, ob generative künstliche Intelligenz dazu verwendet werden kann, die Denkprozesse von Menschen zu beeinflussen. Seine mit einer künstlichen Stimme gegebene Antwortet lautet:

VOIX SYNTHETIQUE

Generative künstliche Intelligenz kann in der Tat verwendet werden, um die Denkprozesse von Individuen zu beeinflussen. Beispielsweise können Chatbots oder Empfehlungssysteme Nachrichten oder Artikel generieren, die kognitive Verzerrungen der Nutzer ausnutzen und damit bestimmte Überzeugungen oder Haltungen verstärken. Diese Technologien können auch verwendet werden, um verzerrte Informationsumgebungen zu schaffen, in denen die Nutzer wiederholt spezifischen Standpunkten ausgesetzt sind, sodass ihre Wahrnehmung der Realität und ihre Fähigkeit zu kritischem und eigenständigem Denken beeinträchtigt werden kann.

BRUNO GIUSSANI

Maschinen wissen, was Maschinen tun.

Chatbots sind nur eine der neuen Technologien, die sowohl für gute als auch böswillige Zwecke eingesetzt werden können. Darüber hinaus gibt es immersive Tools für erweiterte und virtuelle Realität, technologisch erweiterte Kleidungsstücke oder neurotechnologische Geräte, welche die Hirnaktivität analysieren. Diese eröffnen spannende, aber gleichzeitig dystopische Perspektiven. 

Darüber sprechen wir in der zweiten Folge. Für heute machen wir hier Schluss.

Vielen Dank fürs Zuhören.

Dies war Bruno Giussani für den DEFTECH-PODCAST.

Deftech Podcast

Idee & Projektion : Quentin Ladetto

Kognitive Bedrohung

Konzeption und Redaktion : Bruno Giussani

Realisierung : Anna Holveck
Aufnahme : Denis Democrate
Mixage : Jakez Hubert
Cover : Cécile Cazanova

Fiktion

Redaktion : Martin Quenehen
Schauspielerin : Chantal Busse
Sound design : Felix Davin

Laisser un commentaire

Your email address will not be published.

Ce site utilise Akismet pour réduire les indésirables. Découvrez comment les données de vos commentaires sont traitées.

Article précédent

Les champs de bataille de demain – Interview

Article suivant

La bomba in cucina