Stellen Sie sich vor, Sie fahren mit dem Auto durch eine fremde Gegend. Das Navi sagt links abbiegen, der Weg sieht seltsam aus, ein Schild warnt vor einer überfluteten Furt. Sie biegen trotzdem ab. Klingt absurd? Es kommt ständig vor. Im Englischen hat sich dafür sogar ein eigener Begriff eingebürgert, Death by GPS. Eine systematische Studie identifizierte zwischen 2010 und 2016 allein 158 dokumentierte Fälle, in denen Menschen ihrem Navigationsgerät blind in Gefahr gefolgt sind. 52 davon endeten tödlich.
Das Vertrauen in die Maschine hört nicht bei einem Navi auf. 2016 untersuchten Forscher vom Georgia Institute of Technology, wie Menschen einem Roboter im Notfall begegnen. Im Versuch ertönte ein Feueralarm, künstlicher Rauch zog durch den Raum. Der Roboter zeigte den Versuchsteilnehmern einen Fluchtweg in eine ihnen unbekannte Richtung. Direkt hinter dem Roboter war ein leuchtendes Notausgangsschild zu sehen, das in die Gegenrichtung zum bekannten Haupteingang zeigte. Alle 26 Teilnehmer gingen trotzdem dem Roboter nach, auch diejenigen, die ihn kurz zuvor als unzuverlässig erlebt hatten. In einer Erweiterung der Studie führte der Roboter die Probanden sogar in einen dunklen, durch ein Möbelstück versperrten Raum. Einige quetschten sich an dem Hindernis vorbei und folgten ihm hinein.
Und bei modernen Sprachmodellen sieht es ähnlich aus. Wir akzeptieren Antworten von ChatGPT und ähnlichen Werkzeugen, ohne sie zu prüfen, selbst wenn andere verfügbare Informationen dagegen sprechen.
Drei Phänomene, ein Muster. Wer KI sinnvoll einsetzen will, muss verstehen, warum dieses blinde Vertrauen entsteht und was man dem entgegensetzen kann.
Warum machen wir das?
Die Antwort liegt in unserer Psychologie. Zwei Mechanismen wirken zusammen, und beide sind schon lange erforscht.
Der Kern dieses Phänomens ist der Mechanismus namens Automationsbias. Die Forschung zum Thema hat lange vor der Zeit der Sprachmodelle begonnen. Wir neigen dazu, automatisierten Systemen mehr zu vertrauen als der eigenen Wahrnehmung oder anderen Menschen, weil wir Maschinen für objektiv halten: "Der Computer hat keine Eigeninteressen und keine Tagesform. Er sagt mir die Wahrheit." Das ist die unbewusste Annahme, die wir treffen. Sie ist grundlegend falsch.
Die Maschinen selbst sind nicht neutral. Ein Sprachmodell lernt aus den Texten des Internets, und diese sind voll von menschlichen Vorurteilen, unausgewogenen Meinungen, Fehlinformationen und Irrglauben. Diese Verzerrungen wandern ins Modell und bleiben dort. Amazon musste 2017 ein internes Bewerbungssystem abschalten, das systematisch Frauen benachteiligte, weil es aus zehn Jahren männlich dominierter Bewerbungsdaten gelernt hatte, was ein geeigneter Kandidat war. Das Bundesamt für Sicherheit in der Informationstechnik nennt dieses Phänomen den Datenbias. Der Punkt ist immer derselbe: Was ins Modell hineingeht, kommt aus ihm wieder heraus. Eine Maschine, die auf menschlichen Daten trainiert wurde, trägt unsere Fehler in sich.
Wie aktuell die Forschung zum Automationsbias ist, zeigt eine Studie von Februar 2026. Forschende um Clara Colombatto konnten experimentell belegen, dass Menschen einem KI-System mehr vertrauen als einem menschlichen Berater, selbst wenn beide exakt dieselbe Antwort geben. Den Unterschied macht allein die Schnelligkeit der Maschine. Wir interpretieren ihre sofortige Reaktion als Zeichen innerer Sicherheit, obwohl sie nichts darüber aussagt, ob die Aussage stimmt.
Hinzu kommt der ELIZA-Effekt. Wenn ein Sprachmodell flüssig formuliert, schreiben wir ihm unbewusst Verstehen und Urteilskraft zu. Unser Gehirn hat diese Verknüpfung ein Leben lang gelernt: Wer spricht wie ein Mensch, denkt wie einer. Den Mechanismus habe ich in einem eigenen Artikel ausführlich beschrieben.
Bei einem System, das wie ein Mensch spricht und gleichzeitig wie eine Maschine wirkt, schlagen Automationsbias und ELIZA-Effekt zusammen zu. Der Erste lässt uns Maschinen für objektiver halten, als sie sind. Der Zweite führt dazu, dass uns das Sprachmodell zu allem Überfluss menschlich erscheint.
Wie verbreitet ist das?
Die Beispiele mögen wie Ausnahmen wirken. Sind sie aber nicht. In sechs experimentellen Studien zeigten Forschende um Jennifer Logg, dass Menschen Ratschläge stärker gewichten, wenn sie diese für die Empfehlung eines Algorithmus hielten. Der Befund war ähnlich bei verschiedenen Aufgaben, von numerischen Schätzungen bis zu Vorhersagen über die Beliebtheit von Liedern.
Bemerkenswert ist, dass die Forscher selbst vom Ergebnis überrascht waren. Sie erwarteten, dass Menschen Algorithmen eher Misstrauen begegnen. Sechs unabhängige Experimente belegten das Gegenteil. Sie nannten das Phänomen "Algorithm Appreciation".
Was sind die Folgen?
Genau diese Frage untersuchte ein Forschungsteam der Martin-Luther-Universität Halle-Wittenberg. Dabei verglichen Forscher, wie Teilnehmer mit vorhandenen Informationen und Ratschlägen von Experten und ChatGPT umgingen. Menschen neigten dazu, sich bei finanziell riskanten und ethisch relevanten Entscheidungen zu sehr auf KI-Empfehlungen zu verlassen. Auch dann, wenn diese im Widerspruch zu den verfügbaren Informationen und der eigenen Einschätzung der Beteiligten standen. Dies führte im Experiment zu unerwünschten Folgen für Teilnehmer selbst und für Dritte. Allein das Wissen darum, dass ein Ratschlag von einer KI stammt, veranlasste Menschen dazu, sich darauf zu verlassen.
Damit war eine wichtige Grenze überschritten. Bisher konnte man argumentieren, blindes Vertrauen in Maschinen sei eine Eigenheit von Stresssituationen wie beim Autofahren im fremden Land oder dem Notfall mit dem Roboter. Die Halle-Wittenberger Studie zeigt, dass es im Alltag passiert.
Aus dem Navi, das eine Person in einen See führt, ist damit eine Frage der Geschäftspraxis geworden. Hier wird aus einer psychologischen Eigenheit ein wirtschaftliches Problem mit Konsequenzen für Unternehmen und Teams.
Was wir daraus machen
Der erste Schritt ist Bewusstsein. Wer weiß, dass der Automationsbias existiert, kann ihm bewusster begegnen. Das gilt für jeden einzelnen Nutzer einer KI, und es gilt umso mehr für Verantwortliche, die KI in Geschäftsprozesse einführen.
Bemerkenswert ist dabei ein Paradox aus dem Geschäftsalltag, besonders sichtbar bei Stadtwerken und in regulierten Branchen. Bei klassischen Vorgängen wird das Vier-Augen-Prinzip exzessiv angewandt. Buchungen werden gegengezeichnet, Freigaben eingefordert, alles doppelt und dreifach geprüft. Bei KI-Output dagegen wird die Antwort hingenommen, ohne dass irgendjemand noch mal draufschaut. Wir prüfen also dort am sorgfältigsten, wo die Fehlerwahrscheinlichkeit ohnehin gering ist, und schauen weg, wo das System grundsätzlich schätzt statt rechnet.
Wer folgende vier Regeln in der Praxis beherzigt, kann von KI-Einsatz profitieren, ohne sich dabei unkalkulierbaren Risiken auszusetzen:
- Eine KI-Aussage ist eine Schätzung mit einem gewissen Unsicherheitsgrad, keine Wahrheit in letzter Instanz.
- Bei jedem wichtigen Thema soll man kurz innehalten und sich fragen, ob man die Antwort oder den Ratschlag von einem Menschen ungeprüft übernehmen würde. Wenn nein, dann gilt es für die KI erst recht.
- Sind rechtliche Folgen im Spiel, dann gehört eine echte Gegenprüfung dazu, kein gleichgültiges Abnicken.
- Bei der Auswahl von KI-Anbietern lohnt sich der Blick darauf, ob das System offen mit Unsicherheiten umgeht oder sich immer souverän gibt.
Zurück zum Navi. Wer einmal an einer überschwemmten Furt umgedreht hat, weil er dem Warnzeichen und den eigenen Augen mehr vertraut hat, hat die Lektion gelernt. Bei der KI gibt es kein Warnschild. Wir müssen es uns selbst basteln.
Quellen und weiterführende Links
Death by GPS und Navigations-Überverlassen
- Wikipedia, "Death by GPS": https://en.wikipedia.org/wiki/Death_by_GPS
- Lin et al. (2017), systematische Studie zu 158 dokumentierten Fällen: https://www.researchgate.net/publication/312936003_Understanding_Death_by_GPS_A_Systematic_Analysis_of_Catastrophic_Incidents_Associated_with_Personal_Navigation_Technologies
- heise.de, "Zahlen, bitte! 52 Tode durch GPS" (Juli 2025): https://www.heise.de/hintergrund/Zahlen-bitte-52-Tode-durch-GPS-10478219.html
- NZZ, "Tod durch GPS: Wieso uns das Navi verdummt" (Februar 2024): https://www.nzz.ch/wissenschaft/tod-durch-gps-wieso-uns-navi-verdummt-ld.1799219
Robotik und Vertrauen unter Notfallbedingungen
- Robinette et al. (2016), Overtrust of Robots in Emergency Evacuation Scenarios: https://moralai.cs.duke.edu/documents/article_docs/robinette_overtrust_of_robots.pdf
Algorithm Appreciation und Bevorzugung von Algorithmen
- Logg, Minson, Moore (2019): https://www.hbs.edu/ris/Publication%20Files/17–086_610956b6–7d91–4337–90cc-5bb5245316a8.pdf
- Colombatto et al. (Februar 2026), KI-Vertrauen bei identischer Antwort: https://www.it-daily.net/it-management/ki/mehr-vertrauen-in-ki-als-menschen
Praktische Folgen des Überverlassens
- Klingbeil, Grützner, Schreck (2024), Computers in Human Behavior, Open Access: https://www.sciencedirect.com/science/article/pii/S0747563224002206
Bias in KI-Modellen
- Wikipedia, Automation Bias: https://en.wikipedia.org/wiki/Automation_bias
- BSI-Whitepaper zu Bias in KI mit Abschnitt Automationsbias: https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Whitepaper_Bias_KI.pdf
- Reuters, Jeffrey Dastin (Oktober 2018): Amazon scraps secret AI recruiting tool that showed bias against women
- MIT Technology Review (Oktober 2018), deutsche Zusammenfassung des Reuters-Berichts: https://www.technologyreview.com/2018/10/10/139858/amazon-ditched-ai-recruitment-software-because-it-was-biased-against-women/