Was ist Halluzination?
Zuletzt aktualisiert am · Aidan Faes
Kurz gesagt
Eine Halluzination ist eine erfundene, aber überzeugend formulierte Antwort eines Sprachmodells. Sie entsteht nicht aus einem Fehler im engeren Sinn, sondern aus der Bauart: Das Modell erzeugt die wahrscheinlichste Fortsetzung, auch wenn es zur Frage nichts Belastbares gelernt hat. Halluzinationen sind der wichtigste Grund, warum KI-Ergebnisse geprüft werden müssen.
Gefährlich sind Halluzinationen, weil sie sich sprachlich nicht von richtigen Antworten unterscheiden. Erfundene Paragrafen, nicht existierende Normen, falsche Ansprechpartner und plausible, aber falsche Zahlen kommen im selben ruhigen Ton daher wie geprüfte Auskünfte. Wer nur auf den Tonfall achtet, hat kein Erkennungsmerkmal. Deshalb ist der Umgang damit eine organisatorische Frage und keine technische.
Am stärksten treten sie bei Fragen nach konkreten Fakten auf, die das Modell nicht kennen kann: interne Bestände, Vertragsstände, aktuelle Preise, seltene Rechtsfragen. Deutlich seltener sind sie, wenn ein Text mitgeliefert wird und die Aufgabe lautet, ihn zusammenzufassen oder umzuformulieren. Diese Beobachtung ist die eigentliche Auswahlregel für Anwendungsfälle: Aufgaben mit mitgeliefertem Material sind sicher, Wissensfragen ohne Material sind es nicht.
Die wirksamste Gegenmaßnahme ist RAG, also die Anbindung an die eigenen Dokumente, verbunden mit einer Quellenangabe zu jeder Aussage. Wenn ein Assistent auf Nachfrage die Textstelle zeigen kann, aus der eine Antwort stammt, lässt sich in Sekunden prüfen, ob sie trägt. Fehlt die Belegstelle, ist die Antwort für geschäftliche Zwecke wertlos, so gut sie auch klingen mag.
Der typische Fehler in Betrieben ist eine pauschale Warnung im Intranet und sonst nichts. Wirksam ist stattdessen eine Festlegung, an welchen Stellen ein Mensch prüft, bevor ein Ergebnis wirksam wird, also ein Human in the Loop mit klarer Zuständigkeit. Dazu gehört, Fehler zu sammeln statt zu verschweigen, denn erst daraus entstehen bessere Vorlagen und bessere Systemprompts.
Prüfpunkte, bevor Sie einer KI-Antwort folgen
- Gibt es eine Quellenangabe, und führt sie zu einem Dokument, das Sie kennen?
- Enthält die Antwort Zahlen, Daten oder Paragrafen? Diese immer gegenprüfen.
- Wurde das Material mitgeliefert, oder soll das Modell aus dem Gedächtnis antworten?
- Wäre ein Fehler an dieser Stelle teuer? Dann gehört eine zweite Person dazwischen.
Welche Begriffe hängen damit zusammen?
- Retrieval Augmented Generation: Verfahren, bei dem passende Firmendokumente gesucht und dem Modell mitgegeben werden, damit die Antwort auf Belegen beruht.
- Quellenangabe: Der Verweis auf das Dokument, aus dem eine Antwort stammt. Ohne ihn lässt sich eine Antwort nicht prüfen.
- Human in the Loop: Ein festgelegter Punkt, an dem ein Mensch prüft, bevor ein Ergebnis wirksam wird.
Wo wird Halluzination in der Auswahl konkret?
Begriffe helfen erst, wenn sie an einer Entscheidung hängen. Halluzination spielt vor allem in KI-Assistenten & LLM-Plattformen und Wissen & Suche eine Rolle. Dort sehen Sie, wie die geprüften Lösungen mit dem Punkt umgehen, jeweils mit Quelle und Stand-Datum.
Weiter im Glossar
Häufige Fragen
Verschwindet das Problem mit besseren Modellen?
Es wird seltener, aber es verschwindet nicht, weil es aus dem Funktionsprinzip folgt. Planen Sie deshalb dauerhaft mit einer Prüfstufe, statt auf die nächste Modellgeneration zu warten.
Haften wir, wenn wir eine falsche KI-Auskunft weitergeben?
Verantwortlich bleibt Ihr Unternehmen, denn die Software wird als Werkzeug eingesetzt. Genau deshalb sollten Freigaben für Angebote, Rechtsauskünfte und Zusagen immer bei einem Menschen liegen. Lassen Sie die Einzelheiten für Ihren Fall rechtlich prüfen.
Wie erklären wir das der Belegschaft, ohne Angst zu erzeugen?
Am besten mit einem Vergleich aus dem Alltag: Ein Entwurf einer Aushilfe wird auch gegengelesen, bevor er hinausgeht. Zeigen Sie in der Schulung zwei echte Fehlbeispiele aus dem eigenen Haus, das wirkt besser als jede allgemeine Warnung.