Was ist Retrieval Augmented Generation?
Zuletzt aktualisiert am · Aidan Faes
Kurz gesagt
Retrieval Augmented Generation, kurz RAG, ist ein Verfahren, bei dem zu einer Frage zuerst passende Firmendokumente gesucht und dem Sprachmodell zusammen mit der Frage übergeben werden. Die Antwort entsteht dadurch aus Ihren Unterlagen und nicht aus dem allgemeinen Sprachgefühl des Modells. RAG ist der übliche Weg, um KI mit Firmenwissen arbeiten zu lassen, ohne ein eigenes Modell zu trainieren.
Der Ablauf besteht aus vier Schritten: Ihre Dokumente werden in Abschnitte zerlegt, jeder Abschnitt wird als Embedding in einer Vektordatenbank abgelegt, zu jeder Frage werden die ähnlichsten Abschnitte gesucht, und diese Abschnitte gehen zusammen mit der Frage an das Modell. Sie können sich das als sehr schnelle Sachbearbeitung vorstellen: Erst wird die passende Akte geholt, dann wird geantwortet, und zwar nur aus dieser Akte.
Der Nutzen liegt in zwei Punkten. Antworten lassen sich mit einer Quellenangabe versehen und dadurch prüfen, und die Gefahr einer Halluzination sinkt deutlich, weil das Material mitgeliefert wird. Hinzu kommt ein betrieblicher Vorteil: Neue Dokumente wirken sofort, ohne dass irgendetwas neu trainiert werden muss. Ein aktualisiertes Handbuch ist am selben Tag Grundlage der Antworten.
Der typische Fehler ist, RAG für ein reines Technikprojekt zu halten. Die Qualität hängt an der Ablage: Wenn drei Fassungen desselben Handbuchs herumliegen, zitiert das System irgendeine davon. Bevor Sie einführen, brauchen Sie eine Aussage darüber, welche Quellen gelten, wer sie pflegt und was aussortiert wird. Diese Aufräumarbeit ist der eigentliche Aufwand und lohnt sich auch ohne die Software.
Der zweite kritische Punkt sind Berechtigungen. Ein System, das alles durchsucht, macht auf einen Schlag sichtbar, was jahrelang nur theoretisch zugänglich war, etwa Gehaltslisten in einem falsch freigegebenen Ordner. Fragen Sie deshalb ausdrücklich, ob die Rechte aus dem Quellsystem übernommen werden und ob sie bei jeder Anfrage geprüft werden oder nur beim Einlesen.
Fragen an den Anbieter zu einer RAG-Anbindung
- Welche Quellsysteme werden angebunden, und wie oft wird aktualisiert?
- Werden Zugriffsrechte aus dem Quellsystem übernommen und bei jeder Anfrage geprüft?
- Erhält jede Antwort eine Quellenangabe mit Dokument und Fundstelle?
- Was passiert bei widersprüchlichen Dokumenten, und lässt sich eine Fassung als gültig markieren?
- Wo liegen die aufbereiteten Inhalte, und was geschieht mit ihnen bei Vertragsende?
Welche Begriffe hängen damit zusammen?
- Embedding: Eine Zahlendarstellung von Text, mit der sich inhaltliche Ähnlichkeit berechnen lässt.
- Vektordatenbank: Eine Datenbank, die Embeddings speichert und nach Ähnlichkeit statt nach exakter Übereinstimmung sucht.
- Halluzination: Eine erfundene, aber überzeugend formulierte Antwort. Der wichtigste Grund, warum Ergebnisse geprüft werden müssen.
Wo wird Retrieval Augmented Generation in der Auswahl konkret?
Begriffe helfen erst, wenn sie an einer Entscheidung hängen. Retrieval Augmented Generation spielt vor allem in Wissen & Suche und KI-Assistenten & LLM-Plattformen eine Rolle. Dort sehen Sie, wie die geprüften Lösungen mit dem Punkt umgehen, jeweils mit Quelle und Stand-Datum. Ausführlicher steht das auf Wissen und Suche im Vergleich.
Weiter im Glossar
Daten, Dokumente und Wissen
Häufige Fragen
Ist RAG dasselbe wie das Trainieren mit unseren Daten?
Nein. Beim Training verändert sich das Modell, bei RAG bleibt es unverändert und bekommt die passenden Textstellen zur Frage mitgeliefert. Das ist schneller, günstiger und leichter zurückzunehmen, weil Sie nur die Quelle entfernen müssen.
Wie lange dauert die Einführung?
Die technische Anbindung an eine vorhandene Ablage ist oft in Tagen erledigt. Zeit kosten die Auswahl der Quellen, die Klärung der Berechtigungen und die Prüfung der Antwortqualität mit echten Fragen aus den Fachabteilungen.
Funktioniert das auch mit alten Papierunterlagen?
Nur, wenn sie zuvor per OCR in Text überführt wurden. Rechnen Sie bei Altbeständen mit einem eigenen Digitalisierungsschritt und prüfen Sie an einer Stichprobe, ob die Erkennungsqualität für die Suche ausreicht.