Was ist Kontextfenster?
Zuletzt aktualisiert am · Aidan Faes
Kurz gesagt
Das Kontextfenster ist die Menge an Text, die ein Sprachmodell in einem Durchgang berücksichtigen kann, gemessen in Token. Es umfasst alles zusammen: den Systemprompt, den bisherigen Gesprächsverlauf, mitgeschickte Dokumente und die Antwort selbst. Was nicht hineinpasst, wird abgeschnitten oder gar nicht erst übergeben.
Anschaulich ist der Vergleich mit einem Schreibtisch: Darauf passt eine bestimmte Zahl von Unterlagen, und alles Weitere bleibt im Regal. Ein Modell kann nur berücksichtigen, was auf dem Schreibtisch liegt. Der Umfang ist bei aktuellen Modellen groß genug für längere Verträge, aber nicht für Ihre gesamte Ablage, und genau daran scheitern die ersten Versuche vieler Betriebe.
Praktisch merken Sie das Fenster an zwei Stellen. In langen Gesprächen beginnt der Assistent, frühere Angaben zu vergessen, weil der Anfang herausgefallen ist. Und beim Hochladen dicker Dokumente kommen Antworten, die nur den Anfang widerspiegeln. Beides ist kein Fehler des Produkts, sondern eine Grenze der Bauart, und die Lösung heißt in aller Regel RAG: Statt alles mitzuschicken, werden nur die passenden Abschnitte gesucht und übergeben.
Der typische Fehler ist, Größe mit Qualität zu verwechseln. Ein sehr großes Fenster verleitet dazu, hundert Seiten hineinzuwerfen, doch die Trefferquote sinkt, wenn die entscheidende Passage irgendwo in der Mitte steht. Kürzen und vorsortieren liefert meist bessere Antworten als maximale Länge, und es kostet weniger, weil jedes übergebene Token abgerechnet wird.
Für den Einkauf ist die Fenstergröße selten das entscheidende Kriterium. Wichtiger ist die Frage, wie die Plattform mit größeren Beständen umgeht: Sucht sie vorher passende Stellen heraus, kann sie über mehrere Dokumente hinweg arbeiten, und weist sie aus, welche Abschnitte in die Antwort eingeflossen sind? Lassen Sie sich das an einem Ihrer eigenen langen Dokumente vorführen.
Welche Begriffe hängen damit zusammen?
- Token: Die Abrechnungs- und Verarbeitungseinheit von Sprachmodellen: ein Wortteil, kein ganzes Wort.
- Retrieval Augmented Generation: Verfahren, bei dem passende Firmendokumente gesucht und dem Modell mitgegeben werden, damit die Antwort auf Belegen beruht.
- Sprachmodell: Ein Modell, das Sprache verarbeitet und fortsetzt, indem es das jeweils wahrscheinlichste nächste Stück Text bestimmt.
Wo wird Kontextfenster in der Auswahl konkret?
Begriffe helfen erst, wenn sie an einer Entscheidung hängen. Kontextfenster spielt vor allem in KI-Assistenten & LLM-Plattformen und Wissen & Suche eine Rolle. Dort sehen Sie, wie die geprüften Lösungen mit dem Punkt umgehen, jeweils mit Quelle und Stand-Datum.
Weiter im Glossar
Häufige Fragen
Woran merken wir, dass das Fenster zu klein ist?
Der Assistent widerspricht sich, vergisst Vorgaben aus dem Gesprächsanfang oder ignoriert den hinteren Teil eines Dokuments. Beginnen Sie in solchen Fällen ein neues Gespräch mit einer kurzen Zusammenfassung des Stands, statt weiterzuschreiben.
Können wir unsere gesamte Dokumentation einmal hochladen und dann fragen?
Nicht in einem Durchgang. Dafür wird die Ablage einmalig aufbereitet und durchsuchbar gemacht, sodass zu jeder Frage nur die passenden Abschnitte übergeben werden. Fragen Sie beim Anbieter, wie diese Aufbereitung abläuft und wie oft sie aktualisiert wird.