RAG (Retrieval Augmented Generation)

Woher der Begriff kommt und wo er normiert ist

RAG ist einer der wenigen Begriffe in diesem Glossar mit einer eindeutigen Primärquelle. Er stammt aus der Arbeit Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks von Lewis und anderen, veröffentlicht 2020 bei der Konferenz NeurIPS. Beschrieben ist dort eine Architektur, in der ein Suchbestandteil und ein generierendes Modell gemeinsam trainiert werden.

Im heutigen Sprachgebrauch ist der Begriff weiter gefasst. Gemeint ist meist jede Verarbeitungskette, die vor der Antwort eine Suche ausführt und deren Treffer als Kontext an ein Sprachmodell übergibt, ohne dass dafür etwas nachtrainiert würde. Diese Verschiebung ist wichtig, wenn zwei Anbieter beide von RAG sprechen: Sie können sehr verschiedene Dinge meinen, und keine Stelle legt fest, wer den Begriff verwenden darf.

Wie der Ablauf aussieht

Eine RAG-Kette zerfällt in einen vorbereitenden Teil und einen Teil, der bei jeder Frage abläuft.

• Vorbereitung: Der Bestand wird erschlossen, in Abschnitte zerlegt und indexiert. Dieser Schritt geschieht einmal je Dokument, nicht je Frage.
• Suchschritt: Zur Frage werden die passenden Abschnitte gesucht, in aller Regel semantisch, oft kombiniert mit einer lexikalischen Suche.
• Rechteprüfung: Es bleiben nur Abschnitte übrig, die die fragende Person sehen darf. Diese Prüfung gehört in den Suchschritt und nicht dahinter.
• Kontextaufbau: Die verbliebenen Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben. Der Platz dafür ist begrenzt, es kommen also nicht alle Treffer mit.
• Generierung und Beleg: Das Modell formuliert die Antwort aus diesen Abschnitten und gibt an, aus welchen Fundstellen sie stammt.

Warum diese Bauform überhaupt gebraucht wird

Ein Sprachmodell kennt nur, was in seinem Training vorkam. Interne Verträge, Protokolle und Kalkulationen eines Unternehmens gehören nicht dazu, und ein Modell nachzutrainieren wäre für einen Bestand, der sich täglich ändert, weder wirtschaftlich noch aktuell zu halten. RAG löst das, indem der Bestand nicht ins Modell wandert, sondern zur Laufzeit an es übergeben wird. Der zweite Vorteil wiegt in der Praxis oft schwerer: Weil die Antwort aus konkreten Fundstellen entsteht, lässt sie sich zurückverfolgen.

Welche Varianten es gibt

• Einfache Kette: eine Suche, ein Modellaufruf. Schnell und gut nachvollziehbar, schwach bei Fragen, die mehrere Quellen verbinden müssen.
• Hybride Suche mit Nachsortierung: lexikalische und semantische Treffer werden zusammengeführt und von einem weiteren Modell sortiert, bevor sie in den Kontext gehen. Mehr Aufwand, deutlich stabilere Auswahl.
• Mehrschrittige Verfahren: Das System stellt selbst Zwischenfragen, sucht mehrfach und setzt die Antwort daraus zusammen. Stärker bei komplexen Fragen, dafür langsamer und schwerer zu prüfen.
• Verzicht auf die Suche: Passt der gesamte relevante Text in den Kontext des Modells, kann man ihn vollständig übergeben. Das ist für einzelne Dokumente sinnvoll und für einen Unternehmensbestand keine Option.

Quer zu allen Varianten steht die Frage, wo der Suchschritt und wo die Generierung stattfinden. Beides kann bei verschiedenen Anbietern in verschiedenen Rechtsräumen liegen, siehe Datenresidenz und Datensouveränität.

Wie Nexoria das umsetzt

Die Faktenschicht nennt für die Dokumentensuche ausdrücklich RAG mit Hybrid-Retrieval und automatische Quellenangabe bei jeder Antwort. Der Suchschritt arbeitet auf dem Index, der beim Ablegen in Nexoria Drive entsteht, die Rechteebene liegt bei den Workspaces, und formuliert wird die Antwort im Assistenten Nex.

Freigegebener Wortlaut zur Suche: Die Dokumentensuche durchsucht die Inhalte eines Workspaces semantisch und nennt zu jedem Ergebnis die Quelle.

Die beiden Schritte laufen an verschiedenen Orten. Für den Suchschritt gilt: Dokument-Embeddings, Analyse und semantische Suche laufen vollständig lokal auf deutschen Servern. Für die Generierung gilt: Die Antwortgenerierung nutzt Mistral AI mit Sitz in Paris, EU. Die Verarbeitungskette der Kernplattform bleibt in der EU.

Was mit den übergebenen Inhalten geschieht: Inhalte aus der Plattform werden nicht zum Trainieren von KI-Modellen verwendet. Mistral AI sichert für den API-Betrieb zu, dass über die Schnittstelle gesendete Daten nicht in das Modelltraining einfließen. Festgeschrieben im Auftragsverarbeitungsvertrag. Dazu gehört die Einschränkung: Die Herstellerdokumentation von Mistral AI beschreibt daneben ein Training als Verantwortlicher, soweit der Kunde nicht widersprochen hat.

Wo die Grenzen liegen

• Die Antwort ist höchstens so gut wie der Suchschritt. Findet er die falschen Abschnitte, formuliert das Modell die falsche Antwort flüssig und mit Fundstelle.
• Eine Quellenangabe ist kein Beweis. Sie sagt, aus welcher Stelle die Antwort gebildet wurde, nicht, dass die Stelle richtig verstanden wurde. Bei rechtlich oder finanziell erheblichen Aussagen bleibt das Nachlesen Pflicht.
• Der Kontext ist begrenzt. Fragen, die über sehr viele Dokumente hinweg zusammenfassen sollen, treffen an dieser Stelle auf eine harte Grenze.
• Zur Güte der Antworten gibt es bei Nexoria keine veröffentlichte Messung mit offengelegter Methodik. Deshalb steht hier keine Prozentangabe.