Semantische Dokumentensuche

Woher der Begriff kommt und wo er normiert ist

Der Wunsch, nach Bedeutung statt nach Wortform zu suchen, ist so alt wie das Information Retrieval selbst. Praktisch brauchbar wurde er, als sich Textabschnitte durch trainierte Modelle in Vektoren überführen ließen, die inhaltliche Ähnlichkeit als geometrische Nähe abbilden. Eine viel zitierte Referenzarbeit dazu ist Dense Passage Retrieval von Karpukhin und anderen aus dem Jahr 2020. Sie vergleicht das Verfahren ausdrücklich mit einer Volltextsuche nach BM25, dem Rankingverfahren, das die lexikalische Suche seit den 1990er Jahren prägt.

Im deutschen Sprachgebrauch werden semantische Suche, Vektorsuche und dense retrieval weitgehend gleichbedeutend verwendet. Die Bezeichnung semantische Dokumentensuche betont dabei den Anwendungsfall: durchsucht wird ein Dokumentenbestand, nicht eine Datenbank mit Feldern.

Wie das Verfahren arbeitet

Abschnittsbildung

Ein ganzes Dokument ist als Sucheinheit zu grob. Ein Rahmenvertrag mit vierzig Seiten handelt von vielen Dingen, seine Gesamtbedeutung ist unscharf. Deshalb wird der Text zuerst in Abschnitte zerlegt. Wie diese Zerlegung ausfällt, entscheidet mit über die Qualität aller späteren Treffer: Zu kleine Abschnitte verlieren den Zusammenhang, zu große verwässern die Bedeutung. Übliche Verfahren schneiden entlang von Überschriften und Absätzen und lassen die Abschnitte einander leicht überlappen, damit ein Satz an der Schnittkante nicht verloren geht.

Einbettungen und Abstand

Jeder Abschnitt wird durch ein Modell in einen Vektor überführt, eine Zahlenfolge mit fester Länge. Diese Darstellungen heißen Embeddings oder Einbettungen. Sie sind so trainiert, dass inhaltlich ähnliche Texte nahe beieinander liegen. Die Suchanfrage durchläuft dasselbe Modell und landet im selben Raum. Gesucht wird anschließend nach den nächstgelegenen Abschnitten, meist über das Kosinusmaß, also über den Winkel zwischen den Vektoren.

Bei einigen tausend Abschnitten ließe sich jeder Abstand einzeln ausrechnen. Bei Millionen ist das zu langsam, deshalb kommen Näherungsverfahren zum Einsatz, die nur einen Teil des Raums prüfen. Sie liefern nicht garantiert die besten Treffer, sondern sehr wahrscheinlich sehr gute. Diese Unschärfe ist eine bewusste Bauentscheidung und kein Fehler.

Kombination mit der Volltextsuche

In der Praxis wird selten nur semantisch gesucht. Die lexikalische Suche ist bei Aktenzeichen, Belegnummern, Produktcodes und Eigennamen kaum zu schlagen, weil dort die Zeichenkette selbst die Bedeutung trägt. Üblich ist deshalb, beide Trefferlisten zu erzeugen und zusammenzuführen. Dafür hat sich die Bezeichnung Hybrid-Retrieval eingebürgert. Häufig folgt ein zweiter Schritt, in dem ein weiteres Modell die engere Auswahl noch einmal sortiert.

Welche Bausteine und Anbieter es gibt

Ein semantischer Suchpfad besteht aus drei austauschbaren Teilen. Sie können von verschiedenen Anbietern stammen und an verschiedenen Orten laufen.

• Das Einbettungsmodell: entweder als Dienst über eine Schnittstelle oder lokal auf eigener Hardware betrieben. Von dieser Entscheidung hängt ab, ob Dokumentinhalte das eigene Rechenzentrum verlassen.
• Der Vektorspeicher: als Erweiterung einer vorhandenen Datenbank, etwa pgvector für PostgreSQL, als Bibliothek wie FAISS oder als eigenständiger Dienst. Die Wahl beeinflusst Betrieb und Skalierung, selten die Trefferqualität.
• Der lexikalische Index für den hybriden Teil: in aller Regel ein System aus der Lucene-Familie, also Elasticsearch, OpenSearch oder Apache Solr.

Werden die Treffer anschließend von einem Sprachmodell zu einer formulierten Antwort verarbeitet, kommt ein vierter Baustein hinzu. Diese Bauform heißt RAG, sie ist in einer eigenen Primärquelle beschrieben.

Wie Nexoria das umsetzt

In der Plattform trägt das Verfahren den Produktnamen Dokumentensuche. Sie arbeitet auf dem Index, der beim Ablegen von Dateien in Nexoria Drive entsteht, und steht sowohl im Assistenten Nex als auch in einem eigenen Suchfenster zur Verfügung. Als Verfahren nennt die Faktenschicht semantische Suche über die Inhalte des Workspaces sowie RAG mit Hybrid-Retrieval, also die Kombination von lexikalischer und semantischer Suche.

Freigegebener Wortlaut zur Funktionsweise: Die Dokumentensuche durchsucht die Inhalte eines Workspaces semantisch und nennt zu jedem Ergebnis die Quelle.

Für die Frage, wo die Einbettungen berechnet werden, gilt: Dokument-Embeddings, Analyse und semantische Suche laufen vollständig lokal auf deutschen Servern. Die Antwortgenerierung ist davon getrennt und findet nicht am selben Ort statt, siehe Datenresidenz.

Wo die Grenzen liegen

• Ähnlichkeit ist kein Wahrheitsmaß. Ein Abschnitt kann inhaltlich sehr nah an der Frage liegen und trotzdem die falsche Auskunft enthalten, etwa weil er aus einer abgelösten Vertragsfassung stammt.
• Bei exakten Kennungen ist die semantische Suche der wortgenauen unterlegen. Deshalb die Kombination beider Verfahren, nicht der Ersatz.
• Die Rangfolge ist nicht mehr aus einzelnen Wörtern erklärbar. Sie ergibt sich aus einem Abstandswert, was die Fehlersuche erschwert.
• Ein Scan ohne Textebene und eine Tonaufnahme sind für das Verfahren zunächst unsichtbar. Sie müssen zuvor in Text überführt werden.
• Zur Trefferqualität der Nexoria-Suche gibt es keine veröffentlichte Messung mit offengelegter Methodik. Prozentangaben dazu stehen deshalb auf keiner Seite dieser Website.