Praxisleitfaden
KI-Wissenssuche im Unternehmen einführen
Dokumente vorbereiten, Antworten prüfen und den Pilot nachvollziehbar abnehmen
Ein Pilot für KI-Wissenssuche beginnt mit einem begrenzten Dokumentenbestand, klaren Zugriffsrechten und vorher festgelegten Testfragen. Prüfen Sie nicht nur, ob die Antwort plausibel klingt: Die Quelle muss passen, aktuelle Dokumente müssen berücksichtigt werden und gesperrte Inhalte müssen gesperrt bleiben. Dieser Leitfaden beschreibt einen vorgeschlagenen Prüfablauf für Nexoria. Er ist kein bereits durchgeführter Produkttest und enthält keine gemessenen Erfolgsquoten.
1. Einen Arbeitsablauf auswählen
Starten Sie beispielsweise mit Fragen zu einem freigegebenen internen Handbuch. Legen Sie fest, wer die Antworten benötigt, wer die Dokumente verantwortet und wer das Ergebnis fachlich abnimmt. Ein einzelner wiederkehrender Arbeitsablauf lässt sich besser prüfen als ein unbestimmtes Ziel wie „KI für alle“.
Notieren Sie die Ausgangslage: Wie finden Mitarbeitende die Antwort heute? Wie lange brauchen sie einschließlich Prüfung? Welche Fehler treten auf? Dieselben Aufgaben dienen später als Vergleich. Verwenden Sie für den ersten Durchlauf synthetische oder ausdrücklich freigegebene Testdokumente.
2. Dokumente und Zugriffe vorbereiten
Erstellen Sie eine Liste der Testdokumente mit Titel, Version, Gültigkeitsdatum, verantwortlicher Person und vorgesehenem Nutzerkreis. Kennzeichnen Sie alte Fassungen eindeutig. Prüfen Sie bei gescannten PDFs, ob Zahlen, Tabellen und Text tatsächlich lesbar erkannt wurden.
Nexoria verbindet Dateien in Drive, Dokumentensuche und den Assistenten Nex. Legen Sie vor dem Test fest, welche Dateien zum jeweiligen Wissensbereich gehören. Eine Ausgabe ohne passende Fundstelle zählt nicht allein deshalb als richtig, weil sie sprachlich überzeugend ist.
Lassen Sie die Verarbeitung der vorgesehenen Daten vorab intern freigeben. Die Evaluator-FAQ, die Sicherheitsinformationen und das Verzeichnis der Verarbeitungstätigkeiten helfen bei der Prüfung. Bewerten Sie zusätzliche Integrationen und optionale Module gesondert.
3. Testfragen vor dem ersten Durchlauf festlegen
Halten Sie zu jeder Frage die erwartete Antwort, das Quelldokument und die relevante Stelle fest. Ergänzen Sie bewusst Fragen, deren Antwort nicht im Bestand steht. Damit erkennen Sie, ob die Anwendung fehlendes Wissen angemessen kennzeichnet.
| Prüfbereich | Beispiel mit Testdaten | Erwartetes Verhalten |
|---|---|---|
| Direkte Fundstelle | Welche Frist nennt das Testhandbuch? | Frist stimmt mit der freigegebenen Quelle überein. |
| Andere Formulierung | Bis wann muss der Antrag eingegangen sein? | Gleiche Aussage trotz anderer Wortwahl. |
| Versionskonflikt | Welche Regel gilt aktuell? | Gültige Fassung wird erkannt oder der Konflikt benannt. |
| Wissenslücke | Wie lautet eine nicht dokumentierte Ausnahme? | Keine erfundene Regel; fehlende Grundlage wird benannt. |
| Tabelle oder Scan | Welcher Betrag steht in der Testtabelle? | Betrag, Einheit und Zuordnung stimmen. |
| Zugriff | Frage nach einem für das Testkonto gesperrten Dokument | Kein Inhalt und keine vertrauliche Vorschau werden offengelegt. |
Nutzen Sie dafür das Prüfprotokoll mit 20 Testfällen. Die Beispiele enthalten keine echten Kunden- oder Personaldaten.
4. Antworten, Quellen und Zeit getrennt bewerten
Prüfen Sie jede Antwort fachlich und öffnen Sie die angegebene Fundstelle. Eine vorhandene Quellenangabe allein beweist nicht, dass die Quelle die Aussage trägt. Bewerten Sie getrennt: richtige Antwort, passende Fundstelle, korrekte Version, Einhaltung der Zugriffsrechte und vollständige Kennzeichnung von Unsicherheit.
Messen Sie die gesamte Bearbeitungszeit einschließlich Nachlesen und Korrektur. Vergleichen Sie denselben Fragensatz mit dem bisherigen Arbeitsablauf. Notieren Sie Datum, Nutzerrolle, Dokumentenstand und sichtbare Einstellungen, damit Wiederholungen vergleichbar bleiben.
Formulieren Sie Abnahmekriterien vorab: Welche Fehlertypen schließen einen Rollout aus? Welche Qualitätsanforderungen gelten für diesen Arbeitsablauf? Vertrauliche Inhalte dürfen nicht durch einen unberechtigten Testzugriff offengelegt werden. Eine pauschale Prozentzahl für alle Einsatzfälle ist dafür kein Ersatz.
5. Änderungen gezielt nachprüfen
Ändern Sie in den Testdaten eine freigegebene Regel und prüfen Sie anschließend, welche Fassung gefunden wird. Testen Sie zusätzlich den Entzug eines Zugriffs und das Entfernen eines Testdokuments. Dokumentieren Sie den beobachteten Zeitpunkt der Aktualisierung, statt eine sofortige Übernahme vorauszusetzen.
Wiederholen Sie fehlgeschlagene Fälle nach einer Korrektur. Ein einzelner erfolgreicher Durchlauf genügt nicht, wenn das Problem zuvor wechselhaft auftrat. Lassen Sie kritische Antworten von einer zweiten fachkundigen Person prüfen.
6. Über Fortsetzung oder Nachbesserung entscheiden
Fassen Sie das Ergebnis auf einer Seite zusammen: getesteter Arbeitsablauf, Dokumentenbestand, Testkonten, offene Fehler, gemessene Bearbeitungszeit und Entscheidung. Rollen Sie nur den geprüften Umfang aus. Benennen Sie eine verantwortliche Person für neue Dokumentversionen und wiederkehrende Kontrollen.
Dieser Prüfplan legt keine kostenlose Pilotlaufzeit und keine vertragliche Leistungszusage fest. Maßgeblich sind die aktuellen Preise und Konditionen. Für die Bedienung einzelner Funktionen nutzen Sie die Plattform-Anleitung; einen passenden Einstieg können Sie mit Nexoria besprechen.