Retrieval-Augmented Generation (RAG) und semantische Suchmaschine als Lösungs-Kombination

Retrieval-Augmented Generation mit Semantiksuche (SRAG) ist eine Methode, große Nachteile von GPT (wie ChatGPT) im Einsatz für lokale Dokumente zu reduzieren oder zu eliminieren.

1. Problem: Themen der lokalen Dokumente sind in GPT unbekannt oder unterrepräsentiert. Durch RAG mit Semantiksuche (SRAG) werden semantisch passende Passagen in die GPT-Anfrage eingespeist.

2. Problem: GPT verletzt Datenschutzvorgaben und Geheimhaltung. Bei RAG mit Semantiksuche läuft ein GPT auf einem dedizierten Computer in einem deutschen Rechenzentrum oder on-premises beim Kunden. Die Erweiterung (Augmentierung) um Passagen aus lokalen Dokumenten wird auf demselben Computer vorgenommen. Alles bleibt im eigenen Haus!

3. Problem: GPT halluziniert, produziert Falschaussagen und Falschmeldungen. Bei SRAG wird ein Beleg mit eigenen Dokumenten verlangt und geliefert, sofern möglich.

4. Problem: Ergebnisse von GPT können nicht verifiziert werden. RAG mit Semantiksuche behält den Bezug zur eindeutig verifizierenden Text-Passage. Diese Verbindung kann nach Kundenwünschen aufbereitet und eingeblendet werden.

5. Problem: GPT ignoriert Zugriffsrechte. Im Bereich der unternehmensweite Suche (Enterprise Search) und anderen Bereichen spielen Zugriffsrechte, besonders die Leserechte (wer darf was sehen?), eine große Rolle. Ein großes Sprachmodell (LLM), wie es in GPT eingesetzt wird, kann Zugriffsrechte nicht nachbilden. Die Lösung in SRAG ist, dass schon die Auswahl des Augments für die GPT-Anfrage die Zugriffsrechte genauestens berücksichtigt, denn die Semantiksuche setzt die Zugriffsrechte bereits um. Nur die Text-Ausschnitte, die der aktuelle Nutzer sehen darf, werden auch in GPT mitgegeben.

Die Stärke der Kombination aus Retrieval-Augmented Generation und Retrieval-Komponente hängt natürlich von der Stärke beider Komponenten ab. Wir können als Retrieval-Komponente die bewährte kognitive Suchmaschine SEMPRIA-Search anbieten. Diese haben wir eng gekoppelt mit einem auf Deutsch und Englisch spezialisierten GPT (inklusive LLM), die auf lokaler Hardware läuft. Jede Suchmaschine von SEMPRIA kann daher rasch um Retrieval-Augmented Generation erweitert werden. Je nach Suchanfrage wird RAG mit Semantiksuche zugeschaltet, um die Suchergebnisse zu optimieren.

Wenn Sie mit Ihrer bisherigen internen Suchmaschine hadern, dann wechseln Sie doch einfach auf eine aktuelle Suchmaschine und schaffen gleich einen weiten Sprung in die KI-Welt von GPT, aber natürlich mit Lösung aller 5 genannten Probleme.