Ersetzt ChatGPT Suchmaschinen?

ChatGPT ist ein zur Zeit viel diskutiertes Kommunikationstool, das für viele Zwecke eingesetzt wird: Fragen beantworten, Programmcode erzeugen, Fehler finden u.v.m. Wir wollen uns hier auf einen Einsatzfall konzentrieren, der uns am nächsten liegt. Kann ChatGPT eine gute Suchmaschine mit wirklichem Sprachverstehen ersetzen? GPT-Systeme (GPT bedeutet: generative pre-trained transformer) liefern oft erstaunlich gute, aber auch ausgesprochen schlechte Ergebnisse. Woran liegt das? Dazu schauen wir uns ein paar wichtige Eigenschaften von ChatGPT an und beleuchten, was diese implizieren.

Tatsache ist, dass ChatGPT immer auf einem mehr oder minder aktuellen Schnappschuss eines Teils des Internets basiert. Das hat verschiedene Konsequenzen: So kann eine neue Information nicht ohne weiteres für den Dialog fruchtbar gemacht werden. Wenn z.B. der Bundeskanzler zurücktritt, dann ist das dem System erst nach einem aufwändigen Neu-Training bekannt, während diese Information für Suchmaschinen bereits durch einen einzigen, effizienten Index-Update zur Verfügung steht. In Fachdomänen wird ChatGPT immer schlechter, da deren Inhalte nicht für die Lernphase zur Verfügung stehen; ein konkretes Beispiel folgt in der ersten Frage am Ende. Für Suchmaschinen besteht dieses Problem nicht, da sie nicht „trainiert“ werden müssen. Obwohl auch hier eine Anpassung an die Fachdomäne sinnvoll sein mag, ist diese (anders als bei ChatGPT) leicht und preiswert möglich.

Ein zweites wichtiges Handicap besteht bei ChatGPT darin, dass es keine interne Repräsentation der Semantik der Texte besitzt. Dies ist generell bei KI-Systemen so, die auf maschinellem Lernen mit neuronalen Netzen beruhen (wie etwa das Übersetzungssystem von Google). Bei ChatGPT kann deshalb auch nicht wie bei Suchmaschinen eine Wissensbasis durch Wissensingenieure um Fachtermini oder Thesauren erweitert werden. In kognitiven, Semantik-basierten Suchmaschinen ist intern eine Repräsentation der Fakten und logischen Schlussregeln sowie ein Verweis auf die jeweiligen Quellen vorhanden, so dass bei Bedarf jeder Output erklärt werden kann. Dies sollte ein integraler Bestandteil einer erklärbaren KI sein. Aus den genannten Gründen kann ChatGPT auch keine Antworten erklären oder verifizieren und liefert deshalb auch viele unsinnige Antworten.

Hinzu kommt, dass ChatGPT auf Englisch fokussiert ist, was schon durch die Ausrichtung des Webs und der Web-Kulturen auf diese Sprache bedingt ist. Je weiter - linguistisch gesehen - die für die Kommunikation mit ChatGPT vorgesehene Sprache von Englisch entfernt ist, desto schlechter werden die Ergebnisse. Das gilt auch schon für Sprachen mit recht vielen Sprechern wie Deutsch und umso mehr für Sprachen, die im Web nur mit wenigen Millionen Sätzen vertreten sind.

ChatGPT will immer etwas antworten oder eben ständig schwätzen (engl. to chat). Gerade in unbekannten oder unverstandenen Bereichen hat ChatGPT Probleme. Es halluziniert, rät falsch, assoziiert unzulässig und erzeugt Unwahrheiten. Im letzten Fall würde man von Lügen sprechen, wenn das KI-Tool ChatGPT ein Bewusstsein hätte.

Darüber hinaus kann ChatGPT keine Quellen nennen, was technisch am verwendeten Trainingsalgorithmus liegt. Es gibt eben nur noch Neuronen, Axonen, Dendriten, Parameter etc., aber keine Texte und deren semantische Repräsentationen. Das „weiß“ auch ChatGPT selbst (s. 3. Antwort unten). Aus all dem folgt: Man ist verurteilt, der Antwort von ChatGPT zu trauen, ohne in den Quellen selbst Belege finden zu können. ChatGPT verführt manche sogar dazu, Zweifelhaftes ohne Belege zu verbreiten. Gerade bei zweifelhaften Aussagen, ist es aber wichtig, dass man sich die Quellen selbst ansieht.

Beispiele

Eine Studierenden-Gruppe will sich im Bereich der Architektur informieren über den Begriff Fiale, s. Wikipedia-Artikel.

1. Frage. Was ist eine Fiale?

1. Antwort. Ich bin mir nicht sicher, was Sie mit „Fiale“ meinen. Könnten Sie mir mehr Informationen geben oder einen Kontext nennen?

2. Frage. Wie sieht eine Fiale aus?

2. Antwort. Eine Fiale ist ein kleines, fläschchenförmiges Gefäß aus Glas oder Kunststoff, das zur Aufbewahrung von Medikamenten oder anderen Flüssigkeiten verwendet wird. Diese falsche Aussage und 4 weitere falsche Aussagen hat ChatGPT aus einer Erklärung des Begriffs einer Phiole genommen.

3. Frage. Woher weißt du das?

3. Antwort. Als künstliche Intelligenz verfüge ich über einen umfangreichen Datensatz und ein umfassendes Wissensnetzwerk, das aus verschiedenen Quellen stammt. Ich habe gelernt, dass das Wort „Fiale“ ein kleines, fläschchenförmiges Gefäß zum Aufbewahren von Flüssigkeiten oder Medikamenten ist, indem ich auf verschiedene Wissensdatenbanken und Online-Ressourcen zugegriffen habe.

4. Frage. Was sind Zwerchhäuser?

4. Antwort. Zwerchhäuser oder auch Zwerchfellmuskel, sind ein wichtiger Muskel im menschlichen Körper, der ...

ChatGPT kennt diesen Fachbereich wohl kaum und strapaziert lieber unser Zwerchfell :-)

Foto: © SEMPRIA GmbH