LLMs verstehen nicht, was sie sagen
4 MINUTES READ
Der Kampf gegen Halluzinationen
Nachdem wir in der letzten Woche angesehen haben wie Halluzinationen in Large Language Models (LLMs) wie ChatGPT entstehen können, sehen wir heute an was dagegen gemacht werden kann. Zuerst eine schlechte Nachricht: So wie die Modelle momentan aufgebaut sind, ist es bei der Generierung der Antworten unmöglich zu vermeiden das Halluzinationen entstehen. Dadurch dass die LLMs den Inhalt dessen was sie wiedergeben nicht verstehen, können sie diesen inhaltlich auch nicht prüfen. Deshalb werden immer auch falsche oder halbwahre Antworten auftauchen. Aber es gibt Techniken, welche Halluzinationen prüfen und vor diesen warnen können. Ein paar diese Strategien listen wir heute auf.
ChatGPT, Claude & Co
Stell den Chatbots keine Fragen, deren Antworten kritische Entscheidungen beeinflussen könnten. Was hier die kritischen Entscheidungen sind, muss jeder für sich selbst entscheiden. Wenn ich zum Beispiel nach einem Rezept für Käsekuchen frage und ChatGPT vergisst den Zucker mit aufzulisten, so kommt im schlimmsten Fall einfach ein schlechter Kuchen dabei raus. Frage ich den Chatbot über die Krankheitssymptome meines Kindes aus, und es gibt falsche Empfehlungen, dann kann es schon schlimmer ausgehen. Natürlich kann auch ein Google Link oder der eigene Nachbar eine falsche Antwort geben. Immer gilt: Wer hinterfragt, Antworten prüft und gesunden Menschenverstand anwendet kann solche Stolpersteine umgehen. Jedoch sei noch einmal gesagt: Die LLMs wie ChatGPT antworten nicht mit Absicht oder gar Intelligenz. Sie reihen Worte nach Wahrschenlichkeit aneinander. So kann man nicht mal hoffen dass die Antwort gut gemeint war. Natürlich gilt dieser Tipp auch für andere, auch selbst gebaute Chatbots.
KI-Agenten
Um möglichst wenig falsche Aussagen bei KI-Agenten zu erhalten, sollte man diese so planen, dass sie immer nur einem Zweck dienen. Diese KI-Agenten sind nicht wie zum Beispiel ChatGPT dafür gemacht auf alles Antworten zu finden, sondern verhalten sich wie ein einzelnes Zahnrad, welches nur eine Funktion hat. So könnte ein Agent zum Beispiel Texte lesen und sie nach Thema sortieren. Ein anderer Agent könnte via Bilderkennung Text digitalisieren. Noch ein weiterer könnte dafür zuständig sein anrufende Kunden im Kundendienst den richtigen Stellen zuzuweisen.
Anleitungen
Es klingt einfach, aber eine gute Anleitung zur Nutzung von unterstützenden KI-Agenten kann viele Fehler und Halluzinationen vermeiden. Natürlich gilt das auch für die Agenten die im Backend arbeiten um Daten zusammenzuführen und zu analysieren oder Bilderkennung vorantreiben. Wenn diese einen Input erhalten, welcher nicht geeignet ist, passieren schnell Fehler. Vor allem gilt das aber für die KI-Agenten, welche Mitarbeiter und auch Kunden nutzen. Die Erwartungen an diese Agenten ist oft hoch, fast zu hoch. Aber das ist nicht die Schuld der Entwickler, sondern liegt an der momentanen Landschaft an verfügbaren Chatbots wie Claude oder ChatGPT, sowie an der Berichterstattung über deren Resultate. Viele sehen die Chatbots als Wunder, die alles können. Egal was sie eingeben oder fragen, es kommt eine Antwort zurück die zumindest richtig aussieht (und zum Glück auch recht oft stimmt). Oberflächlich sind die KI-Agenten, welche in Firmen oder zu bestimmten Zwecken wie Datenbankenabfragen etc eingesetzt werden, genau gleich: Freie Texteingabe und freie Antworten. Was dahinter passiert ist undurchsichtig und deshalb sind die Erwartungen oft die gleichen, obwohl spezialisierte KI-Agenten in einem limitierteren Umfeld agieren. Einfache Anleitungen können hier helfen Erwartungen einzugrenzen, Anfragen besser zu formulieren und Halluzinationen so bestenfalls zu vermeiden.
Limitierungen
Es kann hilfreich sein Eingaben zu limitieren um Ergebnisse zu streamlinen. Anstatt alle Daten und Anfragen zu erlauben, ist es oft hilfreich im Vorfeld die Eingaben zu filtern, nicht nur um die Nutzer zu unterstützen ihre Fragen genauer stellen zu können, sondern auch um die LLMs mit Daten zu füttern, mit welchen bestmögliche Antworten generiert werden können. Natürlich fühlt sich eine Frage, welche aus mehreren Dropdownmenus gebaut werden kann, nicht so frei an wie ein leeres Textfeld in welchem alles stehen kann… aber genau das ist der Zweck. Erwartungen werden so automatisch in die richtige Richtung geleitet und die Antworten sind zielgerichteter.
Eingebaute Ansätze
Bis hierhin lagen alle Wege um Halluzinationen zu vermeiden auf der Seite der Nutzer. Sei es die Art wie man Fragen stellt, Daten limitiert oder Agenten designed, die Arbeit liegt bei den Nutzern. Aber warum packt man die Halluzinationen nicht an der Wurzel an? Mit der immer grösser werdenen Flut an KI-Agenten, welche in vielen Geschäftsfeldern eingesetzt werden, ist genau das ein zentraler Forschungspunkt viele Entwickler. So wie LLMs fundamental aufgesetzt sind, funktionieren sie grundsätzlich sehr gut—an der Basis schrauben ist also riskant. Aber was wäre wenn die KI endlich verstehen könnte was sie erzählt? Wenn nicht nur Wahrscheinlichkeiten Wörter aneinander reihen, sondern die Bedeutung verstanden und geprüft werden kann?
Im Paper “Addressing hallucinations in generative AI agents using observability and dual memory knowledge graphs”
https://www.sciencedirect.com/science/article/pii/S0950705126002121 geht es um einen solcher Ansätz. Die grundlegenden Fähigkeit Inhalte zu generieren wird nicht verändert, aber die Art diese zu prüfen wird als weiterer Schritt hinzugefügt. Einfach gesagt passiert folgendes: Stelle dir vor du wirst gebeten einen grammatikalisch richtigen Satz mit beliebigem Inhalt zu schreiben. Der resultierende Satz lautet “Die Katze fliegt durch die Wolken.” Grammatikalisch ist hier nichts auszusetzen, aber inhaltlich stimmt hier etwas nicht. Aus der eigenen Erfahrung weiss man dass Katzen generell nicht fliegen können. Ein Mensch mit diesem Wissen würde hier also sagen: Klingt richtig, ist aber falsch. Damit die KI das auch sagen kann, geben die Forscher ihr zusätzliche Wissensdatenbanken, wo Informationen auch nach anderen Kriterien wie zB semantische und thematische Nähe abgelegt wird. Vor allem werden als richtig markierte, historische Inhalte auch so abgespeichert, damit sie als Vergleichsmaterial genutzt werden können. Das Paper findet aber auch heraus das die KI auch mit diesem Schritten noch nicht besser ist als ein Mensch was Genauigkeit der Informationen angeht wenn es um breite Wissensfragen geht. Das liegt vor allem daran dass die KI auch mit zusätzlichen “Erinnerungen” noch nicht versteht was sie generiert—sie kann es einfach besser abgleichen. Auch wenn solche Tools in Zukunft besser und genauer werden, ist es am Schluss immer wichtig dass ein Mensch die letzte Entscheidung trifft.
Mit immer stärker werdenden LLMs, welche immer breiter eingesetzt werden ist es jetzt um so wichtiger Halluzinationen durch verschiedenste Massnahmen vorzubeugen. Ein System, welches diese Probleme von Anfang an ins Design mit einbezieht ist für den Moment sicherer und offen für Anpassungen die in Zukunft gefunden werden.
News & Insights
