007 Wenn die KI halluziniert: Warum Sprachmodelle falsche Antworten liefern

0:12Interview 1 Wann hat dich die KI schon mal angeschwindet? Also ich studiere Medizin und mir ist es oft schon aufgefallen, wenn ich irgendwelche Aufgaben lösen wollte oder Informationen haben wollte, dass sie halt meistens auch falsch waren. Oder dann habe ich dann halt in CheckCity reingeschrieben, so hey, ich glaube, das hast du hier falsch gemacht.

0:30Interview 1 Und dann hat auch die KI das dann korrigiert wieder, hat dann geschrieben, so ja, stimmt, du hast da recht. Und dann dachte ich mir auch, okay, wo ist die Zuverlässigkeit hier, wenn ich einfach nur irgendwas reinschreibe und sie sagt mir eigentlich genau das, was ich hören will und ich muss dann die KI ausbessern.

0:44Interview 2 Aus dem studentischen Alltag kann ich berichten, dass mir das auf jeden Fall schon öfter passiert. Vor allem, wenn es so um Thema Quellenrecherche beispielsweise geht. Viele Autoren, Autorinnen gibt es dann einfach gar nicht oder viele Quellen gibt es dann einfach gar nicht. Auch wenn man weiter recherchiert, man findet da gar nichts mehr dazu.

1:07Karin Heitzmann Willkommen zu einer neuen Folge von Welthandelsplatz 1, dem Wissenspodcast der WU Wien. Mein Name ist Karin Heizmann, ich bin Sozioökonomin, ich forsche zu den Themen Sozialpolitik und Armutspolitik und leite das Forschungsinstitut Economics of Inequality. Wie mir jetzt in unserer Campus-Umfrage gehört, dass künstliche Intelligenz für viele ganz ein normaler Teil des Alltags geworden ist.

1:28Karin Heitzmann Dabei wirkt die KI ja oft sehr intelligent, aber die Frage ist, versteht sie eigentlich? was sie sagt und warum macht sie manchmal bei den einfachsten Aufgaben Fehler. Darüber sprechen wir heute mit dem WU-Forscher Axel Bollares. Herzlich willkommen Axel zu unserem Podcast.

1:51Axel Polleres Hallo, danke für die Einladung. Ich freue mich sehr, heute hier beim Podcast dabei zu sein.

1:56Karin Heitzmann Axel, du bist hier Professor for Data and Knowledge Engineering. Was kann man sich denn unter deinem Job so vorstellen?

2:02Axel Polleres Ja, ich bin seit 2013 hier an der WU und habe vorher an verschiedenen Forschungsinstituten und auch Universitäten zum Thema Informatik gearbeitet. Das ist eigentlich mein Background. Mein Fokus ist hier Datenintegration, Datenqualität. Wie können wir Daten für Menschen und Maschinen besser nutzbar machen?

2:21Axel Polleres Und immer mehr natürlich auch, wie können wir dazu Methoden der Informatik und der künstlichen Intelligenz anwenden und wie können diese Methoden uns dabei helfen.

2:30Karin Heitzmann Es ist ja so, dass weder du noch ich Digital Native sind. Das heißt, wir sind nicht eigentlich aufgewachsen mit Smartphones oder mit JetGPT. Wie bist denn du zu dem Thema KI gekommen?

2:42Axel Polleres Ich kann mich ganz gut erinnern an die erste Vorlesung zum Thema Künstliche Intelligenz, die ich im Rahmen meines Informatikstudiums gehört habe. Und da sind uns viele Dinge, die uns heute selbstverständlich erscheinen, vielleicht noch quasi als Science-Fiction verkauft worden, beziehungsweise hat man angenommen, dass diese Probleme gar nicht so schnell lösbar sein werden.

3:00Axel Polleres Zum Beispiel künstliche Intelligenz zum automatischen Erstellen von Computerprogrammen. All diese Dinge funktionieren inzwischen. Zum Thema Digital Natives würde ich vielleicht auch noch etwas anmerken wollen. Es ist manchmal vielleicht gar nicht so schlecht, wenn man mit der Entstehung oder Entwicklung von Technologien aufwächst, anstatt wenn man die Technologien schon quasi als, wie soll ich mal sagen, selbstverständlich vorgesetzt bekommt.

3:24Axel Polleres Zum Beispiel bei einem Smartphone verstehen viele gar nicht, was das eigentlich ist, dass das eigentlich ein Computer ist. Wenn man selbst vielleicht vor 20 Jahren mal einen Computer zusammengebaut hat, dann kann man vielleicht besser verstehen, welche Prozesse da ablaufen, wie das Ding eigentlich funktioniert etc.

3:40Karin Heitzmann Also es doch eine Maschine ist letztlich und nichts Menschenähnliches. Jetzt hat ja die KI viele Bereiche in unserem Alltag völlig verändert. Das sehen wir hier auch in der Forschung, wir sehen es auch in der Lehre, wir sehen auch die Art und Weise, wie wir unterrichten, wo wir auch KI mitverwenden, ganz selbstverständlich.

3:58Karin Heitzmann Wir sehen aber auch, dass Unternehmen überlegen, welche Aufgaben sich automatisieren lassen, wo sie KI einsetzen können. Ja, sie überlegen auch, welche Menschen sie ersetzen können durch KI beziehungsweise automatisierte Vorgänge. Jetzt bekommt man ein bisschen den Eindruck, wenn man sich das Ganze ein bisschen anschaut, dass das Ganze eigentlich erst so eine Revolution der letzten zwei, drei, vier Jahre ist.

4:21Karin Heitzmann Wobei das ja, wie du gerade ausgeführt hast, eigentlich etwas ist, das schon eine viel längere Geschichte hat. Würdest du dem zustimmen?

4:27Axel Polleres Ja, genau. Die Die künstliche Intelligenz hat eine sehr lange Geschichte und die Geschichte der Informatik und der künstlichen Intelligenz sind eigentlich eng verzahnt. Also sobald man sich angefangen hat, wissenschaftlich mit Computerwissenschaften zu beschäftigen, war auch immer die Frage, wie können wir Computer dazu benutzen, intelligentes Verhalten zu emulieren oder einfach intelligent zu unterstützen.

4:51Axel Polleres Das heißt aber auch, dass viele Methoden, die wir jetzt als Commodity annehmen, vielleicht irgendwann mal KI geheißen haben. Also das beobachtet man sehr stark in der Entwicklung der künstlichen Intelligenz, dass viele Dinge, die wir angenommen haben, die einfach schwer waren, Meilensteine in der Informatik waren, auch irgendwann mal Meilensteine in der künstlichen Intelligenz waren.

5:13Axel Polleres Zum Beispiel abstrakte Programmiersprachen oder Sprache. Scheduling-Programme, Optimierungsprogramme, die uns in der Logistik helfen. All diese Dinge haben eigentlich irgendwann mal KI geheißen. Und das letzte Thema, wohin sich das jetzt eigentlich verschoben hat, ist viel Sprachmodelle. Und dieser Fokus auf natürliche Sprachverarbeitung ist eigentlich das, was neu ist.

5:36Karin Heitzmann Da sind wir gleich bei unserem Thema, nämlich den Sprachmodellen und auch der Frage, warum Sie eigentlich halluzinieren, warum Sie eigentlich Dinge erfinden. Ich nehme einmal an, du hast selber viel Erfahrung damit, beziehungsweise auch schon Tests dazu gemacht. Magst du da was darüber erzählen?

5:51Axel Polleres Jetzt muss man sagen, diese Methoden der künstlichen Sprachverarbeitungen sind natürlich auch schon älter. Was diese Methoden zum Durchbruch geführt hat, war, dass sie jetzt statistisch arbeiten, das heißt mit Verteilungen von Worten und Wortsequenzen. Und über diese Modelle, diese Verteilungen lernen, über die Methoden des maschinellen Lernens, kann man Sprachmodelle entwickeln, die tatsächlich auf einen Text oder auf eine Frage die wahrscheinlichste oder plausibelste Fortsetzung finden. Und so funktionieren im Wesentlichen Sprachmodelle.

6:22Axel Polleres Diese Sprachmodelle kann man natürlich alle möglichen Dinge fragen. Ich glaube, unsere Studierenden und wir selbst als Wissenschaftler fragen die auch alle möglichen Dinge. Zum Beispiel könnte ich ein Sprachmodell fragen, was sind die zehn wichtigsten Publikationen im Selbstversuch von Axel Polares. Und das habe ich tatsächlich mal ausprobiert. Und das Interessante war, dass wirklich sieben der zehn Publikationen, die da rausgekommen sind, ich weiß gar nicht, ob es zehn oder elf Publikationen waren, weil Sprachmodelle tun sich auch beim Zählen schwer.

6:50Axel Polleres Jedenfalls waren die Mehrheit dieser Publikationen tatsächlich korrekt. Das Interessante waren die Fehler. Die Fehler sind nicht Publikationen gewesen, die komplett erfunden waren. Zwei von denen waren existierende Publikationen, wo ich als Autor hinzugefügt wurde, die aber gar nicht von mir sind. Und eine von denen tatsächlich war eine Publikation, die gar nicht existiert.

7:10Axel Polleres Warum kommt das? Das kommt deswegen, weil eben diese Modelle auf statistischen Wahrscheinlichkeiten arbeiten. Wenn man also selbst nach den wichtigsten oder oft zitierten Publikationen fragt, dann ist die Wahrscheinlichkeit relativ hoch. Dass diese auch erkannt werden, weil das sehr oft in irgendwelchen Corpora, auf denen die Modelle trainiert werden, auftritt.

7:30Axel Polleres Die Fehler treten allerdings auch aufgrund statistischer Wahrscheinlichkeiten auf, weil die zwei Publikationen, die falsch waren, waren mit häufigen Co-Autoren von mir. Das war also durchaus plausibel, dass ich diese Publikation mit verfasst hätte, was ich nicht habe, leider. Und die dritte Publikation war ein ähnlicher Fall. Das war ein Titel, der durchaus zu meinem Arbeitsgebiet passt, mit Co-Autoren, mit denen ich vielleicht in der Vergangenheit schon zusammengearbeitet habe, etc.

7:56Axel Polleres Um das zusammenzufassen, es gibt so zwei Möglichkeiten von Halluzinationen. Das eine ist, diese statistischen Wahrscheinlichkeiten werden falsch interpretiert, weil das keine exakte Methode ist, um Daten zu speichern, ein Sprachmodell. Und das zweite ist dieses Verständnis von zum Beispiel Zahlen und Berechnungen, das uns teilweise in die Irre führt. Also wenn ich frage, wie viele genau, dann kann es sein, dass die Länge nicht stimmt, dass die Zahlen, die als Antworten kommen, nicht stimmt, etc.

8:21Karin Heitzmann Also KI doch nicht so ganz intelligent. Kann man jetzt eigentlich dagegen tun oder was sind da Möglichkeiten, wenn man weiß und offenbar weiß man ja um diese Fehler oder um diese Schwächen der KI, was ist da möglich dann tatsächlich auch dagegen zu steuern, um da vorzugehen dagegen?

8:38Axel Polleres Also dass die KI halluziniert ist in dem Sinn nicht überraschend. Was kann man dagegen tun, um das zu überprüfen, ist im Wesentlichen wichtig. Dass man sich immer fragt, ist diese Antwort plausibel, nach einer Quelle zu fragen, genau eben nach Referenzen und diese Referenzen dann auch überprüft und vielleicht auch mit anderen Menschen darüber spricht und die auch fragt, ob die Meinungen plausibel sind.

8:59Axel Polleres Was nämlich das Problem bei der KI ist, ist, dass sie selten widerspricht. Menschen tun das sehr wohl. Deswegen ist es oft sinnvoller, sich über die Ergebnisse der KI auch zu unterhalten, weil die KI halt sehr dazu neigt, auch zuzustimmen, beziehungsweise auch dazu trainiert ist, ein langes Gespräch aufrechtzuerhalten und manchmal so ein bisschen overpleasing betreibt.

9:20Karin Heitzmann Aber warum baut man dann die KI nicht gleich auf so eine Weise? Gibt es keine Möglichkeit, dass man die KI so trainiert, dass sie mit quasi Fakten und überprüfbarem Wissen arbeitet und uns eben nicht anschwindet oder Dinge erfindet?

9:36Axel Polleres Genau. Ich habe ja vorher schon darüber gesprochen, dass es in der künstlichen Intelligenz verschiedene Forschungsansätze gibt. Manche, die in der Geschichte jetzt vielleicht momentan nicht so populär sind und die, die eben jetzt sehr populär sind aufgrund dieser statistischen Wahrscheinlichkeiten. Und Methoden, die wir heute als gegeben annehmen, wie Datenbanken zum Beispiel, wo man Fakten einfach nachschauen kann und sicher sein kann, dass die richtigen Fakten auch rauskommen, wenn ich die richtige Anfrage stelle, haben auch mal zur KI gehört und können verbunden werden mit Methoden zum Beispiel des logischen Schließens.

10:06Axel Polleres Das nennt man symbolische KI, das ist die Form der KI, die quasi logisches Denken und rationales Denken und Schließen abbildet, durch Abstraktionen, wie wir sie in einer Datenbank haben. Und das Zweite ist eben diese, wie wir sie nennen, subsymbolische AI, die auf maschinellem Lernen und statistischen Verteilungen basiert.

10:25Axel Polleres Was wir zum Beispiel versuchen in unserer Forschung ist, dass wir diese beiden Forschungsbereiche der KI miteinander verbinden. Dass wir die KI dazu bringen, im richtigen Moment in einer Datenbank nachzuschauen und nicht einfach eine Antwort aus dem statistischen Modell zu geben. Dass wir versuchen, der KI beizubringend zu verstehen, wenn die Antworten, die sie gegeben hat, inkonsistent sind, mit einfach logischem Verständnis.

10:50Axel Polleres Und wenn wir es schaffen, diese Methoden miteinander zu kombinieren, dann glauben wir, können wir auch verlässlichere KI-Systeme entwerfen.

10:56Karin Heitzmann Und ihr arbeitet ja auch an der WU an solch einem Projekt, wo genau das gemeinsam verbunden werden soll. Das klingt sehr als vielversprechend. Gibt es da schon Beispiele, die du vielleicht kennst und wo das schon gut gelungen ist auch?

11:11Axel Polleres Also ein Beispiel, das wir in unserer eigenen Forschung, wo wir diese kombinierten Methoden verwenden, sind Sprachmodelle in Kombination mit sogenannten Wissensgrafen, Knowledge Graphs. Was kann man sich darunter vorstellen? Hier geht es darum, dass man quasi eine logische Struktur oder Datenbankstruktur von den Konzepten, die für eine Domäne wichtig sind, in einer symbolischen Art und Weise, also als Datenbank erfasst und das Sprachmodell dieses schematische Modell dann dafür verwendet, um Daten zu sortieren.

11:41Axel Polleres Also man kann sich das so vorstellen, eben wie in einer Bibliothek oder in einer Datenbank, dass hier Identifier sind, dass die Relationen zwischen den einzelnen Konzepten miteinander klar beschrieben sind und auch Einschränkungen bekannt sind. Zum Beispiel, dass ein Zug kann nur eine Lokomotive haben, aber N-Waggons, sowas in der Art.

11:59Axel Polleres Warum nenne ich das jetzt als Beispiel? Die Anwendung, wo wir das ausprobiert haben, war eine Kooperation mit der ÖBB und in weiterer Folge auch mit der European Railway Agency, wo wir versucht haben, die Extraktion von Unfallberichten im Bahnbereich zu. Unterstützen, die meistens in natürlichsprachigen Dokumenten sind, wo es einfach Unfallberichte gibt.

12:22Axel Polleres Und man versucht es zu kategorisieren, weil man einfach auch zählen will, welche Häufigkeiten gibt es, wo treten bestimmte Unfalltypen oder einfach Schäden gehäuft auf und welche Schlüsse kann man daraus ziehen. Das ist wichtig, dass die Datenqualität stimmt. Und wenn die Reports nur im natürlichsprachigen Text zur Verfügung sind, kann ich einerseits Sprachmodelle dazu verwenden, hier strukturierte Information zu extrahieren und andererseits brauche ich aber die Struktur selbst, also die Datenbank, um die extrahierte Information zu überprüfen, ob die überhaupt plausibel ist.

12:53Axel Polleres Und das gelingt dann ganz gut und man kann sehen, dass die Kombination dieser beiden Methoden wesentlich bessere Ergebnisse bringt, als wenn man nur ein Sprachmodell mit einem PDF-Dokument füttert und sagt, gib mir alle Unfallkategorien oder die genauen Locations, wo bestimmte Inzidenz stattgefunden haben, etc.

13:10Karin Heitzmann Das heißt, diese Kombination aus dieser... Alten KI, sage ich einmal, und der neuen KI, das wäre das, was erfolgsversprechend sein könnte.

13:20Axel Polleres Die neue KI ist auch alt, könnte man sagen. Wie gesagt, die Trends und was für erfolgversprechende Methoden in der KI sind, das ändert sich auch immer wieder über die Jahre. Man erkennt, dass bestimmte Methoden Limits erreichen. In der Vergangenheit hat man da zum Beispiel mal von einem KI-Winter gesprochen.

13:38Axel Polleres Wenn man jetzt draufkommt, dass diese Sprachmodelle auch gewisse Limits erreichen, dann kann es auch durchaus passieren, dass es immer wieder auch länger dauert, bis neue Entwicklungen stattfinden oder bis man den nächsten Schritt erreicht. Ich gebe dazu ein Beispiel. Es hat in der KI, glaube ich, das bekannte Beispiel gegeben, als ein Computer den Schachweltmeister besiegt hat.

13:57Axel Polleres Und dann haben alle angenommen, in den nächsten ein, zwei Jahren wird man alle Brettspiele lösen können. Bis das Spiel Go lösbar war, hat es 20 weitere Jahre gedauert und ganz andere Methoden benötigt in der KI, um diesen nächsten Schritt zu gehen.

14:11Karin Heitzmann Das heißt, das war so ein langer KI-Winter.

14:14Axel Polleres Vielleicht ein Kurzwinter oder Herbst, aber im Wesentlichen sind die Methoden natürlich ständig weiterentwickelt worden. Aber es braucht einfach manchmal einen ganz anderen Ansatz, um größere Probleme zum Beispiel zu lösen, um Probleme zu skalieren. Also in dem Fall war Schach ist ein relativ kleines Brett mit relativ wenigen verschiedenen Spielzugmöglichkeiten, wohingegen Go einen viel größeren Lösungsraum hat und dadurch war es nicht möglich, einfach die bekannten Methoden so weit zu skalieren, dass das das größere Spiel auch lösen kann.

14:45Karin Heitzmann Sehr spannend. Axel, vielen herzlichen Dank für deine spannenden Einblicke. Was ich auf jeden Fall mitnehmen werde, ist, dass sich hinter dem Begriff KI sehr viele verschiedene Ansätze verbergen, dass die KI auch schon viel älter ist, als wir das annehmen, wenn wir jetzt nur sozusagen diese Large Language Models, diese Sprachmodelle mitverfolgt haben.

15:04Karin Heitzmann Ich habe gelernt, dass Sprachmodelle wie ChatGPT eben Muster in Texten erkennen und dann basierend auf diesen Mustern neue Muster sozusagen kreieren wollen, dabei aber nicht unbedingt auf tatsächlich Fakten, und Datenbanken, wie du sie beschrieben hast, zurückgreifen, dass aber die Forschung nicht zuletzt auch ihr an der Wirtschaftsuniversität an neuen Ansätzen arbeitet, um eben diese symbolische mit der subsymbolischen KI miteinander in Verbindung zu setzen.

15:33Karin Heitzmann Axel, was siehst du denn als aktuelle Herausforderungen im Umgang mit der KI?

15:37Axel Polleres Also als aktuelle Herausforderung, aber auch als Chance für eine nächste Entwicklung in der KI, ist zu sehen der momentane Trend für sogenannte Agentensysteme. Agentensysteme sind im Wesentlichen die gleichen Sprachmodelle. Die aber darauf trainiert werden, eine Frage nicht sofort zu beantworten, sondern in Teilschritte zu zerlegen und diese Teilschritte zum Teil auch selbst zu lösen.

15:59Axel Polleres Auch im Zusammenhang dessen, dass das Sprachmodell dann selbst externe Tools aufrufen kann, wie zum Beispiel eine Webseite, wo man weitere Informationen suchen kann. Aber auch vielleicht in meinem Namen irgendwelche E-Mails schicken kann, wenn ich so einen Agenten baue. Die Herausforderung dabei ist natürlich, dass das auch zu Sicherheitsrisiken führt, beziehungsweise wenn man Aufgaben, damit ganze Aufgaben an ein KI-Modell delegieren kann, wer dann die Kontrolle hat, wer die Verantwortlichkeit hat und wer überhaupt überprüft, was dann dazwischen passiert.

16:33Axel Polleres Weil leider natürlich die Probleme, die wir bei den reinen Sprachmodellen haben, der Halluzinationen oder der Fehler, auch hier nicht ausgeschlossen sind.

16:41Karin Heitzmann Axel, zum Abschluss unseres Podcasts stellen wir unseren Gästen immer auch noch ein paar persönliche Fragen. Gibt es etwas, was dich in letzter Zeit überrascht hat?

16:49Axel Polleres Also in letzter Zeit bin ich immer wieder überrascht, wie schnell zum Beispiel diese KI-Modelle besser werden, wie gut bestimmte Dinge inzwischen funktionieren, mit denen ich vielleicht vor ein, zwei Jahren gar nicht gerechnet hatte. Ich muss fast sagen, es überrascht mich immer weniger, überrascht zu werden, sagen wir es mal so.

17:09Karin Heitzmann Verstehe ich. Gibt es etwas, was dir Hoffnung macht?

17:12Axel Polleres Ja, auf jeden Fall. Also die Technologien, die hier entwickelt werden und auch der rasante Fortschritt in diesen Technologien ist auch eine Chance, Lösungen für globale Probleme zu finden. Wir wissen, dass wir zum Beispiel im Bereich des Klimaschutzes darauf angewiesen sein werden, dass es Innovation gibt und neue Technologien, um damit umzugehen.

17:33Axel Polleres Und da glaube ich auch, dass uns die KI helfen können wird.

17:37Karin Heitzmann Und gibt es eine Frage, die dir nie gestellt wird, obwohl du finden würdest, die sollte man mal stellen?

17:42Axel Polleres Das kann ich jetzt nicht beantworten, weil bei Definitionen die Frage ja noch nie gestellt worden ist. Und es bei den Definitionen auch unendlich viele Fragen gibt, die mir noch nie gestellt worden sind. Aber wir haben ja über Verteilungen und Muster gesprochen. Darum vielleicht besser eine Frage, die meiner Meinung nach zu wenig gestellt wird und über die ich oft nachdenke.

18:01Axel Polleres Die Frage ist, wen soll ich fragen? Und mit wem soll ich reden? Jedenfalls, glaube ich, ist es wichtig, nicht nur mit der KI zu sprechen, sondern auch mit unseren Mitmenschen und miteinander zu reden. Ich glaube, das hatte ich vorher auch kurz angemerkt, wie man KI-Ergebnisse überprüft. Ich glaube, wir können das am besten gemeinsam und müssen uns überlegen, wie wir die KI vielleicht auch gemeinsam nutzen.

18:26Karin Heitzmann Schön, wir haben gerade gemeinsam geredet. Axel Bollares, herzlichen Dank für deinen Besuch hier für den Podcast und für diesen spannenden Einblick in deine Forschung. Alle Infos zur Forschung sind wie immer in unseren Shownotes verlinkt. Wenn Ihnen unser Podcast gefällt, freuen wir uns über Feedback in den Kommentaren.

18:42Karin Heitzmann Bis zum nächsten Mal bei Welthandelsplatz 1, dem Wissenspodcast der WUW.