Was ist Kontextwissen und warum ist es so wichtig? (Folge #16)

Sven Hofmann: Willkommen bei generativ gedacht KI mit Sven und Torg. Eine neue Folge, Folge Nummer 16. Heute sprechen wir über Kontextwissen. Ich bin schon sehr gespannt. Es ist ein sehr, sehr großes Thema. Laut meiner Meinung auch das Thema bei KI, was es schon seit Ewigkeiten ist. Aber gerade kommt das irgendwie noch mal wieder auf bei den ganzen Unternehmen, weil wir jetzt neue Möglichkeiten haben mit den KI Modellen. Und da wollen wir euch heute mal einen Überblick geben. Ja, hallo Torge. Freut mich, dass wir heute wieder ein spannendes Thema haben für unsere Hörer, was sicherlich helfen kann im Umgang mit KI-Modellen und für die Nutzung und für die Ergebnisse, ja, für bessere Ergebnisse beitragen kann, sage ich jetzt mal. Weil Kontextwissen ist eigentlich der Schlüssel für die Nutzung der Modelle, aus meiner Sicht zumindest. Es sollte auf jeden Fall immer Berücksichtigung finden. Ja, auf jeden Fall. Dann lass uns direkt reinstarten, Sven. Was ist denn für dich Kontextwissen? Ja, Kontextwissen ist das Wissen und die Information, die ich einem Modell bereitstellen kann, die ich selber bereits erstellt und gesammelt habe über meine Tätigkeit, mein Unternehmen, meine Abteilung oder meine Aufgabe, zum Beispiel in einem Projekt. Und dieses Wissen bedeutet, dass ich dieses Wissen zur Verfügung stellen muss dem Modell. und dass das Modell den Zusammenhang erkennt zwischen dem Ziel, was ich erreichen möchte mit meiner Anfrage und zum anderen mit den Informationen und Daten, die es hierfür verwenden soll, ⁓ eine möglichst gute Ergebnisse zu liefern und liefern zu können und im Endeffekt nicht nur auf die eigenen Trainingsdaten sich beziehen sollte, sondern eben auch auf dedizierte Daten der Unternehmung, des Einzelnen oder des speziellen Projektes. ⁓ so vorbeugen zu können, in den Antworten oder in den Ergebnissen die Halluzinationen aufgrund fehlender Informationen zu groß werden. Ja, ich versuche mal ein Beispiel zu machen. Vielleicht ist das dann noch ein bisschen greifbarer. Und zwar, wenn ich mir eine Marketing Abteilung anschaue, dann gibt es ja gerade in größeren Unternehmen, bespielen die verschiedene Kanäle, die haben einen Blog, die haben Instagram-Kanal, LinkedIn und so weiter und so fort. Sehr schön. Und wenn ich jetzt einem KI-Modell sage, ich stelle mir mal einen Blogbeitrag für mein Unternehmen XY, dann wird das relativ generisch sein. Wenn ich aber einmal aufbereite, also einerseits die Unternehmensinformation, also sage, was bin ich für ein Unternehmen, was ist unsere Vision, warum machen wir das, in welchen Märkten sind wir tätig und so weiter, dann gebe ich da schon mal ganz gut Kontext mit für das Sprachmodell, wenn ich das hinterlege in meinem Assistenten oder wo auch immer ich da gerade arbeite. Geht natürlich auch direkt im Chat. Und darüber hinaus kann ich dann ja noch weiteres Kontextwissen mitgeben für jeden Marketingkanal. Also ich kann dann nochmal definieren, LinkedIn Beiträge machen wir die und die Art, Instagram sieht bei uns so und so aus, also Format, wie ist da der Sprachstil und so weiter. Das ist ja alles Kontextwissen, was ich einmal aufbereiten muss und aufarbeiten muss, damit das dann nachher auch wirklich funktioniert und ich nicht jedes Mal bei Null anfange. Und dass das Ganze dann auch nach dem Unternehmen klingt und nicht so generisch nach KI. Das ist nämlich die Gefahr. Wenn man das nicht tut, dann bekommt man eben nicht ganz so gute Antworten. Absolut, genau. Das ist sehr wichtig in dem Zusammenhang. Man kann dem Ganzen auch Beispiele mitgeben, sogar auch von Wettbewerbern, jetzt in Bezug auf die Marketingabteilung, die du erwähnt hast, dass man sieht, was macht der Wettbewerb, wie gestaltet er seine Inhalte und gibt es als Beispiel mit, wenn die Inhalte aus gewisser Sicht wahrscheinlich gut laufen würden, weil der Wettbewerber entweder größer ist oder eine spezielle Agentur hat, was man weiß vielleicht. dass man sagt, okay, das sind die Designs, sind die Texte, die Bausteine und die Struktur, die die jeweiligen Wettbewerber verfolgen. Wir möchten in einer ähnlichen Struktur das Ganze nehmen und das dann als Wissen anhängen. Und somit erspart man sich doch sehr viel Recherche dazu, was kann denn funktionieren und kommt so wahrscheinlich sogar überspringt man hier ein bis zwei Schritte entsprechende Qualität zu erzielen bei den Ergebnissen. Zum Thema, wie sollte man das Ganze aufbereiten? Denn es gibt ja verschiedene Möglichkeiten, wie du erwähnt hast. Vielleicht kannst du mal zwei, drei Beispiele nennen, wie der Kontext, das ganze Wissen aufbereitet werden soll. Wie sollte man das zum Beispiel ablegen? Ja, genau. Vielleicht da noch einen Schritt zurück. Ich beobachte so zwei Ansätze, Unternehmen verfolgen. Also man bekommt häufiger mal Anfragen, wo dann Unternehmen sagen, guck mal, hier ist unser Confluence. Das ist nicht up to date. Ich weiß nicht genau, was da aktuell ist und was nicht. Das können wir doch jetzt mit KI einfach aufräumen und dann läuft das doch. Mhm. Und da ist die Antwort leider nein. kann natürlich KI-gestützter durchgehen und das alles aufbereiten und aufräumen. Mein präferierter Ansatz ist aber zu sagen, ich schaue mir die einzelnen Bereiche und Aufgaben an und bereite da einmal im Kleinen strukturiert diese Daten auf und hinterlege mir die entweder direkt in dem Sprachmodell dann als Markdown-Datei oder ... ⁓ Word-Datei würde auch gehen. Wenn man anfängt mit Fotos und PDFs, dann wird es schon teilweise bisschen schlechter, dass die KI-Modellist nicht ganz so gut verarbeiten und lesen können. Also möglichst nah am Text bleiben ist da die Empfehlung. Genau. Und ich kann natürlich auch sagen, das geht ja mittlerweile, dass ich externen Tools anbinden kann, ⁓ mir da Wissen reinzuholen. Mhm. Mhm. könnte mein gesamtes Wissen auch einmal strukturiert in Notion aufarbeiten und dann über MCP-Schnittstelle nennt sich das dann. Viele Tools haben doch einfach so einen Schalter, dass man sagt, verbinde bitte mein Cloth mit Notion, dann muss man sich da gar keine Gedanken machen. Und dann kann ich da direkt auf mein Notion-Wissen zugreifen. Genau. Mhm. Ja, schön. Wunderbar. Und genau da setzt ja auch das ganze Thema an. Was ist denn eigentlich, welche Bereiche von Wissen gibt es zum Beispiel? Wir haben ja zwei Arten von Wissen. Einmal das statische und das dynamische Wissen. Und statisches Wissen ist relativ einfach. Das sind Datenfakten, die sich nie ändern. Wie beispielsweise bei Unternehmen die Thematik Wer sind wir? Was tun wir? ⁓ macht die Abteilung XY? ⁓ Und was ist das Ziel dieser Abteilung? Was möchte sie erreichen mit dem Ganzen? Das ist statisches Wissen, das ist festgelegt. In Unternehmung steht für gewisse Themen genauso die Struktur des Unternehmens. Und dieses Wissen kann man natürlich wunderbar einmal mitgeben, auch in Notion, da ich auch ein großer Freund von. Und dann gibt es ja noch das dynamische Wissen, weshalb dann die Anbindung zu Notion zum Beispiel auch sehr viel Sinn macht. weil sich natürlich Wissen im Laufe der Zeit ändert. Spezielles Projektwissen durch Projektfortschritte zum Beispiel, spezielles Wissen aus der Produktion, Daten aufgrund von neuen Produkten und spezielles Wissen in den anderen Bereichen aufgrund von neuer Entwicklung. das ist wichtig zu unterscheiden und beides sollte man im Kontext dem Modell mitgeben, sodass es sowohl auf die Vergangenheit auf das statische Wissen referenzieren kann, als auch auf die aktuelle Gegenwart immer up to date bleibt. ist ganz wichtig. Somit umfassend, wie der Mitarbeiter selbst, der das ganze Unternehmen kennt, nicht nur die einzelne Abteilung, darauf zugreifen kann. Jedoch pro Projekt kann man dieses Wissen natürlich schön klustern in Modellen, in Tools wie Notion, ⁓ für jede einzelne Abteilung Marketing, Vertrieb, Akquisewissen entsprechend bereitzustellen und aufzubereiten. Ja, finde, da erkennt man immer ganz gut, wo auch Grenzen liegen von den Sprachmodellen und von dieser Memory-Funktion. Teilweise hat man die ja aktiv, hat irgendwelche Sachen da irgendwann mal reingegeben und dann werden die auf einmal in einem ganz anderen Kontext wieder referenziert, sind aber eigentlich schon nicht mehr aktuell. ich habe das manchmal, dann geht der auf einmal auf irgendeinen ganz alten Trainingsplan von mir ein. Richtig. Das ist halt was Dynamisches, was sich weiterentwickelt und bei den dynamischen Sachen ergibt es absolut Sinn, das irgendwo außerhalb von dem Tool zu pflegen. Weil sonst habe ich irgendwo mal Dateien hochgeladen und die sind aber gar nicht mehr up to date und das ist, habe ich fünf verschiedene Assistenten, die haben alle die gleichen Dateien. Dann passe ich in einem Assistenten was an, dann muss ich das in allen anderen auch machen. Also da lieber schauen, dass man auf ein externes Tool geht und da sein Wissen einmal Absolut. ordentlich strukturiert. Genau, kleiner Tipp von meiner Seite, was ich gemacht habe, ist beispielsweise in Claude die Memory Funktion über vergangene Chats deaktivieren, weil ich alles in Projekten anlege und somit dem Projekt immer nur sein Kontextwissen hinzugebe. Dann erinnert er sich im Projekt an den Kontext, wie zum Beispiel aus Notion oder direkt aus dem Projektordner, aber nicht mehr, wie du sagst, auch an ältere Chats. Das ist mir auch schon ein paar Mal passiert natürlich vor ein paar Monaten, dass er immer wieder Sachen referenziert, was denn da schon... installiert wäre beispielsweise, sie haben ja bereits einen VPS Server installiert und so und ich dachte mir so, no. Das war in einem anderen Kontext und deshalb das auch ausschalten und jedem wirklich den dedizierten Kontext, den man in Tools with Notion zur Verfügung stellt, eben mitgeben. Genau. Sehr schön. Dann haben wir das Thema natürlich, was zu dem gesamten Umfang des Kontextwissen gehört. Es gab ja oder gibt bis heute natürlich immer noch das Thema Prompt Engineering. Das bedeutet ja, dass wir die Erstellung von gewissen sinnvollen Prompts strukturiert aufbereiten. Die Prompts sollten umfassend sein, einer speziellen Strukturfolgen hatten wir auch schon im Podcast bei uns eine Folge zum Thema Prompting. Nur jetzt kommt das Thema Context Engineering ins Spiel, weil ja jetzt praktisch auch der Gesamtzusammenhang eines Projektes betrachtet werden kann. ist. Wie kann ich mir das vorstellen, Tauke? Genau, also Kontext Engineering, im Prinzip ist das so das, was übergeordnet das beschreibt, was wir jetzt besprochen haben. wie organisiere ich das Kontextwissen, was ich der KI zur Verfügung stelle. Teilweise wird das auch vermischt, also Kontext Engineering und Prompt Engineering. Man könnte das auch zusammenschmeißen. Bei LinkedIn wird das auch gerne mal durcheinander geworfen. Und dann heißt es auf einmal Prompt Engineering ist tot. Jetzt ist alles Kontext Engineering. Mhm. Absolut. Aber weil die Sprachmodelle heutzutage deutlich größere Kontextfenster haben, also mehr Wissen einfach mitnehmen können, wird das immer relevanter. Weil ich kann einfach riesige Mengen da reinkippen, aber auch da muss ich natürlich schauen, wie ich das Ganze angehe. Und auch das hat Grenzen. Mhm. Also wenn ich da ein ganzes Strafgesetzbuch reinschmeiße und dann versuche, eine sinnvolle Antwort zu bekommen, dann wird das eher schwierig, weil mit einer Menge an Daten verwässert das auch wieder die Antwort. Und da gibt es so ein Konzept, das kommt aus der Softwareentwicklung, ich, die Progressive Disclosure. Absolut. Hm? Und das beschreibt im Prinzip, so in einfachen Worten, parafrasiere ich das mal, dass die KI sich im richtigen Moment den relevanten Kontext holt. Also jetzt mal ein Beispiel mit dem Marketing, was wir vorhin hatten. Dieser Assistent für LinkedIn, der soll sich einmal die Unternehmensinfos ziehen und die Sprache, die wir auf LinkedIn benutzen. Hmhm. So das interlege ich da als Dateien oder mache eben die Referenz zu den Notion Seiten. Aber es wäre Quatsch, dem jetzt noch mitzugeben und zu sagen, so machen wir das bei Instagram und so schreiben wir Blogpost. Das ist ja in dem Moment gar nicht relevant. Und das zu orchestrieren, also dieses Context Engineering so aufzubauen, dass die KI im richtigen Moment die richtigen Informationen hat, das ist so die große Kunst, würde ich mal sagen. Und auch das, womit sich Mhm. alle Unternehmen und ich selber auch ... wir tun uns alle schwer mit, ... das mal so wirklich strukturiert aufzubereiten. Genau, genau. Im Endeffekt ist der Unterschied auch ein bisschen so. Beim Prompt Engineering bedeutet das, was muss ich jetzt in diesem Prompt verarbeiten, damit er was weiß. In der Einzelanfrage und beim Kontext Engineering könnte man sagen, man muss sich Gedanken machen, welches Wissen braucht das Modell, ⁓ das entsprechende Ergebnis zu liefern. Also das sind die beiden Themenbereiche, obwohl die beide ineinander übergehen, weil ohne Prompting geht es nicht. Das heißt, Prompt Engineering ist durchaus relevanter Teil von Kontext Engineering, würde ich jetzt mal sagen. Genau, richtig. So, und jetzt haben wir natürlich die Daten festgelegt, aufbereitet, unser Wissen angebunden, haben uns Gedanken darüber gemacht, welches Wissen braucht das Modell. Aber jetzt kommt die Frage, was fange ich jetzt, wie implementiere ich jetzt das Ganze in den gängigsten Tools, die aktuell am Markt sind? Ja, absolut. Wir würden da heute kurz darauf eingehen, man da im Bereich Chatchi-BT machen kann, also von OpenAI und zum anderen bei Anthropic Cloud. genau. Vielleicht kannst du dazu kurz einen Einblick geben, Torge. Yes, genau, sehr gerne. auch da habe ich wieder natürlich verschiedene Möglichkeiten. Also ich kann natürlich versuchen, dass ich ein externes Tool anbinde, Notion, und mache das dann über den Chat und greife darüber über die Notion-Verbindung zu und sage, hallo, hol mir mal die Information aus Notion. Interessanter wird es aber noch, wenn ich anfange mit Projekten zu arbeiten. Oder dann auch Custom-GPTs. Das ist ja so ein bisschen der Begriff, bei beiden dann das eine, das jeweils andere beschreibt. Genau, kannst du vielleicht gleich auch nochmal drauf eingehen. Und das wären so die grundlegenden Möglichkeiten. Aber ich glaube, du kannst das auch nochmal ganz gut beschreiben, wie du da vorgehst bei deinen Custom-GPTs. Genau, also in JetGBT, wir setzen hier immer voraus, dass wir bei allen Sachen die Bezahlversionen haben. Kurzer Einschub, gratis Version geht das nicht. Gibt es die sogenannten Custom-GBTs, also GBTs, die man sich selbst erstellt, für eine gewisse Aufgabe dann im Endeffekt sozusagen baut oder einrichtet. Da kann man zum einen einem Systemprompt hinterlegen, der aus meiner Sicht nicht zu ausführlich sein muss. weil man das gesamte Kontextwissen als Anhang in diesem Custom GPT als zum Beispiel Markdown-Datei, Text-Datei, PDF-Datei, Word-Datei anhängen kann, dann in dem Systemprompt darauf einzugehen, wie er die Aufgabe erledigen soll, nach welcher Struktur und welchem Muster und welches Wissen er dafür aus diesen auch geladenen Dateien zur Verfügung hat. Man kann dem Ganzen auch noch zusätzlich eine Web-Recherche anhängen, was dann natürlich dazu führt, dass er verschiedene Sachen im Internet zusätzlich recherchiert. Das bedarf dann einer höheren Kontrolle an der Stelle, weil man ja dann außerhalb dieses Kontextwissenbereichs rauskommt. Custom GBTs sind vorteilhaft für kleinere Aufgaben, wie zum Beispiel Ernährungspläne, Trainingspläne und so weiter und bieten auch den Vorteil, dass man sie grundsätzlich über einen Link mit anderen teilen kann. Das heißt, ⁓ Jemand anderes kann die dann auch für sich selbst benutzen. Man kann die nämlich vervielfältigen. Das ist ein schöner Vorteil, der da ist. Bei ChagyBT, bei Claude ist es anders. Da heißen die Sachen Projekte. Im Projekt sollte man über den Systemprompt auch die Struktur definieren, was er tun soll und vor allem auch das Ausgabeformat festlegen, wie er das Ganze ausgeben soll. Und dann kann man hier verschiedene im entsprechenden Format auch anhängen, beziehungsweise Claude natürlich mit Notion verbinden, mit verschiedenen anderen Quellen verbinden, sodass in den Projekten immer das Kontextwissen bereitsteht. Das kann man nicht teilen mit anderen, jedoch im Business-Kontext kann man bei Claude über die Teamsubscription oder die Business-Subscription natürlich ein Team einladen, welches dann auf einem Projekt gleichzeitig arbeiten kann. Das ist ein großer Vorteil an der Stelle, weil man kann einzelne Teammember dann für einzelne Projekte auswählen, die dann für dieses Projekt zusammenarbeiten können und gleichzeitig darauf zugreifen können. Man kann das aber natürlich auch allein erstmal vorbereiten. Und da liegt dann der Vorteil Claude, weil es eher auf den unternehmerischen Kontext geht, aber dann auch spezieller für die einzelne Aufgabe darstellbar ist. Also ich kann bei Jet2BT nicht sehen, wenn jemand anders den den Custom GPT benutzt, den benutzt er dann nur für sich selbst. kann man so nicht so zusammenarbeiten wie jetzt beim Anthropic Projekt zum Beispiel. Und das sind die beiden Tools, die wir auf jeden Fall oder zumindest ich von meiner Seite aus empfehlen kann, hier für diese Aufgaben erstmal zu nutzen, ⁓ da reinzukommen, wie ändern sich Ergebnisse, wenn ich entsprechend Kontext aufbereite und das dann in verschiedenen, ja. Chat-Umgebungen hinterlege ich jetzt. Ja, super. Damit haben wir, denke ich, sehr guten Überblick gegeben, guten Einstieg. Man kann natürlich sich noch stundenlang über dieses Thema unterhalten. Und dann danke ich dir, Sven, für die vielen Infos, für die Insights, die du geteilt hast. Freue mich auf die nächste Folge. Bedanke mich fürs Zuhören und wünsche noch einen ganz neuen Tag. Tage auch für deine Insights und für das Teilen heute und wünsche unseren Hörern auf jeden Fall noch einen schönen Tag und freue mich auf die nächste Folge. dahin, ciao! ⁓ Ciao, ciao.