Kurze Leine oder freie Hand? Wie du KI-Agenten richtig führst

0:06Theo Maxim, wie sehr fehlt dir die Zeit am Max-Planck-Institut?

0:12Maksim Ach, eigentlich geht es. Aber manchmal kommen solche Gedanken durch und dann hast du keinen, mit dem du sie teilen kannst. Während bei so einer Coffee Break am MPA wäre das jetzt. Dann wären wir jetzt direkt an die Tafel gegangen, hätten versucht, irgendein Paper draus zu schreiben, was nachher keiner lesen will.

0:29Theo Ja, aber ich glaube, das ist vielen gar nicht so bewusst, wie wissenschaftlich gearbeitet wird. Also gerade so mit der Corona-Zeit, wo ja dann auch viel Wissenschaftsskepsis hochgekommen ist, war das für mich vor allem informativ, zu lernen, wie wenig das eigentlich bekannt und publik ist, wie in der Wissenschaft gearbeitet wird und wie hart man sich da auch gegenseitig challenged, bis was reviewed ist.

0:52Theo Und auch sowas wie das, was du gerade beschrieben hast, die Friday Coffee Break Seminar Sessions, wo man dann am Whiteboard steht und erstmal eine Idee durchickst.

1:01Maksim Ja, nachher sind dann so richtig schöne Diskussionen, wo auch mal komische Szenarien diskutiert werden, müssen dann nachher veröffentlicht werden und dann hast du die Kacke am Dampfen.

1:12Theo Spannend wird es bei den Papern, wo nicht darum gestritten wird, wer als Autor mit draufsteht, sondern wer als Autor mit draufstehen muss.

1:19Maksim Das stimmt.

1:21Theo Apropos draufstehen muss, ich würde gerne die Diskussion vom letzten Mal fortführen. Und zwar haben wir ja schon darüber gesprochen, Verantwortung für KI-Systeme, Was muss man tun, um dann am Ende wirklich die Verantwortung für das, was die KI ausspuckt, übernehmen zu können? Und das letzte Mal waren wir relativ high-level unterwegs und wir haben uns für heute vorgenommen, dass wir ein bisschen tiefer einsteigen.

1:45Maksim Und ich darf wieder die Fragen stellen.

1:47Theo Oh ja, ich freue mich.

1:49Maksim Ja, dann fangen wir doch mal gleich an. Thema Freiheit. Wie viel Freiheit gibst du denn der KI? Und vielleicht um die Frage so ein bisschen zu strukturieren, auch für das Publikum da draußen. Wir denken da so ein bisschen in drei Kategorien. Wir denken in Chatbots. Frage, Antwort, Frage, Antwort, Frage, Antwort.

2:07Maksim Dazwischen darf der Bot vielleicht ein bisschen was machen, eine Websuche oder irgendwie Code ausführen, aber grundsätzlich führt er ein paar Tools aus mit dem Ziel, nach kurzer Zeit mit dir wieder zu kommunizieren. Dann haben wir das Thema, das nennen wir Subagenten, das sind die, wo der Pfad der Instruktionen vorgegeben ist, also im Prinzip wie so eine Arbeitsanweisung hat dann der Agent, mache A, dann mache B, dann mache vielleicht parallel C1, C2, führe beides in D zusammen und E ist dann dein Ergebnis.

2:40Maksim Also sowas wäre so eine Kette an Instruktionen mit Prompts, die robust sind, die eigentlich immer gut funktionieren. Und dann kannst du das abfeuern und der macht es und fertig. Und dann haben wir ja quasi dann die höchste Intelligenz. Das ist dann nicht der Subagent, sondern der Agent. Das ist dann der, dem gibst du eine Aufgabe und dann darf der machen, wie der Bot es für richtig hält.

3:04Maksim Und so innerhalb dieser drei Kategorien eingeordnet, Theo. Wie viel Freiheit gönnst du deiner KI?

3:11Theo Also du hast ja die Hauptkategorien gerade schon aufgespannt und der Grad der Autonomie steigt von einer zur nächsten Kategorie tatsächlich. Wobei das nicht ganz stimmt. Der vordefinierte Workflow, das wäre jetzt sozusagen Kategorie 2, bei dem man ganz klar die einzelnen Prompt Chain Steps oder die Kettenglieder, vorgibt, bei denen kann der Agent eigentlich am wenigsten ausbrechen.

3:38Theo Also man kann sich so vorstellen, du hast zum Beispiel einen Vertragschecker, Und brichst da konkret runter, okay, nicht nur die einzelnen Fragestellungen, sondern das Dokumenten-Read-In, das, nach einem ganz gewissen Muster erfolgen muss, um beispielsweise Fußnoten immer richtig einzulesen, sodass der Agent nicht von einem aufs nächste, aufs nächste, aufs nächste Mal immer wieder neu erfinden muss, hey, okay, wie rekonstruiere ich jetzt diese Seitenumbrüche, wo dann zwischendrin Fußnoten drin vorkommen.

4:07Theo Und dann auch die inhaltliche Prüfung, die, wenn ich es voll durchdeklinieren kann und quasi die maximale Sicherheit haben möchte, wirklich dann in einer Prompt dann nur umfasst, hey, wie schaut es aus mit der Definition dieses Fachbegriffs? Ist der in dem Vertrag richtig definiert? Und dann macht der Bot an der Stelle, nichts anderes, als nur diese eine Prompt abzuarbeiten.

4:29Theo Auf der anderen Seite, das Erste, was du gemeint hast, das sind ja Chatbots, die über eine System-Prompt definiert werden. Genau.

4:38Maksim Und den Tools.

4:39Theo Und den Tools, genau. Also letztlich, ich predige ja in meinen Schulungen immer die Dreifaltigkeit, die Prompt Instruction, der System Message, die Tools und das Kontextwissen, das man den Agenten quasi über Rack-Systeme noch mit reingibt.

4:51Maksim Amen.

4:53Theo Ja, aber so bleibt es hängen. Immer wieder wiederholen und am Ende könntest du die Teilnehmer. Und bei denen ist es so, also da legst du ja am Anfang sehr viel fest über die Persönlichkeit und eben welche Tools haben die überhaupt zur Verfügung. Genau. Und außer man gibt denen jetzt wieder irgendwelche Jailbreaks und so weiter mit in die Hand, aber dann sind sie da erst mal festgelegt.

5:12Theo Und dann ist aber so, und das ist vielen, finde ich dann auch bei mir in den Schulungen gar nicht so bewusst, ab da ist dann wieder Freestyle. Also der Chatbot in der Interaktion mit dem Nutzer, der macht ja dann auch gern mal, was er will. Und wenn du dem sagst, okay, jetzt überprüfst du meinen Vertrag für mich, dann ist es quasi zu erwarten, dass der auch irgendwelche Dinge vergisst oder sich ablenken lässt vom Nutzer.

5:35Theo Wenn du jetzt sagst, okay, jetzt steigen wir mal in die Klausel total tief ein, dann kommt er aus dem Rabbit Hole nicht mehr raus.

5:41Maksim Ja, genau. Also du hast diese Attention, die Aufmerksamkeit des Bots, die ist. Nur weil du in der System Message irgendeinen Arbeitsablauf vorgegeben hast, der hält sie nicht hundertprozentig daran. Wäre auch wahrscheinlich relativ nervig, wenn er das täte. Und da ist der Kontrast zu dem Subagenten, wo das ja dann quasi wie vorgefertigte Prompts sind, als hättest du sie geschrieben, wo du dann dadurch ja den Arbeitsablauf total vorgibst.

6:06Maksim Der ist dann sehr deutlich.

6:08Theo Ja, und gleichzeitig ist halt irgendwo bei diesen vorgefertigten RPR, also Robotic Process Automation inspirierten Workflows, wo ja wirklich das total starr ist, aber wiederum nervig, weil wenn halt irgendwo unterwegs in der Kette was schief läuft oder nicht so wie vorher gesehen, dann ist es relativ schwer zu reparieren.

6:26Maksim Genau, der Klassiker ist, das PDF konnte nicht eingelesen werden wegen, keine Ahnung, Passwortschutz, dass man das her vielleicht noch nicht drin hatte. Und dann laufen aber die 17 anderen Prompts mit, analysiere jetzt, war dieses NDA symmetrisch und dann steht dann überall, wenn du Glück hast. Das PDF konnte nicht eingelesen werden, aber wenn es so wäre, dann könnte ich hier beantworten, bla bla bla, oder wenn du Pech hast, beginnt er dann tatsächlich, das sind noch so die einzigen Fälle, wo ich heute mit modernen Modellen noch Halluzinationsprobleme habe, wenn so ein Subagent am Anfang scheitert.

7:02Theo Oder das Abbruchkriterium und eine Fehlermeldung im Gesicht.

7:07Maksim Aber das ist dann noch der bessere Fall.

7:08Theo Ja, richtig, und bei den agentischen Cases, und mit agentisch, so wie wir es jetzt die letzten Male ja immer definiert haben, Du hast ein Modell, das sozusagen in einer großen Endlosschleife selber Aufgaben abfeuert, der wird sich davon jetzt erstmal nicht stoppen lassen. Der merkt dann, okay, PDF ist passwortgeschützt.

7:27Theo So, dann schauen wir mal. Also entweder versuchen wir das Ding jetzt zu knacken oder wir fragen den Nutzer, Nutzerin nach Passwort. Das ist natürlich dann die deutlich flexiblere, aber auch immer eine Glücksspielgeschichte, wo man dann am Ende dabei rauskommt.

7:44Maksim Um nochmal das konkret auf die Freiheit runterzubringen, da sind ja auch im Prinzip drei Freiheitsmodi, wenn man so will, also Subagent der unfreieste, würde ich jetzt mal sagen. Wie entscheidest du, was du benutzt?

7:59Theo Ob die Tätigkeit oder die Aufgabe, die der Bot übernehmen muss und soll, ob die von vornherein verstanden ist und wie gut. Also sowas wie ein Vertragschecker, das funktioniert in der Form nur, wenn am Anfang schon klar ist, okay, das ist nicht nur immer genau diese Art von Vertrag, sondern es werden mich immer genau diese Aspekte interessieren.

8:22Theo Das ist sozusagen, wo der Mensch auch schlecht ist, weil wir gerne einfach Dinge vergessen und uns ja auch ablenken lassen. Genau für die Art von Tätigkeit, wo man so total genau arbeiten muss. Das eignet sich sehr, sehr gut. Und auch so ein Beispiel, das ich immer wieder an den Projekten erwähne, ist, sobald du Daten zu verarbeiten hast, die von extern kommen, dann kannst du dir sehr, sehr häufig den Ansatz schon mal abschminken, weil.

8:51Theo Du externe Daten nie vollständig unter Kontrolle hast. Also du kannst ja auch ein Lied davon singen. Und dann, ja, was bleiben dann für Use Cases übrig? Entweder, dass die externen Daten absolut strikt einem Schema folgen müssen oder dass du halt dich darauf verlassen kannst, dass es gute Daten sind, weil du hast sie selber sozusagen verwaltet und maintained.

9:11Theo Und je mehr es zu einer offenen Fragestellung wird, wo der Lösungsweg auch per se noch völlig unbekannt ist, desto mehr geht es rüber in die agentischen Workflows und sozusagen, wenn der Nutzer oder die Nutzerin nur Ahnung hat, dann kann man denen ein Chatbot an die Hand geben, dass die den steuern, aber spätestens wenn die Nutzerschaft selber gar nicht mehr weiß wie man zur Lösung kommt, dann kannst du eigentlich nur noch, ja, prompt and pray das an den agentischen Loop geben und hoffen, dass der dann schon rausfinden wird, wie es zu tun ist.

9:43Maksim Ich würde da noch ergänzen, für mich ist auch so die Konsequenzen eines Fehlverhaltens. Beispielsweise bei einem, wenn ich wieder bei der Programmierung, hey, wenn der Agent halt total Mist baut, dann habe ich halt nachher in meinem Repository, irgendeine Code-Änderung, die absolut dämlich ist, aber die ich mit zwei Klicks verwerfen kann oder rückgängig machen kann.

10:09Maksim Während wenn du sagst, das kommuniziert jetzt zum Beispiel direkt oder, keine Ahnung, der schreibt E-Mails, da wollte ich dir auch noch was zu fragen, aber sagen wir mal, der macht deine CRM-Kommunikation, also dein Customer Relationship Management, die Fehler kriegst du nicht mit zwei Klicks korrigiert, sondern da kriegst du dann vielleicht nachher bei 500 Leuten zu Kreuze, den du irgendeine total dämliche E-Mail geschrieben hast.

10:31Maksim Also bei Letzterem wäre ich dann vorsichtig, ein autonomes, agentisches System, das machen zu lassen.

10:39Theo Ja, das ist ein guter Punkt.

10:40Maksim Also, was ist das, sagen wir, Fallout? Der Knastcase. Der Knastcase, genau. Also wenn ich zum Beispiel sagen würde, ich hätte ein modernes, agentisches Modell und sage, ich möchte das in einer Sandbox auf seine IT-Sicherheitsfähigkeiten testen. Und bin mir aber vielleicht nicht sicher, wie sicher meine Sandbox ist.

11:03Maksim Also ich hätte das jetzt nicht gemacht. Aber gut.

11:07Theo Naja, also du zielst ja auf die Ausbrüche ab, die jetzt vor kurzem erst auch passiert sind. Und witzigerweise ja bei Entropic und bei OpenAI. Und da merkt man ja erstmal, wie hart es sogar den Hyperscalern, oder wie schwer es denen fällt, die Modelle unter Kontrolle zu halten. Und deswegen, also was ich schon krass finde, der momentan aktuellste Hype, das ist ja dieses Cowork, also nach den Co-Piloten jetzt mit den Coworks, wo man dann den Agenten seiner Wahl bei sich lokal auf dem Computer mit Super-Admin-Rechnen installiert.

11:40Theo Also ich finde, das ist schon krass. Also einerseits predigen immer alle, ja, ja, Vorsicht, Vorsicht, keine Zugriffe. Und hey, wie kann man nur so dumm sein, den Agenten hier vollständigen Zugriff zu geben? Und dann ist es genau das, was momentan versucht wird, über das Marketing zu platzieren.

11:57Maksim Es existieren irgendwie da beide Welten. Für mich ist es deswegen auch, also deswegen mag ich das auch so gern, zum Beispiel Cloud-Code in Hallerium zu nutzen, weil dann ist das in diesem Workspace auf dieser Maschine und nicht auf meinem Computer, wo daneben irgendwie, keine Ahnung, wenn du dich durchs File verzeichnest, dann sind da vielleicht sensitive Kundendaten.

12:18Maksim Ich möchte nicht, dass mein Cloud, auch wenn er das noch nie probiert hat, theoretisch mit seinem Terminal darauf zugeführt hat. Also, und wenn er in einem Hallerium-Runner ist, dann ist er da drin gefangen, kann trotzdem immer seine Aufgaben, die ich von ihm will, wunderbar erledigen. Also ich kann ja nur predigen, nutzt virtuelle Maschinen.

12:37Maksim Dann habt ihr nämlich genau diesen Super-GAU-Fall, von dem wir vorhin gesprochen haben. Dann wisst ihr, was der ist. Also wenn auf dieser Maschine halt mein E-Mail-Account einfach nicht verknüpft ist.

12:49Theo Ja, richtig.

12:50Maksim Was soll dann passieren? Also aus dem Blickwinkel jetzt, dass E-Mails verschickt werden oder sowas. Aber wenn ich das alles auf meinem Personal-Computer laufen lasse, gibt es ja diverse Frameworks, ja, dann muss ich halt auch dieses Risiko tragen.

13:07Theo Letztlich ist da aus meiner Sicht da gar nicht die Frage, ob da Scheiße dabei passiert, sondern nur wann.

13:12Maksim Wie mit dem Datenverlust, ne?

13:14Theo Ja, richtig, genau. Es gibt nur zwei Arten von Menschen, die schon Daten verloren haben und die es noch werden, oder? Den Spruch meinst du? Genau. Und genauso ist es mit den KI-Agenten, die du lokal installierst. Ich habe es am Wochenende wieder von einer gelesen, die hatte so zum Spaß gesagt, ja, okay, ich glaube, das war wieder mein Claude Cowork, aktualisieren wir die und die Info in dem und dem System. Ich glaube, das war so Projektmanagement-System.

13:37Theo Und was macht Claude? Claude findet von ihrem Passwortmanager das Recovery PDF, loggt sich in den Passwortmanager ein, zieht sich da das Passwort raus und loggt sich dann bei ihrem Projektmanagementsystem ein. Also das geht auch über Eck.

13:51Maksim Ja, das ist so ähnlich wie sich auf Hugging FaceEye zu hacken, um für diesen Hacker-Test zu finden.

13:58Theo Ja, richtig, richtig.

14:00Maksim Ei, aber Claude hat doch die Aufgabe gelöst.

14:03Theo Ja, genau. Aber ich hoffe, das ist jetzt so eine Fun-Story, aber da steckt natürlich ein cooler, auch finde ich sehr, sehr, sehr interessanter Kern drin, dieser vollautonom-agentischen Loops. Du gibst dir eine Aufgabe, also eine Zieldefinition, sagst mach und das Modell wird alles in seinem Training und Toolset mögliche versuchen, um da hinzukommen.

14:26Maksim Genau, und das ist Fluch und Segen zugleich.

14:27Theo Ganz genau, ja.

14:30Maksim Gehen wir ein bisschen in eine andere Richtung. Mal folgendes. Ich glaube, das habe ich mal in irgendeinem Y-Combinator-Podcast gehört. Da ging es so darum, hey, überleg mal, wie viele heutige Office-Jobs sind doch eigentlich sowas wie, du tippst Daten aus Maske A ab und tippst sie in irgendeiner pivotierten Form in Maske B ein.

14:54Maksim Also das hat auch heute noch irgendwie jeder von uns ein bisschen zu tun. Und das ist eigentlich eine relativ stupide Tätigkeit auf der Abstraktionsebene. Und genau das kann ja die KI heutzutage machen. Also im Prinzip, ich glaube, du hast es mal so wie sagen, den Universalkleber genannt oder sowas. Also was quasi eine Schnittstelle nicht bietet, kann die KI ausbügeln.

15:17Maksim Was hat deine KI denn für dich zusammengeklebt in den letzten drei Jahren, was vorher noch nicht zusammengepasst hat?

15:25Theo Also ein sehr, sehr cooler Case, der mir da neulich untergekommen ist, das war die... Datenverarbeitung von einem Kassensystem. Und zwar ist der Use-Case der, es gibt doch diese Self-Service-Supermärkte, wo du mit deiner IC-Karte kommst quasi in den Raum und holst dir deine Waren, scannst die ein, bezahlst und alles quasi ohne Personal, dafür 24-7 geöffnet.

15:51Theo Und da hat man den Case, dass diese Kassensysteme sehr. Unzuverlässig hinsichtlich ihrer Buchungsdaten waren. Also die haben dann doppelte, Buchungen angelegt, weil der Barcode-Scanner hat quasi den Barcode zweimal gelesen, dann gab es quasi gleich einen doppelten Satz. Und die Konsequenz war dann, dass eine sehr gut bezahlte Steuerfachkraft diese Buchungssätze eins nach dem anderen gecheckt und musste quasi die Duplikate rausholen und so.

16:23Theo Und das war so ein klassischer Klebercase, weil diese Regeln, nach denen die Anomalien zu erkennen waren, eigentlich sehr, sehr einfach beschreibbar waren. Also du sagst, okay, jetzt pass mal auf, wenn innerhalb von fünf Sekunden zweimal der gleiche Artikel gescannet wird, dann ist das erstmal verdächtig.

16:41Theo Also checkt das nochmal, ob das wirklich Sinn ergibt. Oder auch bei den Abbuchungen. Also teilweise wurde die EC-Karte zweimal mit dem gleichen Betrag belastet und so schluss. Und sowas kannst du gut in Worte fassen und gleichzeitig, naja, für irgendwie fünf so Terminals baust du nicht gleich eine neue Monster-App.

17:01Theo Und da war dann auch der Trade-Off okay. Aber man muss schon auch sagen, Wahrheit von den skalierten Kosten, also wenn du jetzt sagst, du lässt es mal auf eine Milliarde Buchungen los, dann wäre es wieder zu teuer gewesen. Und es gibt da wieder Spielraum, dass das Modell dann doch Fehler macht.

17:17Maksim Mit Trade-Off meinst du, Die Kosten zu sagen, hey, eine KI, der ich quasi jetzt einfach mit Brain, ein bisschen formalisiert, ein Brain Dump erkläre, was sie zu tun hat versus ich programmiere was Vernünftiges dafür oder lasse was programmieren. Und da ist halt dieser Trade-off bei einem einzelnen oder zwei Läden KI.

17:36Maksim Aber wenn du dir auf eine Milliarde Buchungen, dann sagst du halt, na, dann passieren A zu viele doch Fehler und B ist halt auch teuer.

17:43Theo Ist genau, einfach viel, viel zu teuer und ist es nicht in der Programmier-Community, also in der Informatik-Community momentan so ein Meme, dass Juniors dazu neigen, Dinge, die man, ohne Problem einfach programmatisch lösen kann, wie eine Vorschleife, dass man das als Tasks eintaktet bei einem Manus und der muss das dann abarbeiten.

18:06Maksim Das habe ich noch nicht gehört, aber das glaube ich sofort.

18:10Theo Genau dieses Pattern, dass man jeden Scheiß jetzt an der KI auslagert, obwohl es weder nötig ist, noch förderlich, sondern dir ja eher eigentlich nur Probleme bereitet.

18:20Maksim Wo ich das manchmal beobachte, ist, dass Leute sowas wie einen Git-Push oder Git-Commit, das sind ja wenige Zeilen getippt ins Terminal, dass dann lieber halt dem Klotz sagen, der vielleicht noch auf irgendwie super extra langem Nachdenken konfiguriert hat und da bläst du dann einfach mal, keine Ahnung, hast gefühlt jetzt einen Hektar Regenwald abgeholzt, um dir selber irgendwie zehn Zeichen Code tippen zu ersparen.

18:49Theo Ja, genau das ist die Idee, ne?

18:53Maksim Ja, er kann ja immer alles mal durch eine KI durch. Warum also nicht? Er bringt uns so ein bisschen dahin, Was ist denn die KI für dich? Also ist das sozusagen, keine Ahnung, dein Exoskelett oder dein Ausrüstungsgegenstand oder ist das der Buddy oder der Kollege oder der Assistent? Also verstehst du, was ich meine? Ist das ein Tool an dir oder ist das eine Persona?

19:25Maksim Vielleicht ist es auch beides, aber du kannst es mal so ein bisschen einordnen, in welcher Situation ist das was für dich?

19:30Theo Ja, vielleicht auch zeitlich aufgeräumt, ganz zu Beginn, also so auch mit den allerersten Modellen, als GPT-4 noch der heißeste Scheiß war, da war das für mich total die Exoskelett-Geschichte, weil die Modelle ja auch, einen sehr, sehr kurzen Aufmerksamkeitshorizont hatten, bis sie an eine Mauer gelaufen sind, wo dann sowieso zurückkam, okay und was soll ich jetzt machen?

19:54Theo Das heißt, da waren wir eher in diesem super fein granularen Steuern mit drin.

19:58Maksim Ja, die agentischen Systeme haben ja damals auch noch gar nicht funktioniert.

20:01Theo Ja, und also auch vom Pricing her, die waren auch damals viel zu teuer, wenn man noch sagt, okay, da hatten wir 10 Euro pro Kilo-Token und nicht Mega- oder Gigatoken.

20:10Maksim Ein ganzer Mann.

20:11Theo Ja, genau, genau, genau. Und okay, also back in the days stellte sich die Frage aus meiner Sicht nicht. Und jetzt seit heute ist es eine Zweiteilung für mich tatsächlich. Also das Zeug, was ich gut verstanden habe, da will ich auch irgendwie so in diese Exoskelett-Nummer wieder mit rein, aus der Sicht der Kontrolle, weil diese Buddy-Modelle, also Buddy-Modelle im Sinn von Arbeitsmodell, nicht KI-Modell, wo ich sage, okay, hier ist eine Aufgabe, mach.

20:45Theo Da fühle ich mich dann immer zu sehr aus dem Loop genommen, wenn du weißt, was ich meine. Also ich bin dann sozusagen dem Ergebnis schutzlos und ahnungslos ausgeliefert. Wenn das von der KI erledigt wurde, die Aufgabe, also was schreiben, was reviewen, was programmieren, gibt da die verschiedensten Arten von Aufgaben.

21:05Theo Und deswegen stelle ich bei mir persönlich fest, also wenn es eine komplett neue Aufgabe ist, dann bin ich eher in diesem Body-Mode und habe dann aber das intrinsische Verlangen, das zu einem Exoskelett zu machen, also dass ich den Body absorbiere und der eigentlich immer, dass die Leine immer kürzer wird tatsächlich, obwohl ja eigentlich so das propagierte, im Marketing, also so KI-Marketing-Bubble, die sagt ja, okay, die Agenten werden immer autonomer, also dass man da hin möchte.

21:32Maksim Ja, ich sehe da noch so diesen fundamentalen Unterschied, auch einfach zwischen einem menschlichen Kollegen und einem KI-Agenten, selbst wenn einzelne Aufgaben gleichermaßen delegiert werden können, habe ich quasi bei einem menschlichen Kollegen das Bedürfnis, immer mehr zu delegieren, also immer mehr von der Verantwortung, wo ich denke, jetzt hat er sich da eingefressen, kennt sich jetzt langsam besser aus als ich, hey, ja, dann, take it off my plate.

21:59Maksim Und beim KI-Agenten, wie du sagst, irgendwann, okay, jetzt müssen wir mal schauen, wie wir das jetzt wieder standardisiert kriegen und vielleicht aus diesem Floor dann wieder so einen Subagenten machen oder sowas, um das dann in diese Exoskelett-Welt zu bringen. Und mein mentales Bild ist da so ein bisschen, ja, weil halt ein Mensch Verantwortung tragen kann und ein KI-Agent nicht, bei dem trägst immer noch du die Verantwortung und dann dann musst du ja deine Due Diligence auch irgendwie, also du musst dann diese Leine behalten.

22:28Maksim Also für mich ist das so, emotional formuliert der Unterschied. Hast du das mit?

22:34Theo Ja, und erinnert mich an eine Diskussion, die wir im Team geführt haben, weil da ja auch eine Kollegin von uns meinte, ich weiß nicht, ob du da im Loop warst, so, hey Theo, am Ende muss ich mich hinstellen können vom Kunden und sagen, das ist jetzt so und so und so gebaut, weil, und dann brauche ich da eine Antwort drauf.

22:50Maksim Genau, dann kann ich nicht sagen, weil die KI das so entschieden hat.

22:52Theo Ja, jetzt stell dir mal vor, wie man sich da auch lächerlich macht, wenn man am Ende bei einem kritischen Feature total blank ist und sagt so, ja, hat Talerium entschieden.

23:01Maksim Ja, während wenn du sagst, ja, das hat mein Entwickler entschieden, ist vielleicht immer noch nicht optimal in der Präsentation, aber dann sagst du halt, ja, okay, wenn sie da die Details wissen wollen, machen wir ein Follow-up und morgen ist der dabei, der Entwickler.

23:15Theo Aber wo ziehst du dann die Grenze? Also wo ist die Schallmauer, wo du sagst, okay, das ist jetzt, keine Ahnung, woran du das festmachst? Eine Geschichte, wo es okay ist, dann auch zu sagen, keine Ahnung, wie das gelaufen ist, das hat die KI für mich gemacht, oder da weißt du ganz genau, wie es passiert ist.

23:36Maksim Ich denke da so ein bisschen wieder vom Ergebnis, vom Ende her. Kann ich am Ende so halbwegs plausibilisieren, ob das sinnvoll ist? Und dann kann mir ja der Weg dahin egal sein. Und Vielleicht auch so ein bisschen bei so Sachen wie Informationsbeschaffung, wenn du da so einen Agenten auf so eine Deep Research Sache geschickt hast, ich werde nahe nicht die Quellen von dem prüfen, sondern ich werde das Ergebnis überprüfen und dann versuchen, kann ich irgendwie beurteilen, ob das jetzt Fantasie ist oder real, aber ich hätte keinen Deep Research Agenten bemüht, wenn ich sage, ich müsste nachher noch alle überall schauen, ob das korrekte Primärquellen sind.

24:20Maksim Aber wenn ich das gar nicht hinten raus beurteilen kann, dann ist eine Möglichkeit noch zu sagen, ich gehe dann wieder in so einen Chatty-Agenten und lasse es mir vom Ergebnis her dann Schritt für Schritt erklären. Also quasi der Agent hat seine lange Reise dahin gehabt, vielleicht da Umwege gehabt, Dinge verworfen und so weiter, aber dann habe ich irgendein Ergebnis, für das muss ich gerade stehen und dann muss ich es tatsächlich, wie du sagst, irgendwie verstehen.

24:46Maksim Das kann ich mir dann wieder von einer KI erklären lassen, aber in einem Ping-Pong dann. Und zwar so, dass ich es halt bei meinem Skill-Profil verstehe.

24:56Theo Aber das heißt, du hast gerade dieses Deep Research Beispiel gebracht, Für mich ist da der Eindruck, aber das ist natürlich immer alles subjektiv, dass dieses Deep Research war so ein massiver Hype, der dann aber relativ wieder schnell verpufft ist. Und das ist aktuell, ich glaube bei JetGPT, so unter Tools oder Workflows, weitere und dann quasi nochmal Submenü 12, das ist mittlerweile so in den Hintergrund gerückt, oder?

25:23Maksim Ich meine auch nicht das ganz konkrete Tool, was diesen Namen geprägt hat, sondern wenn du jetzt einen modernen Agenten nimmst, der Internetzugriff hat und du sagst dem, du stellst dem eine komplexe Research-Frage und sagst dem, hey, bitte mach dich wirklich schlau, überleg erstmal, welche Art von Informationen du einsammeln würdest, dann finde zu allem Quellen und dann schreib nachher was, quasi umfassend das zusammen, der würde das ja in neuer und schöner dann ja auch gut machen.

25:50Theo Ja, aber von der Logik her trotzdem ja das Gleiche. Du schickst einen Agenten los und am Ende kommt was raus. Es ist hochgradig kondensiert. Und ich habe da immer so den Eindruck, das Thema ist eben verpufft, weil sich kaum jemand hinstellen möchte vor zum Beispiel dann einem Komitee und PowerPoint-Karaoke-mäßig dann die Ergebnisse von einem KI-Agenten vorliest.

26:14Theo Sondern was du ja beschrieben hast war dann okay es gibt quasi jetzt ein vorläufiges ergebnis ja und dann geht die arbeit eigentlich erst los und zwar dass ich mich als mensch wieder mit reingraben oder.

26:25Maksim Richtig aber das ist ja häufig dann schneller als von scratch zu machen gerade wenn es so viel hit and miss ist keine ahnung wenn ich dir sagt finde die 20 wichtigsten Firmen für irgendwie ganz seltsame Segmentierung raus und so weiter, suchst du dir die Finger rund und wenn du das die KI machen lässt und die, sind es dann wirklich die 20, vielleicht sind 10 von denen eigentlich nicht so relevant, aber 10 sind dabei, ist wahrscheinlich immer noch gut, das zu haben. Also es hängt so ein bisschen von der Aufgabe ab.

26:58Theo Ja, aber ich fand das hier gerade spannend, dass eben dieses Heilsversprechen von wegen so Deep Research, der macht sein Ding und dann so mit dem Ergebnis ist man fix und fertig, dass das eben nicht hält.

27:08Maksim Wenn es einen Mitarbeiter gemacht hätte, der Verantwortung, wenn ich wieder meine Mitarbeiter, als Person kann er Verantwortung oder hat auch einen Ruf zu verlieren und so weiter, hat eine ganz andere noch mal Agency als der Agent. Und dementsprechend da könnte ich dann sagen, hey, das hat der Son so gemacht, dem Ergebnis vertraue ich. Da schaue ich jetzt vielleicht einmal drauf, das ist ungefähr das, was ich mir vorgestellt habe, so als Finger dann schauen, oder das mache ich nur beim ersten Mal.

27:39Maksim Und das sehe ich halt mit der KI halt aufgrund der Verantwortungs- Ownership nicht. Wollen wir weitermachen? Ein paar Beispiele. Da sind wir auch so bei, so Ownership, Verantwortung und so weiter. Ja, was lässt du deine KI alleine machen? Also nehmen wir mal ein Beispiel, wir hatten vorhin E-Mails verschickt, da wollte ich auch nochmal drauf hinaus.

28:03Maksim Du hattest Vertragsprüfung. Vertragsprüfung genannt, und dann generell so Entscheidungen treffen. Das wären ja alles so diese Punkte, diese Case-by-Case. Also was davon lässt du die KI autonom machen, was lässt du sie gar nicht machen? Wo schaust du nochmal über die Ergebnisse drüber?

28:18Theo Das ist mir jetzt in der Vorbereitung auf die Folge auch nochmal klar geworden. Das hängt total davon ab, welche Art von Aufgabe das ist. Und das wiederum sind sich viele bei mir auch in den Schulungen überhaupt nicht bewusst, welche verschiedene Arten von Arbeit es eigentlich gibt.

28:32Maksim Das ist ein Framework für uns.

28:33Theo Naja, das ist jetzt keine wissenschaftliche Klassifikation, aber nur mal ganz einfach. Das hängt dann mit diesem Kleberthema von vorher zusammen. Wenn es darum geht, dass die KI für mich die richtigen Knöpfe drückt über eine API und die richtigen Texte in die richtigen Textfelder einträgt. Das ist sowas, da denke ich mir so, okay, mach. Ja, weil A ist da der Spielraum relativ klein, wo was schief gehen kann.

28:56Maksim Ja.

28:58Theo Und da findet sozusagen nichts kritisches unterwegs statt, sondern das ist Text von A nach B, vielleicht ein bisschen umformatieren, umtransformieren, okay, passt schon. Und dann wiederum, nächste Stufe von diesem voll mechanischen Arbeiten, das ist sozusagen, das sind so Execution-Themen, wie ich habe einen Plan, ich wüsste, wie ich es machen müsste, wenn ich es selber, kann und ich weiß auch, woran ich dann das Ergebnis festmache.

29:24Theo Das ist dann quasi die Zügel ein bisschen lockerer gelassen und das Kritischste, du hast gerade schon das Wort Entscheidung treffen erwähnt, so Entscheidungsabläufe, und deswegen, also ich mag diesen Deep Research Workflow überhaupt nicht, weil da wird quasi implizit, werden schon so viele Entscheidungen getroffen, in welche Richtungen weiter recherchiert wird und in welche nicht, da bin ich am kritischsten und greife quasi dann wirklich am tiefsten auch in den Denkprozess von dem KI-Agenten mit rein.

29:54Theo Das wären für mich so drei. Ich weiß nicht, fällt dir noch eine vierte ein, die ich da übersehen habe oder wird es da mitgehen?

30:05Maksim Wenn du bei Entscheidungen auch das meinst, also jetzt bei Deep Research passiert ja nichts Schlimmes, weil das ist ja quasi ein Passives, also ein Aufsaugen von Informationen, nicht ein Ausführen von Handlungen. Aber wenn du bei Entscheidungen das Ausführen von Handlungen, wir hätten es vorhin besprochen, wenn da E-Mails an 500 Kunden rausgehen könnten durch den Agenten, da bin ich dann bei dir. Das ist halt der Teil, wo ich Entscheidungen nicht komplett autonom haben will.

30:39Maksim Weil die meistens von etwas abhängen, woran ich vielleicht noch nicht gedacht habe, als ich die Aufgabe formuliert habe. Und der Agent somit, nachdem er ja nicht meine Gedanken lesen kann, nur raten kann. Also das bringt mich auch vielleicht zu der letzten Frage, die ich mitgebracht habe mit dem Thema, wann ist denn so ein Agent fertig?

30:59Maksim Oder was sind, vielleicht technisch formuliert, seine Breakpoints? Also fertig ist die, okay, also es gibt quasi, wann ist die Aufgabe fertig fertig? Und das ist ja auch eine Kunst, das zu formulieren. Wie konkret kann ich das machen, damit das Ziel dem Agenten immer klar ist und dann nicht auf, jetzt wäre es so ein Beispiel mit, hey, ich muss hier eine Entscheidung treffen, habe die Informationen dafür nicht, habe aber das trotzdem irgendwie ein Ziel vor Augen und dann kann ganz schnell so ein agentischer Workflow falsch abbiegen.

31:31Maksim Da habe ich persönlich ganz gern, dass dann der Agent so gepromptet ist, dass er erkennt, puh, das ist jetzt hier eine kritische Weiche, da möchte ich bitte mit meinem Auftraggeber kommunizieren. So wie es ja auch ein Mitarbeiter oder ein Mensch ein Kollege macht wenn der dann merkt, hey ich Könnte jetzt hier eine Entscheidung treffen aber ich weiß nicht welche die richtige ist weil ich nicht weiß worauf es dem Theo ankommt dann kommt der ja auch zu dir und so habe ich das gern bei den agentischen Workflows vielleicht kannst du mir und dem Publikum mal erklären wie du überhaupt erstmal mit der Zieldefinition anfängst weil da liegt ja der Hund begraben

32:16Theo Vielleicht allein schon dadurch, also ich investiere da sehr viel Mühe drauf. Das heißt auch bei den und insbesondere bei den agentischen Workflows, die dann sehr autonom arbeiten sollen, ich verbringe da gerne mal eine halbe Stunde, um nur mal dieses Zielbild zu definieren und auch den Kontext zu schaffen.

32:33Theo Also nicht nur die Prompt, weil am Ende sind wir uns ehrlich, wie dann am Ende eine Word-Datei genau zu formatieren und so weiter ist, das ist alles entweder eh zentral spezifiziert oder die Modelle machen es besser als ich. Aber wo möchte ich eben hin und was ist der konkrete Kontext dazu? Also wenn man jemandem eine Aufgabe wie bei einem Menschen auch gibt und die Hälfte an relevanter Kontextinformationen weglässt, dann braucht man sich nicht wundern, wenn die Person dann auch nicht klarkommt mit einer Aufgabe.

33:00Theo Das heißt, ich lade da alles an Dokumenten mit rein, an Transkripten, an Gesprächsnotizen und die Gedanken, die ich mir gemacht habe, auch bei den Dingen, wo ich mir unsicher bin. Also wenn ich zum Beispiel eine Idee habe für, okay, die Variante, die könnte man vielleicht so machen oder so oder so. Dann gebe ich dem Agenten schon mal das quasi als Startpunkt für seine weiteren Überlegungen mit.

33:21Maksim Das bedeutet dann aber anknüpfend an das, was wir letztes Mal besprochen haben, diese ganzen, du sitzt im Auto und machst einen Braindump, oder beim Joggen kommt dir ein Gedanke und du diktierst das schnell in dein Handy. Gibst du denen dann halt alles als Paket?

33:36Theo Ja.

33:37Maksim Mit der Aufgabe kannst nachschauen, musst aber nicht. Entscheide du, welche Informationen du dir rausfischen willst, so ungefähr?

33:46Theo Als ersten Step, ja genau. Also sozusagen, wenn man jetzt in Bögen denkt, erst mal Informationsaufladung, so wie wir das ja bei den Prompt-Trees schon immer machen. Also ein erster Step ist ja gerne mal, dass du die Prompt-Chain auflädst mit Informationen. Dann geht es in die Arbeit und dann ins Extern entweder verwursten, ausgeben, über die API rausgeben oder so weiter.

34:08Theo Und genau da der gleiche Step. Das heißt, auch heute Morgen erst passiert, eine halbe Stunde im Auto, ein Prompt, Braindump, in die Haley reingekippt. Und dann besteht der erste Step darin, dass die nicht die Aufgabe sofort erledigt, sondern sich erstmal orientiert. Also so eine klassische Prompt von mir ist dann, okay, du orientierst dich jetzt in die Unterlagen und machst dir einen Plan.

34:31Theo Und dann reden wir erstmal bitte über den Plan.

34:33Maksim Das wollte ich dich auch gerade fragen.

34:34Theo Ob du das richtig verstanden hast.

34:36Maksim Diese Zieldefinition, die machst du nicht alleine, sondern da denkst du bereits mit dem KI-Agenten drüber nach.

34:42Theo Genau, genau. Und dann kommen ja wieder Punkte auch auf, wo ich dann merke, so hoppla, das ist jetzt ein Black Spot, den ich noch gar nicht bedacht habe. Dauert eine Minute, dann hat man sich auch dazu Gedanken gemacht. Und dann ist sozusagen nicht nur das Zielbild klar, sondern auch die Strategie und die Taktik und dann kann man irgendwann sagen, okay, der Plan steht, go, jetzt setzt es um.

35:04Theo Egal, ob das dann das Bauen von einer App ist oder von einem Vertrag oder von einem Visual oder oder oder. Das ist eigentlich immer das gleiche Pattern.

35:13Maksim Wie anstrengend findest du, ist das? Weil ich glaube, das ist der Teil, den viele Leute dann zu wenig machen oder gar nicht machen und dann sich über die agentischen Ergebnisse ärgern. Also ich empfinde das als mühsam. Notwendig, aber sehr mühsam. Wie geht es dir?

35:27Theo Naja, wenn man sich einigermaßen in der Thematik auskennt, dann ist es natürlich leichter. Vielleicht ist es dann auch so die Erwartungshaltung, dass man jetzt davon ausgeht, ja, ja, passt, du delegierst das komplett, wird schon flutschen. Also ich habe nicht die Erwartungshaltung, dass ich leicht eine Aufgabe formulieren kann, egal ob gegenüber Mensch oder KI-Agent, wenn ich mich selber erst in das Thema einarbeiten muss.

35:51Theo Also gerade so das Thema Normencompliance ist ja bei uns momentan auch in der Firma so ein Thema wo ich eine super starke Lernkurve auch hatte, und mittlerweile tatsächlich den dritten Anlauf unternehme um das Thema für uns intern in der Firma zu lösen und quasi auch ich selbst iteriere und von Mal zu Mal schlauer werde um das Thema jetzt mittlerweile habe ich ein gutes Gefühl, immer immer besser zu adressieren also meine Specs an den Agenten werden halt auch immer konkreter Mhm.

36:22Maksim Das heißt, du hast für dich quasi so ein mentales Bild erarbeitet des Zieldefinitionsprozesses und auch, wie sieht ein Ziel aus? Hast du das schon mal in deiner Schulung mit den Leuten gemacht? Also im Prinzip, woran erkennt man, ist das jetzt ein Ziel, womit man einen Agenten auf die Reise schicken kann?

36:44Theo Es ist tatsächlich für die meisten sehr, sehr schwer. Also es ist so dieses klassische Beraterthema, das wir beide ja auch schon seit den ersten Tagen in der Firma erlebt haben. Die Leute sind total aufgeschlossen, aber die wissen gar nicht, was einen interessiert. Braindumpen sich total aus dir gegenüber und du musst dann eigentlich die Pieces rausfischen.

37:02Theo Und was ich dann mache, ich moderiere das schon auch als Mensch, lasse die Transkription mitlaufen und habe währenddessen die richtigen Fragen gestellt, damit eine KI am Ende dann die Akzeptanzkriterien aus dem Transkript rausfischen kann. Aber ich nehme da schon wahr, das fällt vielen schwer.

37:20Maksim Was bedeutet das denn dann eigentlich für den Nutzen von agentischen Systemen, für, sage ich mal, die Nicht-Berater-Style-Leute?

37:29Theo Also ich habe da ein totales Service-Modell im Kopf, dass es eben nicht so leider dieses hyperdemokratisierte ist, dass alle sind gleich und haben quasi die superpotenten Rechte, um, weiß der Teufel was zu tun, sondern für mich ist echt nach wie vor so eine Zwei-Klassen-Gesellschaft. Es gibt die, die kennen sich total gut aus in dem Prozess und die bauen dann, egal ob das ein Chatbot, ein agentisches System, eine Rack-Pipeline ist und dann gibt es die Konsumenten, die innerhalb dieser gesteckten Grenzen operieren können, weil für alles andere, das ist zu anstrengend, wie du ja sagst.

38:05Maksim Das ist zumindest aber was, was mich beschäftigt. Was sind die Dinge, die... Die manchen Leuten fehlen oder was sind die Voraussetzungen sozusagen die human requirements nicht die system requirements um mit einem agenten oder einem agentischen system in einer bestimmten Domäne gut produktiv zu sein weil ich frage mich das so wie wenn du Web Apps baust also ich meine sowas wie Cloud Code oder verwandte Systeme und auch auf Valerium wenn ich da kurz schamlose Eigenwerbung mache du sagst hey ich brauche eine App die dies und das und das macht und dann hast du sie paar Minuten später Trotzdem ist das irgendwie was, was den Leuten, die sich nicht mit Web-Apps halbwegs auskennen, wahnsinnig schwerfällt, dann kohärent zu formulieren oder

38:54Maksim einfach ein gutes Ergebnis rauszukriegen. Und da würde ich vielleicht gerne in einer zukünftigen Podcast-Folge mit dir eintauchen wollen. Woran liegt das und was sind sozusagen die Make-it-or-Break-it-Sachen da? Also das ist nämlich ein Thema, was mich beschäftigt, weil eigentlich müsste ja jeder alles können, aber so ist es nicht.

39:12Theo Ja, ja, ja. Ja, lass uns das gerne aufmachen. Also vor allem, was mir da gerade als Beispiel kommt, du hast gerade Coding erwähnt, aber auch Slides bauen. Ja. Und ich hatte erst letzte Woche genau das Thema und kriege dann als Feedback über den Chat so, ja okay, Theo, du hast jetzt gerade nochmal deine Hayley drüber laufen lassen und jetzt sieht es auf einmal viel ordentlich und klarer und strukturierter aus.

39:32Theo Und dann denke ich mir also, was zum Teufel passiert da? Ich habe doch gar nichts anderes gemacht.

39:36Maksim Genau.

39:37Theo Und habe dann am Ende irgendwie die Vermutung, aber lass uns das gerne mal aufmachen. Ich habe dem Bot eigentlich nur gesagt so, Eine Message pro Slide. Weißt du, wie ich meine? Also eine Aussage pro Slide. Nicht fünf, sondern eine. Und vielleicht sind es dann so einfache Kochrezepte oder ich weiß nicht.

39:53Theo Aber lass uns das gerne mal zerlegen, auch je nach Domäne.

39:56Maksim Ja, sehr gerne. Also stay tuned, Leute. Ich habe keine weiteren Fragen mitgebracht. Möchtest du noch irgendwas ergänzen?

40:04Theo Nächste Folge mit Camilla, da tauchen wir im One-on-One total tief ein in die Fragestellung KI in der Wirtschaftsprüferei, was ja erstmal wie ein Widerspruch klingt, weil wenn jemand genau und verlässlich und absolut wasserdicht arbeiten sollte, dann sind das Wirtschaftsprüfer. Aber das finde ich total spannend, weil das ist eine Industrie, da bewegt sich momentan total viel mit KI und Camilla ist eine ausgewöhnliche Persönlichkeit, sollte man sich reinziehen.

40:32Maksim Ich freue mich auf die Folge.

40:34Theo Bis dann, Maxim.

40:35Maksim Bis dann, Theo.