012 Decision Models erklärt: Schneller und günstiger als jedes LLM?

012 Decision Models erklärt: Schneller und günstiger als jedes LLM?012 Decision Models erklärt: Schneller und günstiger als jedes LLM? [00:00:00] Moin Kai. Moin Trutz, du bist aus dem Urlaub zurück. Das stimmt, drei Wochen USA liegen hinter uns. Spannend, sehr gut. Bin ich ein bisschen neidisch, ich habe ja ein paar Bilder gesehen von so ein paar Nationalparks, sah tatsächlich ganz gut aus. Hast du denn auch was für einen Podcast mitgebracht? Gibt es was Spannendes in Sachen KI in den USA? Ich habe gehört, die beschäftigen sich so ein bisschen damit. Ja, die machen da ein bisschen was. Und in der Tat sind wir am Ende auch so ins Silicon Valley gekommen und am Ende dann auch bis nach San Francisco. Das fing aber eigentlich schon in Los Angeles an, weil da fahren auch die ersten Waymo-Taxis rum. Das ist jetzt für die USA nicht neu. Für mich war es aber neu. Das heißt, in Los Angeles sind wir zum allerersten Mal Waymo gefahren und in San Francisco später dann noch ein paar Mal. Und das war für mich wirklich neu und auch eine ganz spannende Erfahrung, denn die Dinger fahren echt gut, muss ich sagen. Also man hat sich da relativ schnell sicher gefühlt, es ist total komfortabel, du hast halt eine App, dann sagst du, ich brauche jetzt ein Taxi irgendwie und ich will da und da hin, dann sagt er dir, okay, ich komme jetzt in drei Minuten, und dann kommt das Ding da auch angefahren, dann blinkt da dein Namenskürzel oben, und dann kannst du es mit der App entriegeln, setzt dich rein, und dann sagst du, ich bin jetzt angeschnallt, und drückst auf den Knopf „Fahr los“, und dann fährt er los.

[00:01:09] Und ich war halt auch überrascht. Ich hätte erwartet, dass der sehr defensiv, sehr ruhig, sehr langsam fährt. Aber der fährt eigentlich wie so ein normaler Mensch. Und einmal gab es auch so eine Situation, da hat das Auto vor uns irgendwie rechts angehalten auf der Fahrbahn. Und da hat der nicht lange gefackelt und hat überholt. Und zwar nicht ganz unzügig. Und hat den noch angehupt, den Fahrer, oder was? Habe ich auch gedacht, ob der eigentlich auch hupen kann, haben wir uns auch gefragt. Aber das war eine angenehme Erfahrung. Wir waren ja als Familie unterwegs, man sitzt dann da zu viert drin, und dann ist man ja auch privat. Und wenn da so ein Taxifahrer neben einem sitzt, dann ist man ja schon ein bisschen gehemmt und erzählt vielleicht nicht alles, aber so. War das wie so eine Art private Sightseeing-Tour durch San Francisco oder je nachdem L.A.?

[00:01:52] Da dachte ich schon, ja krass, wie gut das funktioniert. Die Dinger sind ja auch mit allen möglichen Sensoren ausgestattet. Kameras an jeder Ecke, vorne, hinten, links, rechts. LiDAR-Sensoren oben auf dem Dach, vorne, hinten.

[00:02:03] Seitlich, glaube ich, sogar. Also schon eindrucksvoll. Also ich fand es krass, muss ich sagen, wie gut und sicher die da fahren, wie viele auch. Also die sind ja echt an jeder Ecke. Und ich glaube, sie kommen jetzt sogar nach München als nächstes. Und da fahren wohl auch schon die ersten Autos rum, allerdings nur Testfahrten, oder die kartieren wahrscheinlich gerade die Stadt irgendwie, keine Ahnung, wie man da vorankommt. Aber dann soll es ja erst Ende 27 losgehen, was ich da gelesen habe. Und da habe ich auch schon überlegt, wenn das schon so gut funktioniert, so mit Bilderkennung und autonomem Fahren. Und da habe ich dann schon gedacht, was kann man denn noch alles mit AI machen? Gerade wenn man mal so Richtung Robotik denkt. Da kommt man dann schon ins Überlegen, wenn man merkt, wenn man am eigenen Leib dann mal erfährt, wie gut das funktioniert. Ich bin leider noch nie autonomes Taxi gefahren oder generell autonom Auto gefahren.

[00:02:44] Fände ich eigentlich auch mal ganz spannend. Man sieht aber ja auch schon die ganzen Assistenzsysteme. Wenn man mal so ein modernes Auto hat, ist ja auch schon beeindruckend, wie gut so ein normales Auto sein Umfeld wahrnimmt. Und die haben ja irgendwie deutlich schlechtere Sensoren. Aber die sehen schon, ob dich einer überholt, können Spur halten und so Sachen. Tatsächlich schon ganz gut. Ich muss jetzt auch überlegen: Woran erkennt der eigentlich, dass der Wagen, der da auf mich zu … Also manchmal weist der einen darauf hin: Vielleicht guckst du mal nach vorne gerade, weil du fährst gerade auf das Auto drauf. Da macht er so piep, piep, piep und so. Da habe ich mich auch gefragt, wie erkennt der eigentlich, dass das jetzt ein Ding ist, wo man aufpassen sollte, versus im Gegenverkehr, da kommen ja auch ständig Autos auf mich zu. Und dann, wie gut kann man das unterscheiden? Aber das Problem scheint wirklich gelöst zu sein. Und ja, also wirklich eindrucksvoll. Ich fand es ein gutes Erlebnis, auch wenn man sich natürlich gesellschaftlich fragen muss, was machen wir denn … also ich habe mich gefragt, wie fühlt sich eigentlich so ein Taxifahrer, wenn neben dem so ein fahrerloses Waymo steht, und dann denkt er sich ja auch, meine Tage sind ja auch gezählt.

[00:03:44] Aber ja, so ist es wohl. Lidl, glaube ich, experimentiert jetzt auch hier rum in Deutschland. Da fährt schon irgendein LKW irgendwie 400 Meter von A nach B. Also das wird kommen, sicherlich. Für LKW natürlich auch ganz spannend. Irgendwie, du hast, die großen Logistikzentren sind irgendwie auch in der Nähe von der Autobahn. Du hast da noch nicht viel Stadtverkehr dazwischen. Das heißt wirklich so die Strecken von einem Logistikzentrum zum anderen über die Autobahn. Es ist ja total plausibel, dass das mit dem LKW funktioniert. Ich habe gerade mal geguckt, weil das Thema autonomes Fahren beschäftigt mich auch schon so ein bisschen in meinem Leben, weil ich ja auch früher viel Robotik gemacht habe, und das ist natürlich auch ein Thema. Und die DARPA Grand Challenge, das war ja so der erste große Wettbewerb für autonomes Fahren. Ich habe gerade mal geguckt, wenn ich das richtig sehe: 2004, so um den Dreh. Ja, genau, 2005, ein 132-Meilen-Kurs in Nevada durch die Wüste, und fünf Teams schafften das ins Ziel.

[00:04:42] Da hat das Stanford Racing Team mit einem VW Touareg gewonnen. Das war das erste Mal, das heißt, 2005 war das erste Mal, dass ein autonomes Auto tatsächlich eine relevante Strecke gefahren ist. Da noch in der Wüste, 132 Meilen, ist jetzt über 20 Jahre her, und jetzt sehen wir sie in den Städten fahren. Danach war auch die … 2007 war dann die Urban Challenge, dann ging so dieses Wüsten-, diese Wüsten-Challenge ging dann so in urbanes Gelände. Das heißt aber auch, echt, hat 20 Jahre gedauert, oder vielleicht irgendwie 18 oder so, bis das dann tatsächlich in der Realität angekommen ist und man mit der Familie ins Auto steigen kann. Aber es funktioniert. Weißt du, ob Waymo noch so Ersatzfahrer hat für Situationen, wo sie nicht rauskommen, dass es da noch so eine Remote- Möglichkeit gibt, dass sie die noch irgendwie aus Situationen rausfahren, wenn sie nicht weiterkommen? Weißt du das? Ich habe das nur so im Hinterkopf. Man hört ja diese lustigen Storys, wo plötzlich 20 Waymo-Autos dann in die gleiche Straße fahren oder irgendwie so, oder eine ganze Kreuzung blockieren.

[00:05:41] Da gibt es ja so ein paar lustige Geschichten. Wie sie das dann aufgelöst haben, weiß ich auch nicht. Aber das sind ja normale Autos, in Anführungsstrichen. Die haben ja noch ein Lenkrad.

[00:05:49] Jetzt glaube ich nicht, dass da einer angelaufen kommt, sich reinsetzt und dann losfährt. Das geht wahrscheinlich auch. Aber ich könnte mir fast vorstellen, dass sie im Zweifel das Ding remote übernehmen können, dass da vielleicht ein Mensch dann mit seinem Headset das Ding da wegfährt, manuell. So würde ich es vielleicht lösen. Also die Situation hatten wir zum Glück nicht, dass ich jetzt wüsste. Aber mich würde auch mal wirklich interessieren, wie die Dinger eigentlich intern funktionieren. Ist das so ein neuronales Netz, was da trainiert ist irgendwie und im Sekunden- oder Millisekundentakt da irgendwie die Entscheidungen trifft?

[00:06:17] Ist ja schon wild, wie du sagst, wie das funktioniert. Aber das ist vielleicht mal eine andere Folge, vielleicht mal mit jemandem, der uns das mal erklären kann, wie das funktioniert. Ja, rein technisch. Vielleicht laden wir da mal jemanden ein. Mal ganz praktisch, das heißt aber, ihr wart zu viert, das heißt, irgendwer saß auch auf dem Beifahrersitz, und der Fahrersitz war dann irgendwie eingekapselt, oder konnte man auch ins Lenkrad greifen? Also war das alles frei zugänglich? Die haben unterschiedliche Autos da im Einsatz. Wir sind jetzt in beiden gefahren. Das eine ist so eine Art Minibus, kann man sich vorstellen. Der sieht schon nicht mehr ganz so normal aus wie ein normales Auto. Das andere war aber tatsächlich so ein eigener Jaguar. So ein Mini-SUV, würde ich sagen. Und der war ganz normal von innen. Außer, dass plötzlich noch zwei, drei Kameras oben an der Decke sind, die dich beobachten im Zweifel. Und noch ein paar mehr Displays vielleicht hinten. Aber ansonsten war das ein normales Auto, wo der Gurt vom Fahrer halt eingesteckt war.

[00:07:07] Dass das Ding nicht piept. Und das Lenkrad hat sich ganz normal gedreht und bewegt und so. Und dann habe ich auch nur zu meinem [?] gesagt, ey, fass jetzt nicht das Lenkrad an. Dann fängt der an, wild zu piepen und sich zu beschweren, und bleibt stehen oder sowas. Aber das war ein normales Auto tatsächlich. Also ein Lenkrad hatten wir noch, das ist natürlich auch noch eine Frage der Zeit, bis das dann wegfällt, wo man sich dann auch hinsetzen kann und mitfahren kann. Aber ja, das war eigentlich ein normales Auto. Und manchmal saß ich vorne, manchmal jemand anders.

[00:07:31] Cool.

[00:07:33] Ganz spannend. Ja, irgendwann muss ich das auch mal ausprobieren. Was auch total auffällig war, in San Francisco zumindest, da ist ja das Silicon Valley um die Ecke, du hast eben schon Stanford erwähnt. Wir sind da so vom Süden dann in die Stadt reingefahren, und dann hast du diese großen Billboards da an den Autobahnen, und dann wirklich, ich würde sagen, neun von zehn Plakaten alle AI- related, also irgendwie die Bekannten wie OpenAI natürlich, Cloudflare aber auch, und dann irgendwelche Softwaredienste, von denen du noch nie gehört hast, wo dann aber auch irgendwie dick AI draufsteht. Also jetzt weiß ich nicht, ob das jetzt San-Francisco-spezifisch war. Ich glaube, in L.A. ist mir das nicht so aufgefallen.

[00:08:12] Und vielleicht ist das die Nähe zum Silicon Valley und alle profilieren sich da irgendwie auf den Billboards. Keine Ahnung. Aber das fand ich auch nochmal komplett … das war wirklich auffällig. Also egal, wo du hingeguckt hast, kein Möbelhaus, keine Biermarke, nee, irgendwas mit AI.

[00:08:24] Witzig, weil wenn man so durch Köln läuft, irgendwie die Ströer-Plakatwände da, da ist kein OpenAI drauf oder so.

[00:08:34] Fairerweise, ich glaube, in L.A. ist mir das nicht aufgefallen, da habe ich jetzt nicht drauf geachtet. Aber da war das wirklich auffällig. Und wir kamen ja auch, wie gesagt, aus dem Süden, und dann fährt man ja durch das Silicon Valley so durch. Ich dachte immer, das Silicon Valley ist so eine Art Vorort von San Francisco, aber das ist ja nochmal deutlich südlicher und ein relativ großer Bereich, wo dann die großen Konzerne sitzen, und ich war dann sogar wirklich auch beim Apple Park. Als dann das Schild Cupertino kam, da dachte ich, Cupertino, das kenne ich doch irgendwoher. Und dann, ja, hier sitzt ja halt Apple, dann sind wir kurz abgefahren, und dann fährst du 500 Meter und stehst vorm Apple Headquarter. Und dann fährst du noch irgendwie zwei Kilometer weiter und stehst vor dem Google Headquarter. Dann fährst du wahrscheinlich nochmal fünf Kilometer weiter und stehst vor dem Meta Headquarter.

[00:09:10] Und alle anderen sind da ja auch groß. Und dann guckst du links, dann ist da plötzlich KKR als Venture-Capital-Firma oder Accel. Und dann in Stanford ist halt die Uni, Stanford. Und ich bin da auch mal 20 Minuten über den Campus gelaufen, hat überhaupt nicht zeitlich gereicht. Wir hatten ein bisschen Zeit, als der Flug Verspätung hatte, mussten wir noch ein, zwei Stunden überbrücken. Dann dachten wir, komm, dann fahren wir da schon mal in die Richtung. Aber da habe ich auch so diese, ja, das kann man gar nicht beschreiben, aber diese Power von diesem Silicon Valley mal gespürt, wenn du plötzlich siehst, da sind alle großen Firmen, da ist irgendwie AI, da fahren die selbstfahrenden Autos, da sind die Unis, die Venture-Capital-Firmen. Das ist schon ein Ökosystem, was wirklich krass ist, und ich glaube, das können wir echt schwer kopieren oder einholen. Das ist nicht mit ein paar politischen Sachen getan. Und deswegen kann ich auch verstehen, warum da die ganze Innovation, glaube ich, dann auch herkommt.

[00:10:03] Ja, sammelt sich da, wenn du tatsächlich alle großen Player da hast, die großen Geldgeber alle da vor Ort. Das ist ein sich selbst verstärkender Kreislauf. Da kommen die neuen, ambitionierten Absolventen, die treffen auf die Kapitalgeber, auf Vorbilder, andere Gründer, die sagen, was brauchst du? Ein paar Millionen? Ja, komm her. Und also, ja, und wahrscheinlich noch ein ganz anderes Mindset und ein größeres Denken und so weiter.

[00:10:27] Ja, das fand ich nicht … also, weiß man, dass das so ist, wenn man da mal selber drin rumläuft und da mal guckt. Wir waren ja auch in so einer Mall, das war auch so eine Luxus-Mall. Da merkst du halt auch, da ist echt die Kohle unterwegs. So als Europäer: ganz schön teuer, muss ich sagen, USA.

[00:10:43] Aber da merkt man schon, dass sich zumindest dieser Teil der Gesellschaft da scheinbar sehr positiv entwickelt.

[00:10:49] Spannend. Dann lohnt es sich wahrscheinlich auch, Out-of-Home-Werbung zu machen. So eine Plakatwand für dein KI-Tool zu buchen. Die, die da vorbeifahren, sind die, die dir beim nächsten Mal wahrscheinlich das Geld geben. Echt interessant. Würde ich mir auch gerne mal angucken. Hört sich gut an. Vielleicht machen wir mal eine Forschungsreise, Kai. Fahren wir doch zusammen hin und fahren mal so ein bisschen die großen Firmen ab. Und lass uns mal [?]. Machen wir einen Podcast von vor Ort. Das wäre doch was eigentlich. Auf jeden Fall. Ich bin dabei. Zwei Monate Forschungsreise ins Silicon Valley.

[00:11:15] Müssen wir mal mit unseren Frauen besprechen. Also, als ich da bei Stanford gelaufen bin, dachte ich, das wäre echt schon geil, da mal zu studieren irgendwie. Die haben dann auch da ein riesiges Leichtathletikstadion, Tennisplätze in der Halle. Dann war da ein Fußballstadion, riesig groß. Kann man sich so groß vorstellen wie wahrscheinlich das Kölner Stadion. Es ist schon Wahnsinn. Die haben wahrscheinlich auch ohne Ende Kohle natürlich als Uni, weil sie ja auch eine der Top-Unis sind. Das gilt ja auch nicht für jede US-Uni, aber es hat schon Eindruck auf mich gemacht.

[00:11:41] Ja, merke ich. Naja, sehr gut.

[00:11:45] Aber wieder zurück. Und endlich wieder im Podcast. Ja, wir können ja mal ein bisschen durchgehen, was es so Neues gab. Es ist ja einiges passiert, gerade auch in den letzten Tagen wieder.

[00:11:55] Können wir aber auch ein bisschen knapper halten. Es gab viele neue Modelle, habe ich mitbekommen, sowohl Anthropic als auch OpenAI, und jetzt gerade gestern, glaube ich, hat auch Google wieder ein neues Modell vorgestellt. Also Wahnsinn, wie schnell da auch innoviert wird und sich die Modelle da die Klinke in die Hand geben und sich auch gegenseitig ablösen. Ich glaube, das Modell, was mich am meisten persönlich betrifft: Opus 5.5 ist jetzt rausgekommen.

[00:12:16] Es ist mit diesen Benchmarks ja immer ein bisschen schwierig, weil man nie genau weiß, wie gut sind die Modelle schon darauf trainiert, ist das schon irgendwie dieses Benchmaxing oder wie das auch immer heißt. Ich kann da auch nur aus meiner persönlichen Erfahrung jetzt sprechen. Ich finde es ganz angenehm. Es ist gefühlt für mich schneller geworden, und vor allem, was ja so die Kritik an dem alten Opus-Modell war, dass es so eine ganz eigene Sprache hatte, die zum Teil ein bisschen schwer zu verstehen war. Und ich habe schon das Gefühl, wenn ich mit dem jetzt arbeite, dass die Antworten, die es gibt, oder die Rückmeldungen oder die Fragen, die es stellt, deutlich einfacher zu verstehen sind. Also eine einfachere, klarere Sprache, nicht dieses „load-bearing“ irgendwas, sondern das haben sie, glaube ich, ganz gut in den Griff bekommen. Das sieht man auch so ein bisschen in den Kommentaren und was man auch hier und da mal so zwischen den Zeilen liest, dass die Leute echt ganz zufrieden sind, auch mit der Qualität.

[00:13:03] Ich habe jetzt irgendwie auch gute Erfahrungen gemacht, und ich habe jetzt auch nur eine Woche damit gearbeitet. Insofern ist das alles ein bisschen begrenzt, aber ich finde es gut. Also es ist auf jeden Fall ein Schritt nach vorn, glaube ich.

[00:13:14] Ist ja, glaube ich, Standardmodell, wenn man mit Claude loslegt, damit fängt man an. Oder das ist so standardmäßig ausgewählt, wenn man es nicht ändert. Das heißt, auch das Modell, womit ich so unterwegs bin. Ich habe auch ein bisschen die letzte Zeit so ein bisschen mehr Vorträge gebaut, irgendwie mit Claude so Folien gebaut und Storys skizziert und sowas. Das hat extrem gut funktioniert, und ich habe auch ein bisschen programmiert und hatte auch das Gefühl, dass der Coding-Agent deutlich länger eigenständig unterwegs ist. Kann auch sein, weil ich die Plattform gewechselt habe, also mir eine Swift-App bauen lassen, also eine Mac-App tatsächlich in Swift habe bauen lassen. Können wir vielleicht auch nochmal in einer anderen Folge drüber sprechen. Aber da hatte ich schon den Eindruck, deutlich länger eigenständig, so im Code. Sonst ist mein Stil auch eher immer so kleinere Dinge, wo ich nicht große Sachen zwischendurch machen kann. Also der codet da ein bisschen, ich mache schon die Specs, und dann codet der ein bisschen, kommt aber dann auch relativ schnell wieder mit Fragen zurück oder mit Dingen, die er dann fertig hat oder so.

[00:14:28] Aber da musste ich mir schon irgendwie eine andere Beschäftigung suchen zwischen den Läufen, weil er einfach auch mal eine halbe Stunde beschäftigt war, Dinge zu implementieren. Das fand ich ganz interessant. Habe ich jetzt nicht wirklich analysiert und verglichen mit anderen Modellen und so, war aber auch eine gefühlte Veränderung auf jeden Fall.

[00:14:47] Ja, ja. Ich habe es auch einmal gemerkt, als ich ihn gefragt habe – dann kam ja Sonnet 5.5 raus, kommen wir auch gleich zu. Da habe ich ihn einmal gefragt: Sag mal, können wir das bei AMALYTIX nutzen? Weil das alte hatte ja irgendwie keinen Structured Output, zumindest nicht auf der AWS- Bedrock-Plattform. Und die Frage habe ich ihm dann wieder gestellt, unser Ticket gegeben, und der hat so schnell darauf geantwortet, dass ich schon dachte, nee, nee, das kannst du ja nicht in der Zeit jetzt geprüft haben. Aber im Verlauf meinte er doch, da war ich echt überrascht, wie schnell das auch geantwortet … wie schnell die API da zurückgemeldet hat. Und genau, Sonnet 5.5 kam dann auch raus.

[00:15:15] Da wurde ja so ein bisschen diskutiert – da haben die heute nicht so richtig … –, weil da hat ja Anthropic auch einen Chart mitgeliefert, wo die dann verglichen haben, wie gut schneidet dieses Modell im Vergleich zu Opus ab, wenn man unterschiedliche Reasoning-Einstellungen trifft. Man kann ja irgendwie einstellen, wie lange er nachdenken soll. Wenig, mittel, hoch, sehr hoch, sehr lang. Und das Überraschende … Meinst du, wenig gibt es überhaupt? Ich glaube, fangen die nicht erst bei hoch an? Ist der Anfang nicht bei hoch und sehr hoch und extrem hoch? Man kann es auch ausschalten. Man kann auch sagen, denk gar nicht nach, also antworte sofort, das geht, glaube ich, auch. Aber ich habe damit ehrlicherweise noch nie [?]. Aber je nachdem, wie man es einstellt, soll es wohl so sein, dass Sonnet, obwohl es ja das günstigere Modell ist, nachher teurer ist, wenn es lange nachdenken muss, bei der gleichen Aufgabe, die Opus wahrscheinlich mit weniger Tokens löst, obwohl die Tokens dann teurer sind.

[00:16:01] Also man misst ja dann auch manchmal nicht nur einfach, wie viele Tokens rein, raus, sondern einfach, wie teuer war es, diese Aufgabe zu lösen, die man in den Benchmark gestellt hat. Und da war es so ein bisschen komisch, dass Sonnet deutlich oder an vielen Stellen teurer abgeschnitten hat, gerade wenn es länger nachdenken muss. Das hat so ein bisschen für Verwunderung in der Entwickler- Community gesorgt. Und ich glaube, das Fazit war so ein bisschen, also wenn man es für einfache Tasks nutzt und ohne großes Reasoning, dann ist es okay, dann ist es auch günstiger. Bei allem, was ein bisschen komplexer ist, war so ein bisschen das Fazit: Greift lieber zu Opus, dann seid ihr günstiger unterwegs und habt sogar noch das stärkere Modell.

[00:16:31] Nehme ich mal so mit. Habe jetzt mit Sonnet noch nicht so viel gearbeitet, weil Opus eigentlich auch immer reicht, und auch, wie du sagst, in den Limits, in der Subscription komme ich da nicht selten an meine Limits, was das angeht. Insofern hatte ich jetzt auch noch nie den Need, irgendwie ein schwächeres Modell zu nehmen.

[00:16:46] Ich auch nicht so wirklich. Ich habe gerade mal einen Echtzeit-Faktencheck gemacht: Also Opus 5.5, die empfohlene Einstellung ist mittel. Es gibt noch ein niedrig, aber es gibt ein hoch, ein extra hoch und ein maximal. Also geht eher in Richtung hoch. Genau.

[00:17:05] Genau, dann kam, glaube ich – wann war das denn? Gestern? Nee, vorgestern, glaube ich – hatte Google sein neues Modell vorgestellt.

[00:17:13] Gemini 4 Argon. Das ist sozusagen deren neues Frontier-Modell, also das stärkste.

[00:17:19] Und sie haben es aber nur angekündigt und nicht veröffentlicht, was dann wieder für Frust gesorgt hat, weil ja, es ist ja schön, dass ihr tolle Benchmark-Zahlen zeigt, aber testen können wir es jetzt gerade nicht. Die Benchmarks sind, glaube ich, sehr eindrucksvoll. Also wenn man sieht, wie dieses Modell im Vergleich zu Astra, dem Topmodell von OpenAI, oder Fable 5.1, dem Topmodell von Anthropic, abschneidet, ist das schon nochmal eine deutliche Verbesserung an vielen Stellen. Und wie gesagt, Google sagt auch, deswegen können wir es gar nicht jetzt sofort ausrollen, wir müssen es jetzt erstmal hier ausgewählten Partnern im Rahmen unseres Sicherheitsprojekts zur Verfügung stellen.

[00:17:51] Weiß man nicht so genau, aber sie haben dann so im Nebensatz erwähnt, dass sie irgendwie mit dem Modell eine Codebasis, 800.000 Zeilen Code, von C++ nach Rust migriert haben, und das sozusagen in einem Rutsch. Und das hat schon dann für Verwunderung oder für Aufregung oder für positive Aufregung gesorgt in der Community. Das ist wohl dann wirklich eine starke Leistung des Modells. Und wo man sich dann auch sofort fragt, okay, was heißt das eigentlich für C++, wenn man jetzt alles mal eben schnell von einer älteren Sprache auf etwas Neueres migrieren kann.

[00:18:24] Also ich glaube, da hat Google nochmal wieder einen Schritt nach vorne gemacht und zeigt auch, dass da keine Firma so richtig gerade irgendwie … also, die lösen sich alle so in der Führungsposition irgendwie ab, wer gerade das stärkste Modell hat, das Gefühl. Mal ist es OpenAI mit, keine Ahnung, Astra, dann ist es wieder Fable, dann ist es jetzt irgendwie Argon, keine Ahnung.

[00:18:44] Testen können wir es leider nicht, aber auf jeden Fall spannend und gut für uns als Konsumenten, würde ich sagen.

[00:18:50] Denn das heißt ja auch, dass die Preise jetzt nicht so, hoffentlich nicht, durch die Decke gehen.

[00:18:55] Benutzt du Gemini oft, oder Google? Nee, gar nicht. Ich habe es ja nur in der Google-Suche. Also tatsächlich, wenn ich mal google, lande ich oft genug oben in der Suche und nutze dann den Teil, aber dass ich irgendwie explizit dahin gehe, wenn ich einen KI-Agenten gerne hätte, ist bei mir gar nicht irgendwie im Gebrauch. Gar nicht, bei mir auch nicht. Obwohl wir ja Google Workspace haben in der Firma, wir zahlen ja tatsächlich dann auch dafür, und da ist es ja sogar gratis mit dabei, und ich kann ja gar nicht sagen, ob es eine User-Interface-Sache ist, weil wir hätten es ja eigentlich gratis dabei, und trotzdem haben wir uns jetzt hier für Anthropic entschieden, so als Modell für alle.

[00:19:30] Ich kann ja noch nicht mal genau sagen, woran es liegt, ehrlicherweise. Ich meine, gut, beim Coding war, glaube ich, Google lange Zeit so ein bisschen … Die haben einmal dieses Gemini-3-Modell gebracht, dann waren sie kurz vorne, aber dann kamen ja Anthropic und OpenAI wieder mit ihren Modellen und waren dann immer deutlich besser. Da hat Google lange bei den Modellen iteriert, die so ein bisschen weniger stark waren. Ich weiß gar nicht, wie die da heißen bei denen. Aber das, was so Haiku und vielleicht so, nee, bei Anthropic ist oder Sol und Terra bei OpenAI, ich glaube, da hat Google viel gemacht bei den günstigen Modellen. Wahrscheinlich brauchen sie das auch eher, weil die halt, weiß ich auch nicht, wenn die in der Google-Suche mal schnell dauernd irgendwelche ihrer KI- Ergebnisse rausgeben müssen. Vielleicht brauchen sie da einfach eher weniger starke, aber vor allem schnelle, latenzarme Modelle.

[00:20:11] Da haben die viel gemacht. Aber auf der Frontier-Seite halt irgendwie weniger.

[00:20:14] Deswegen habe ich Gemini auch nie im Bereich Coding oder Ähnliches genutzt. Ganz früher mal, aber auch lange nicht mehr.

[00:20:21] Ich gucke gerade mal in die Tabelle, die Google mitveröffentlicht hat. Ist auch beim Agentic Coding, wenn man jetzt mit Opus 5.5 vergleicht, sind so vier Benchmarks, die die aufgelistet haben.

[00:20:35] Ich glaube, in zwei leicht höher. Einmal 77,9 bei Google und 74,2 bei Claude. Und der zweite, wo Google vorne liegt, ist 91,9 bei Google und 93 [?] bei Claude Opus 5.5. Und bei den anderen beiden liegt Opus 5.5 aber vorne. Und da war es tatsächlich deutlich, also bei den beiden, wo die vorne liegen, hat Google 55 und Claude 62 und bei dem anderen Google 57.

[00:21:03] Und da liegen die schon deutlich vorne. Das heißt, ich glaube, es ist auch immer tatsächlich sehr … es kommt sehr darauf an, was du machst und wahrscheinlich auch, wie du es machst, so wie dein Stil gerade ist. Passt das zu dem einen Modell oder zu dem anderen? Deshalb ist es, glaube ich, immer so ein bisschen auch, wo man sich wohler fühlt. Du hast eben auch gesagt, wie gefällt mir denn der Antwortstil, wenn ich in einem Chat bin? Mit dem Agenten ist es, glaube ich, auch immer so eine Sache, was gefällt mir besser. Du kriegst das natürlich alles irgendwie gedreht und so ein bisschen getunt auf deine Bedürfnisse, und irgendwie kriegst du ihn schon dahin, dass er so ein bisschen so redet oder agiert, wie du gern möchtest. Aber ich glaube, da gibt es schon irgendwie auch so einen Geschmack. Gefällt mir das oder gefällt mir das nicht?

[00:21:46] Ja. Ich glaube, neu ist vor allem auch, dass es irgendwie ein sehr hohes Output-Limit hat, von diesmal einer Million Tokens, statt irgendwie bisher nur so 64.000. Das ist schon mal was Neues.

[00:21:56] Ob man das jetzt braucht, sagen wir mal [?], aber ja, abzuwarten. Insofern, wie du sagst, irgendwie, diese Fireship-Videos, die sprechen ja dann auch mal von dem „Trust me, bro“-Benchmark. Also man kann, glaube ich, nur begrenzt auf Benchmarks abstellen und muss eigene Erfahrungen sammeln.

[00:22:15] Genau. Genau, was gab es sonst? OpenAI hat auch wieder ein paar Sachen rausgebracht. Astra liegt ja schon ein bisschen länger zurück. Dann haben sie ja vor einiger Zeit GPT 6.0, Sol und Luna rausgebracht, und komischerweise sieben Tage später dann die 6.1er-Version davon, wo man sich auch gefragt hat, habt ihr da irgendwas korrigiert? War da 6.0 doch nicht so gut wie gedacht irgendwie? Ich habe jetzt mit den beiden auch nicht viel Erfahrung gesammelt. Das sind wahrscheinlich einfach laufende Updates. Insofern kann ich da gar nicht so viel sagen. Man merkt aber, glaube ich, gerade in diesem mittleren Segment, also Sol bei OpenAI oder Sonnet, da merkt man schon, dass vom Pricing her, glaube ich, beide Anbieter nochmal runtergegangen sind und das jetzt günstiger anbieten, für 2 Dollar / 10 Dollar Input/Output versus irgendwie vorher 3 und 15, und dann sind sie beim Caching nochmal runtergegangen etc.

[00:23:06] Ich glaube, die merken schon so ein bisschen den Druck, den sie auch kriegen von den ganzen China- Modellen, die jetzt kommen, die ja nochmal deutlich günstiger sind. Und bei vielen Leuten, auch einfach viele Entwickler sagen, das reicht mir auch. Also gerade wenn man sehr kostenbewusst ist, nicht viel Geld ausgeben möchte, dann sind natürlich diese chinesischen Modelle echt eine Alternative, weil die ja vom Pricing her nochmal deutlich aggressiver sind. Meine Theorie ist, dass so Anthropic und OpenAI versuchen, sich dem ein bisschen entgegenzustellen mit ihren günstigen Modellen und da pricingmäßig den Leuten auch ein bisschen entgegenkommen.

[00:23:34] Ja, du bist ja auch … also, wenn man sich jetzt mal überlegt, fürs eigene Unternehmen, du bist ja einfach auch abhängig, wenn man sich mal irgendwie den … Als Fable gerade rausgekommen ist, und ich weiß nicht, ob du das auch mitgekriegt hast, war es ja mal freigegeben über das normale Claude-Abo und dann irgendwie ein paar Tage später wieder verschwunden, weil die USA einen Exportbann verhängt haben, genau. Und dann, wenn du dein Business da drauf baust, wichtige Prozesse im Unternehmen, dann ist es im Zweifel nicht nur eine Geldfrage, sondern auch eine Resilienzfrage und eine Souveränitätsfrage. Das heißt, die kleinen Modelle sind gut und gar nicht mehr so klein im Zweifel, und da hast du es im Griff und weißt, wo sie laufen, und kannst sie selber an- und ausschalten im Zweifel. Das ist schon eine relevante Konkurrenz. Je weiter das tatsächlich in den Produktivbetrieb geht und in Unternehmen tatsächlich in wichtigen Prozessen eingesetzt wird, muss man sich gut überlegen, wovon man sich abhängig macht.

[00:24:38] Absolut, ja. Ich habe auch mal gemerkt, als ich mit meiner aktuellen Subscription da ins Limit gekommen bin und dann plötzlich gar nichts mehr machen konnte, dann sitzt du da plötzlich, und dann bin ich auf Codex umgestiegen. Aber wenn ich jetzt gar nichts hätte, man fühlt sich ja fast, als hätte man … als würde einem der Laptop weggenommen. Was kann man machen? Man weiß gar nicht.

[00:24:54] Ja, also gebe ich dir völlig recht, genau. Und dann gab es ja diese Woche jetzt, nicht diese Woche, ich weiß gar nicht, wann das rausgekommen ist, aber dann gab es ja mal wirklich mal wieder eine Innovation. Und da wollen wir ja heute auch mal ein bisschen tiefer drüber reden. Und das sind diese sogenannten Decision Models. Denn da kam plötzlich ein Startup um die Ecke und hat Jef rausgebracht als neues Modell, geschrieben J-E-F, und die Firma dahinter: TypeSafe AI. Die sitzen mit Sicherheit im Silicon Valley, oder? Hast du das nachgeguckt? Ich habe es nicht nachgeguckt, aber es würde mich nicht wundern, ehrlicherweise. Das ist ja echt mal eine Neuerung. Vielleicht kannst du ja mal ganz kurz beschreiben, was da eigentlich das Besondere ist. Es ist ja nicht kompliziert, aber es ist ja etwas anderes. Genau. Die Idee dahinter ist, dass du Modelle bekommst, die tatsächlich keinen Text generieren und dir nicht eine textbezogene Antwort generieren, sondern du kannst einen bestimmten Kontext da reinliefern.

[00:25:50] Das heißt, irgendwie ein Umfeld, eine Frage, und dann fragst du, ist Option A, B oder C die beste? Und das Modell liefert dir eine Wahrscheinlichkeit für genau die drei Optionen, die du mit reingegeben hast. Das heißt, da wird keine Antwort generiert und dir erstmal erzählt, warum A besser ist als B oder C schlechter ist als D, sondern es gibt einfach die … tatsächlich ein strukturiertes Output-Format, was schon mal ein spannender Teil ist. Weil wenn man sich mal selber mit so Modellen beschäftigt hat und versucht hat, die dazu zu bekommen, tatsächlich jedes Mal JSON auszugeben in einem sauberen Format – geht mittlerweile eigentlich relativ stabil, am Anfang ging das nicht ganz so stabil. Das heißt, erstmal hast du strukturierten Output. Das heißt, du bekommst so ein JSON- Format, oder in welchem Format du es auch immer angibst, raus. Und du bekommst keinen Freitext, keine Beschreibung der Antwort, sondern du bekommst entweder ein Ja oder Nein.

[00:26:45] Also ist das, ist diese Situation so, wie ich sie … also ist das wahr oder falsch, ist Option A, B oder C besser? Und das ist auf jeden Fall interessant für genau die Situationen, wo du so Fragen hast, weil, wenn man sich das so in Produktivumgebungen ansieht, hat man ganz oft Situationen, wo man fragt, okay, ist der Case jetzt einer, den ich überhaupt behandeln will, oder ist das ein Case, den ich irgendwie einem Entwickler zum Lösen gebe? Oder ist das was, wo ich dem Kunden … Du hast ja gesagt, euer Ticketsystem, da guckt auch ein Agent drauf, da kann man sich natürlich eine Entscheidung überlegen, so, was ist das für ein Ticket? Da schreibt ein Kunde, ich habe schon gesehen, intern ist da schon ein Bug aufgemacht, weil ein Problem da ist. Ist das eine Situation, wo der Agent dem Kunden automatisiert, eigenständig schreibt, ja oder nein? Das ist mal eine Entscheidung, die so ein Modell treffen könnte, sollte.

[00:27:47] Und da ist es natürlich gut, wenn man eine klare Antwort bekommt. So: Ist das die Situation, dass die Anfrage vom Kunden zu dem Bug gehört, der schon aufgemacht ist, und ich sehe auch, da arbeitet schon jemand dran? Ist das eine Situation, wo ich dem Kunden automatisiert eine E-Mail schreibe, oder ist das eine, wo ich dem Support einen Vorschlag für eine E-Mail mache, und der guckt selber nochmal drauf und schickt die dann raus? So eine Entscheidung. Und bei diesen Decision Models bekommst du dann halt eine Wahrscheinlichkeit: „Ja, schreib selber die E-Mail“ kriegt 95 Prozent Wahrscheinlichkeit, und „Nein, gib das lieber einem Support-Mitarbeitenden“ ist 5 Prozent. So was kriegst du dann da raus.

[00:28:28] Das ist einfach spannend. Wer wird Millionär? Also man kriegt die Frage, vier Antwortmöglichkeiten, und das Modell muss sich jetzt entscheiden zwischen A, B, C oder D, ohne das Gequatsche des Kandidaten. Also das wird ja nicht groß erläutert, das wird einfach nur gesagt, ah. So, nachdem es die Antworten halt auch kennt. Also eine Fernsehsendung kannst du da nicht draus machen, ne? Das ist das Problem. Der spannende Teil fällt weg. Ja, das stimmt. Aber es braucht die Antworten, und es braucht den Kontext, es braucht die Frage. Also man kann nicht eine Freitextfrage stellen, und es gibt dann die Antwort, es braucht Antwortmöglichkeiten. Genau wie du sagst, ja oder nein oder A, B, C oder D oder, weiß nicht, Zahlen, 0, 1, nee, aber es muss irgendwas aus der Liste sein. Ja, genau, erstmal generell Text. Ich habe es selber auch noch nicht, wie gesagt, erstmal nur gelesen, noch nicht selbst ausprobiert, aber werde ich jetzt auch mal machen, weil ich es schon eigentlich ziemlich spannend finde.

[00:29:23] Wenn man mal dahinter guckt, gibt es noch zwei Dinge: Also es ist extrem schnell und extrem günstig. Also die Antwort ist … also, oder eins der wesentlichen Features ist, dass das deutlich günstiger ist als alles andere bisher. Ja, weil schon in so realen Anwendungen … und du hast ja auch gesagt, bei euch gab es auch schon Cases, wo so ein paar Tokens durchgegangen sind und man mal irgendwie drauf gucken musste, was das kostet. Ist natürlich im Unternehmen eine total spannende Frage: Was kostet mich das Ganze denn, und wie monitore ich das denn, und wie kriege ich das denn tatsächlich auch günstiger hin, wenn ich es flächendeckend einsetzen will? Also jetzt nicht so Chat-Agenten, sondern wirklich in meinen Prozessen, muss ich das ja auch irgendwie managen. Wenn man solche Fragen dann tatsächlich darauf runterbrechen kann, die Antwort kommt extrem schnell, und ich verbrauche eigentlich keine Output-Tokens, weil die Output-Tokens sind eigentlich nur meine Antwort.

[00:30:18] Die drei Optionen und die Wahrscheinlichkeiten dahinter.

[00:30:20] Ja, und auch das Reasoning muss ja scheinbar deutlich … also, es ist deutlich günstiger, also so eine Antwort kostet deutlich … man kann sich ja die gleiche Antwort auch über Opus geben lassen, im Zweifel. Dann fängt er halt erstmal intern an zu reasonen, und dann dauert das alles ein bisschen. Am Ende kommt er mit der gleichen … kann man ihm ja was erzählen. Man kann ja auch da schon Structured Output oder vorgegebene Antworten erwarten, aber es dauert halt länger, und es ist teurer, vor allem teurer. Und die haben ja wahnsinnig spannende Demos da gezeigt, wo sie ein Computerspiel gebaut haben, wo das Modell die ganze Zeit sozusagen berechnet, wie sich der Charakter jetzt verhalten soll, hoch und links, rechts, und das sozusagen in Echtzeit. Da hat man halt gesehen, wie schnell das ist, oder ein anderes Modell hat, glaube ich, Doom gespielt oder irgendwie sowas, auf Basis der Antworten des Modells. Also so schnell konnten die da die Antworten rausfeuern, und das zu geringen Kosten, und das ist schon spannend. Wie gesagt, es ist kein Chatmodell, kann dir nicht irgendwie Freitext irgendwas antworten, du kannst keine Frage reinhauen, und der macht dir dann da … dafür ist es nicht gedacht, aber für strukturierte Antworten zu irgendwelchen Fragen, oder wie es auch gleich kommt: Man kann ihm auch ein Bild geben, bei manchen Modellen, und dann kann man sich da eine Antwort geben lassen.

[00:31:25] Ist das schon spannend, glaube ich. Genau, bei Jef ist es erstmal nur Text, das ist im Moment die Limitation. Aber vielleicht, wenn wir uns angucken, wie das funktioniert, zumindest ganz grob: Es ist ja so, dass du den ganzen Kontext in ein Modell packst, und dann kommt bei einem klassischen Modell halt so Token für Token da raus. Und du musst immer neu berechnen, was das nächste Token ist, also das nächste Halbwort, und irgendwie machst du da zwischendurch noch dein Reasoning, denkst drüber nach, wie komme ich denn zu meiner Antwort, um am Ende zu sagen, ja, Option B ist besser als Option C. Bei so einem klassischen Modell hast du dazwischen auch ganz viel Reasoning. Der denkt darüber nach, was sind die Aspekte, die ich berücksichtigen muss, muss ich vielleicht noch was recherchieren oder sonst was. Macht mal so den Weg dahin und gibt am Ende tatsächlich dann die Antwort und sagt, okay, B finde ich besser als C, und erklärt dir das noch groß.

[00:32:15] Bei diesen Decision Models ist es, etwas vereinfacht, so, dass du den Kontext einmal ins Modell lädst. Das heißt, das Modell ist dann quasi einmal durchgerechnet mit dem Kontext, und dann liest du aus dem Modell direkt die Gewichte für diese drei Antworten aus. Das Modell hat dann Wahrscheinlichkeiten für eigentlich alle Antworten, die es so geben könnte. Und es liest quasi nur für diese drei Antworten die Wahrscheinlichkeit raus, oder liest die Werte raus und berechnet die Wahrscheinlichkeiten für genau diese drei Antworten, die du vorher mitgegeben hast. Das ist der Grund, warum es so schnell ist und warum es auch so günstig ist. Weil da werden keine großen Tokens berechnet, kein Reasoning, sondern du lädst den Kontext in das Modell und guckst dann genau an den Stellen, wo diese drei Optionen sind, liest die Wahrscheinlichkeit raus und gibst die dem Nutzer. Das zumindest – bei Jef ist nicht ganz sicher, wie sie es machen. Bei ein paar anderen schon: Es gibt jetzt Anbieter, die haben das irgendwie mit normalen LLMs nachgebaut, quasi.

[00:33:14] Aber das ist so die These, dass das im Moment so ist. Du lädst das Modell einmal und liest dann quasi nur die Wahrscheinlichkeiten daraus. Extrem spannend, weil super schnell und super günstig. Und immer strukturiert. Das ist, glaube ich, echt ein großer Vorteil, wo man in manchen KI-Projekten schon irgendwie ziemlich gestruggelt hat, dass das tatsächlich vernünftig funktioniert.

[00:33:36] Deshalb finde ich es total gut. Wahrscheinlich auch deterministisch. Das heißt, man kriegt wahrscheinlich häufiger die gleiche Antwort raus. Das kann man bei normalen Modellen wahrscheinlich auch irgendwie erzwingen, aber finde ich auch. Also man gibt die Antworten halt vor, und dadurch muss das Ding nicht lange nachdenken, sondern, wie du sagst, es berechnet nur die Wahrscheinlichkeiten genau für diese drei, die du vorgegeben hast.

[00:33:54] Was ja auch spannend war, was du eben schon angesprochen hast, was ja wirklich irre war: Also als diese Firma TypeSafe AI da rauskam mit dem Ding, war ja große Aufregung. Oh, interessant, spannend und so weiter. Und innerhalb von Wochen, oder ein, zwei Wochen, kamen ja schon die ersten Nachbauten und Klone. Jetzt hat mittlerweile OpenAI auf seinem Developer Day was vorgestellt, die Decisions API. Irgendwer hat das Ganze dann mal kurz in Python nachgebaut, weil es, wie du sagst, gar nicht so kompliziert ist irgendwie.

[00:34:22] Und unter anderem hat jetzt auch, glaube ich, gestern, oder wann war es, Cloudflare dann auch ihr Modell vorgestellt. Das haben sie dann Clef genannt, also C-L-E-F. Und das fand ich, also, ich fand es interessant oder spannend zu sehen, wie eine Firma, die so eine Innovation auf den Markt bringt, wie schnell die wieder eingeholt wurde von den Playern, die da auch in dem Feld unterwegs sind. Ich weiß nicht, von Anthropic habe ich jetzt noch nichts gehört.

[00:34:45] Das hat jetzt keine zwei Wochen gedauert, da gab es dann schon die ersten Klone, weil das Prinzip nicht uneinholbar kompliziert war, was die da gemacht haben. Und das fand ich schon mal für sich genommen irgendwie krass, dass man so schnell da die Alternativen auf dem Tisch hat und die auch schon weiterentwickelt wurden. Du hast es gesagt, Jef kann keine Bilder verarbeiten. Von Cloudflare das Modell Clef, das kann wiederum Bilder verarbeiten. Die brauchen es nämlich selber im Rahmen der Security-Threat-Erkennung etc. Das fand ich auch nochmal irgendwie spannend. Und es gibt auch schon ein anderes Modell, das heißt Jeff, mit Doppel-F, es gibt Kev [?], irgendwie von allem. Also die neuen Alternativen und die Klone springen da jetzt gerade aus dem Boden. Da ist die Frage dann tatsächlich … also, bei ein paar weiß man, die haben halt was hinter ein klassisches Qwen oder so gebaut, um das nachzubauen. Da ist dann die Frage, ob der Unterschied nicht noch ein bisschen größer ist bei dem, was Jef tatsächlich tut, weiß man nicht.

[00:35:44] Aber auch die, auch die großen Player, und das ist ja auch die … Die Firma, ich habe gerade mal nachgeguckt, sitzt natürlich in Kalifornien, wo sonst. Also die sitzen im Silicon Valley. Und der Gründer war vorher bei OpenAI und ist da weggegangen. Die Frage ist dann: Haben die alle schon daran gearbeitet? Also war das jetzt ein Thema, was sowieso schon in den Laboren bei den großen Playern ein Thema war, was die sich angeguckt haben? Oder ist das rausgekommen, und die haben sich dann halt da zwei Wochen draufgestürzt, um dann auch was liefern zu können? Fände ich mal ganz interessant eigentlich zu sehen, wie da so die Dynamik … Wie viele Nachtschichten gibt es dann im Silicon Valley, wenn sowas passiert? Könnte man wahrscheinlich auch an den Pizzalieferungen oder sowas nachvollziehen, wo dann wieder Nachtschichten gemacht werden, um möglichst schnell auch mit etwas Ähnlichem rauszukommen. Aber das würde mich da tatsächlich interessieren: Ist das was, wo schon viele dran gearbeitet haben, weil das so ein Thema war? TypeSafe ist mir vorher noch nicht begegnet, um ehrlich zu sein. Keine Ahnung, aber wahrscheinlich werden die OpenAI-Leute schon eine Idee haben, was ihre ehemaligen Mitarbeitenden so machen, wenn die Firmen gründen, und da immer mal wieder gucken, was da so passiert.

[00:37:03] Ja, aber total interessant. Also das ist jetzt ein Player, der irgendwie auch aus dem Silicon Valley kommt, das heißt, der wird wahrscheinlich nicht überrascht sein, dass die anderen sich da auch direkt draufstürzen, aber schon beeindruckend, was das dann so auslöst und wer da alles mit ankommt. Cloudflare auch, hat mich ein bisschen überrascht, dass Cloudflare da auch irgendwie groß im Spiel ist und schnell was hat. Da hätte ich fast die Vermutung, dass die vorher schon dran gearbeitet haben. Die werden da nicht erst dann mit rausgekommen sein, aber keine Ahnung, ich habe zu wenig Einblick. [?] hat auch dann irgendwas veröffentlicht. Also da kann man jetzt auch irgendwas abfragen. Also ich habe mich auch gefragt: Entweder ist es so, dass sich das vorher alles schon rumgesprochen hatte, und die treffen sich da alle irgendwie im Gym, und dann quatscht mal der mit dem, oder zum Kaffee hier oder auf der Dinnerparty da, und dann weiß man schon, wo so die Reise hingeht.

[00:37:50] Dann fangen alle Labore an, daran zu forschen. Oder es ist halt so trivial, dass man es schnell nachbauen kann. Trivial in Anführungszeichen. Spannend ist ja auch, dass sie scheinbar mit 100 % synthetischen Trainingsdaten gearbeitet haben, um Jef zu trainieren. Also vielleicht spielt auch einfach eine Rolle, wie gut dann das Modell am Ende auch antwortet. Vielleicht kann man schnell irgendein Modell nachbauen, das irgendwie einigermaßen okay antwortet, aber die Frage ist, wie gut ist dann die Antwortmöglichkeit? Oder die Antwortsicherheit dann auch. Was ja auch spannend ist: Wenn man eine falsche Auswahl an Antworten mitgibt, dann wählt das Modell mit Sicherheit auch eine falsche Antwort. Also wenn die richtige Antwort nicht dabei sein kann, dann ist das ja schon im Experiment so angelegt. Aber dann wählt das Modell auch mit Sicherheit nicht die nächstbeste, sondern wahrscheinlich auch eine falsche. Das ist der Teil, den ich immer noch interessant finde und wo ich auch gespannt bin, was da so passiert: Wie sicher kann das Modell denn sagen, ob eine Antwort richtig ist oder nicht? Weil das ist ja so ein bisschen das Problem.

[00:38:50] Die Modelle sind einfach, gerade wenn die Reasoning machen, haben die ja auch schon so den Weg zur Antwort hin bereitet. Und wenn sie sich den nachher nochmal angucken, denken sie, jo, habe ich geil gemacht. Das ist eine gute Lösung, gute Antwort, habe ich total gut begründet. Das heißt, das ist ja echt immer so ein bisschen das Problem, dass die Modelle einfach nicht sagen können, wie richtig sie liegen. Hat sich mal in Halluzinationen irgendwie stark ausgeprägt, das ist ja nicht mehr so das große Problem. Aber trotzdem, dass ein Modell sagen kann, wie gut ist denn meine Antwort?

[00:39:22] Gibt es nicht. Es kann immer nur sagen, das ist das Beste, was ich hier gerade habe. Aber ob das wirklich gut ist oder nicht … Da bin ich gespannt, ob diese Decision Models auch noch stärker in die Richtung gehen oder ob die zufrieden sind mit: Ich bin halt schnell und günstig und habe eine gute Struktur. Oder ob wir da tatsächlich noch mehr sehen: Kann das Modell tatsächlich beantworten, ob die Antwort gut ist oder nicht? Und ich glaube, das liefern sie ja mit, habe ich zumindest mal irgendwo gelesen, dass sie ja nicht nur sagen A, B, C, sondern, wie du es am Anfang auch sagst, A, 50 Prozent sicher. Aber wie gut, ob das kalibriert ist … das ist halt nicht … das Modell findet 60 Prozent, aber ist das kalibriert, ist das wirklich zu 60 Prozent eine gute Antwort? So ist das jetzt irgendwie … eben bei dem Beispiel mit den Support-Tickets, die da bei dir reinkommen: So, ich sage jetzt, ja, mit 95 Prozent sage ich, ja, sollte man eine E-Mail schreiben, mit 5 Prozent sagen wir, nein, soll man keine E-Mail schreiben.

[00:40:21] Das heißt aber immer noch nicht, dass das Modell sich sicher ist, dass das tatsächlich ein Case ist, den es gut behandeln kann. Unter dem, was es sieht und was es sich angucken kann, sagt es, jo, würde ich schicken. Aber es ist halt keine kalibrierte Wahrscheinlichkeit. Es ist einfach nur die Wahrscheinlichkeit aus dem, wo das Modell gerade lebt, und aus seiner Fähigkeit. Genau. Das stimmt. Und was deswegen auch ganz spannend ist, das hat TypeSafe jetzt angekündigt: Man kann da halt auch Feintuning machen. Das heißt, es gibt ja so super Spezialfälle, die jetzt in solchen Weltmodellen halt nicht abgedeckt sind. Aber da kannst du halt hingehen und sagen, hier, ich habe ja schon einen gelabelten Datensatz, ich kenne für tausend Beispiele die richtige Antwort. Dann kann man halt diese Modelle auch so ein bisschen trainieren und feintunen und dann für neue Fragen dann halt auch verwenden. Das finde ich ganz spannend.

[00:41:15] Also wir wollten auch mal überlegen, ob wir da im Bereich Listings vielleicht mal irgendwas machen oder sowas. Ich meine sogar, ich habe bei Cloudflare in den Beispielen gesehen, die haben halt Kontext mitgeschickt und dann halt auch drei Fragen gestellt auf einmal. Das ginge dann auch. Frage 1, drei Antwortmöglichkeiten, Frage 2, ja oder nein, Frage 3, whatever. Und dann hat man halt auch drei Antworten zurückbekommen. Also in einem Rutsch.

[00:41:39] Könnten wir … ich wollte mir da, ich wollte … wir machen nochmal eine Sonderfolge, gucken uns mal so ein bisschen Decision Models an und gucken mal, wie gut die waren. Fände ich auch gut. Wir haben ja noch so ein anderes Projekt, woran wir arbeiten, wo wir auch Dinge entscheiden müssen. Es ist vielleicht gar nicht so doof, mal über so ein Modell nachzudenken. Also tatsächlich ist der Text, der, den wir … also, wie bewertet er den? Ist das oder ist das nicht? Eigentlich interessant. Vielleicht auch was für … Weil die Kostenseite halt auch super ist. Das kostet halt nichts mehr. Also es scheint ja irgendwie unfassbar günstig zu sein. Genau. Ich weiß nicht, Preise, was hatten die da genannt?

[00:42:17] Oh, 0,04 oder so. Dollar pro Million Tokens, das ist ja wirklich ein Witz. Und selbst Cloudflare, die dann irgendwie noch sechsmal so teuer waren, auch die nur 0,24 [?]. Und nichts für Output- Tokens. Also du zahlst quasi nur, was du reinsteckst. Die Antworten sind umsonst, weil sie die halt nicht Token für Token generieren müssen. 0,042 [?] Input für eine Million Input-Tokens. Output ist umsonst. Genau.

[00:42:45] Man kann natürlich auch viel Input reinstecken irgendwie, aber selbst das ist ja noch wahnsinnig günstig. Damit halt auch total kalkulierbar. Du weißt dann genau, was du reinsteckst, und weißt genau, was dich das kostet, was halt bei Output-Tokens nicht immer der Fall ist. Du bist nicht immer sicher, wie ausführlich deine Antwort ist, wie die Wege dahin sind und so. Deshalb extrem spannend. Ich habe mir schon einen Account angelegt, aber die Kreditkarte fehlte noch, um es auszuprobieren. Die muss ich mal hinterlegen. Bin mal gespannt, ob man es da wieder kostenlos testen kann. Wäre auch nicht so ungewöhnlich bei Cloudflare.

[00:43:21] Spannend.

[00:43:22] Ja, super. Dann haben wir die Neuigkeiten dieser letzten Tage, Wochen, glaube ich, ganz gut zusammengefasst. Oder haben wir noch irgendwas vergessen?

[00:43:29] Nee, für den Wiedereinstieg passt das, glaube ich. Es sind noch ein paar Themen, die wir, glaube ich, in den nächsten Folgen besprechen können. Aber auf jeden Fall mal interessant. Also nicht nur neue Modelle, was schon immer spannend genug ist, sondern auch tatsächlich mal irgendwie ein neuer Style, den man mal in ein paar Anwendungen ausprobieren kann. Ja, ich glaube, da ist noch viel mehr passiert. Claude hat irgendwie [?] gelauncht, OpenAI hat [?] gelauncht. Haben wir diese Woche mal bewusst ausgeschlossen, weil das Themen sind, die man mal im Detail tiefer besprechen kann. Meta macht jetzt Tamagotchis, wenn ich das richtig gesehen habe. Ja, stimmt. Die haben News rausgebracht. Also wie irre. Dann haben sie eine AI-Brille angekündigt. Also ich muss sagen, ich finde es schon, also, wenn wir mal so drei Wochen raus waren … Hier habe ich trotzdem ein bisschen Hacker News gelesen, so ist es ja nicht. Aber Wahnsinn, wie schnell sich da das ganze Feld irgendwie entwickelt.

[00:44:18] Wie viele Tools da Anthropic und OpenAI rausbringen. Jetzt wollen sie irgendwie … also, ich habe echt Schwierigkeiten, will ich nicht sagen, aber so zu verstehen, was kann ich jetzt alles mit Anthropic und OpenAI machen, Claude Code, Codex, und jetzt das ist neu, und also schon nicht ganz ohne, da jetzt irgendwie vorne mit dabei zu bleiben. Vor allem diese ganze Tool-Welt, die ist, glaube ich, echt spannend, was geht so über das Chat-Fenster noch hinaus. Ich habe jetzt für Vorträge auch noch mal so ein paar Dinge geguckt. METR macht ja ganz interessante Studien immer so in dem Kontext, die versuchen ja viel KI zu messen, und die haben mal gemessen, wie sich die Zeit entwickelt, die ein KI-Agent eigenständig Arbeit bewältigen kann. Also ein Mensch braucht für eine Einheit Arbeit irgendwie fünf Minuten – schafft das ein KI-Agent alleine? Oder ein Mensch braucht für eine Einheit Arbeit irgendwie acht Stunden – schafft das ein KI-Agent alleine? Ganz interessant, kann man mal nachlesen, aber die Erkenntnis ist, dass sich in den letzten drei Jahren die Zeit, also die Dauer, alle vier Monate verdoppelt hat. Das heißt, dass das, was jetzt irgendwie … wenn ein KI- Agent jetzt irgendwie zwei Stunden schafft am Stück – also nicht die KI braucht so lange, sondern der Mensch hätte für diese Aufgabe zwei Stunden gebraucht –, ist es vier Monate später halt irgendwie das Doppelte und dann wieder das Doppelte. Relativ stabile Verdopplung in den letzten zwei, drei Jahren, was auch total interessant ist.

[00:45:50] Das geht extrem schnell voran.

[00:45:53] Ja, auch so langlaufende Prozesse. Also jetzt nicht nur so innerhalb von Minuten Frage, Antwort oder sowas.

[00:46:00] Spannend, ich glaube, bei uns gehen die Themen nicht aus. Insofern freue ich mich, Kai, auf die nächste Folge mit dir. Ich mich auch. In den News, über die wir dann auch immer sprechen, hat sich die Welt bestimmt wieder weitergedreht. Auch im Silicon Valley.

[00:46:09] Auf jeden Fall. Ein autonomes Taxi finde ich aber bis dahin leider nicht. Ich bleibe erst mal in Deutschland. Aber Ende 27 in München. Ja, gucken wir uns das an. Alles klar. Ciao, Trutz, mach's gut. Bis zum nächsten Mal. Ciao, ciao. Ciao.