AI News #13: Claude wird günstiger, Mistrals Le Chonk, die Mathematik ertrinkt in Reviews

0:23 Hallo, ich begrüße euch zur dreizehnten Folge mittlerweile der AI News. Schön dass ihr dabei seid und schön das der Ole dabei ist. Hallo Ole du bist ungewöhnlich unterwegs. momentan sehe ich gerade? Ja genau! Das wird eine Kinderzimmer-Folge. Ich bin bei meinem Vater im südwestlichen Niedersachsen im kleinen Dorf Füstenau.

0:43 Ich hatte gestern einen Vortrag bei einer kleinen Hauskonferenz war super nett am Dümmer hier zu fünfzig Kilometer von hier und genau darum bin ich jetzt mal nicht in meinem Schweizer Set-up, sondern wieder in der niedersächsischen Heimat. Ja ist doch schön! Abwechslung rauskommen sehr gut. Du hast bestimmt auch über spannende Themen für die Sendung gesprochen.

1:06 Auf jeden Fall ja. Sehr gut. Also ich habe aber auch in den letzten Tagen mich viel mit agentischer Entwicklung befasst. Hab einen Training gegeben wieder das war auch sehr nett. Grüße gehen raus an die lustige Truppe. Die meisten saßen glaube ich in Köln, aber es war remote. diesmal hat Spaß gemacht und Es kamen spannende Fragen auf und dazu habe Ich dann auch noch was recherchiert und ein paper mitgebracht Weil das in die richtung ging.

1:31 einige fragen dass Ja da habe ich versucht ein bisschen evidenz noch auf zu treiben. Das kommt dann auch. Aber erst mal haben wir natürlich für euch news wieder. einiges ist passiert was modeller angeht. Am Pricing wurde ganz viel geschraubt und da gab es jetzt auch mal eine relativ spannende Analyse, die du dir dann mal angeschaut hast.

1:52 Was denn die tatsächlichen Kosten eigentlich sind? Das fand ich auch richtig gut! Und dann haben wir noch einen größeren Block wo's mal darum geht dass ja jetzt ja ganz viele mathematische Probleme angeblich gelöst sind und stellt sich raus manche vielleicht doch nicht Denn irgendwer muss das ja auch alles dann doch nochmal verifizieren, dass das dann alles stimmt Das finde ich auch ein richtig spannenden Aspekt.

2:13 Das passt auch zu meinem Thema so ein bisschen dazu, da können wir dann gleich hoffentlich gut darüber diskutieren. Genau und dann haben wir also noch ein paar spannende Dinge zu den kompellierten Games und Software mitgebracht. Da freue ich mich auch schon drauf genau! Und wir haben tatsächlich was Richtung News Mistral hat etwas rausgehauen, was ich auch ziemlich bemerkenswert finde... Also die Europäer lassen sich doch nicht ganz abhängen.

2:38 Gut, das war jetzt glaube ich so die wichtigsten Sachen, die wir vorhaben. Das war schon wieder ganz schön viel, glaube ich. Gucken wir mal, dass wir das unterkriegen! Vielleicht fangen wir tatsächlich dann mit Anthropic an? Was ist denn da passiert? Das weiß du, oder? Ja. An Tropic hat nachgeliefert die ganze Claude-Familie ist jetzt auf fünfund hochgezogen.

3:04 also über Opus Fünffünf hatten wir letztes mal schon geredet und waren beide ja auch große Fans. und jetzt kam Sonnet FünfFünf und Heiko Fünf Fünf also von Heiko gab es schon lange keinen Release mehr. Also ich hätte das gesagt bestimmt Zehn Monate? Ja, vier fünf war das letzte. Vier Fünf war das Letzte, es gab zwischendurch nichts.

3:28 Find ich gut! Es wird deutlich billiger. also gerade Sonnet ist irgendwie zwei Dollar Read und zehn Dollar Pro Million Tokens im Output und Haiku ist sogar nur zehn Cent pro Million Dollar Read-und fünfzig Cent in der Ausgabe. sehr respektabel und tatsächlich das Sonnet schlägt sich auch gar nicht so schlecht zum.

3:55 opus-von fliegt also ein bisschen dahinter Aber weissens sind es nur so ein zwei prozent punkt in den meisten benchmarks. Ja, sie haben wieder am token iser geschraubt. Also der token eiser verbraucht jetzt wieder mehr tokens wohl gerüchteweise andererseits. Ich weiß nicht wie's dir geht Ich verwende ja meistens Opus fünft fünf, ich schaff es eigentlich kaum meine Quote auszureizen.

4:24 Also eigentlich bin ich fast immer voll zufrieden und schaffe es also wirklich nur in Ausnahmefällen. wenn ich viele Agenten parallel laufen lasse dass sich da meinest drei Stunden Limit reinlaufe habe ich eigentlich keine Schmerzen mit. wie häufig schaffst du deinen Quoter auszureizen? Tatsächlich den letzten Zeit auch gar nicht, aber das liegt einfach an meinem Arbeitsmodus.

4:48 Dass ich jetzt auch nicht an einem Produkt bin wo ich jetzt Feature nach Feature raushauen muss. und ja dass es sowieso auch nicht sinnvoll ist das zu tun. Ich glaube das sagen wir auch immer an verschiedenen Stellen. insofern also ich laufe da auch nicht in die Limits meiner Subscription rein kann natürlich manche sagen ich mache einfach nicht genug parallel und nutze es nicht genug aus.

5:07 Aber ja ich glaube auch mittlerweile sind die ganz gut kommt man da ganz gut mit aus, wenn man dann eine mittlere Subscription hat und selbst wenn man wirklich kontinuierlich damit arbeitet finde ich das auch relativ gut. Und ich bin tatsächlich auch ein großer Fan von Haiku. Ich hatte jetzt im Training auch jemanden der sich wirklich eine Challenge gesetzt hat alles mit Haiku zu machen und meine Prediction ist, Haiku ist das neue Sonnet!

5:35 Proof me wrong, aber tatsächlich habe ich dann auch verschiedene Dinge mal versucht mit Heiko dann zu machen und einfach dadurch dass es auch schneller ist. Gefällt mir das ziemlich gut! Und jetzt auch so in zumindest den Anthropic eigenen Benchmarks... Ist ja das auch ein Riesensprung von dem Vierfünfer jetzt auf das Fünffünfer und kommt dann schon an Sonnet dran teilweise.

5:57 Also ich hätte jetzt tatsächlich auch die Vermutung für die Sachen, für die man vor einem Jahr halt eben das Sonnet benutzt hat. Da benutzt man einfach Heiku und es ist vermutlich dann einfach gut genug. Ich glaube wir kommen jetzt wirklich in die Region wo sich rauskristallisiert. für bestimmte Anwendungsfälle reichen einfach günstige Modelle aus.

6:17 Die sind dann eher schneller. Man kriegt schneller Ergebnisse von der Qualität Reichzeit auch. Also wo ich vorher halt mit Opus geplant habe und mit Sonnet umgesetzt habe, könnte man wahrscheinlich jetzt sogar mit Heiko dann in die Umsetzung gehen. Wenn das Projekt vernünftig aufgesetzt ist, da dein Harnis vernünftig konfiguriert ist würde ich das jetzt mal als Challenge annehmen, das mal auszuprobieren.

6:40 Genau was gab es noch? Ah ein Punkt noch! Man kann bei Opuls – das hat mir letztes Mal gar nicht erwähnt Ich. mir ist aufgefallen, dass man bei Opus-Five-Fünf das Sinking gar nicht mehr ausstellen kann. Also wenn man so einen API Aufruf hat, wenn ihr irgendwelche Anwendung mit LLMs drin habt und die API aufruft, könnt ihr Sinking nicht mehr... ...ausstellen?

7:01 Das hat zum paar Problemen geführt weil die Aufrufe dann teilweise abgelehnt wurden, wenn man... ...Thinking disabled hatte im Tokens zu sparen. Das war mir noch eingefallen! Abschalten tue ich es sowieso nie ganz, aber ich bin tatsächlich jemand der das Thinking zumindest bei den großen Modellen eher runterstellt.

7:19 Weil meistens wenn ich jetzt einen Fable mit Low oder meistens habe ich da Medium drin, dann kriege ich halt im One-Shot, meistens dann sofort ein ziemlich gutes Ergebnis. Zumindest für die Fragen, die ich dann stelle, dann brauche ich gar nicht dieses ganz lange Thinking machen. Dann mache ich lieber die größeren Modelle mit weniger Thinking und bei den günstigeren Modellen kann man das dann ein bisschen hochdrehen.

7:41 Das frisst dann so ein bisschen den Zeitvorteil wieder auf. Man muss dann immer balancieren, also bei den Kosten muss man dann wirklich balanciern. Nämlich das große Modell mit wenig Thinking und das kleine Modell sehr viel. Dann nähern sich die Kosten wieder aneinander an, zumindest von den Tokenkosten her.

7:56 Also da muss man schon ein bisschen für sich den Sweet Spot finden. Ja genau, Opus nach wie vor ein Fan aber... Ich nehme es halt wirklich meistens mittlerweile nur zum planen und nicht mehr zum zu implementieren, aber das ist auch so ein erkenntnis jetzt aus den aus dem trainings die wir machen. am anfangen hieß es so die die implementierung mit sonnet funktioniert gut.

8:21 man verwendet eben für Für das planning auf jeden fall noch opus Aber für bestimmte sachen Am Anfang größere Vibecoding-Geschichte, die wir mal gemacht haben für den Prototypen. Das hat halt nur mit Opus funktioniert und mittlerweile funktioniert es halt auch in wesentlich schnellerer Zeit auch mit dem Sonnet.

8:41 Also das ist jetzt der Standard in dem Training einfach Sonne zu nehmen weil das für die Sache, die wieder machen ausreicht finde ich auch eine schöne Erkenntnis dass das halt mittlerweile einfach so ist, dass selbst die vermeintlich günstigeren Modelle halt äh da mächtiger geworden sind, ne? Indem was damit geht.

8:58 Gut, bevor wir uns zu lange bei Anfropik aufhalten. Es gibt ja noch viele andere spannende Sachen, wobei ich das so weitermachen möchte. Ja, Model News. Model News! Wir haben endlich eine Billion großes europäisches Modell. also Mistral hat ein neues Modell. Large Four Le Chonk geliefert. Ja, es ist frisch raus.

9:29 Ganz viele Details haben wir noch nicht. Wir sind auch noch die Wates und noch nicht raus. Die sollen Ende des Monats kommen. aber was wir bis jetzt wissen so eine Billion Parameter ist so um die fünfzig Milliarden Parameter sind immer aktiv. da sind die Angaben sich nicht ganz einig. einige sagen neunvierzig andere sagen zweinfünfzig ansonsten state of the art.

9:51 es ist multimodal. es hat Eine Million Kontextwindow. Es wurde auf drei tausend achthundert Blackwell GPUs trainiert in einem europäischen Rechenzentrum, kostet drei Komma sechs Euro pro Million Token Input und vier Komma eins Dollar für Output. Genau was gibt es noch zu sagen? In den Benchmarks ist es nicht ganz so gut.

10:28 Also, das beste Open-Source-Modell wenn man China nicht mitzählt. Das ist leider ein kleines Arbeit. Es gibt immer noch ein paar chinesische Modelle die besser sind. also MIMO ist besser GLM ist besser. Man muss aber auch sagen dass die... Jetzt fällt mir das Wort an. Im Enforcement Learning Pipeline sind wir noch nicht ganz abgeschlossen.

10:53 Also da können wir bis Monatsende noch einige Verbesserungen erwarten, aber es scheint nicht ganz an die chinesischen Open-Source Modelle reinzukommen. Aber nichtsdestotrotz bin ich der Meinung ist gibt eigentlich keine Alternative als dass Europa auch ein eigenes starkes Modell hat was man zur Not ohne China und ohne die USA betreiben kann.

11:15 Und wie ist das deutsche Modell? Von denen hört man ja sehr wenig. Ich glaube, unsere einzige Hoffnung ist da, glaub ich so ein bisschen das Mistralmodel aus Frankreich. Ja, das Koli-Brieg gab es jetzt noch aus Deutschland und das haben wir nicht im Programm, weil ich mir das auch gar nicht angeschaut hatte.

11:34 Das war aber von den Black Forest Labs, wenn ich das in Erinnerung habe... Also es gibt ja so'n paar Einhörner in Deutschland, die da was machen, aber das muss sich auch nochmal genauer anschauen. Das war ja auch ein bisschen anderer Fokus. jetzt kein echtes riesiges Foundation-Modell. Nee, aber mistral zumindest wie es von den Benchmarks aussieht ist es nicht mehr extrem abgeschlagen von den chinesischen Open Source Modellen mit einem GLM-Fünfpunkt Drei vergleichen.

12:03 Es ist jetzt nicht komplett andere Liga sondern nähert sich dem langsam an. also insofern finde ich das schon bemerkenswert dass das eben nicht abgeschlagen bedeutet, sondern dass da durchaus was geht. Genau. Außerdem habe ich es jetzt auch noch nicht, aber man kann's natürlich über die diversen Provider sich schon zum Testen holen.

12:30 Es hat keine Cybersecurity-Verweigerungen wie die anderen und staatliche Akteure kriegen zuerst das fällt mir noch gerade zu einem. Ja also das scheint durchzusetzen als normales Vorgehen, dass sie das dann immer vorab veröffentlichen für staatliche Akteure. Damit Sie hinterher sagen können ihr hattest ja gesehen und ihr konntet ja gucken ob es schlimm ist und wir haben ja auch nicht sicher, ob das einfach ne, dass die sich selber absichern Das quasi einfach so ein.

13:02 okay das machen wir jetzt? Dann sind wir abgesichert da kann jemand hinterhersagen. Wir haben irgendwie die Öffentlichkeit gefährdet Und damit ist das dann quasi abgehakt. Haben wir noch mehr Model News oder wollen wir es dabei belassen erst mal für heute? Model news glaube ich nicht. Wir können mit den Mathematikern weiter machen, nach wieviel letztes Mal Naviestoaks schon hatten... Also wir in einer Formatik kennen ja das Problem dass die Kot-Generierung jetzt billig und schnell geworden ist und wir eigentlich in den Merchbequests Ich will nicht sagen ersaufen, aber dass wir zumindest mal gechallengedrückt sind die ganzen Merge Requests zu reviewen und die Mathematik hat jetzt ein ähnliches Problem bekommen.

13:46 Die haben ja auch viel zu reviewn. also letzte Woche vor zwei Wochen haben wir von Navier Stokes gesprochen das da das Millennium-Problem geknackt ist. und jetzt halt OpenAI einfach nochmal repository. ich glaube es heißt nur open AI math veröffentlicht und davon viertausend problemen, siebenhundert zwanzig gelöste Probleme.

14:12 Veröffentlich also die müssen jetzt alle reviewed werden. Die Mathematik wird ein Mathematiker werden gut beschäftigt sein. ganz verschiedene Bereiche interessanterweise kein einziges Pellper aus der Kryptografie. Man kann jetzt drüber nachdenken, ist das was Gutes oder ist es was Schlechtes? Genau. Es kann halt auch bedeuten dass sie eigentlich sehr gut in Mathematik sind und OpenAI aber das nicht veröffentlichen möchte für ein Großteil dieser Paper-Senslin-Beweise Veröffentlicht worden.

14:49 Es sind allerdings auch drei davon schon zurückgezogen worden. vierzehn hatten irgendwelche Anmerkungen, die repariert wurden. Und genau jetzt wartet man – ich glaube für die Hälfte ungefähr sind mittlerweile Lin-Beweise und jetzt müssen die Mathematiker das Reviewen, wobei Lin ist halt auch nur so was wie ein Unit Test.

15:12 Das muss man halt aufsagen! Das setzt halt den grünen Haken so, ne? Ob das jetzt auch die richtige Fragestellung war oder ob man es genau die Frage richtig formuliert hat heißt es halt immer noch so ein bisschen schwierig. Genau, genau das ist ja der Bogen. dann zur Software-Entwicklung dass die Modelle uns halt total viele Unitests generieren.

15:33 Das sieht dann so aus als wäre alles wunderbar abgetestet, ne? Dann wird irgendwelcher Code generiert, der diese Tests dann grün macht und dann ist man zufrieden. aber wenn man da manchmal reinguckt was das denn für Test sind und dann merkt man okay die testen ganz viele Dinge aber die erfassen eigentlich das eigentliche Problem gar nicht.

15:49 So und das Was wir genau da jetzt auch sehen, was ja dabei rauskam. Es wurde halt nur überprüft hat der Hattes das Linen automatisiert eben diesen Beweis erbracht aber nicht ob die Problemformulierung eigentlich die richtige war und ob die halt... Das muss halt dann doch wieder einen Mensch sich anschauen und dann eben zumindest die richtige Problembeschreibung sicherstellen.

16:13 Dann kann der Solver natürlich das hinterher dann irgendwie den Nachweis erbringen. Aber das ist genau das Problem, was wir auch in der Software-Entwicklung sehen. Das fand ich dann extrem spannend! Weil die hatten das ja... Ich weiß nicht, ob wir das letzte Mal angesprochen haben als sich da auf der Konferenz wo ich war tatsächlich mir wieder dieses Property-Based Testing schmackhaft machen lassen, was ich bisher auch immer gesagt habe Ja müsste man eigentlich tun wäre eigentlich total gut aber ist auch irgendwie anstrengend diese Dinger zu formulieren weil eben das Anstrengende daran ist Property-Based-Tests nur formulieren, wenn man den Problemraum halt formal beschreiben kann.

16:50 So und da ist aber der eigentliche Knackpunkt in der Softwareentwicklung auch. Wenn ich den halt beschreiben kannst dann weiß ich okay hinterher hat wahrscheinlich meine Software keine Bugs Aber das muss sich halt vorher tun was wir halt in der Regel nicht machen sondern wir machen halt diese Example-Base-Test die Unit-Teste wo wir sagen Okay Wir haben hier so ein paar Edge Cases Die frühstücken wir ab Da sind wir sicher unsere Software erfüllt dass den ganzen Lösungsraum, den wir eben nicht beschrieben haben.

17:16 Da liegen halt die ganzen Baxen und das finden wir halt erst in der Entwicklung raus wo diese Lücken liegen. Ja genau und das Problem sehen wir jetzt hier auch. Das System nimmt ihr halt nicht das Denken und das Verstehen des Problems ab. also es löst dir irgendein Problem. aber das ist nicht klar ob wirklich das Problem ist was du jetzt gerade lösen möchtest.

17:37 Das musst Du halt irgendwie beschreiben oder musst Du dem System nahe bringen Und da liegt für mich der Knackpunkt. Finde ich sehr schön, dass jetzt aus der Mathematik wir genau gegen die gleiche Gewand laufen nicht nur was wir als Softwareentwickler halt tun. Geteiltes halbes Leid ne? Ja ja nee! Ich hatte es ja letztens mal gesagt das jetzt irgendwie Historiker halt auch dann auf bestimmte Dinge dadurch vielleicht gelöst bekommen.

18:05 aber auch das muss dann hinterher ein Mensch sich wieder angucken und sagen ist denn das plausibel oder nicht? Nur weil Muss da zusammen passen heißt es halt nicht, dass das wirklich so ist. Ja fand ich sehr spannend. die Mathematik hat die gleichen Probleme wie die Informatik gut. Ist auch irgendwie nah beieinander ist irgendwie auch naheliegend.

18:22 Machen wir mit den Biologen weiter? Genau! Da bin ich auch gespannt was da noch kommt. Beeindruckend fand ich das Tempo. Bei Naviestoaks haben sie ja irgendwie Zehntausend Agenten, achtundachtzig Stunden rechnen lassen. Und jetzt das Modell was glaube ich noch nicht richtig benahmt ist bei Twitter ist irgendwie so.

18:44 der Name Raccoonname Bell Der da so ein bisschen durch die Gegend fliegt ist aber nicht offensichtlich es nicht offiziell bestätigt von OpenAI hat wirklich nur einen Agent und drei Stunden pro Problem gerechnet. Das ist verdammt beeindruckend für siebenundzwanzig Lösungen. Wie viele davon stehen bleiben?

19:04 es noch eine andere Frage, aber ja wir sind in der Zeit des exponentiellen Wachstums glaube ich. Ja ich vermute auch ne? Ich hatte ja irgendwann gesagt momentan das ist noch so dass diese im Vergleich zum menschlicher zur menschlicher Intelligenz ist der Energieverbrauch dann noch viel höher. Vielleicht kippt sich das dann irgendwann doch, dass einen Menschen über Jahre mit Energie zu versorgen damit nach Jahren vielleicht so ein Beweis erbracht wird im Rahmen von einer Promotion oder so.

19:33 Das verbraucht vielleicht dann doch mehr Strom als wenn man auf manche Probleme eben solche Technologie loslässt. Das finde ich schon irgendwie bemerkenswert und es dann eher so ein gesellschaftliches Dilemma in das man läuft. Ja, richtig spannend. Weil wir gerade bei Softwareentwicklung waren und was die Agenten tun, dass man verstehen muss, was sie machen.

19:54 Vielleicht schiebe ich kurz das Paper ein, weil es ganz gut passt. Der Name des Papers ist nämlich ... Was ich euch verlinke? Do Coding Agents reuse existing code or reinvent the wheel? Das ist genau im Runde das, dass die Agent immer versuchen, die kleinstmögliche Lösung zu bauen, damit die Tests grün werden und damit das Problem gelöst wird.

20:18 Und in dem Paper fand ich eine ganz schöne Systematik, sie haben sich da eben eine Möglichkeit gebaut Code Reuse zu messen, also dass indem Sie den Süddax-Trieb aufbauen und so kann man sich anschauen, fand ich ne ganz schöne systematik und messen im Grunde dann wie viel Code Reus Agenten tun und stellen halt fest eher wenig.

20:40 Und weil sie eben nämlich genau das machen. Sie bauen halt immer eine minimale Lösung, bauen die aber im Grunde legen die neben den alten Code daneben und dadurch akkumuliert sich natürlich dann so ne Structural Depth wie ich das nennen würde. also das ist dann halt vielleicht könnte man es auch Tactical Depth bezeichnen wenn man halt zu wenig Refactoring macht, dann akkumuliert in der Codebase halt parallele Dinge die irgendwie das ähnliche tun und dann entstehen halt Bucks Nicht zwischendurch mal zurückgetreten wird und ein Refactoring gemacht wird, Dinge zusammengefügt wird.

21:13 Also für mich war das dann so bisschen die Erkenntnis. Das ist genau der gegenteilige Effekt was Entwickler zu tun pflegen, die sich irgendwelche Abstraktionen ausdenkt, die man vielleicht mal brauchen könnte, was wir als Jagd nie bezeichnen würden. Und dann gibt es am Ende eine Stelle, die diese komplizierte Abstraktionsschicht verwendet hat verstanden, was die eigentlich tun sollen und verwendet sie dann deswegen auch nicht.

21:37 Deswegen bleibt sie dann einsam in der Ecke liegen und man hat diesen ganzen Code diese ganze Abstraktion gebaut und sie wird halt nicht benutzt. Und ja... Die Modelle scheinen offensichtlich genau das Gegenteilige zu machen. Und irgendwo wollen wir ja in der Mitte sein und da ist es dann wahrscheinlich wieder an den Menschen in ihrem Codinghahn entsprechend dafür zu sorgen dass eben doch manchmal zurückgetreten wird Dinge wieder zusammengefügt werden, dann doch noch mal Abstraktionen eingezogen werden.

22:03 Was eben auch vielleicht jede Menge Boilerplate-Code vermeidet, der die dann wiederum bei der Wartung nicht den Kontext vollmüllt. So das war so meine Erkenntnis daraus. Deswegen fand ich dieses Paper ganz spannend weil es zumindest mal ein bisschen versucht da Evidenz dran zu legen. Also das empfehle ich euch da mal reinzulesen.

22:23 Ich versuche jetzt ab und zu mal sowas einzuwerfen, weil ja gerade es ist immer ganz viel gefühl. Wir haben das Gefühl dass neue modelle ist besser Und ich versuche jetzt irgendwie mehr bisschen auch zu schauen Gerade für die Dinge die wir empfehlen Dass es da zumindest auch mal Evidenz gibt ob denn das wirklich in der praxis funktioniert.

22:42 Natürlich ist immer wer macht hat recht wenn jemand halt irgendwie herausfindet mit dem werkzeug bin Ich effizient habe gute ergebnisse Ist erstmal egal warum das so ist. aber ich finde trotzdem Zumindest retrospektiv. hilft das dann nochmal, da noch mal ein bisschen was... Ein bisschen Evidenz hinterzulegen.

23:01 Ja, das wollte ich ja nur noch anbringen. Auch die sind sehr schlechteren in Dry und neigen dazu also gar nicht einmal minimalen Kot aber unsinnigem Kot nochmal zu schreiben irgendwelche Retry-Logiken. Regen kann das doch super. warum verwendest du was nicht verspringen so, sie weigern sich dann irgendwelche libraries zu nutzen wo sagst ist doch standard und.

23:25 Wegen sich aber wieder retry zu machen und machen das zweimal in dieselbe methode ins servicis. ich denke ja gut wir sind noch nicht arbeitslos ist doch genau also dass das wird mir immer mehr klar. Wir brauchen weiter software entwickelnde personen Die machen vielleicht andere Sachen als vorher. Aber sie leisten einen wichtigen Beitrag dazu, dass wir vernünftige Software bekommen.

23:52 Genau womit machen wir weiter? Tokenpreise hätte ich gesagt. Token preise das wäre noch genau ein wichtiges Thema. Ja genau Token Preise ist auf jeden Fall nochmal größerer Block den können wir gerne machen. was hat denn Semi-Analysis rausgefunden? Genau, die Jungs und Mädels von CineAnalysis haben gemessen wie viele Tokens man in Abos bekommt.

24:14 Und tatsächlich sind sie da mal sehr methodisch gut dran gegangen. also was die machen ist meistens methodisch Gut aber Sie haben halt erst einmal gemessen Wieviele Input Output Tokens, Cash Read & Cash Write Tokens Mann bekommt für ein Modell und wir haben sich da spezielle Prompts geschrieben die halt genau das maximieren dass du entweder primär import tokens hast oder primär cash write tokens und haben dann gemessen.

24:44 Wie viele tokens du bekommen kannst bist du in dein fünf stunden oder deinen wochen limit reinläufst? Und damit wussten sie halt, in welchem modus für welches model man wie viele tokens bekommt und an sich halt angeguckt was ihr so was ihre Persönlich Nutzerprofile waren im September so. Die haben ja auch irgendwie zweihundert Leute und dann haben sie geguckt, der hatte halt so und so viele Inputtokens, so viele Cash Reads, Cash Rides Outputt Tokens Und haben daraus halt Profile erstellt und haben das dann auf die Modelle umgerechnet von Opus und TGPT und geguckt wie viel, also wie viele Tokens kann man so aus seinem Abo rausholen?

25:30 und das dann mit API-Tokens verglichen, was hätte uns das denn an API Tokens gekostet? Und es kommt raus. Man kann aus seinen Abos ganz schön viel rausholen. Also Preisleistungssieger war Sonnet! Wenn man es komplett voll ausnutzt, kann man da aus seiner zweihundert Dollar Subscription zwölftausend fünfhundert Dollar an Tokens rausbekommen, wenn man das über API laufen lassen würde.

25:58 Und Fable war relativ schlecht. da kann man nur nur zweieinhalb tausend Dollar an tokens für die zweihundert Dollar bekommen. Genau allgemein war OpenAI deutlich günstiger als Atropik, deutlich günster als OpenAI so rum. Also, teilweise bis... Interessant. Ich hätte es damals drum vermutet ja. Nee eben gar nicht!

26:24 Auch muss man fairerweise sagen OpenAI hat ja gerade ihre Quote halbiert und das war nach der Halbierung gemessen. Vor der Halbirung wäre es vielleicht der Faktor nur zweieinhalb gewesen aber jetzt ist meistens der Faktor so fünf Mal mehr Tokens bei Antropic. Genau Was gab es noch dazu zu sagen? Schaut euch das Paper an.

26:46 Da sind viel zu viele gute Diagramme drin, als dass ich das jetzt alles mündlich wiedergeben kann. Eine Frage die ihr dann immer aufpoppt, sind diese Abos extremst stark sequenzioniert? und die Antwort von Semi-Analysis war, dass es eher ein Indiz dafür ist, dass die API unfassbare Maschen abwirft! Also teilweise bis zu viel.

27:13 neunzig Prozent Gewinn auf den API Tokens. Das ist schon ein bisschen verrückt, was die dafür Umsätze mitmachen können und das dir täglich die Abos nur so leicht im Minus sind. also sie sind dann halt nur so zu zwanzig Prozent subventioniert. Ja, das finde ich eine sehr spannende Erkenntnis. Ich hätte es nämlich eigentlich gedacht dass es eher andersrum ist, dass sie mit den Api-Dingern leicht gewinnen machen und damit halt irgendwie die Abos quer subventionieren weil über die Abo's versuchen sich die Leute ranzubekommen und da können Sie ja auch drauf zahlen weil der Massenumsatz kommt dann doch eher über die Apinutzung aber finde ich interessant.

27:55 diese Erkenntnisse finde ich sehr interessant. Sie machen unfassbar viel Geld wobei, also sie haben jetzt gemessen was passiert wenn man das ausnutzt. Wenn man davon ausgeht, dass Menschen ab und zu noch mal schlafen wollen essen wollen oder vielleicht sogar noch ein Privatleben haben wollen schaffen wir es sehr selten unsere Abos auszunutzen.

28:24 Also selbst die Leute von Semi-Analysis die meinen wohl guten Gewissens als AI-Pilt bezeichnen kann auch wenn ich ihre Arbeit immer geil finde muss man gucken. so aus welchem Bereich gucken sie was für ein Mindset haben Sie? Und sie sind ja sehr pro AI und nutzen das halt auch Excessivst. Aber auch sie kommen in der Regel selten über zwanzig Prozent Ausnutzung von ihren Quotas für ihre Abos, so darum.

28:51 Sie machen jetzt nicht großen Minus sondern das ist wie bei einem Fitnessstudio-Abo. es ist halt eingeplant dass die Leute überhaupt nicht also zumindest über die Tage gerechnet jeden Tag schaffen ihre Quoter da auszunutzen. Das Minushält sie... Also sie haben überhaupt gar kein Minus mit ihren Abos.

29:11 zwanzig Prozent minus die theoretisch da sind, rechnet sich halt auf nur hundertprozent Auslastung, der aber kein Mensch erreicht. Ja genau! Das ist ja glaube ich auch so kalkuliert, dass diese Abos wirklich dafür da sind das primär ein Mensch irgendwie das Modell nutzt und betreibt und dass du eben nicht eine Agentenflotte hast, die halt irgendwie autonom Tag und Nacht läuft.

29:32 Dafür sind sie einfach auch nicht gepreist und nicht ausgelegt. Und klar wenn man das natürlich macht wahrscheinlich auch in im totalen Widerspruch zu den AGBs, die niemand gelesen hat. Dann wird man wahrscheinlich da auch reinlaufen. Aber an so scheint das momentan ganz gut ausbalanciert zu sein. also wenn ich wirklich ... Ich würde jetzt mal sagen verantwortungsbewusst wird es in der Substitution Arbeit und zwischendurch genug Schlaf bekommen wie du schon sagst dann ist das eigentlich nicht möglich da an die Grenzen zu laufen.

30:02 oder ich bin halt jemand Output über Outcome priorisiert und einfach nur sagt ich muss Features, Features & Features. Und ich lese den Code nicht mehr. aber gut das ist dann. dann sind wir auch jenseits von Software Engineering dann angelangt. Jut! Genau das war nochmal auf jeden Fall sehr spannendes Thema.

30:18 da werde ich dich das Paper auch noch mal durchgucken. und vielleicht zum Abschluss noch Decompilieren von Games. Das fand ich ja auch interessant was du da gefunden hast. Ja, kommen wir zum wichtigsten... Das Wichtigste machen wir wieder zum Schluss. Nein es ist nicht wirklich wichtig aber das war halt auffällig was man bei Twitter gerade so den Timelines los ist.

30:39 Es ist ein richtiger Trend aufbekommen Spiele und auch teilweise Programme zu dekompilieren. Also einer hat einen Photoshop-Clone in Rust geschrieben Aber nicht dekompliert er tatsächlich das Deu geschrieben glaube ich zumindest. Und der andere die andere Welle ist, dass man sich alte Spiele nimmt. Wo man dann nur noch den Bytecode hat das dann zu Assembler wieder zurück dekompiliert Und das dann wieder von der Sampler zu teilweise nutzbaren Hochsprachen rekompelliert und wenn man es dann im Vorwärtslauf sollte, idealerweise derselbe Bytecode dabei rauskommen.

31:25 Es gab wohl schon eine kleine Szene die sich zum Hobby gemacht hat und das war halt extremst arbeitsaufwendig. aber ja unsere Freunde der LLNs haben da wohl große Freude daran und sind auch sehr ausdauernd das zu machen. Und es führt dazu, dass also erst kleine Spiele irgendwie dekompiliert wurden. aber jetzt gab's ein neues Fallout-Spiel, Fallout New York was es ja offiziell nicht gab sondern sie haben Fallout decompiliert und dann tatsächlich daraus ein neues Spiel mit einem New York Setting gemacht.

31:58 Modern Warfare II wurde dekompelliert. Das ist so ihr Flakschiff. Was wir gemacht haben, witzigerweise auch mit einem zweihundert-Dollar-Abo. Das aber ungefähr zweihundert Milliarden Tokens verschlungen hat innerhalb von vier Wochen. Er hat vielleicht geschafft sein Abo auszunutzen. Ich wollte sagen dass mir dann wirklich Token-Maxing im Wörterbuch steht quasi.

32:26 Entsprechend begeistert war ein Activision und Befesta, wann haben das gleich wieder? abgeschaltet. Genau, lustiges Hobby interessant für die Modderszene. also wenn einem irgendwas gestört hat an den Spielen kann man das jetzt tatsächlich ändern oder sich neue Levels für sein längst vergessenes Lieblingsspiel basteln.

32:51 aber auch natürlich spannende Rückkopplung auf Legacy Software Modernisierung. wenn du also irgendwelche Binary von irgendwelchen Java Code rumlegen hast kann man wahrscheinlich sich wieder die Source-Dateien herstellen lassen. Dazu gehört dann halt, dass man einen guten Harnis hat, dass er sich die Methoden nimmt und eine virtualisierte Umgebung hat, wo man das laufen lassen kann.

33:19 Dann testet der das gegen das echte Spiel. Das wird alles automatisiert gemacht. Im Prinzip könnte das auch für viel Legacy Software Modernisierung mit einem guten Harness ein gangbarer Weg sein. Ja, genau. Das ist natürlich dann immer die Frage inwiefern noch Kontext über das Softwareprojekt was du gerade bearbeitest vorhanden bist.

33:40 weil wir hatten das ja auch. also ich habe mir auch so ein Projekt angeguckt da ging es um irgendwie Playstation Portable Spiele wo dann aus dem MIPS Maschinencode irgendwie der wurde dann wieder in C zurück übersetzt und dass dann wieder nach WebAssembly kompiliert damit's dann im Browser läuft fand ich auch ein extrem spannendes Projekt.

34:00 nur wenn man dann da in den Code reinguckt, der aus diesem Maschinencode heraus extrahiert wird. Das ist halt kein menschenlesbarer Code mehr teilweise. Da hast du dann riesige Arrays mit irgendwelchen Bytewerten die dann irgendwie bearbeitet werden. das ist dann quasi wirklich schon fast keine Semblermehre.

34:20 was also kannst es einfach nicht lesen weil man kann man weiß nicht was die Funktionalität dann wirklich tut Dass nur welche Pointer sind die irgendwo hinspringen und irgendwas verrechnen. Und das läuft dann hinterher, ne? Das sieht dann auch genauso aus. aber dass modifizieren dafür fehlt dann eben doch noch ein bisschen Kontext weil so ein paar Methoden nahmen uns sowas werden halt schon super gut.

34:41 Aber ich glaube auch da dann halt nicht mein so klassische die compiler die gab es ja auch vorher schon. aber das dann eben so einen lm dem man eben noch ein bischen mehr kontext gibt. zum beispiel irgendwie noch Wenn ihr jetzt eine Legacy Software hast, du nimmst halt irgendwie noch einen Haufen von Interviews von Nutzerinnen und Nutzern der Software.

34:58 Und sagst okay was in eure Use Cases? Was macht dir mit der Software dass du die wirklich interviews dennoch Kontext holst und das dann kombinierst mit diesem Prozess. ich glaube da hat man eine größere Chance dass das LLM diese Muster dann eben auch übereinander legt und sagt ok vielleicht diese Funktionen die irgendwie kriptischen Namen jetzt hat im B-Compiler Die könnte vielleicht das tun fachlich, weil eben noch mehr fachlicher Kontext da ist.

35:21 Aber das Problem ist ja häufig dass du gerade bei so Software die sehr alt ist, die halt auf knappen Speicher... Speicher ist teuer optimiert war und dann irgendwie die Tabellennamen haben dann irgendwie heißt nur noch AA und AB und X und damit alles möglichst klein ist. Und dass du halt irgendwie dann die ganzen hier alles den Code soweit komprimierst, dass da eben die eigentliche Fachlichkeit nicht daraus heraus hervorgeht.

35:47 Und dann hast du natürlich da Probleme und ich glaube, wenn man das eben kombiniert mit einem LLM was noch weiteres Kontext Wissen damit hineingebt in den Prozess, dann könnte das tatsächlich etwas werden. Da bin ich gespannt auf die ersten Projekte, die bei uns laufen, die in der Richtung was machen wie welchen Erfolg sie damit haben mit dieser Methodik.

36:09 aber für mich als Spieler ist es auch interessant. Ich glaube entscheidend ist halt, dass man das alte Programm noch laufbar hat. Genau. Dass du halt irgendeine Testreferenzumgebung hast wo dann abgleichen kannst, dass die selben Dinge passieren so. Bei Spielen ist es natürlich relativ einfach gerade so bei alten Linearen spielen, wo du von Level zu Level geführt hast.

36:31 Kassensysteme sind selten linial und ... Ja, also ich sehe genau den Punkt, den du meinst. Wenn du verschiedene Inputs an verschiedenen Stellen hast die sich dann irgendwie im Prozess viel später überlagern und so weiter ist das natürlich ein signifikant schwereres Problem als ein Level was du irgendwie durchspielst.

36:55 Falschüren jetzt oder welche Gegner wann aktiviert werden müssen in welchem Bereich du rein lausst. Das ist schon einfacher zu testen, das glaube ich auch. Du brauchst halt Prozesswissen. also mein Beispiel ist da immer was ich mal gesehen habe in einer Software. Da war halt ein Check drin if Customer number starts with three then don't send Rechnung so Und dann siehst du da und überlegst dir was war denn mal, dass der fachliche Hintergrund davon das jetzt?

37:21 Kundennummern die mit drei anfangen keine Rechnung bekommen so. Da ist halt einfach...da hat kein LLM eine Chance aus dem Code heraus. die fachlicher Anforderungsextrigen weil die einfach nicht in den Code drin steckt. Dieser Code hat das Problem gelöst Aber der eigentliche fachliche Hintergrund geht daraus nicht hervor, ne?

37:38 Das war halt irgendwie die Kundengruppen. Da hat man halt nochmal einen Mitarbeiter manuell über die Rechnung geschaut weil das waren irgendwie VIP-Kunden oder so und dann wurde die später per Mail verschickt. So aber dieses Wissen war halt nur in den Köppchen der Leute und nicht in der Software. deswegen hat man da gerade bei Legacy Modernisierung du brauchst halt noch weiteren Kontext außer dem Source Code, ne?!

37:58 Ja jetzt ist ja glaube ich das Schlüssel in der Datenbank! Genau. Eine Kategorie ist drei, ja. Okay! Danke für nichts. Deswegen sage ich heute immer... Ich weiß es vielleicht gerade nicht mehr so aber Speicher ist nicht mehr der limitierende Faktor in der Softwareentwicklung. bitte macht vernünftige Namen an eure Methoden und benennt das so wie die fachliche Anforderung war und nicht irgendwas Kryptisches weil da hast du genau später diese Probleme nicht.

38:24 Gut, so viel zum Abschweifen. Das fiel mir gerade bei diesem Thema ein aus dem Code die fachliche Anforderungen herauslesen. das scheitert nämlich genau an dieser Stelle dann. Jut wir sind bei Minute-Achten-Dreißig. Wir machen Schluss glaube ich! Genau. Das war sehr kurzweilig, ich danke dir. Ja hat mich auch wieder sehr viel Spaß bereitet.

38:49 Wunderbar also. wir bleiben am Thema dran. Euch da draußen Danke für die Aufmerksamkeit. Wir freuen uns, wenn ihr beim nächsten Mal wieder dabei seid und vergesst nicht euch für den InnoQ-Technologie Day anzumelden. Ich sage es jetzt wahrscheinlich jede Folge bis zum zwölften November. Meldet euch an kommt dazu.

39:06 wir freuen uns! Macht's gut, ciao Ole! Ciao Ciao.