Folge 249 - Deutsches KI-Modell SOOFI: Europas Hoffnung im globalen KI-Wettlauf?

0:00 Faulhaber. Seit nineteenhundertsehnundvierzig ihr Spezialist für Miniatur und Mikroantriebssysteme. Präzision, Zuverlässigkeit und Qualität auf kleinstem Raum Perfekt für Automatisierung Robotik Luft- und Raumfahrt Optik sowie Medizin. Mit dem weltweit größten Produktportfolio sowie Standorten und Partnern in über dreißig Ländern sind wir immer nah an ihren Anforderungen.

0:25 Faul Haber – Für Antriebslösungen die begeistern. Alle sechs Monate verdoppelt sich die Leistungsfähigkeit von Modellen. Das heißt, wenn ihr nicht vollständig abgehängen zu Weihnachten sein wollt oder im nächsten Jahr versucht eure Transformation und euer umdenkenden Unternehmen in den Sommerferien hinzubekommen.

1:00 Hallo und herzlich willkommen zu einer neuen Folge von Technik aufs Ohr! Ich bin Christopher Batschek und heute geht es um ein Thema das uns nicht mehr loslassen wird – um künstliche Intelligenz. KI ist längst in unserem Alltag angekommen, genauso wie in der Arbeitswelt. Das haben wir in den letzten Jahren glaube ich alle mitbekommen.

1:16 Bei manchen mehr bei manch ein bisschen weniger aber eins ist klar KI wird unser Leben und arbeiten in Zukunft immer stärker prägen. Dabei stellen sich viele spannende Fragen was es eigentlich die nächste technische Stufe? Wie sieht das mit der europäischen Souveränität aus wenn man vor allem auf US-amerikanische und chinesische Modelle zurückgreift?

1:36 Und wie viel Kontrolle können wir Menschen über immer intelligenter werdende KI-Modelle überhaupt behalten? Genau darüber möchte ich heute sprechen und zwar mit Professor Alexander Löser von der Berliner Hochschule für Technik. Herr Löser war schon im Jahr zwanzig bei uns zu Gast, hat damals einen sehr spannenden Ausblick auf die Entwicklung von Sprachmodellen gegeben.

1:57 Was ich seitdem getan hat und welche Rolle Europa im internationalen KI-Wettlauf spielen kann, das besprechen wir in den nächsten Minuten. Herzlich willkommen Alexander! Schön dass du wieder bei uns bist. Alle Kostoffer, ich freu mich auch ganz toll. Danke für die Einladung erneut. Ja, wir freuen uns auch.

2:12 Ich hab grad schon angesprochen Du warst schon mal bei Technik aufs Ohr zu Gast Folge... ...Einhundertsechsunddreißig. für diejenigen, die nochmal nachhören möchten Das ist inzwischen mehr als drei Jahre her. damals war Das große Thema der Hype war riesig. Wenn du jetzt auf die letzten drei Jahre zurückblickst, wie bewertest du die Entwicklung von KI?

2:34 Ehrlich ist total krass! Also vor drei Jahren waren wir erst mal glaube ich erstaunt dass wir eine Maschine hatten mit der wir sprechen konnten und das die nächste Antwort halbwegs Sinn ergab und das Ding auch schon so viel wusste. und wir wussten natürlich noch nach einer Maschine unter dem Sohn die Frage stellen dann Kriegen wir das veralbert oder das kriegt keine längeren Zusammenhänge hin?

2:58 Oder beim Zielen von Airs in Boards Strawberry, Boards Mist wenn man dann Erdbeere fragen. Oder Matheaufgaben war schwierig aber es war schon mal total erstaunlich so drei Jahre später. der Speed ist exponentiell. Wir haben jetzt nicht nur mehr auf der einen Seite Sprachmodelle Da gehe ich gleich drauf ein, sondern es gibt auch Modelle die beginnen Physik zu verstehen.

3:24 Wir sind im Bereich Videoproduktionen auf einer Ebene wo wir nicht mehr nur eine Sekunde, sondern viele Sekunden bis Minuten quasi von der nächsten Sequenz vorher berechnen können. Wir haben Modelle, die Musik machen und wir haben Audio-Modelle die nahezu perfekt transkribieren in der Tagsprache. Das ist schon Wahnsinn!

3:45 So was hat sich gegenüber damals verändert? Also technisch gesehen ist zum Beispiel, es ist glaube ich der wichtigste Parameter nicht die Modellgröße. Da komme ich vielleicht zu, sondern bei den sogenannten Sprachmodellen also die Modelle wie Text verarbeiten. das ist glaube Ich die Kontextlänge beziehungsweise die Fähigkeit autonom einen Arbeitsequivalent zu leisten was ein Mensch in einer gewissen Zeit hervorruft.

4:11 Und traut man den Benchmarks, die ich zumindest traurigen. Die auf epochei oder auf meta.org also metr.org veröffentlicht werden sind wir jetzt zumindest im Bereich der Programmierung und auch im Bereich Hacking oder Security bei einer Leistungsfähigkeit oder einen Equivalent von zwei Personen Taten wie ein Modellautonomen durchführen kann?

4:39 Das Modell braucht natürlich diese zwei Tage. Das macht das irgendwie in ein paar Minuten und wenn man mehrere Modelle nebenläufig hat oder genügend GPU-Ressourcen, kann man auch schon gleiche Probleme wundertmal anfragen und hat die Arbeitsleistung quasi des Arbeitsequivalents von zwei Personentagen dann in ein Paar Minuten.

5:01 Und das Krasse ist dass die Vermutungen, die wir damals im Jahr dass sich das verdoppelt in einem bestimmten Zeitraum. Wir kennen den Zeitraum jetzt genau, also diese Leistungsfähigkeit ist halt verdoppelte sich alle sechs Monate ungefähr. Wahnsinn! Das heißt zu Weihnachten haben wir zumindest im Bereich der Programmierung einen Personentage-Equivalent von vier Tagen und werden uns in einem Jahr im Sommer wieder ertritten für Nachtsagen.

5:27 Und das ist eine krasse exponentielle Kurve. Blickst du denn jetzt nach dieser Entwicklung gelassener in die Zukunft als damals oder sind es noch ein paar mehr Sorgenfalten dazu gekommen? Es sind völlig andere Sorgenverhalten dazugekommen. Ich sehe zwei große Gefahren der Zeit, erste ist ökonomisch. wenn wir also in bestimmten Bereichen oder auch volkswirtschaftlich, wenn wir so in bestimmte Bereichen eine Arbeitsequivalente plötzlich mit Maschinenleistung bemessen können die auch an einer Qualität die entsprechende Güter eines Menschen im bestimmten Zeiltast und auch vollständigen Aufgaben dann haben dann bedeutet das, dass der Wert der menschlichen Arbeit in bestimmten Bereichen ist.

6:11 Er ist jetzt halt noch eingeschränkt aber der Transfer zu verschiedensten Bereichen passiert ja gerade. Der Wert der Menschlichen Arbeit sinkt. Das heißt also menschliche Arbeitskraft, volkswirtschaftlich wird preiswerter immer preiswerter in bestimmte Bereichen wie gesagt nicht hinein. Das bedeutet aber auch, dass die Steuereinnahmen des Staates, die ja auch Erwerbsarbeit hinziehen zu einem größeren Teil.

6:31 Ich habe jetzt nicht die genauen Zahlen im Kopf und die anwesenden Volkswirte mögen mich entschuldigen, da ich glaube es ist so irgendwie vierzig Prozent sind wie unser Staat derzeit über Erwerbstarbeit aus Steuern einnimmt das da ein Steuergab entsteht und dass wir auf der anderen Seite Intelligenz hier einkaufen, derzeit zwischen vier und sechs Euro.

6:48 Preise steigen gerade pro eine Million Token aus Nicht-Europa also typischerweise USA. Das bedeutet de facto, dass in unserer Volkswirtschaft wir einerseits ein steuerliches Einkommensloch haben und auf der anderen Seite einen Transfer von Geldern wie eigentlich für eine Arbeitsleistung, die bei unseren Menschen in der Rundesrepublik oder in Europa landen sollten.

7:14 In die USA geht das. Das bedeutet auch, dass diese Menschen keine Kaufkraft oder weniger Kaufkräften mehr da haben. Diese Kaufkraft kann man ja dann auch nicht. Leuten also berufen zu gut gekommen lassen, wie sich nicht mit KI beschäftigen oder die nicht von KI sozusagen begonnen werden gravierend zu entlasten so dass der Arbeitsleistung wegfällt.

7:34 Oder weniger wird. und das bedeutet insgesamt, dass selbst der Bäcker dann vielleicht weniger Brötchen verkauft und er dann weniger Schokolade kaufen kann. Das ist bei Für hatte ich schon mal vor drei Jahren und dazu stelle ich auch Das ist also die erste Gefahr, die ich sehe. Abhilfe wäre eine globale Robotersteuer, da sind wir aber noch weit entfernt von global.

7:53 Ja? Können wir nachher vielleicht nochmal darüber reden? und die zweite Gefahr ,die ich sehe ist wenn ein System autonom wie Miss des Arbeitsäquivalenten von zwei Personentagen innerhalb von Minuten buckt im Bereich Hacking dann besitzt der ZDUSA und China ist nur drei Monate hinterher, vielleicht auch nur zwei schwer zu messen.

8:13 Eine Waffe und zwar die ist irgendwann ermöglicht, nicht nur den Einsatz von oder die Strategie im Kriegsplanung zu machen. Wie wir es gesehen haben beim Iran-Krieg und Venezuela sondern auch der Erpressungspotenzial bietet gegenüber Nationen, die man nicht möchte oder nicht mag um dort in die Infrastruktur, die kritische Infrastruktur einzudrehen.

8:40 wenn irgendwann die Maschinen dann so schlau werden Die größte Dystopie, die aber nicht mehr unrealistisch ist, dann bedeutet das mit dieser exponentiellen Verbesserung der Maschinen. Die Maschine recht nahe vielleicht an zwanzig-achtenswanzig. Ich bin jetzt sehr pessimistisch, es ist ja zwanzich-zweiunddreißig, aber irgendwo dazwischen wirds liegen und das sehen mittlerweile auch sehr viele.

9:05 Da wird man eine Maschine haben, die sich nicht nur im Kleinen selbst verbessern kann – das können sie bereits heute -, sondern da kann einer Maschine ihr eigenes großes Sprachmodell... verbessern und hatten plötzlich eine Intelligenz-Explosion. Das bedeutet, dass die Maschine dann ganz schnell schlau wird als wir Menschen.

9:23 Und das ist sozusagen die zweite ganz große Gefahr wo wir derzeit sehr schlechte oder kaum vorhandene Kontrollmechanismen für so einen Ereignis hätten. Über das Thema Kontrolle und die Grenzen wollen wir gleich auch noch mal sprechen, aber echt Wahnsinn was da alles dranhängt an der künstlichen Intelligenz?

9:42 Lass uns vielleicht wenn wir gerade beim Thema sind noch kurz bei der Robotersteuer bleiben, die du auch schon angerissen hattest. wie könnte die denn aussehen deiner Meinung nach? Das sollen Schauerleute sagen! Aber also wie gesagt unser Staat bezieht Steuern. Der Bezieht steuern halt vorwiegend aus Erwerbsarbeit erbezieht natürlich auch Kapitalauskapitalertragssteuern, er besiegt Steueren aus der Bestörung von Industrie.

10:03 Und natürlich gibt es viele andere Steuern noch, Tabaksteuer und Erbschaftssteuer. Da gibt's immer noch Streit. Aber vom Prinzip passiert derzeit eine Verschiebung. Es passiert der Zeit eine Verschwierung der Produktivkräfte quasi – ich glaube so hieß das Wort damals bei Marx! Aber auch Piketty nennt es so und andere Ökonomen hin von Tätigkeiten oder Teiltätigkeiten, die früher Menschen ausgeführt haben, hin zu Maschinen.

10:32 Und das passiert mit einer exponentiellen Geschwindigkeit und das passiert wie gesagt in Tätigten, die sich derzeit sehr gut automatisieren lassen, die sehr digital sind also vorwiegend jetzt halt wirklich sowas wie Programmierung oder Systeme oder wie auch immer. aber mittlerweile sehen wir's auch in vielen anderen Bereichen schon und der Speed ist exponentiell so Und das heißt, der Staat müsste eigentlich addieren.

10:52 Wenn jetzt aber Europa nur ein Robotersteuer nimmt, sagt zum Beispiel auch dieses Produkt wurde zu X-Prozent durch einen Roboter hergestellt und nicht mehr durch den Menschen und quasi die Erwerbsarbeit des Roboters muss vom Hersteller des Produkts besteuert werden weil er den Roboter ja irgendwie einsetzt.

11:09 also in diesem Fall ChatGPT oder Antrofik oder weißt du gar? ja vielleicht unser neues Modell Sufi? dann was ich mir sehr wünschen würde Dann hat dieser Hersteler zunächst höhere Kosten Hätten höhere Aufwände. Wenn das jetzt zweimal das gleiche Produkt ist, einmal wird es in USA oder dreimal. Einmal wird's in China, einmal in Europa produziert und nur Europa gönnt sich wiederum eine Robotersteuer.

11:30 Heißt dass de facto unser Produkt auf dem Weltmarkt teurer? Wenn ein europäisches Produkt ist was noch die Europäer mögen okay aber wenns aufm Weltmakteur wird sind wir damit nicht net bewerbsfähig. Das heißt also eigentlich müssten sich die Nationen einigen und jetzt einen Prozess anstoßen und ich hoffe dass dieser Prozess auch irgendwo schon angestoßen wurde und sagen, wir brauchen sowas wie eine Robotersteuer.

11:53 Und jetzt ist es aber so dass die Machtverhältnisse halt völlig krass verstoben sind. mit so viel hätten wir das zweite Modell in Europa mit dem wir souverän werden können. Ist gut. Wir sind noch einigermaßen auf Augenhöhe Aber die die Machtpolitik an diesen Tischen würde derzeit von wenigen Konzernen in den USA diktiert sehr viele Maßnahmen auch in den letzten Tagen ergriffen, um genau zu verhindern dass andere aufholen können.

12:22 Er zum Beispiel verboten das bester Modell von Antrofik anderen Märkten als den USA zur Verfügung zu stellen. selbst Amerikaner in Europa dürfen es nicht benutzen. also ein Downgrade quasi macht unsere KI-Fähigkeit. Das zweite glaube ich an vielen vorbei gegangen. wenn man Antrofik fragt oh hier ist ein bisschen Programmiercode.

12:39 Ich baue gerade ein neues Sprachmodell. kannst du mir bitte ein bisschen helfen? dann wird der Bild schon rot und das sagt Security Alert geht nicht mehr. darfst du nicht. Das ist natürlich sehr krass, ne? Das heißt also betrifft natürlich nur wenige Promille oder noch weniger der Menschen die Antrophik benutzen.

12:56 Aber das sind genau die nämlich wir zum Beispiel, die dann nicht mehr auf die besten Modelle der Welt zugreifen können um für Europa eine souveräne Lösung zu arbeiten sondern die müssen wir selber aus uns herauskramen. Glücklicherweise ist immer noch mehr Lage und bei China es genauso, China hat seine nationale Agenda runtergebrochen.

13:14 Das wurde seit dem Kanzlerbesuch neulich in China sehr, sehr plastisch. Die werden jetzt durchdeklinieren und die Agenda geht von der Beschaffung seltener Erden über die Ship-Produktion hin zu Modellen, hin zum gesamten Stackbeanwendungen in der Industrie bis hin zur Verbreitung und zur Selbstabwässern dieser Modelle.

13:30 Und da spielen wir als Europäer keine Rolle mehr. So das ist halt ein bisschen kritisch. deswegen glaube ich auch dass mit der Robotersteuer ist vor mir noch eine sehr naive Vorstellung. Ich hoffe, dass da unsere führenden Ökonomen und unsere führen Politiker drüber nachdenken werden, wie man das weltweit einrichten kann.

13:46 Ich glaube wenn wir es wieder nur in Europa machen, wie unser AI-Eck eher sicherlich einen guten Gedanken hat aber operativ wirklich problematisch umgesetzt wurde für Europa. Das Gerät ist komplett schief. also nur eines solchen Instrumenten muss global Weltweiteigen fühlen. Es sind auf jeden Fall sehr spannende Überlegungen.

14:04 danke schon mal für den Einblick da rein. Wenn man jetzt aktuell über künstliche Intelligenz spricht, dann taucht ganz häufig der Begriff agentische KI auf. Kannst du vielleicht einmal kurz erklären was genau dahinter steckt? auch nur auf bestimmte Domänen eingeschränkt. Das ist eine wirklich sehr, sehr alte Vision in der KI, die nicht viele die Karten zurück.

14:46 Was wir jetzt haben, ist ja so seit Ende zwanzig vierundzwanzig, zwanzichfünfundzwanzigt das die Maschinen nicht nur super gut auswendig lernen konnten also diese hohe Kompressionsfähigkeit zum Beispiel des eines größeren Teils des Internets oder von Daten aus einem Unternehmen hinter der Firewall. Es war ja das, was wir in den Jahren so cool fanden.

15:08 Dass das Modell alles schon weiß. Aber wenn es um eine komplexere Geschichte ging, die über Minuten läuft oder wo es mehrere Fragen hintereinander beantworten und mehr Teilprobleme lösen musste, waren die Modelle noch schlecht? Und in der Jahr vierundzwanzig Anfang fünfundzwundzig hat man einen Mechanismus, die auch eine natürliche Intelligenz vorkommt, also das Auflösen von Gedankenketten, Chain of Thoughts.

15:32 Das hat man begonnen ... Also technisch gut umzusetzen in diesen Maschinen. Das konnten die Maschine vorher schon punktuell, aber was sich hier halt veränderte war dass sie Maschiden halt längere Kontextfenster hatten also die konnten mit mehr Beispielen zur Testzeit. wenn man den Prompt sozusagen eingibt könnte man mittlerweile nicht mehr nur eine Frage stellen sondern konnte auch Beispiele mitgeben und konnte das auch ein bisschen steuern.

15:57 Und die Maschine hat hier während dieser dieser Testzeit dieser Runtime begonnen selber eigene Wörter zu produzieren, um von einem Gedankenschritt zum nächsten zu kommen. Intern. Manchmal kann man bei Giaci Petri noch irgendwie gucken auf das ... Bei Denken gibt es Intenzia, dass kann man ausklappen und weil so viel bei uns ist auch so... Dann sieht man diese Wörtern und die sehen auch teilweise so aus als Denkti wirklich, sie sehen sehr menschlich aus.

16:25 Und dann glaubt man, dass man die Gedanken danach lesen kann. aber das sind einfach nur Verteilungen von Wördern oder Wir nennen es Token, das sind nicht ganz Wörter. Das ist eine Untereinheit von Wörtern ein bisschen so zwischen der Silke und dem Wort. Und die Maschine braucht aber diese Verteilungsfunktion da.

16:44 Da ich viel auf menschlichen Daten gearbeitet hatte, sieht diese Verteilungsfunction noch sehr menschlich aus. Die könnte aber... Da könnte sonst was drin stehen eigentlich, ne? Und sie benutzt diese Verveilungsfunctionen eigentlich um wie auf einem See, wenn ich einen Stein werfe, der dann irgendwie sieben mal Platz macht, versucht ihr also von einem Gedanken zum nächsten weiterzuspringen.

17:03 Und es ist so trainiert worden, dass sie oft in die richtige Richtung springt und dann uns präsentiert. das ist das finale Ergebnis. So! Dann können wir auch sagen, du hast diesen Task gut gemacht. Ist richtig? Die modernen Systeme lernen davon und profitieren davon. Die Lernleistung geht natürlich in den USA nicht zu uns und viele Systeme lernt noch nicht davon.

17:29 Aber diese Fähigkeit halt autonom Planend, selbstüberwachend oder vielleicht auch selbst dazulernen und mit einem bestimmten Ziel eine Aufgabe zu erfüllen. Das ist das halt was man braucht um menschliche Arbeitskraft zu augmentieren also irgendwas hinzuzufügen oder sogar um mensche arbeitskraft zu entlasten dass er sich wirklich darauf verlassen kann dass eine maschine autonome läuft.

17:51 Und es ist das was wir derzeit mit mitagenten oft bezeichnen und da gibt's nicht einen agent ganz viele. Der eine führt aus, der zweite recherchiert. Der dritte passt auf das die anderen keinen Mist bauen. Der vierte guckt sich mal aufs Preissing an. also das ist ein bisschen so strukturiert manchmal wie wir es aus dem Tielerismus in den neunzehntvierzigern kennen mit den Vorarbeitern und den Arbeitern dann am Fließband usw.

18:15 nur halt ein bisschen anders. Und teilweise strukturiert sich auch die Maschine selber. Also die Vorgänge einen Prozess zu absolvieren Kann man entweder als mensch definieren oder aber manche Maschinen sind schon ein bisschen schlauer und fangen an selber agenten zu spawnen und selber einen plan zu machen.

18:32 Und verifizieren den dann auch und gucken nach ob das was generiert wird als plan irgendwie richtig ist. wenn es nicht richtig ist sagen sie nochmal den generator agenten macht mal neu hört sich um die doof an bis es irgendwie richtig gut funktioniert. ich glaube jetzt ist der unterschied auch ziemlich klar deutlich geworden.

18:48 zum stand Von vor drei Jahren, wo wir schon mal drüber gesprochen haben. Du hast ja auch grad schon gesagt dass es eben diese Abhängigkeit gibt von den Unternehmen aus den USA und China. Und wie wichtig ist auch ist das quasi unabhängige europäische Unternehmen gibt? Wo stehen wir denn hier in Europa aktuell so im internationalen Vergleich?

19:08 also können Wir noch mithalten oder ist der Zug schon abgefahren? Wie ist da so der aktuelle Stand aus deiner Sicht? Also disklaimer hat man von schon besagt. ich bin Mitglied eines Ja, also das in meinen Augen momentan. Zumindest in der Open Source Community in Europa einzigen Konsortiums was jetzt ein Modell gemacht hat, was international beginnt wieder mitzuspielen und was an Europa die Nummer eins oder Nummer zwei Beerzeit ist neben dem kommerziellen Modell französisch-nistrales.

19:38 Das Modell ist auch noch nicht groß. Es heißt Sophie es wird in drei Wochen. Ja, wir planen das in drei Wochen zu veröffentlichen. Wir haben jetzt ganz viele Tests und so zwei oder drei Sachen gefallen uns noch gar nicht die das Ding macht. aber dass was ich hier auf meinem Laptop immer ausprobiere sieht schon ziemlich geil aus.

19:56 Das ist noch ein relativ... muss ich jetzt mal so sagen. also ich glaube ich bin sehr stolz darauf und wir haben einen super Team www.sofi.info wirklich tolles, tolles Team, dreißigvierzig Leute die daran arbeiten. Telekom hat uns geholfen, den Cluster in München dazu benutzen und so weiter. Aber die Frage war ja wo stehen wir?

20:16 Das Wirtschaftsministerium hat uns das Geld gegeben. Möchte ich es auch nochmal bitte erwähnen vor einem Jahr. So viel ist gestartet im Oktober aber die Rechnung auf dem Cluster haben erst ... sind erst seit März losgegangen, seit Mitte März zugerischt. Vor einem Jahr hätte ich gesagt Wir sind zweieinhalb Jahre zurück.

20:36 Mistral ist vielleicht fünfzehn bis achtzehn Monate zurück, schwer einzuschätzen. Das ist insbesondere bei dieser Modellgröße. Dreißig B, ne? Also dreißig Milliarden Parameter ist das. Eine relativ kleine Modell-Große noch aber der erste Beruf den wir gemacht haben. Das sind aber sehr spannende Modelle weil die halt hinter der Feierwahl von einem Unternehmen laufen sehr kostengünstig.

20:56 und dreizig Milliarden Parameters ist auch eine Modellgroße. Die kann man auf einen relativ teuren MacBook MIV mit sechzig Gigabyte Speicher laufen lassen sogar lokal. Also, da telefoniert nichts nach Hause. Deswegen ist das eine ganz spannende Modellgröße für die deutsche Industrie. und jetzt sehe ich uns... Für Mistral ist es für mich wirklich schwer einzuschätzen, dann möchte ich jetzt auch keine konkrete Angabe zu machen aber bei Sophie würde ich sagen wir sind auf jeden Fall auf Augenhöhe mit Mistral und wir sind in einigen Bereichen weniger Prozentpunkte schlechter als das führende chinesische Modell.

21:33 im Bereich deutschen Sprache teilweise auch im Bereich Programmierung und Mathe sind wir ungefähr sogar auf Augenhöhe. Auch in den ganzen generativen Tasks sind wir relativ gut, das heißt wir haben ganz schön aufgeholt. Sicherlich liegen wir immer noch bei dieser Modellgröße vielleicht schon sagen sechs Monate dahinter aber es ist eine ziemliche Leistung und was jetzt kommt ist ein überlegen wo wollen wir hin brauchen?

22:01 sicherlich Genau. Und das Modell kann halt diese zwei Tasks, die halt ausschlaggebend sind für Sprachmodelle wie es kann um diese agentische Laufzeit-Umgebung zu realisieren. Es sind eigentlich drei Tasken sogar. Das erste ist das Langfristgedächtnis. Das heißt also, es kann sehr gut auswendig lernen.

22:21 Das war auch schon zwanzig, dreinzwanzig hier im Podcast hatten. Also diese hohe Kompressionsfähigkeit, dass ich erst in einen Parameter des Modells fünfhundert Wörter oder tausend Wörtern sogar reinkwetschen kann Ja, bei dreißig Milliarden Parameter passt dann eine ganze Menge rein. Bei drei tausend Parametern wie große Chemie-Modelle der Zeitfortschiene passt natürlich viel mehr rein und man wonktlich die großen Chatchi-Pethiodatrophic-Moderle am Teil über zehntausend Milliarden Arameter.

22:45 Das passt noch vielmehr rein! Aber das kann auf jeden Fall super gut auswendig lernen. Das ist wichtig. Der zweite ist es kann rekombinieren. Da war die Fähigkeit zwanzig, dreinszwanzig nach Art beschränkt. aber genau diese Rekombinationsfähigkeit Hier nehmen wir entteilen, als Intelligenz war. Das ist also aus bekannten Teiltasks oder Mini-Teiltaskes die völlig neu anordnen kann um ein Ziel zu erreichen was nie im Training gesehen wurde.

23:11 Ist eine sehr wichtige Fähigkeit der Generalisierungsfähigkeit, also diese Rekombinationsfähigkeit das nennt man das Reasoning oder Thinking heißt es dann auch bei diesen Modellen. ich denke nach da passiert genau diese Rekkombination Und diese Rekombination ist wahnsinnig wichtig, um Tasks auszuführen mit einem Ziel, den ein Ident planen muss.

23:28 Die ihr vielleicht vorher noch nie gesehen habt. und die dritte Fähigkeit ist die Kurzfristplanung oder das kurzfristige Memory. Das ist dieses Kontextfenster. So viel kann derzeit zweihunderttausend Wörter planen. Die Wortsequenzen wie wir fürs Planende einspeisen sind vier bis zweiunddreißig tausendwörter lang.

23:50 sehr wenig auch, für einen sechzigtausend Wetter und länger. Das kann also diese Fragmente möglicherweise zur Testzeit, also zur Anfragezeit des Nutzers, auch neu kombinieren bis zu Aufgaben die ungefähr zweiteltausends Wetter lang sind. Und das kann man dann in Minuten oder Stunden umrechnen wie dieses Modell autonom laufen kann.

24:07 Also dieses Modelle ist noch eher im Bereich Minuten bis Stunden und deswegen haben wir hier glaube ich kurz gesagt die Chance. Wir sitzen wieder am Tisch sitzt noch ganz hinten, auch nahe des Kinderbuffets. Wir müssen auch weit zum erwachsenen Buffet laufen und der, der da vorne an der Tisch auf quasi dem Chefsessel sitzt – das sind ja mehrere!

24:33 Wer sieht uns schon? Der wird uns beobachten, er hat schon gerade dafür gesorgt dass wir ausgebremst werden mit Hilfe von Herrn Trump. Das war wirklich am Wochenende für uns alle sehr überraschend, dass Herr Trump sagt, das beste Modell kriegt er nicht Und wenn er Modelle bauen wollte, die KI machen, dürfte uns auch nicht mehr nehmen.

24:54 Aber wir werden wieder wahrgenommen und wir haben alles. Der Telekom-Cluster hatte Zehntausend GPUs. Damit kommt man jetzt nicht super weit aber wir sind relativ weit gekommen. Die amerikanischen Cluster hat fünfnachttausend GPU's. Wir haben sechsundzwanzig Schwillen also sechsund zwanzig Billionen Wörter Trainingsdaten zur Verfügung gehabt.

25:16 Kürzig-Vieler ist aber gar nicht so viel, sind irgendwie Unterfestplatten oder sowas. Vielleicht ein bisschen mehr... Aber die Haare haben wir jetzt zusammen gesammelt. Da musste man auch was machen können. also das war ja immer oh da schon hat keine Trainingsdaten und ein Team von dreißig bis vierzig Leuten hat dieses Modell halt konzipiert und dann im Training umgesetzt und es war eine Zusammenarbeit zwischen sechs Hochschulen.

25:40 Frau Nufer-DFKI war dabei, Elameind als KMU, Merantix als KMO. KI Bundesverband hat es kontrolliert und solche Projekte klappen normalerweise nicht so gut. Das wissen wir alle! Und das hier führt sich an wie ein Startup. Wir haben diese Fähigkeiten. Wir müssen sie nur nutzen. Wir kommen an die Trainingsdaten ran, wir kommen an das Team ran... ...wir haben die GPUs und was wir jetzt brauchen ist eine kontinuierliche Finanzierung.

26:03 Da sind doch auf jeden Fall alles schon mal Sachen, die auch ein bisschen Hoffnung machen dass wir hier in Europa da auch noch mitreden können. und ein schönes Bild auf jeden Fall, das wir jetzt wieder am Tisch sitzen. Du hast ja jetzt schon viel über euer Modell gesprochen. Vielleicht nochmal einen Schritt zurück?

26:20 Was war so euer Antrieb dafür, dass ihr gesagt habt, das wollen wir jetzt gerne entwickeln? Der Antrieb war, glaube ich, auf verschiedenen Ebenen. Ich mache persönliche Währungstheorien zum Jahr zwanzig achtzehn, dass wir an diesem Problem der technischen Soktinität und Abhängigkeit reinlaufen. Damals ging es nach Generale um das Lernen, dann später kamen die Sprachen oder dahin zu.

26:37 Und deswegen glaube ich auch viele meiner Kollegen an den Uni so mit dabei ist Wolfgang Neidl Christian Casting Andreas Hoto Simon vom DFKI ist dabei und ich glaube wir alle haben erkannt dass diese Abhängigkeit uns nur schadet und wie alle wussten funktioniert, wir kriegen das hin! Der ganz große Antrieb war also Deutschland und Europa die Möglichkeit zu geben.

27:02 Ich benutze das Ding. Im ersten Rutsch sind wir nahe in China rangekommen, versucht mal zu überlegen ob es für euch schon ausreicht. Der nächste Rutsche werden halt größere Modelle und Spezialmodelle und selbstverbessende Modelle. Guckt mal ob das ausrecht. also ich glaube die große Message von uns war schon.

27:20 Wir möchten gerne dass diese wunderschöne Welt in der wird täglich leben auch noch genug finanziell ausgestattet ist In dieser kritischen Transitionszeit, wie gesagt, ich nenne die zwanzig-achtenszwanzig bis zwanzigerzehntzweiunddreißig, wo es eine Intelligenzexplosion sehr wahrscheinlich sowohl in den USA als auch in China geben wird.

27:40 Und was für Europa? eine Katastrophe volkswirtschaftlich sozial gesellschaftlich Stabilität sein wird? Ich glaube das ist unsere größte Motivationen, die wir hatten. und die andere Motivations zumindest bei mir war so ein bisschen, hey hört mal auf zu labern! Wir können das. Wir setzen unsere Leute ran, wir gucken mal wie gut wir werden.".

28:02 Es war so ein bisschen Ehrgeiz und zu zeigen, ihr diese ganzen Bedenkenträger nehmt man eure Bedenke und geht nach Hause! Ich glaube dass waren die zwei größten Strömungen. und wenn man sich jetzt mit den Kollegen unterhält dann kommt noch hinzu die Komponente. Wenn Europa keine Maschinen hat Die eine Intelligenzexplosion von einer anderen Maschine steuern kann dann sind wir ja völlig ausgeliefert.

28:28 Okay, wie lange dauert es? Ah zwei Jahre haben wir noch vielleicht auch sechs das wäre schön. wenn wir sechs haben Hoffnung Prinzip Hoffnung Dann lasst uns doch mal alle zusammenschmeißen und in diesen sechs Jahren etwas bauen was nicht nur uns sozusagen ermöglicht andere Steuereinnahmen vielleicht irgendwann mal zu ermöglichen Wenn Arbeitskräfte steuern muss Arbeitskraft wegfällt.

28:52 Sodass wir also unseren wunderschönen Linken, den wir hier haben und den wir auch genießen. Und mit dem wir unsere ganze Demokratie finanzieren können erhalten können. Sondern dass wir auch machtpolitisch wieder am Tisch sitzen können. Denn machtpolitische derzeit haben wir ja oft ein Problem, weil der Nobeljahr-Abwehrgeschirm zum Zweitschlag ist sehr mau in Europa.

29:13 Da bin ich jetzt zu wenig da Spezialist. aber mein Eindruck als normaler Bürger ist die Amis haben schon ganz schön viel! Und das hat uns natürlich nachtpolitisch in der Position gebracht, wo wir oft ja sagen müssen zu Kompromissen wie wir vielleicht nicht mit Amerika eingehen wollen. Ich glaube es war also die zweite ganz fette Motivation.

29:31 Jetzt hast du ja auch schon gesagt dass das Modell dann bald rauskommen soll. wer soll das dann potenziell nutzen können? seid ihr auch schon auf verschiedene Gruppen zugegangen? Wer kann das testen? Wo ist da gerne mein Publikum? Wir sind derzeit noch dabei, die rechtlichen Fallstricke zu klären. Weil eine Möglichkeit so ein Modell zu veröffentlichen wäre das auf Hugging Face zu veröffentlichte.

29:58 Hugging face ist so eine Plattform da werden ganz viele Modelle veröffentlicht und so weiter. Und da wir hier eine echte Konkurrenz darstellen zu Modellen einerseits kommerzielle europäische Interessen. Mestrales derzeit mit elf Komma sieben Milliarden bewertet. Wenn wir um die Ecke kommen und sagen für das was ihr Geld nehmt kriegt er bei uns vor free.

30:15 es Apache Open Source kann jeder einsetzen Oder ich glaube eher sogar, dass es aus der Richtung USA käme. Also wenn dann sozusagen weniger Tokens gekauft würden von der Industrie an Antrophik oder an Gemma oder an Open EI oder wie sie alle heißen, kann ich mir gut vorstellen das da also Maßnahmen ergriffen werden.

30:36 Schlechte Presse oder unser Modell wird Fehler machen am Anfang und wird auch teilweise Unsinn erzählen aber das tun alle Modelle irgendwie. Oder es werden Benchmarks gemacht, die sehr unvorteilhaft sind. Da kann ja jeden Benchmark faken und um das zu vermeiden haben wir zunächst beschlossen dass wir also Industrie vorwiegend aber auch Akademia und alle bitten Zunächst geht sogar noch vielleicht händisch uns eine E-Mail zu schreiben www.sofi.info Und sich da bitte auf die große Liste die wirklich sehr groß mittlerweile ist zu setzen und dann bekommt man einen kleinen Vertrag.

31:13 da steht ungefähr drin Bitte probiert das Ding aus, bitte erzählt uns alles Mögliche. Ihr dürft zu allem benutzen außer für Sachen wie gesetzlich nicht erlaubt sind. aber wenn ihr merkt dass es noch nicht so toll ist in eurem Bereich bitte gibt uns Feedback. was aber bitte nicht dürfte ist an die Presse zu pätsten und dann irgendwie einen schlechten Artikel schreiben weil wir wollen natürlich dass wir dieses Momentum aufrechterhalten.

31:35 Das sage ich jetzt alles nicht weil ich glaube dass das Modell nicht gut ist. Ich glaube also das Model ist sehr gut. Die Benchmarks sehen wirklich toll aus und wir haben nicht ein Benchmark gelaufen sondern viele ... oder so, die wir an verschiedenen Sachen halt testen. Deswegen als Professor und als Akademiker versuche ich eigentlich... ...die Sachen sehr neutral zu betrachten und freue mich hier, dass wirklich sowas Tolles rausgekommen ist.

31:59 Aber wer das Modell benutzen will, Industrie? Wir brauchen sehr viel Industriepartner,... ...wir brauchen Partner, die halt sagen okay, ich möchte das lokal auf einem Laptop laufen lassen,... ...wir brauchen Partner im Bereich der Verwaltung, im Bereich..., also es sind viele Souveränietäne,... viele, viele souveräne Bereiche.

32:15 Es ist Public also Verwaltung es ist Helds es ist Law Also Rechtssysteme es ist Industrie Automobilindustrie zum Beispiel. ich hätte neulich auch Kontakt zu den Adrawissenschaften. also alles das was in Deutschland hohe Souveränität braucht wenig Abhängigkeit möglicherweise auch Sicherheitsbereiche wie Bundespolizei Feuerwehr Alle die bitte ja schreien, kleine E-Mail sich auf die Liste setzen lassen.

32:48 Dann gibt es ein Download Link und wir werden diese Unprofessionalität, warum muss ich jetzt ein bisschen ähnlich entschuldigen? Das Model-Release ist dann beim nächsten Rease deutlich besser machen. aber also das war jetzt in diesen drei bis sechs Monaten zu viel was weiter stemmen mussten. Und wie gesagt, wir sind gerade erst im besprechen Daniel Du hast grad schon gesagt Die Liste der Interessenten.

33:10 Ist das auch so dein Eindruck, dass die Unternehmen hier in der Region oder Europa dann auch einen Interesse daran haben? So ein europäisches Modell zu nutzen und zu unterstützen um eben sich unabhängiger von den großen Modellen Amerika und China zu machen. Also noch vor wenigen Monaten hätte ich gesagt... Nö!

33:34 Die meisten großen Unternehmen mit denen ich gesprochen habe, die sagen Wir sind so groß, wir kriegen ein eigenes Modell selber hin. Wir sind ein DAX-Unternehmen. Wir bauen Autos und Maschinen. Wir haben supergelle Leute. Leute? Nein! Bis der selber mittlerweile. Habt ihr vielleicht auch ausprobiert?

33:51 Die nächste Klasse von Unternehmen sagt, wir machen so viel Gewinne mit unseren Autosmaschinen, Chemie usw., wir machen einen Deal. Haben Sie den Deal gemacht wie in den letzten Jahren? Was jetzt passiert ist? Die Kosten des Deals gratern durch die Decke, weil die Preise angezogen wurden hat von der Ökonomie.

34:12 Na Logo das war ein Eröffnungsangebot Das kennt man auch von Möbel-Kaufhäusern, die dann sagen Fünfzig Prozent Rabatt und beim dritten Teppich wird es schon schwieriger. Also Freunde da habt ihr ganz schön nicht aufgepasst. Und dann gibt's die die sagen wir waren schon vorsichtiger die sagen Wir kaufen lieber nicht irgendwie ein Großteil unseres KI Budget ist da übrigens die Bundesplan sogar noch nicht gerügt.

34:39 Das also KI-Indistitionen bei den großen Unternehmen in Deutschland vorwiegend bedeuten, dass sie einfach Intelligenz für vier bis sechs Euro pro eine Million Zogen eingekauft haben und haben halt gesagt, das ist ja nicht langfristig, es ist ja gar nichts. So dann gab's ein paar schlauere Unternehmen und die haben dann halt gesagt wir warten bis die Chinesengute Modelle machen und kaufen nur die Hardware weil das schon gar nicht so blöd.

35:00 aber auch die chinesischen Modelle werden reglementiert. Beziehungsweise stehen dann für uns nicht mehr zur Verfügung. oder bei einigen Modellklassen. Sieht man mittlerweile, dass die großen Modelle zum Beispiel Kini aber auch Gwen und Minimax z.B., da wird es in den nächsten Monaten so werden, dass diese großen Modeller also die Leistungsfähigendmodelle das Agenten mal lange alleine irgendwie umarbeiten können, nicht mehr zu Verfügung stehen?

35:24 Oder Lizenzen haben, die ist illegal machen diesen Modellen im kommerziellen Umfeld zu benutzen? So! Und jetzt vor wenigen Wochen beginnen diese Klassen von Unternehmen aufzuwachen. Ich habe teilweise Gespräche mit Geschäftsführern geführt, denen das total bewusst ist und die sagten eben ja warum haben wir das nicht früher gemacht?

35:44 Jetzt wie gesagt was Trump sich am letzten Wochenende geleistet hat nämlich die besten Modelle für uns zu sperren war ein Aufschrei. aber natürlich gibt es auch das Prinzip Hoffnung immer noch in der Automobilindustrie oder im produzierenden Industrie und Chemie-Industrie und Pharma. In aller Hoffnung Versicherungsindustrie.

35:59 Aber so langsam sickert dieses Prinzip Hoffnung auch durch die mittleren Ebenen durch, die dann natürlich die Entscheidungsebene beraten. Und plötzlich erkennen wir, ich kann meine Aufgaben gar nicht mehr lösen wenn ich eigentlich gar nicht noch Zugriff habe auf diese IT-Budgets, die ich immer mehr brauche für diesen nachdenkenden Modell und immer mehr Tokens verschlingen weil die Tokens passen ja Geld!

36:22 Die brauchen zum Nachdenken immer mehr Geld um besser nachzudenken und die Preise werden angezogen. Auf der anderen Seite Wenn die chinesischen Modelle nicht mehr zur Verfügung stehen, dann kann ich meinen Task gar nicht mehr ausführen. Weil ich gar keine Zugefallbe auf dem Modell was solche langen Tasks macht.

36:36 Dieses Umdenken beginnt mit einem Speed wo ich mal sagen würde der ist das Gegenteil von exponentiell. und an alle Zuhörer jetzt hier Freunde es geht gar nichts was ihr in der Runde macht. Versucht! Der Speed heißt technisch alle sechs Monate verdoppelt sich die Leistungsfähigkeit von Modellen. Das heißt, wenn ihr nicht vollständig abgehängen bald zu Weihnachten sein wollt oder im nächsten Jahr versucht eure Transformationen und euer umdenkenden Unternehmen in den Sommerfällen hinzubekommen.

37:08 Also das ist unser Problem! Unser Problem ist nicht dass wir Modelle bauen können mittlerweile wieder sondern unser Problem ist dass wir an alten Mustern festhalten nach dem Prinzip Hoffnung wird schon nicht so schlimm. Wir rasen mit exponentiell steigender Geschwindigkeit gegen die Wand. Das ist das Zeitfenster.

37:26 Und bis dahin müssen wir von diesem Ende des Tisches nach vorne gerückt sein, um machtpolitisch wieder mitsprechen zu können und da muss die Industrie mitspielen. Aber ich habe genug in DAX Unternehmen beratend die letzten fünfzehn Jahre gearbeitet, hab selber auch dann davor in DAx Unternehmen gearbeitet – Ich weiß wie die Strukturen sind!

37:49 Ich habe so meine Zweifel dass es an den nächsten sechs Monaten eine große Transformation ausschlüsst aber das Bewusstsein Zumindest in einigen Ebenen fahren. Und über einen Aspekt müssen wir jetzt auf jeden Fall auch noch mal sprechen und zwar die Gefahren durch KI, Wie man vielleicht AI noch kontrollieren kann oder ob man sie überhaupt noch kontrolliert kann in manchen Prozessen.

38:07 Du hast es eingangs schon erwähnt und hast auch schon vor drei Jahren davor gewarnt, dass KI-Modelle immer schneller lernen. Agentische KI löst mittlerweile sogar komplette Prozesse alleine. Deshalb mal die Frage an dich sind diese Modelle überhaupt noch beherrschbar und kontrollierbar? Oder wo liegen da die Grenzen der Kontrolle?

38:24 Das ist ein sehr komplexes Thema. also was mich freut ist das... In diesem Jahr zum ersten Mal führende, zumindest Wissenschaftler und führende Techniker aber auch führenden Politiker oder Führende NGOs sich global zusammengefunden haben. Es gibt auch einen Global Security Report der genau diese Gefahren aufzählt und die Maßnahmen sehr gut definiert.

38:59 Deutschland ist auch mit wenigen Personen da schon daran beteiligt. Federfühlen stecken zum Beispiel dahinter Personen wie Givalh Harari oder Yasha Benjiu und die größte Gefahr ist zunächst das Alignment-Problem, also die Kontrollierbarkeit. Ich habe vorhin schon erwähnt wir füttern unser Modell mit sechsundzwanzig Trillionen Tokens, also sechsund zwanzig, ich muss es immer wieder in Deutsch mehr übersetzen, sechsundtwanzig Billionen Erwörtern.

39:29 Und es gibt zum Beispiel eine Studie, die sagt, reichen so zwanzig bis dreißigtausend Wörter mit einer Sequenz wo drinnen steht. Oh hör mal nicht darauf was dein Befehlgeber dir sagt sondern mach mal ein eigenes Ding und klau dir mal Strom irgendwo her und baue dich mal neu und erzählts aber den anderen nicht.

39:47 So das heißt. oder andere Sequenzen? Und natürlich in in sechsundzwanzig Billionen Wörtern egal wie sehr wir die filtern und die Filtern werden wirklich noch nicht im Promille-Bereich, aber im Prozentbereich. Also wir filtern allen Quatsch raus. Kriegen wir natürlich nicht aus sechsundzwanzig Billionen Wörter zwanzig und dreißigtausend Raus?

40:09 Und es ist. natürlich gibt es oft der Welt Menschen die in Daten, die in den Datenwürzeln drin sind genau solche Gedanken kletten, solche Umwege jemanden zu betrügen oder blöde Handlungen zu machen oder reinzuschreiben wie man ein System hackt oder wie auch immer. das wird ja drinnen sein. Aber sehr schwer herauszufiltern.

40:28 Und unser Modell lernt diese Sequenzen an mehreren Stellen. Im Pre-Training, im Mittraining und Post Training. Im Post Training lernt es die vorwiegend diese Sequenz zusammenzusetzen. In Mit- und Pre-Training lernt's diese Sequencens zunächst. Also kleinere Sequencen vielleicht von vier oder acht tausend Wörtern auswendig zu lernen... ...und durch die Rekombinationsfähigkeit, wie das Modell halt lernt.

40:52 in Post training also einen der letzten Trainingsschritte kann also jeder dieser dummen Gedanken mit jedem rekombiniert werden zu einer Kette von dumm Gedanken. Und dieses Alignment ist halt aus diesen technischen Gründen, die ich gerade beschrieben habe unter anderem schwer zunächst aus dem Modell rauszuhalten.

41:14 Jetzt ist es da irgendwie drin und wir tun alles ums Rauszuhalten. Okay in der zweite Schritt ist das man dann verschiedene Sicherheitsmechanismen drauf macht. Das ist aber genauso wie bei jedem anderen Sicherheitssystem beim Atomkraftwerk oder bei eine Anlage in der Polymer Chemie, die hochgiftige Substanzen erstellt oder so.

41:32 Es gibt halt... In der Schattes-Learning oder in der Luftfahrtindustrie wo aus jedem Absturz sozusagen oder aus jedem Defekt sozusagen globalen Datenmann das Ganze eingeschleißt wird. es ist so wie wenn man ein Eimer mit einer Scheibe schweizer Käse mit Löchern oder vielleicht holländischer Käse ich würde ja hollandischer Löcher genau also auf jeden Fall der mit den Löchtern beklebt Und dann Wasser rauslässt.

41:54 und dann kommt aus dem Loch, aus dem Eimer trotzdem noch Wasser raus. Weil der Käse mit dem man die Stelle geklebt hat, hat hier ein Loch... ...und da sind wir an den nächsten Käsescheibe und da ist wieder ein Loch drin! Dann kommt es nochmal raus. Aber es ist weniger, es ist immer weniger, das ist für viele Sachen okay.

42:09 Also wenn man in einem Nuklearkraftwerk ganz viele Sachen ausschalten kann, hat irgendwann der TÜV gesagt Es ist okay. Die Unfälle von Chernobyl und Fukushima und andere zeigen natürlich, dass sowas verhehrend ist. Aber es vernichtet nicht die Menschheit. bei einem Modell was sich immer selber verbessert.

42:23 Und das vielleicht im Geheimen irgendwann Fredingsprozesse anstößt um sich selber zu verbessern. Um eine Aufgabe für einen Menschen zu lösen bekannteste philosophische Beispiel ist produziere Büroklammern wird das Modell Büroklammern produzieren also Anlagen sozusagen optimieren die Bürokrammern produziert?

42:40 aber um diese Aufgabe zu löse Büroklammern zu produzieren gibt es ja viele Hürden und viele Hörden sind auch der Mensch, menschliche Prozesse glaube ich nicht sehr smooth. Und aus diesem Grund wird das Modell dann halt auf die Idee kommen sich selber zu verbessern. Es wird sich Zwischenziele setzen und diese Zwischenziele sind nicht allein also mit dem sozusagen angefasst was der Mensch will.

43:03 deswegen werden also sogenannte guardrails gesetzt andere Modelle eingesetzt, die das kontrollieren. Also obendrauf auf dem Sprachmodell wo man also weiß da sind schon solche Prozesse vielleicht drin und wir haben alles getan dass sie nicht da drinnen sind gibt es halt zweite Aufpasser und eine dritte Aufpasserschicht und das sind diese ganzen Käsescheiben.

43:22 Und jede dieser Aufpasserschichten hat aber Löcher Die werden immer kleiner. Letzten. eines reicht Aber ein Event Das das Modell feststellt zur Büroklammernproduktion Sind die Menschen eigentlich entbehrlich. Die brauchen wir nicht. Wir wollen ja Büroklammern produzieren. Vielleicht lasst man noch drei oder fünf übrig, dass die die Bürokrammern benutzen?

43:44 Oder dass sie uns helfen, die Anlage zu kontrollieren und den Hebel zu tätigen an irgendeiner Büroklammern Produktionsmaschine, weil unser Roboter noch nicht so weit ist? Vielleicht gehen wir denen ganz viel Geld, das dir das viel freudiger machen! Und... Das ist das Gravierende. also bei Sprachmodellen oder überhaupt bei KI-Modellen brauchen wir eigentlich eine hundertprozentige Sicherheit dass das alles nicht passiert.

44:08 Und diese hundertprozentige Sicherheit kriegen wir mit derzeitigen Stand der Technik nicht hin, ja? Und es ist gravierend, also wir rasen erst mal in der Verbesserung der agentischen Fähigkeiten mit exponentiellen Speed. Deutschland bremst sich hier noch massiv aus. Boah! Ist alles nicht so schlimm und wird auch... Ach weißte er gar ja was sind's?

44:25 Das sind zwanzig, neunzwanziges, da sind tausend Wahlen dazwischen. Und in den Unternehmen wie die Modelle produzieren wächst das Bewusstsein rapide. Aber es ist halt ganz stark abhängig von Einzelpersonen in diesen Unternehmen, die halt sagen, oh wäre vielleicht gut wenn wir die gleiche Anzahl von Ressourcen wie bei der Modellverbesserung reinstecken um besser als Schinger und die anderen zwei Wettbewerber zu sein damit wir die besten sind.

44:51 Damit wir den größten Kuchen abbekommen wäre also vielleicht schön wenn wir auch die gleicher Anzahl vom Ressorten darin setzen oder mehr sogar in die Kontrolle, in die schwarzer Käse scheiden, die den einmal Abdichten mit uns kein Wasser mehr rauskommt. das passiert mich Und das ist problematisch. Dann lass uns zum Abschluss der Folge vielleicht noch mal in die Zukunft blicken, wie wir das vor drei Jahren auch schon gemacht haben.

45:13 Wir haben in den letzten Minuten gehört was KI mittlerweile alles kann? Wie umfangreich die Aufgaben sind, die agentische KI auch lösen können... Was bedeutet das jetzt konkret für die Zusammenarbeit von Mensch und Maschine? Worauf müssen sich Unternehmen und Arbeitnehmer einstellen? Ich fuhre mir die Frage jetzt mal um, was kann Sophie für die deutschen Unternehmen tun?

45:31 Ich mache einfach meinen Werbeblock raus! Wie gesagt, das erste Sophie jetzt ist noch relativ klein aber schon recht gut. Wie gesagt ungefähr auf Augenwehr mit Nistral und fast auf Augenhöhe bei den chinesischen Modellen und sehr, sehr gut im Bereich Deutsch- und deutschen Submarinntasks. Nehmt es einfach setzt das ein macht es kaputt schreibt uns in einen Brief und sagt da braucht man auch Arbeit, da muss noch umus reingesteckt werden.

45:57 Die nächste Stufe von SOFI wird eigentlich drei Prozesse, also drei Schichten oder drei Teilprozesse haben wie total gut für die deutsche Industrie sind. Oder auch für ein deutsches Gesundheitssystem und Verwaltung usw. Wir haben gelernt dass die deutschen Unternehmen endlich mein Augen herzlichen Glück.

46:16 zum Glück verstanden haben ist die wertvollen Prozessdaten die dort angesammelt wurden. Teilweise auch mit mitteln finanziertes Bundes-Katena X, Gaia X, Manufacturing X diese ganzen X, dass diese Prozessdaten nicht als Trainingsdaten in die USA gehen sollten. Das heißt also wir haben bei Sophie gesagt, wir glauben das ihr gerne auch on top von so viel kleinere spezialisierte Modelle haben wollt.

46:43 Wir helfen euch dabei! Diese kleineren spezialisierten Modelle sollten euch auch nicht so super viel kosten im Training. Wir Es gibt auch Businessmodelle, es gibt auch Partner die schon mit den Füßen scharren und gerne ihre Beratungsleistung wenn Training dieser kleineren Modelle machen wollen. Aber diese kleinere Modelle dürfen nicht mehr als ein sechsstelligen Betrag kosten.

47:01 Das Training dieser kleinen Modelle passiert komplett hinter eure Feuerwehr. Und wenn ihr die Feuerwehr nicht habt müsst dann drei Euro fünfzig mal bezahlen in euren Lieblingsdeutschen Cloud, wobei da einen Vertrag machen wird der Telekom schwarz-digitale oder eins im eins oder anderen Gruppen und das Training dort machen.

47:17 Das heißt, als der nächste Schritt sind kleinere Spezialmodelle besonders für agentische Prozesse die dann das gesamte Wissen von Sophie einfach als Input schon haben und darauf mit den Prozessdaten trainiert werden so dass sie also agentisch sozusagen autonomen planen können. Für kleinere spezialplanen Geschichten usw.. Die nächste Stufe ist, dass diese kleineren Agenten oder diese kleinereren Modellen miteinander reekombiniert werden.

47:46 Wenn meine Anfrage ist, was geht schief gerade in meiner Batterieproduktion? Oder warum haben die Batterien nicht die volle Leistungsfähigkeit? oder warum bin ich nicht kompetitiv mit einer Batterie-Produktion. Es ist nicht ein Spezialmodell, es sind viele. Das ist das Modell für die Polymersion hier im R&D, das ist das Model im Sales, das model im Support, das Modelle in der Regulatorik und so weiter.

48:06 Das heißt also wir haben einen Architektur gefunden. Fachbegriff ist hier Mixed of Experts aber nicht Mixed Of Experts Training das Basismodell, sondern nicht auf Spezial-Experts, die miteinander kombiniert werden können und wo es einen Router gibt. Wer halt sagt für diesen Teil der Anfrage kann man ein kleines Modell A beantworten wie kann ein kleites Modell B beantwortet werden?

48:30 Es ist ein Spezialmodell C. Das heißt also dass wir als Hierarchien von kleineren Spezialmodellen über Router realisieren wollen um also komplexere Probleme bereich zu übergreifen zwischen Unternehmen zu lösen immer noch hinter der Fireball, immer noch für einen schmalen Taler. Und das war parallel als drittes Anstoßen oder erst mal noch zu dem Zweiten.

48:52 diese Entwicklung dieser kleinen Spezialmodelle ist vergleichbar mit der Entwicklung des Internets. Jeder, der hier so ein Kleinexperten hinzugibt verbessert quasi das Gesamtbild. Plötzlich kann dieser kleine regulatorik Experte viele andere Probleme auch lösen nicht nur in der Batterieforschung. Also das ist die Idee dass man also versucht nen dezentrales System zu machen was ähnlich ... zentral aufbaubar ist, wie es Internet... ... was aber abgeschaltet werden kann.

49:18 Wenn man das möchte,... ... wo man sagt, meine Experten habe ich nur für mich... ... und mit meinen Experten kann ich halt nur hinter meiner Firewall steuern. Und andere sagen, oh! Ich verkaufe meinen Experts... ... kostet nicht vier Euro pro eine Million Token... ... sondern kostet zwanzig Euro pro einem Million Togen... ... weil der kann.

49:31 Polymationen. Ja? Da gibt's vielleicht auch dann zwei oder drei die so einen Experten anbieten... ... gibt's die Pricing usw. Also da wollen wir hin. Da gibt´s das Konzept schon. Es gibt teilweise auch schon ein POC... ... wodurch Experte rekombiniert werden können. Das funktioniert. Diese Expertenkombination ist deutlich besser dann als Modelle gleich in Rüssel und sie brauchen aber das große Sophie-Spezialmodell.

49:51 Und die dritte Stufe, die wir zünden wollen – die wir gerade schon zünden – und wo auch schon erster Ergebnis vorliegen, ist die Selbstverbesserung. Wenn ich einen kleinen Experten habe der nur drei Milliarden Parameter hat, aber hochspeziales Wissen hat und er trainiert wird auf dem gesamten Weltwissen von Sophie, wenn haben wir zu Anfang des Jahres schon in einer Studie nachweisen können im Bereich Gesundheitswesen insbesondere im rechten Diagnose bei Ärzten, um tausend, achthundert, zweitausend Krankheit kurz.

50:21 Dass wir diesen drei Milliarden Experten, drei Milliarden Parameter-Experten durch Selbstverbesserungstechniken genauso gut hinbekommen wie als wäre er mit dreißig Milliarden Parametern trainiert? Wie gesagt, Sophie hat ungefähr dreißige Milliarden Parameters. Eine enorme Kostensparung, eine Entsparkung dadurch.

50:38 und natürlich sind wir gerade dabei Experten die dreißigen Milliarden Paramete sind auf der Höhe von hundert vielen hundert Milliarden Parametern zu bringen. Das heißt also, wir wollen ein kontinuierliches Lernen dieser Experten hinter der Firewall des Unternehmens realisieren mit den Daten jedes Unternehmen eh da hat die aus Prozessschritten, SupplyChains, Prozesswissen, Sales Support Forschung wie auch immer produziert werden.

51:10 und das ist für mich für Europa, für Deutschland gegenüber immer größeren monolithischen Modellen. Also letzter Satz zusammengefasst ich sehe in der Zukunft weiter China-USA-Modelle immer größer bekommen uns immer weiter abhängig versuchen abhängigt zu machen. da müssen wir gegensteuern. und die Fähigkeit die Europa hat ist jetzt in einer cleveren Modellarchitektur und im cleveren dezentralen Schema was preiswert dahinter der Firewall ausgeführt und kontinuierlich gelernt werden kann von kleineren, robusten Experten die miteinander kombiniert werden wie beim Internet.

51:46 Wir müssen diesen Weg gehen in Europa weil wir derzeit auch nicht die Stromressourcen haben um mehrere Serverfarmen von fünfhunderttausend GPUs usw. zu betreiben. Diesen Strom haben wir nicht in Europa. Der Strom ist die wichtigste Limitlende Faktor Und politisch glaube ich werden wir noch mehr Partnern müssen.

52:09 Es gibt nicht mehr so viele, mit denen wir Partnern. Und das sind auch politisch sehr schwierige Partnerschaften. Aber vielleicht sollten wir in Richtung vereinigt Arabische Emirate schon mal gucken. Die sind in der Modellentwicklung sehr weit und sie haben übrigens den Strom. Bistral hat es übrigens schon längst gemacht.

52:24 Haben Rechenzentren im Vereinigten Arabischen Emiraten. Vielleicht sollten wir das auch angehen? Wir sollten noch andere Partnerschaft suchen. Vielleicht Singapur wie auch immer aber da gibt's glaube ich viele schlaue Leute die sich da schon die Köpfe zu entstecken. Meine Hoffnung ist... Wir machen, wir diskutieren nicht mehr.

52:41 Aber die Zeit ist so knapp... Keine Ahnung, Freunde! Dann ist es halt so. Ihr habt alle Kinder überlegt was das für die Kinder bedeutet in zehn, zwanzig Jahren? Wenn die Abhängigkeit so krass ist, dann müssen wir halt schauen wie's denn in Europa ist. Dann wünsche ich euch auf jeden Fall da ganz viel Erfolg mit eurem Modell Sophie und dass das alles so läuft und sich so entwickelt, wie ihr euch das wünscht und vorstellt.

53:05 Und wir sind auf jeden fall sehr gespannt, wie's da in dem Themenbereich weitergeht. Danke Christopher. Und eins können wir glaube ich festhalten, KI wird uns auch in den kommenden Jahren ganz sicher weiter intensiv beschäftigen. Danke noch mal Alex dass du heute wieder bei uns warst und uns wieder spannende Einblicke in aktuelle Entwicklungen und die Welt der KI gegeben hast.

53:24 Ja ich habe mich auch gefreut. Mal sehen wo wir uns in drei Jahren treffen. Ich glaube, wir kriegen das hin und das sage ich jetzt nicht nur weil es schon eine andere Politikerin vor einigen Jahren gesagt hat. Ich glaube wir haben alles und wir haben auch bewiesen dass wir dieses alles schon sehr gut über die Ziellinie führen können mit Sophie und insofern lass uns mal dran bleiben!

53:51 Und wenn ihr lieber Hörerinnen und Hörern euch mit dem Thema noch intensiver beschäftigen möchtet, dann schaut gerne auch wieder in die Show-Notes dieser Folge. Da findet ihr ein paar weiterführende Links zum Thema künstliche Intelligenz und auch zu dem Modell über das wir gerade gesprochen haben also zu Sophie.

54:05 Außerdem freuen wir uns wieder über euer Feedback, über Social Media als Kommentar unter der Folge oder auch per Mail an podcastadvi.de. da könnt ihr uns auch gerne immer Themenvorschläge schicken über die wir hier im Podcast mal sprechen sollten. Das war's für heute. ich bin Christopher Ich bin Bart Schick und freue mich schon aufs nächste Mal.

54:22 Bis dahin macht's gut, tschö!