Abgeschaltet über Nacht! Warum Europa jetzt auf eigene KI-Modelle setzen muss (Folge #23)

Torge Achelpöhler: Willkommen bei generativ gedacht KI mit Sven und Torje. Diese Woche neue Folge. Wir sprechen über Fable 5. Das wurde jetzt von der US-Regierung abgeschaltet. Was steckt dahinter? Was bedeutet das für Europa? All das wollen wir heute einmal einordnen und besprechen. Das mache ich natürlich nicht alleine, sondern mit dem lieben Sven. Hallo Sven.

Sven: Hallo Torge, ja freut mich, dass wir in der neuen Folge gleich wieder ein aktuelles Thema ansprechen können, ⁓ unsere Hörer auch abzuholen, was gerade im KI-Universum los ist und wie sie das für sich selber einordnen können. Sehr schön. Und was gibt es denn da bei Fable 5 und Entropic, Torge? Erläuter das mal auch für unsere Hörer, damit wir da bisschen Informationen nach außen tragen, ⁓ das einordnen zu können.

Torge Achelpöhler: Yes. mach ich sehr gerne. also Fable 5 ist das neueste Modell von Anthropic, was sie jetzt rausgebracht haben und es ist quasi eine abgeschwächte Variante von ihrem KI-Modell Mythos. Wer das nicht mitbekommen hat, das ist so durch die Presse gegangen als das Modell, wo Anthropic gesagt hat, das können wir nicht rausbringen, das ist zu gefährlich, wo man sich dann muss glaube ich jeder für sich selber entscheiden, ob das jetzt ein Marketing Move war oder die Angst da wirklich berechtigt war. Dieses Modell wird mittlerweile verschiedensten Unternehmen zur Verfügung gestellt, die das eben nutzen sollen, ⁓ ihre Sicherheitslücken zu entdecken und zu schließen. Und jetzt ging es darum, okay, dieses Modell ist ja sehr, gut. Wie können wir davon eine Variante an den Markt bringen? Und das sollte Fable 5 sein. Und das wurde jetzt so heute ist der 16. So vor einer Woche released. Mittwoch Abend meint ich, ist das rausgekommen. Und ich hatte das Glück, ich konnte noch ein bisschen damit rumspielen. Weil nach drei Tagen die US-Regierung gesagt hat, ich glaube, es war das Handelsministerium, dass sie sagen hier, dass da gibt es eine Jailbreak-Geschichte, also eine Sicherheitslücke bzw. dass das missbraucht werden könnte, ⁓ solche Cyber Security Attacken zu machen. diese Möglichkeiten sollen natürlich Menschen außerhalb der USA oder sogar, ich glaube, es ging ⁓ Nationalität, also Menschen, die nicht US-Amerikanerinnen sind, nicht haben. Und dann hat das Handelsministerium eben angeordnet, dieses Modell darf im Ausland nicht mehr zur Verfügung stehen. Was letzten Endes dazu geführt hat, dass Anthropic gesagt hat, okay, dann nehmen wir das Modell komplett vom Markt, weil sie können eben nicht technisch das umsetzen, dass sie sagen, okay, das kriegen jetzt nur US-Amerikaner in Nordamerika und haben dann gesagt, okay, dann wird das ganze Modell gestoppt und es steht nicht mehr zur Verfügung. Das erst mal, ja, soweit so gut. Wie hat das Modell funktioniert? Also sie haben gesagt, das ist eine abgeschwächte Variante von diesem Mythos Modell. Und da waren so Sicherheitsvorkehrungen drin, dass wenn man bestimmte Sachen gefragt hat, ist das Modell umgesprungen auf das nächst beste Modell auf Opus 4.8. Also es hat bei bestimmten Dingen wurde so instruiert, dass es da eben die Mitarbeit verweigert. Das hat auch dazu geführt, dass sich teilweise sogar relativ negativ geäußert wurde über das Modell bei Reddit und X und Co. auf den gängigen Plattformen. Da waren dann doch einige User unzufrieden. Bei mir ist es nicht vorgekommen. Ich hatte so ein paar Anwendungsfälle und war da aber doch erstaunt, wie umfangreich die Antwort ist. da wird auch viel mit Annahmen gearbeitet. Also ich habe für ein Geschäftsmodell einer Lernplattform mir mal so Szenarien modellieren lassen. Das hat sehr gut funktioniert. da war echt eine gute Struktur drin in dem Angebot, was da ausgearbeitet wurde. Da konnte ich auf jeden Fall was mit machen und so vom Gefühl her auch nochmal deutlich besseres Ergebnis als mit den Opus Modellen. So viel erstmal zu den Tatsachen, was da denn so passiert ist.

Sven: Sehr schön.

Torge Achelpöhler: Jetzt so bisschen zur Einordnung, weil man sich ja fragt, okay, das also warum greift jetzt die US Regierung ein? Ist das irgendwie berechtigt? Das muss glaube ich jeder für sich selber entscheiden. Für mich wirkt es so auf, als wäre es ein Eingriff in den Markt, wo man sagt, okay, hier die Firma spielt vielleicht nicht so richtig mit. es gibt ja eine Vergangenheit zwischen der US Regierung und Anthropic, die irgendwelche Konflikte ausgetragen haben. Und mein Eindruck ist, irgendwas in der Richtung da nochmal wieder rausgeholt wird. Es geht jetzt auch in Richtung Börsengang von OpenAI, die mit Sam Altman und dem Dunstkreis der US-Regierung deutlich näher stehen als Anthropic. Und also mein Eindruck, dass es da eher ein politisches Thema als ein wirklich inhaltliches Thema ist von der Fähigkeit des Modells, weil ein Modell von JetGPT, das 5x5 Modell, ist in den Fähigkeiten jetzt nicht sehr weit hinter dem Fable 5 Modell und das ist frei zur Verfügung, wurde jetzt nicht irgendwie reguliert und eingeschränkt. Von daher ist so mein Gesamteindruck, ja. Man weiß natürlich nicht genau, dahinter steckt, aber es wirkt jetzt nicht so wie eine durchdachte Entscheidung, sondern schnell geschossen, Modell vom Markt genommen. Und das hat aber jetzt auch potenzielle Konsequenzen. Und da kommst du ins Spiel Sven. Weil ich konnte, nachdem das rausgekommen ist, LinkedIn nicht mehr aufmachen, weil es ging nur noch darum, Abhängigkeit von den USA. Guck mal, die können uns einfach das neueste Modell abklemmen.

Sven: Ja.

Torge Achelpöhler: Was machen wir dann? Wie gehen wir damit ⁓ Wie werden wir unabhängiger? Das heißt, es wird da jetzt gerade für uns in Europa noch mal transparent transparent gemacht, wie abhängig wir in der Hinsicht sind. Sind wir ja sowieso schon bei digitalen Services und Software. Und das jetzt noch mal in Bezug auch auf KI. Und die eine Antwort, die es da dann eben gibt, sind lokal gehostete Modelle, also Modelle, die in irgendeiner Art und Weise in Europa dann zur Verfügung stehen. Und wenn das jetzt die Antwort ist auf, die nehmen uns die Modelle weg, dann müssen wir jetzt irgendwie selber machen, dann machen die Unternehmen ja auch entsprechend weniger Umsatz, wenn sich das hier durchsetzt. Die Frage ist aber, wie kann denn das überhaupt funktionieren? Was kann man da machen? Welche Anbieter gibt es? Erzähl doch mal Sven, was du da so berichten kannst.

Sven: Ja, genau. Vielen Dank, Torge, für die Ausführungen. Sehr, sehr interessant auf jeden Fall und ich glaube sehr transparent und gut erklärt dargestellt. Natürlich hat uns das Ganze jetzt vor Augen geführt, wie stark abhängig man nicht nur von Modellanbietern, sondern auch von vielleicht anderen Regierungen ist in Europa, die mit einer einzigen Entscheidung Zugänge eben sperren können. Das hätte man auch vorher wissen können, dass diese Abhängigkeiten durchaus bestehen könnten. Europa ruht sich aktuell weiterhin darauf aus, dass wird schon alles gut gehen. Habe ich so den Eindruck, irgendwie schaffen wir das. Keiner hat einen Plan, ist mein Eindruck auf jeden Fall auch. Nur, es gibt ja nach wie vor und seitdem wir diese Modelle zur Verfügung haben, immer wieder auch Open Source Modelle, also praktisch die mit Lizenzen, also Apache 2.0 Lizenzen zum Beispiel, frei zugänglich sind und nutzbar sind auch im geschäftlichen Kontext, die man selbst hosten kann oder auch über Plattformen im Internet auch eben nutzen kann über API-Anbindungen. Da gibt es verschiedene Hersteller. Auch hier muss man sagen dominiert natürlich nicht Europa, wie hätte es denn anders sein sollen. Hier dominieren insbesondere die chinesischen Modelle von Alibaba. Also die heißen Gwen 3 oder 3.5, auch Gwen 2.5, also Qwen. Wir verlinken euch das natürlich in den Show Notes nochmal die Infos dazu. Die sind hier sehr stark, Modelle, auch gerade wenn es um Coding geht oder Mehrsprachigkeit. Modelle von Deep Ich denke das kennt jeder, diesen Deep Seek Moment, den hatte ja insbesondere die Hersteller in den USA. Diese Modelle sind nutzbar. Dann aus den USA ganz klassisch Open Source Modelle von Google, Google GEMMA 4. Kann ich wärmstens empfehlen das mal auszuprobieren, das neue Modell. ist wirklich hardwareseitig sehr, sehr leicht nutzbar und ist für die meisten Tasks absolut ausreichend. Es gibt auch von Microsoft Open Source Modelle, die man durchaus für diese ganzen Use Cases, die man üblicherweise gerade im Unternehmen dann abbildet oder auch privat, wenn man jetzt Daten verarbeiten möchte, die wirklich sensibel sind, wie seine eigenen Finanzdaten ähnlich. Und am Ende komme ich doch noch zum positiven kleinen Stern am europäischen Himmel. Das ist Mistral aus Frankreich. Auch er hat mit Small 3 und Small 4 Open Source Modelle, die ohne Einschränkung nutzbar sind und sogar mit Mr. Large 3 ein Modell, welches bei der geschäftlichen Nutzung reglementiert werden kann. Da muss man dann eventuell Lizenzgebühren ein bisschen bezahlen. Aber dieses Modell ist optimiert für eine einzelne RTX 4090 Nvidia Grafikkarte, obwohl das 123 Milliarden Parameter hat. Das ist natürlich schon eine gewaltige Leistung. die hier zur Verfügung steht. Also es gibt durchaus Hersteller und Möglichkeiten, das Ganze zu umgehen. Wenn man das Ganze dann noch spielen will in einer ähnlichen Form, Beispiel ich möchte das Modell vergleichen mit OpenAI, Chagy Bt oder Anthrobics Modellen, dann muss man jetzt auf die ganz neuen Modelle Kimi-K2 gehen von Moonshot AI, auch wieder ein chinesischer Hersteller oder das aktuelle Modell von Minimax M3, welches wirklich ungefähr auf der Augenhöhe von Claude Opus 4.8 sein soll. Das ist ganz neu jetzt am Markt und verspricht natürlich ähnliche Leistungen. Also wie wir sehen, hier dominiert ganz klar China den Markt an Open Source Modellen. Wenn ihr die mal ausprobieren wollt, könnt ihr das über Plattformen wie Olamo machen oder Hackingface. Dort sind diese Modelle zum Testen verfügbar. könnt sie dann auch, wenn ihr möchtet, herunterladen. müsst halt dann auf die Hardware achten. Aber dort kann man die Modelle testen und auch auf den Webseiten, jeweils der Anbieter, kann man dort gratis diese Modelle testen. da zu beachten, Datensicherheitsthema. Natürlich läuft das dann alles über die Infrastruktur der Anbieter im Ausland. Ja, also es gibt genug Möglichkeiten und vor allem jetzt in den Use Cases, die ich bei den Kundenprojekten sehe, Use Cases in kleinen mittleren Unternehmen, die wirklich auch sensible Daten verarbeiten wollen und das Ganze im Endeffekt ja sagen wir mal, datenschutzkonform ordentlich abbilden wollen. Da kann man natürlich zum einen immer wieder über die Plattform Amazon Web Service, AWS, gehen und dort auch Modelle von Cloud oder OpenAI in europäischen Rechenzentren nutzen, wenn man die entsprechenden Verträge abschließt. Das ist keine Rechtsberatung, aber das ist die Möglichkeit. Oder die Unternehmen gehen eben den Weg und sagen, wir wollen das auf der eigenen Infrastruktur haben. Dann muss man halt im Endeffekt einen GPU Server hier mieten, sage ich mal, und dort die Modelle lokal wirklich betreiben, was wirklich dann ein smarter Move ist aus meiner Sicht, weil die Miete des Servers ist im Vergleich zu dem, was man an Leistung bekommt, wirklich erstaunlich der Vergleich und zum anderen hat man dann wirklich alles lokal bei sich. Und die Use Cases, sind ja immer die gleichen, die Dokumentenanalyse. Ja, und gerade hier, wenn es ⁓ Vertragsdaten geht in Unternehmen, die sollten ja wirklich nicht die Unternehmensinfrastruktur verlassen. interne Rack-Systeme, also Wissensdatenbanken, die man abrufen kann. Als Code-Assistenz zum Coding kann man die sehr gut nehmen. Chatbots und natürlich die ganzen üblichen Sachen wie Zusammenfassungen, Berichte, Texterstellung oder auch jetzt agentenbasierte Workflows kann man mit diesen Modellen entwerfen, vor allem mit den Kimi- und Gwen-Modellen ist das sehr, sehr leicht möglich, vergleichbar mit JetGBT oder Opus und das dann eben auf einem gemieteten Server. Genau. Wenn man das Ganze privat mal ausprobieren möchte und sagt, ich möchte mit meinem Handy, aber trotzdem sogar am Handy kommunizieren mit dem Large Strength Modell, wo ich die Daten nicht über den großen Teich schicke oder nach Asien, dann kann man das mit Tools wie LM Studio zum Beispiel machen und dort auch kleinere Modelle herunterladen, die für Textverarbeitung oder ganz einfache Webrecherchen absolut ausreichend sind. Wir verlinken euch das natürlich auch gerne nochmal in den Logischerweise, weil diese Modelle könnt ihr dann auch lokal auf eurem Laptop betreiben und reichen für die einfachen Tasks auch einfach aus und sind dann natürlich gratis an der Stelle, was natürlich vielleicht ganz smart ist, bevor man immer die gratis Version der großen Anbieter nimmt, welche dann natürlich von der Antwortqualität her vielleicht doch nicht ganz das bieten, was man sich erhofft hat sozusagen. Also das ist so der Überblick über den Markt. Also ihr seht, es gibt schon sehr, sehr große Anbieter, sehr, sehr große Auswahl an Modellen, die dafür in Frage kommen. Ich glaube, dass es jetzt gerade im geschäftlichen Kontext noch etwas deutlicher für die Unternehmen jetzt zutage tritt, dass man sich damit befassen sollte auf jeden Fall. Die Risiken unter Datenschutz sind nach wie vor die gleichen Themen, die man auch hier berücksichtigen muss. Man muss sich die Modelle angucken. Man muss die eigenen Compliance Vorschriften anschauen, welche Modelle man von welchen Herstellern wirklich nutzen dürfte oder darf. Denn niemand kann am Ende des Tages sagen, wie die Modelle ganz genau gebaut sind und was passiert, wenn man die auch lokal nutzt, sage ich mal. Deshalb immer genau abschätzen, Chancen und Risiken für die eigene Unternehmung und dann eben eine Entscheidung treffen. Ich denke, die Auswahl ist sehr, groß und ist wirklich eine Chance für uns im europäischen Raum hier, trotz alle Aller, ja, allem Abstand zu den großen Anbietern, den wir ja durchaus haben. Also ich glaube, wir sind nicht in der Lage mehr mit dem Fernglas hinterherzuschauen, sondern müssen jetzt langsam auf ein Teleskop zugreifen. Aber noch nie haben die early Adopters den Markt beherrscht. Also es gab ja immer wieder welche. Bei Suchmaschinen war das mal in den 90ern ein Netscape Navigator. Das kenne ich noch. Und am Ende hat Google das Rennen gemacht, weil Google genau gesehen hat, was die nicht oder noch nicht konnten. Und genauso kann es ja hier sein, dass wir einfach in Europa vielleicht die Früchte dieser Entwicklungsentwickler ernten, weil wir genau sehen, wir nutzen die Modelle für unsere Use Cases und haben aber die Entwicklungskosten nicht. Da sehe ich eine Chance auf jeden Fall. Es muss nur jetzt mal an der Stelle auch ergriffen werden, die Chance und einen Schritt weitergegangen werden und nicht mehr gezögert werden, weil ich glaube, Zögerlichkeit ist gerade nicht die beste Option. Ja, soweit zum Überblick von Open Source Modellen und wie man sie nutzen kann. Auch privat, ich persönlich nehme LM Studio und manche kleine Modelle durchaus öfters weil es einfach ist und schnell geht und vor allem auch am Handy geht.

Torge Achelpöhler: schön dass ja glaube ich eine super über super überblick über anbieter optionen die man da hat vielleicht ordnen wir es noch mal kurz auf einer etwas höheren flug ebene ein weil ich glaube viele die zuhören sind vielleicht gar nicht so tief drin und denken jetzt okay das gibt diese lokalen modelle muss ich jetzt alles umschmeißen und meinen chat gpd account kündigen und jetzt alles lokal machen Da können wir glaube ich relativ klar sagen, nein, das würde ich so nicht machen. Also wenn euer Kerngeschäft im Unternehmen nicht ist, anderen Leuten lokal gehostete Geschichten zu verkaufen, ist es wahrscheinlich nicht so sinnvoll da jetzt sehr tief einzusteigen. Wenn man da Interesse hat, kann man es natürlich ausprobieren und einfach mal schauen, was sind denn überhaupt so die Unterschiede. Aber gerade im geschäftlichen Kontext größere Unternehmen müssen sich natürlich die Frage stellen, wie sie damit umgehen wollen. Und ich glaube aber auch, dass sich an dieser Grundthematik eigentlich gar nichts geändert hat. Also an erster Stelle steht immer noch Prozesse analysieren, gucken, welches Modell brauche ich denn überhaupt, ⁓ meinen Anwendungsfall da umzusetzen und auch zu schauen, dass man, da haben wir ja in der Folge über das KI-Betriebssystem auch darüber gesprochen. dass ich die Struktur und die Prozesse idealerweise auch so aufsetze, dass die Modelle unabhängig funktionieren. Also ich dann nicht gebunden bin an einen Anbieter, sondern im Fall der Fälle, wie er jetzt da noch eben eingetreten ist, relativ schnell wechseln kann.

Sven: Ja, sehr gut zusammengefasst.

Torge Achelpöhler: Genau und der zweite Trend, den ich da auch noch sehe, du hast es auch erwähnt, es gibt jetzt Modelle, die laufen irgendwie auf dem Handy. Ich bin mir relativ sicher, dass wir in zwei Jahren, dass es gar kein Thema mehr ist, weil dann ist auf jedem MacBook, auf jedem Handy läuft ein KI-Modell mit und dann hat man dieses Thema gar nicht mehr, sondern man kann dann seinem KI-Modell auf dem Handy sagen, hallo hier, mach mal dies, mach mal das. Und dann ist das für den Endanbieter, der sich da jetzt eben nicht tiefer auseinandersetzen will, im Prinzip schon gelöst. Das wäre ja so meine persönliche Prognose noch.

Sven: Sehr gut, du die... Danke für die Prognose, denn die wird so aus meiner Sicht zu 99,9 Prozent eintreten, denn die Chip-Hersteller arbeiten genau daran, dass in den Prozessoren bereits Large-Language-Modelle oder dann Small-Language-Modelle wahrscheinlich eher fester Bestandteil der Hardware sogar sind und deshalb die Nutzung dann praktisch immer stattfindet, ohne dass man da extra etwas machen muss. Ja, vielen Dank Torge. für die Einordnung. Wie gesagt, wer da einsteigen will, gerne mal mit Olamo probieren oder LM Studio auf dem Handy, auf dem eigenen Laptop gerne ausprobieren. Die Sachen sind an der Stelle erstmal gratis nutzbar und bieten genauso viel Spaß und wie Torge richtig gesagt hat, für die üblichen Anwendungen, die man aktuell hat auf jetzt nicht irgendwelche Abos kündigen, sondern im Endeffekt sinnvoll einsetzen und halt so wenig wie möglich. private Daten dann teilen. Das muss jeder selber für sich entscheiden, was er teilen möchte. gilt nach wie vor. Wunderbar. Das soll es von meiner Seite zumindest für heute gewesen sein. Und wir freuen uns drauf, wenn ihr uns ein Like da lasst oder ein Kommentar. Und wenn ihr was wissen wollt, könnt ihr Tage oder mich natürlich jederzeit gerne kontaktieren.

Torge Achelpöhler: Sehr schön. von mir vielen Dank fürs Zuhören. Ich freue mich auf die nächste Folge. wünsche euch noch einen ganz tollen Tag und bis bald. Macht's gut. Ciao, ciao.

Sven: Ciao.