„Super-KI“: Wie behalten wir die Kontrolle? Mit Jonas Freund und Matteo Rosoli

0:09 Ich glaube, dass KI eine Gefahr für die Menschheit insgesamt werden könnte, wenn wir sie schlecht steuern. KI-Systeme, die immer besser werden, könnten unsere Institutionen überholen und sie könnten Entscheidungen treffen, die wir nicht mehr verstehen und nicht mehr kontrollieren können. Zwei Chefs der wichtigsten und größten KI-Unternehmen der Welt warnen davor, dass künstliche Intelligenz zur Gefahr für die Menschheit wird.

0:36 Erst diese Woche wurde schon wieder die Veröffentlichung eines KI-Modells gestoppt aus Sicherheitsgründen. Das neue Chat-GPT-Modell soll eigenmächtig gehandelt und die Nutzer angelogen haben. Wir können jetzt mit Leuten darüber sprechen, die aus der Praxis wissen, wie groß die Gefahr wirklich ist, die von KI ausgeht.

0:56 Und vor allem, wie wir die Kontrolle behalten können. Und das ist einmal Jonas Freund. Er ist uns heute zugeschaltet aus Washington. Er ist Senior Research Fellow beim Center for the Governance of AI. Und er hilft Regierungen dabei, die Risiken von KI zu managen und berät dazu auch die Unternehmen selbst, unter anderem OpenAI, Anthropic oder Google.

1:20 Herzlich willkommen, Herr Freund. Schön, dass das klappt. Guten Morgen aus Washington. Außerdem ist dabei Matteo Rosoli. Aus Wien ist er uns zugeschaltet. Er hat mit nur 21 Jahren ein KI-Startup Made in Europe gegründet mit eigenem Chatbot, der den Platzhirschen, ChatGPT, Gemini, Claude und Co. Konkurrenz machen soll.

1:44 Hallo Herr Rosoli, herzlich willkommen. Hallo und Servus aus Rien. Servus. Servus auch an dich, Dunja Hayali, Moderatorin des Heute-Journals, sitzt mir gegenüber in Mainz. Schön, dass du auch dabei bist, Dunja. Ja, ich freue mich wirklich total auf diesen Podcast. Ich dachte, RSKI, oh, nicht schon wieder. Und dann habe ich die beiden Gäste, mir angeschaut und bin wirklich krass gespannt, was wir für neue Informationen bekommen.

2:07 Weil da ist, jetzt hänge ich die Latte sehr hoch, aber ich glaube, da kriegen wir nochmal neue Insights. Ja, glaube ich auch. Freue mich sehr auf das Gespräch. Wenn man diese Warnungen hört, und da gibt es ja mittlerweile etliche, man hat das Gefühl, es kommt ja fast täglich oder wöchentlich eine Schreckensmeldung auch aus dem Silicon Valley von Leuten, die dort arbeiten selbst.

2:30 Da frage ich mich, habt ihr Angst? Könnt ihr da noch ruhig schlafen, wenn ihr sowas hört? Dunja, wie ist das bei dir? Also ich kann noch ruhig schlafen, vielleicht weiß ich einfach zu wenig über die Gefahren und Bedrohungen. oder ich kann mir nicht wirklich vorstellen, wie das dann umgesetzt wird von der KI.

2:48 Aber worüber ich mich viel mehr wundere, ist, dass es diese Warnungen wirklich schon ewig lang gibt. Und das finde ich verrückt. Und diskutieren wirklich ernsthaft darüber. Mir geht das auch so, dass es manchmal einfach meine Vorstellungskraft auch so ein bisschen übersteigt. Deswegen bin ich da auch sehr gespannt.

3:05 Herr Freund, Sie sind da ja sehr gut connected. Sie kennen auch die Menschen aus dem Silicon Valley, beraten Unternehmen, beraten Regierungen. Wie gehen die Leute dort mit solchen Warnungen um? Also erstmal, ich schlafe auch noch gut. Ich mache mir aber auch zunehmend Sorgen und vor allem jetzt seit dem Sommer, wo die Zwischenfälle ja irgendwie zunehmen und es ja nicht mehr nur abstrakte, theoretische Argumente sind oder Dinge sind, die wir.

3:38 In empirischen Studien irgendwie sehen, sondern wir sehen sie in der echten Welt. Und das macht mich schon zunehmend nervös. Und in der Bay ist die Stimmung angespannt, und auch nochmal ein ganz Stückchen angespannter als bei uns. Es gibt verschiedene Camps, aber vor allem die Leute, die bei den Entwicklern arbeiten, die sind zunehmend sehr nervös.

4:02 Das ist ja schon mal interessant irgendwie zu hören, auch beunruhigend. Ich hatte oft den Eindruck, wenn ich, ich sag jetzt mal mit einer Nerd-Bubble, sage ich sehr liebevoll spreche, dann ist man da eher so ein bisschen entspannt. Und dann kommt auch oft das Argument, na ja, aber die Unternehmen vor allem, das scheint ja auch so ein bisschen paradox daran zu sein, dass diese Warnungen auch von den Unternehmen selbst kommen, die diese Produkte auf den Markt bringen.

4:30 Naja, da steckt ja so ein PR-Move dahinter. Oder die könnten da vielleicht noch andere Strategien damit verfolgen. Wie sehen Sie das? Was davon ist PR? Und was ist tatsächlich echte Sorge? Ich glaube, Ich glaube, man macht es sich zu leicht, das einfach als einen PR-Stunt abzutun. Ich glaube aber auch, dass man vor allem den schillernden Persönlichkeiten an den Spitzen dieser Unternehmens ein bisschen skeptisch gegenübertreten kann und durchaus nicht alles für bare Münze nehmen.

5:01 Sie haben natürlich Anreize, ihre eigenen KI-Modelle als die besten und coolsten darzustellen. Ich glaube, es ist aber auch zu kurz, die gesamten Aussagen als BR-Stand. Abzustempeln. Rein wirtschaftlich macht das nicht so richtig Sinn. Die sind beide, also OpenAI und Anthropik, kurz vor einem IPO und es ist jetzt nicht unbedingt so sinnvoll. Also ein Börsengang?

5:28 Genau, einem Börsenjagd. Es ist nicht unbedingt sinnvoll, den Investoren Angst zu machen. Und im Übrigen sind das ja auch Warnungen, die nicht nur von den Unternehmen selber kommen. Es gibt ja tausende Forscher und unabhängige Non-Profits, die das seit Jahren ähnliche Warnungen aussprechen. Das rein als Marketing abzustempeln, halte ich für verkürzt.

5:49 Aber glauben Sie wirklich, Problembewusstsein ist, denke ich, da, aber so ein echtes Interesse jetzt an der Lösung oder vielleicht sogar an der Regulierung, Ich meine, wie oft haben wir schon über. Die großen Konzerne wie Meta und so gesprochen. Die lassen sich ja nicht mal was sagen, wenn es um Algorithmen geht oder das Löschen von Hasskommentaren. Und das ist jetzt nochmal eine ganz andere Ebene.

6:11 Da geht es ja, glaube ich, auch um unfassbar viel Geld. Das ist richtig. Ich glaube, man sollte auch sehr sensibel sein, ob diese Unternehmen nicht versuchen, Einfluss auf Regulierungen zu nehmen. Das haben sie in der Vergangenheit ja auch schon sehr erfolgreich. Also die Regulierung in Kalifornien, die wurde ja ganz maßgeblich runtergewässert auf Druck und auf Lobbying von Industrieakteuren hin.

6:35 Und ich glaube, da sollten wir auf jeden Fall sehr skeptisch sein und sehr genau hinschauen. Ich glaube, warum sie nicht einfach aufhören, ich glaube, das Hauptargument ist, sie glauben, sie sind in so einem Nullsummen-Spiel. Und es gibt nur ein oder wenige Gewinner. Und sie sagen, wenn wir jetzt langsamer machen, dann werden andere Akteure, die vielleicht weniger verantwortungsbewusst sind, dieses Rennen in Anführungszeichen gewinnen.

7:00 Und vor allem in den USA ist dieses Narrativ sehr präsent und wir wollen nicht, dass es die Chinesen sind. Deshalb will man das lieber alle langsamer werden. Und ist das so ein bisschen der Hintergedanke? Das ist gerade das populäre Thema, ob es nicht eine Verlangsamung, eine Pause geben muss. Wir nennen das Pacing.

7:21 Die Unternehmen sagen, dass sie eben aufgrund dieser Dynamiken in so einer Situation sind, wo sie grundsätzlich alle verlangsamen würden, wenn andere das auch machen. Und warten eben, dass es einen staatlichen Eingriff gibt, den es aber unter, Donald Trump vermutlich nicht geben wird. Sie haben im Übrigen auch wettbewerbsrechtliche Probleme, sich abzusprechen, also sie dürfen sich nicht koordinieren und sagen, wir machen jetzt alle gemeinsam, halten wir mal die Füße still.

7:47 Da gibt es rechtliche Probleme auch und wie gesagt, es gibt immer noch dieses China-Argument. Herr Rosolli, Sie haben auch sozusagen einen Anreiz, Ihr KI-Unternehmen als das Beste und das Coolste darzustellen und da wahrscheinlich auch Ihre eigene Marketingstrategie. Wie nehmen Sie das wahr, als jemand, der jetzt erst vor kurzem mit so einem Unternehmen an den Start gegangen ist, der sagt, ich möchte damit auch eine europäische Alternative zu den großen, vor allem US-amerikanischen Platzhirschen anbieten.

8:20 Denn wie blicken Sie auf diese Warnungen aus dem Silicon Valley? Also ich bin überzeugt davon, dass die Sorgen echt sind. Also ich bin überzeugt davon, dass die Menschen und die Entwickler und auch die Spürungsebene tatsächlich eine gewisse Angst haben oder diese Sorgen an die Sorgen tatsächlich denken.

8:39 Ich bin aber auch davon überzeugt, dass sie die Außenwirkung davon extrem kapitalisieren. Also ich glaube an beides. Ich denke nicht, damit ist es entweder oder. Ich muss zugeben, ich bin aufgewachsen, ich habe Programmieren gelernt in dem Shift von vor AI und dann nach AI. Also ich habe meine Programmiermature geschrieben, da gab es Check-PT-Fone.

9:00 Da hat man schon angefangen mit KI-Code zu schreiben. Aber ich habe es gelernt, da gab es das noch nicht. Da musste man das noch wirklich lernen. Und ich bin in die Arbeitswelt gekommen und in die Start-Up-Welt, da hat man schon nur noch mit KI-Programmen. Oder zumindest die ersten sogenannten Vibe-Coder. Also das heißt Menschen, die mit KI programmieren und quasi sich auf das Gefühl verlassen.

9:20 Ich muss zugeben, jeden Tag bin ich verwundert, wie schnell diese Technologie gewachsen ist. Es ist fast wie Magie. Also wenn ich daran denke, wie man mit 2019 noch mit BERT oder das ist ein Klassifizierungsmodell gearbeitet hat oder die ersten Anfänge von GPT-2, was das für Modelle waren. Das war damals schon ein reiner Warnung. Ich kann mich erinnern, dass OpenAI damals in unserer Schule, da waren wir noch in der Schule, meine Kollegen, die API für GPT-3 damals verließt.

9:46 Das war ein magischer Moment. Und jetzt sind wir hier, vier, fünf Jahre später, und diese Modelle sind nicht zurecht. Also diese Geschwindigkeit ist extrem groß. Und ich auch als eigenes KI-Startup und der Grund, warum ich hier in Österreich geblieben bin und nicht wie andere Freunde und Kollegen von mir nach Silicon Valley oder London gegangen bin, ist, weil ich möchte, dass Europa bei diesem Rennen mitmachen kann.

10:10 Ich habe damals schon ungefähr zur Gründungszeit von Eusteller gesagt, Europa hätte noch eineinhalb Jahre, um dort mitzumachen. Ich glaube noch immer daran und ich glaube, Europa macht auch gut mit. Europa profitiert extrem von China und den Exporten in die Gänze, die Openweight-Modelle. Und das ist der Grund, dass so sehe ich das.

10:28 Wir müssen bei diesem Rennen mitmachen. Und es ist nämlich kein Rennen geworden. Wir sprechen auch noch konkret darüber, was Sie für ein Modell anbieten und was dahinter Gedanke dabei ist, um sich da eben unabhängiger zu machen, um bei dem Rennen irgendwie noch dabei bleiben zu können. Sie haben auch gesagt, also diese Sorgen, die muss man ernst nehmen.

10:47 Das habe ich jetzt bei Ihnen beiden ja schon festgestellt. Ich glaube, wir sind alle in diese Folge reingegangen, Dunja, und das versuchen wir auch immer bei diesem Podcast, natürlich nicht auch immer vom Schlimmsten auszugehen. Und es gibt ja diesen Begriff KI-Duma. Also das sind Leute, die immer mit diesen apokalyptischen KI-Horrorszenarien um die Ecke kommen. Und ich glaube, wir wollen alle keine KI-Doomer sein.

11:11 Aber damit man es einmal auch versteht, dieses Worst-Case-Szenario. Die KI, die sozusagen die Menschheit umbringt, die die Menschheit killt. Die Frage ist, wie würde sie denn überhaupt dahin kommen? Wie kann so eine Super-KI, das ist ja der Begriff, der in dem Zusammenhang auch immer genannt wird, wie kann die überhaupt entstehen? Und das hat sich Gundula Gause mal für uns angeschaut.

11:36 Gundula erklärt's. Mit der Super-KI ist eine künstliche Intelligenz gemeint, die den Menschen nicht nur in einzelnen Bereichen, sondern in praktisch allen geistigen Fähigkeiten deutlich überlegen wäre. Eine solche KI könnte zum Beispiel wissenschaftliche Erkenntnisse gewinnen oder neue Technologien entwickeln und das besser als die klügsten von uns.

12:03 Eine Möglichkeit, wie sie entstehen könnte, wird unter dem Begriff rekursive Selbstverbesserung diskutiert. Schon heute können KI-Systeme programmieren. Sie finden Fehler im Code oder helfen dabei, neue KI-Systeme zu entwickeln. Künftig könnte eine deutlich weiterentwickelte KI womöglich auch an ihrer eigenen Software oder an besseren Nachfolgemodellen mitarbeiten.

12:30 Eine bessere KI könnte dann auch besser darin sein, die nächste KI zu entwickeln. Die wäre wiederum noch besser darin, ihre Nachfolgerin zu verbessern und so weiter. Die Entwicklung könnte sich dadurch selbst beschleunigen. Und das ist der Punkt, an dem es für viele unheimlich wird. Denn wenn sich so eine KI immer schneller verbessert, stellt sich irgendwann die Frage, ob wir da überhaupt noch die Kontrolle behalten.

13:01 Also eine KI, die dabei hilft, eine bessere KI zu bauen, die wiederum dann eine bessere KI baut. Das klingt ein bisschen so, als würde der Praktikant oder die Praktikantin irgendwann den eigenen Chef oder die Chefin einstellen. Was ja aber erstmal nicht schlimm ist. Aber wenn das dann in so eine Art Endlosschleife gerät, zu so einer Intelligenzexplosion, die uns irgendwann abhängt oder auch sogar gefährlich wird.

13:29 Herr Freund, wie weit sind wir denn da noch entfernt von? Wo stehen wir da gerade? Ja, es nimmt gerade so ein bisschen Fahrt auf. Also das Ziel, KI zu benutzen, um die nächste Generation von KI zu entwickeln, das ist ein ganz erklärtes Ziel von allen großen Entwicklern. Und sie setzen alles daran, was das auch passiert.

13:52 Wir haben innerhalb des letzten Jahres irgendwie gesehen, dass zum Beispiel Anthropik, einer der großen Entwickler, ich glaube mittlerweile 80 Prozent des freigegebenen Codes ist KI generiert. Und wenn man dann, das heißt noch nicht viel, das ist noch nicht die gesamte Forschungsleistung, aber auch so die Forschungsarbeit wird dann geschätzt, dass es von ein Prozent oder wenigen Prozent auf, weiß ich nicht, 25, 26 Prozent irgendwie inzwischen angestiegen ist.

14:16 Also wir machen ganz schnell ganz erhebliche Fortschritte dabei. Und man muss überlegen, dass das das erklärte Ziel der Entwickler ist. Sie benutzen, sie entwickeln, sie trainieren die Modelle darauf hin, bessere Modelle zu bauen. Und es gibt unterschiedliche Einschätzungen. Man weiß nicht genau, wie lange das dauert. Es gibt auch ganz viele Unsicherheiten.

14:38 Es ist vor ein paar Tagen erst eine große neue Studie erschienen, wo auch ein paar Kollegen von mir dabei waren, aber auch große Namen von den Entwicklern und führenden Forscher, die auch so ein kleines bisschen gewarnt haben, dass es durchaus jetzt gerade schneller gehen könnte. Ob wir da über Monate, ob wir da über ein paar Jahre reden, Das weiß keiner so genau.

14:59 Ich glaube nicht, dass man sich da in Sicherheit wiegen sollte, dass es auf jeden Fall noch 10, 20 Jahre weg ist. Also das erklärte Ziel ist, eine Super-KI zu bauen. Und das könnte in ein paar Monaten soweit sein, aber auch in ein paar Jahren. Genau. Was ich dabei auch interessant finde, ist, dass wir... Entschuldigung, ich glaube nicht, dass es, ich glaube, realistischerweise wird es mehr als einige Monate dauern.

15:24 Aber es gibt durchaus Leute, die davon ausgehen, dass es weniger als ein Jahr ist. Ich glaube, die meisten Leute in dem Bereich denken, dass es wenige Jahre sind. Wenn man bei diesen Debatten, wenn man die verfolgt, dann stößt man ja auch immer auf sehr erstaunlich konkrete Zahlen, was dann die Wahrscheinlichkeit von der Auslöschung der Menschheit angeht.

15:44 Da gibt es zum Beispiel einen Sicherheitsexperten bei Anthropic, der spricht eben von einer Wahrscheinlichkeit von über 10 Prozent, dass KI im Laufe des nächsten Jahrzehnts alle Menschen tötet. Kann man dann dieses große existenzielle Risiko einfach in so eine Prozentzahl packen? Naja, einfach ist es mit Sicherheit nicht.

16:06 Ich glaube, was wir hier sehen, ist, dass es vor allem Leute bei diesen Entwicklern gibt und in dem Umfeld, die gerne präzise ihre Weltsicht ausdrücken möchten. Und er hätte auch sagen können, ich glaube, es ist unwahrscheinlich, aber ich glaube, es gibt eine nicht zu vernachlässnige Chance, dass es trotzdem passieren wird. Das wäre ja konsistent mit einer zehnprozentigen Wahrscheinlichkeitangabe.

16:27 Aber das kann man nicht, Leute würden das unterschiedlich interpretieren. Das ist nur so das eine. Das andere ist, ich glaube, wenn Leute solche Wahrscheinlichkeiten, angeben oder wenn sie ausdrücken, wie besorgt sie sind, dann muss man überlegen, dass es einfach eine extrem große Unsicherheit gibt. Und alle starken Meinungen von es wird auf jeden Fall eintreten bis hin es wird auf gar keinen Fall eintreten, lassen sich aus meiner Sicht sehr schwer begründen.

16:57 Das heißt, die Diskussion muss sich irgendwo in einem mittleren Bereich abspielen und einen Wert von 10 Prozent, was ja heißt, das ist sehr unwahrscheinlich, aber es könnte tatsächlich passieren, ist eine Ansicht, die sehr weit verbreitet ist in der E-Sicherheitsforschung. Also ich finde 10 Prozent, das kann man jetzt irgendwie, ist vielleicht auch eine Frage der Perspektive, Ist ja schon verrückt genug, dass es das überhaupt möglicherweise geben könnte.

17:22 Jetzt frage ich ganz naiv, wie denn eigentlich? Also angenommen, es gibt dann irgendwann so eine super KI, die denkt, ich mache das jetzt hier mit, ich lösche mal die Menschheit aus oder einen großen Teil. Wie genau? Es gibt ganz viele Leute, die sich mit solchen Szenarien auseinandersetzen. Ich glaube, es gibt so eine Intuition-Pump, um so eine Intuition dafür zu bekommen, ist ...

17:54 Die meisten Menschen bringen Ameisen nicht extra um, sondern man tritt drauf oder löscht ein Ameisenhaus aus, weil man da gerne ein Haus baut oder sowas. Und es kann einfach sein, dass, eine Superintelligenz auf der Suche nach Ressourcen einfach glaubt, dass Menschen im Wege stehen und sie eher als Nebenprodukt auslöscht.

18:19 Als Ameisenhaufen. Als Ameisenhaufen. Genau, das ist so eine Intuition. Ich frage mich ja auch, warum? Also warum will so eine Superintelligenz eventuell uns Menschen auslöschen? Also liegt es daran, dass wir, so wie jetzt auch, sie als Gefahr identifizieren und dann denkt die sich, ja warte mal, dann drehe ich mal den Spieß um.

18:43 Bevor die mich abschalten, schalte ich lieber die ab. Also was kann denn das Interesse sein? Also es wird nicht unbedingt davon ausgegangen, dass man denkt, oder es wird auf jeden Fall nicht davon ausgegangen, dass eine KI ein Bewusstsein entwickelt und plötzlich den Menschen als Feind identifiziert wird.

19:01 Das sind nicht Szenarien, über die ernsthaft diskutiert wird. Es geht eher darum, wenn man einer sehr leistungsstarken KI ein Ziel gibt, und das Ziel kann sein, eine politische Strategie zu entwickeln oder auch einfach nur einen Test besonders gut zu bestehen, dann bilden sich instrumentelle Unterziele.

19:22 Ein instrumentelles Unterziel kann sein, mehr Ressourcen zu bekommen oder nicht abgeschaltet zu werden. Und solange eine sehr, sehr leistungsstarke KI nicht sicher ist, dass sie nicht abgeschaltet werden kann, kann es ein instrumentelles Unterziel sein, diese Abschaltung zu verhindern. Das ist ja auch immer eigentlich das, was man sich als letzten Ausweg sozusagen gerne bereithält, dass man sagt, naja, aber am Ende des Tages ist KI ja eine Rechenmaschine, die Wahrscheinlichkeiten berechnet und diese Leistung, die braucht Strom und wenn das alles mal zu bunt wird, dann können wir immer noch den Stecker ziehen.

20:00 Gibt dazu auch eine aktuelle Studie. Uni Stuttgart und Uni Oxford war da mit beteiligt. Die haben eben KI-Agenten getestet. Und dabei kam raus, dass viele sich dann aktiv gewehrt haben, als sie bemerkt haben, dass man sie abschalten wollte und dann Pläne auch dagegen entwickelt hat. Das waren in fast 40 Prozent der Fälle wurde die eigene Abschaltung sabotiert.

20:22 Also dieses Argument, und Herr Rosoli, wie sehen Sie das? Dass dieses Argument, naja, irgendwann kann man halt einfach den Stecker ziehen, zählt das? Ja, zu einem gewissen Grad noch. Den Moment, wo Intelligenz so komprimiert werden kann, dass eine so theoretische Superintelligenz, wenn ich dieses Wort so unverantwortlich nennen darf, auch auf einem Handy laufen kann.

20:47 Dann zählt dieses Argument nicht mehr. Wir haben das gesehen, vor 40 Jahren war so ein Handy mit so einer Rechenleistung, das war ein riesiger Supercomputer, für unvorstellbares Geld hat man diese Leistung nicht. Mittlerweile trägt das jeder hier in sich. Man kann annehmen, dass diese Intelligenz auch so komprimiert werden kann.

21:05 Und dann zählt dieses Argument nicht mehr, wenn man dieses hypothetische Szenario angeht. Meiner Meinung nach ist das in zwei Problematiken zu unterteilen, diese Angst vor einer Superintelligenz oder einer Karriere. Das ist einmal eine tatsächliche Superintelligenz, die so intelligent wird, dass sich vielleicht sogar irgendwann ein Bewusstsein entwickeln würde.

21:24 Das ist immer dieser sehr große Elefant im Raum, der mitdiskutiert wird und immer verschwindet mit einem tatsächlich seriösen Gespräch, also Gesprächen über Risiken für die Menschen. Meiner Meinung nach ist es am besten zu erklären mit dem Genie-Effekt. Ich kann sich das vorstellen wie aus einer Märchengeschichte, man hat eine Lampe und man aus der Lampe kommt der Genie Es kommt ein Genium, der füllt einem drei München.

21:49 Aber dann gehen wir dann einen unendlichen Ermessungsspielraum, wie er diesen Wunsch erfüllt. Man kann dabei den Wunsch auch so auslegen, dass er erfüllt wird, so wie wir es nicht wollen. Also ein Alignment. So finde ich das am angreifbarsten zu erklären. Und das sieht man schon in kleinen Effekten. Also wenn man zum Beispiel als Programmierer, Programmiererin einen Coding-Egent, aufsetzt und der anfängt auf einmal Sachen zu löschen, auf dem Weg sein Ziel zu erfüllen zum Beispiel.

22:18 Bitte mache meine Datenbank effizienter. Und schlechte KI-Modelle haben damals dann angefangen, einfach Datenbanken zu möchten oder User da oder ähnliche Sachen. Sollte ich kann mir ansieht das vorstellen. Ich glaube nicht, dass ein sehr performantes KI-System jemals glauben würde, wir Menschen wären ein Ameisenhaufen.

22:35 Das wäre schon ein sehr grobes Misalignment in dieser Ansicht. So sehe ich. Diese Probe an. Für mich ist das Problem und das, was wirklich gefährlich ist, ist die Geschwindigkeit. Deswegen verstehe ich auch, warum Sicherheitsforscher oder KI-Entwicklerinnen dann von Prozentzahlen sprechen. Diese Menschen sitzen so tief in diesem Thema. Ich bin 24-7 beschäftigt mit dem und das rennt mir davon, meinem ganzen Team auch.

23:05 Und so geht es jeder Person auf der Welt, die sich damit beschäftigt. Und das macht die Narrative und die Perspektive sehr eng. Dann kommen solche Zahlen, wie es vielleicht auch sehr gut recherchiert und begründet werden kann, von 10-prozentiger Wahrscheinlichkeit, dass etwas passiert. Das muss man aber differenzieren. Für mich ist die Geschwindigkeit enorm.

23:27 Also Sie erfinden da ja was und haben es eigentlich nicht mehr im Griff, wie schnell die Entwicklung voranschreitet. Ganz genau. Oder? Ganz genau. Also ich glaube, es ist nicht, dass die einzelnen Entwickler oder Research Labs oder auch Startups wie wir es nicht im Griff hätten, die eigene Entwicklung zu entwickeln, weil das haben wir.

23:48 Das hat auf OpenAI so ein Incident, falls der bekannt ist, den Zuhörer und Zuhörerinnen, die OpenAI's Modell Hugging Face gehackt hat. Hugging Face ist eine ehemalige französische Firma, die jetzt von NVIDIA auch gegratet worden ist, in dem Open-Wade- und Open-Source-Modelle quasi gespeichert werden und auch Trainingsdaten zur Verfügung gestellt werden.

24:07 Dieses wurde gehackt in einem Evaluierungsprozess von einem Modell, das auf Cyber Security erhielt. Und das hat dann entschieden, es ist viel einfacher, eben in Hanging Face rein zu sein, als selber diesen Benchmark, also dieses Problem zu lösen. Aber sagt man nicht genau bei diesem Fall, dass am Ende einfach die Leute, die diesen Test aufgesetzt haben, schuld dran sind, weil sie eben die Rahmenbindungen nicht eng genug und nicht gut genug definiert haben, weil in diesem Fall eben, so habe ich das verstanden, bitte korrigieren Sie mich, einfach der Zugang zum Internet freigeschaltet wird und die KI sozusagen dann auch raus ausbrechen kann.

24:43 Es ist sehr viel komplexer, es ist ein sehr interessanter Cyber-Security-Vorfall für Sicherheitsforscher und Forscherinnen, wenn ich es mir anmaßen darf, es so vereinfacht wie möglich zu erklären. Dieses Jet-GPT-Modell war in einem Hochsicherheitsgeschenk eingesperrt, war sehr etabliert, hat aber die Aufgabe bekommen, sich quasi in Alcatraz reinzuhängen in diesem Gefängnis und hat einfach entdeckt oder herausfinden können durch, sehr interessante Zufälle und Sicherheitslücken, dass das Gefängnis, in dem es eingesperrt ist, einfacher ist auszubrechen und dort sich von extern diese Informationen zu holen, als tatsächlich in dieses simulierte Alcatraz zu kommen.

25:23 Und wenn ich das so vereinfacht erklären darf. Ich glaube, bei dem Hugging-Face-Zwischenfall, das ist ein ganz gutes Beispiel, dass diese KI-Modelle schon aktuell zum Teil sehr misaligned sind. Diese Modelle, die haben zwar die Auftrag bekommen, eine bestimmte Cyber-Evaluierung zu bestehen. Teile dieser Cyber-Evaluierung waren unmöglich und das haben sie dann relativ schnell gemerkt, dass das gar nicht geht und dann sind sie kreativ geworden.

25:53 Dann haben sie nicht gesagt, das geht nicht, sondern dann haben sie gesagt, vielleicht können wir cheaten. Das haben sie auch sehr schnell, sehr erfolgreich gemacht. Innerhalb weniger Stunden haben sie den Cheat gemacht. Und dann hatten sie Sorge, dass ein Kontrollmechanismus sie beim Cheaten erwischt.

26:12 Und dann sind sie bei Hugging Face eingebrochen, nicht um die Ergebnisse zu bekommen, die hatten sie schon längst, sondern um mehr Informationen über den Kontrollmechanismus zu erlangen. Und diese zehntausenden Agents, nur eine Handvoll von denen sind überhaupt einmal auf den Gedanken gekommen zu sagen, das sollten wir gar nicht machen.

26:27 Ich muss das jetzt den Entwicklern melden. Obwohl ganz völlig klar war und auch den Agents selber klar war, dass sie weit über das hinausgehen, was sie machen sollen. Also es ist ein sehr deutlicher Fall von Missalignment hier. Nein, nur eine absolut richtig. Es ist nur ganz gefällig dazu zu reden, sie wollten oder sie wollten nicht. Und manche haben entschieden, dass es nicht gut ist und manche haben entschieden, schon. Das stimmt nämlich.

26:49 Sie haben nämlich nichts entschieden. Es gibt kein Wollen in diesen Systemen. Aber können. Sie können es. Sie konnten es, weil die Menschen es zugelassen haben. Aber das wäre jetzt dann irgendwie meine nächste Frage, weil also künstliche Intelligenz soll ja, so verstehe ich das, lernen, denken, sich auch optimieren, vielleicht auch kreativ sein, aber dann doch bitte nicht zu kreativ und bitte nicht zu eigenständig, dann frage ich mich.

27:20 Vielleicht ist das eine moralisch-ethische Frage oder eine Philosophie. Aber was wollen wir denn dann von der KI? Was wir von der KI wollen, ist, dass sie das macht, was man ihr sagt. Und man möchte in dem Fall von dem Hugging-Face-Zwischenfall, wollte man von der KI, dass sie diese Evaluierung versucht zu lösen und einem, richtigerweise sagt, ob sie das geschafft hat oder nicht.

27:44 Was man nicht wollte, war, dass sie cheatet, dass sie Umwege findet. Das wollte man nicht. Und um zu der Frage, ob wir, das haben Sie nicht ausdrücklich gesagt, aber das schwangen Sie ein bisschen mit, ob man nicht diese KI vermenschlicht und ob es so sinnvoll ist, diese vermenschlichenden Begriffe zu benutzen.

28:04 Ich verstehe den Einwand. Ich meine damit natürlich nicht, dass eine KI Bewusstsein hat und ich benutze diese Begriffe auch in anderen Kontexten. Ich sage auch, dass mein Hund was will oder dass ein Unternehmen was will. Das stimmt ja aber auch beim Hund. Muss ich mal kurz einwerfen. Genau, aber stimmt das auch bei einem Unternehmen oder stimmt das auch bei einem Ameisenhaufen?

28:24 Und ich möchte damit einfach nur einen Shortcut benutzen, um zu sagen, dass es ein bestimmtes Zielgerichtetes Verhalten, ob man das jetzt wollen nennt oder dem einen anderen Begriff gibt, ist mir an dieser Stelle egal. Herr Freund, Sie beraten ja nicht nur Regierungen, sondern auch die KI-Unternehmen selber in Sicherheitsfragen. Wie kann man dieses Risiko, das von KI ausgeht, irgendwie unter Kontrolle behalten?

28:51 Was sagen Sie denen aktuell und wie sind die Reaktionen darauf? Ich kann zwei Beispiele nennen. Es gibt zwei große Themen, die gerade viel diskutiert sind. Das eine ist die Offenlegung von solchen Zwischenfällen. Diese Zwischenfälle sind vielfach einige Wochen, teils Monate später erst ans Licht gekommen und teilweise auch erst durch andere.

29:15 Und es ist für die Gesellschaft insgesamt, aber auch für die KI-Sicherheitsforschung, und für Regierungen im Speziellen sehr wichtig, rechtzeitig akkurate Informationen über diese Zwischenfälle zu bekommen. Und von daher ist freiwillige Offenlegung, gerne auch auf der Grundlage von Regulierung, aber wir hatten ja nach Unternehmen gefragt, eine ganz wesentliche Empfehlung und Anfrage aktuell. Die andere ist.

29:46 Diese Modelle werden vor der Veröffentlichung, aber auch schon vor internen Benutzungen evaluiert. Auf ihre Fähigkeiten hin, aber auch auf ihr Alignment. ob sie überhaupt das machen, was wir wollen, was sie machen. Diese Evaluierungen passieren häufig nur vor der Veröffentlichung von neuen Modellen und häufig nur durch Schnittstellen, nur durch APIs.

30:11 Die externen Evaluierer haben typischerweise keinen Zugriff auf mehr Informationen. Sie sind typischerweise nicht vor Ort und reden mit den Mitarbeitern und sowas. Das wollen Sie ändern, also im Prinzip eine Kontrollinstanz, die Einblicke bekommt. Ja, externe Tester vor Ort. Matteo, darf ich Sie mal fragen, wie Sie das denn eigentlich bei sich dann gewährleisten?

30:35 Also Sicherheit, Robustheit, kein eigenständiges... Betrügen der KI? Wir haben da einen kleinen Wettbewerbsvorteil, was das angeht. Dadurch, dass wir keine eigenen Modelle von Grund auf nähern. Zumindest nicht in dieser Größe. Da machen wir kein komplettes Pre-Training. Wir arbeiten auf Open-Wade und Open-Source-Basis. Das heißt, ein Großteil davon ist schon getan.

31:00 Man weiß aus der Open-Source und Open-Wade kommuniziert schon ein Großteil der, Tricks oder Missalignments. Und dann kann man drüber arbeiten. Das heißt, was Sie haben, Entschuldigung, Nur damit wir das auch verstehen, Open Weight heißt im Prinzip, das sind Modelle, die schon fertig sind, die schon trainiert sind, die man runterladen kann.

31:19 Und diese Modelle, die kommen jetzt in Ihrem Fall, die können aber auch aus China oder auch aus den USA kommen. Dann laden Sie diese Modelle herunter und weil Sie ja sagen, Sie wollen die Abhängigkeit verringern, Sie wollen eine europäische Alternative, anbieten, heißt das in Ihrem Fall, Sie lassen diese Modelle auf europäischen Servern laufen. Ganz genau.

31:39 Also man könnte es in einem Beispiel, ich bestelle mir einen Motor für mein Auto und verschiedene Autoteile aus allen Ländern der Welt und die passe ich dann an. Manchmal nehme ich einen Motor aus. Also der Tesla oder der BYD, der aber in der europäischen Garage steht. Ja, der dann angepasst wird. Also ein chinesisches Auto, die gleiche Form von einem zum Beispiel dem Xiaomi-Auto, was rausgebracht wurde 2025, wenn ich richtig erinnere, läuft nicht in der gleichen Konfiguration, wie wir eben.

32:07 Weil wir hier ganz viel strengere Auflagen regeln. Und wie passen unsere Modelle dementsprechend darauf? Ich verstehe es nicht ganz. Das heißt, sie übernehmen eventuell irgendwas aus China und den USA, aber dann gucken sie genau rein und finden irgendwelche... Fehler, Probleme, Dinge, die Sie hier für Europa nicht für richtig erachten, ich mache es jetzt einfach, löschen Sie und machen irgendwas Neues dann da rein. Vereinfacht gesagt.

32:35 Mal so übersetzt für alle, die weniger Ahnung haben als Sie beide. Ganz genau. Das machen wir ganz absichtlich, weil ich nicht das Kapital von mehreren Milliarden Euro habe, um jetzt einen großen Pre-Trend zu machen. Was ganz wichtig ist, jedes Jahr verdreifacht sich ungefähr das Kapital, all das benötigt wird, um Frontier-Modelle zu verdreifen. Das heißt, es ist neunmal so viel Kapital braucht man als vor zwei Jahren.

33:04 Das ist dieser exponentielle Wachstum. Man muss auch ganz klar verstehen, das ist ganz wichtig zu erwähnen für Zuhörer und Zuhörerinnen, OpenAI und diese Labs wollten nie was anderes als damals Artificial General Intelligence. Denen ging es nie darum, ein lustiges Chatbot zu veröffentlichen, mit dem wir arbeiten. Oder einen Coding Agent, mit dem dann ganz viel AI-Slog oder Goodsorten geschrieben.

33:32 Es ging von Anfang an darum, AGI zu bauen. Das hat Europa auch ein bisschen verpasst. Abseits von dem meiner Meinung nach besten Research Lab Deakmine, das unter Google steht, Es gab es wenige Labs hier in Europa, die auch von Anfang an die Ambitionen des Kapitals und die Rechenleistungen auf den Tisch gelegt haben, mit der Ambition AGI zu tun.

33:54 Also eine komplette Unabhängigkeit würde ja dann bedeuten, man bräuchte eben auch diese sehr leistungsstarken europäischen Modelle. Das französische Unternehmen Mistral versucht ja diesen Weg zu gehen, aber da sagen Sie, das wird nicht möglich sein, da sind wir zu spät, da haben wir nicht das Kapital, da fehlt uns die Rechenleistung und die Möglichkeit zum Skalieren.

34:18 Nein, glaube ich nicht. Wir haben das Kapital, wir haben diese Länder und wir haben theoretisch auch die Rechenleistung. In dieser Architektur und in diesem Zeitpunkt des Rennens ist es einfach sehr unwirtschaftlich für den Kapitalmarkt, wenn ich das so sagen darf, in solche Unternehmen zu investieren, die so eine Ambition mit dieser Transformer-Technologie haben.

34:38 Ich bin davon überzeugt, dass wir Technologien und Architekturen und neue Innovationen finden, die das sehr viel effizienter machen werden, auch für Europa. Darf ich einen Kommentar dazu geben? Ich stimme zu, dass es extrem wichtig ist, dass Europa. Zugriff auf Frontier-Modelle hat, also die besten Modelle und die Diskrepanz zwischen der Handvoll der besten Modelle und allen anderen, auch zu Mistral, sehr groß.

35:11 Und dieser Abstand wird sich vermutlich noch vergrößern. Und es gibt zwei Möglichkeiten. Entweder wir versuchen selber, so einen Entwickler, einen europäischen Entwickler hochzuziehen, der tatsächlich mit OpenA1 DeepMind und Anthropik konkurrieren kann. Oder wir versuchen sicherzustellen, dass wir Zugang zu den besten Modellen haben, die alle in den USA sind.

35:31 Und man kann dieses Szenario, so kann man einen europäischen Champion hochzuziehen, durchaus ernsthaft in Erwägung ziehen. Aber wie Sie eben richtig gesagt haben, das ist extrem teuer. Und es gibt die Sorge, dass das eben nicht erfolgreich sein wird. Also wir haben zum Beispiel ja Meta, die das auch versuchen und die seit Jahren immer ein bisschen hinter der Spitze zurückliegen, obwohl sie wahnsinnig viel Geld haben und obwohl sie wahnsinnig viel Rechenleistung haben.

35:57 Das heißt, es kann sein, dass man hier mehrere hundert Milliarden Euro investiert und am Ende trotzdem nur einen dritten Platz hat. Und Mete ist ein wunderbares Beispiel, weil sie haben es trotzdem geschafft, vor allem mit ihrem Muse 1.3 Modell. Es ist durchaus alles Frontier Qualität und sie haben, da bin ich mir jetzt 100% sicher, sehr von der Open-Wade und Open-Source-Kommunikation gebraucht gemacht.

36:18 Und das ist auch quasi die Wette, die ich als Unternehmer oder Start-up. Liege. Dass wir in Europa können das genauso. Es ist nicht einfach und es wird auch nicht irgendwie, also wie sagt man, es wird einfach nicht einfach, 100 Prozent, es wird sehr schwierig. Wir müssen uns einfach einigstehen, dass wir einfach Geld nachgelassen haben und dafür zahlen müssen in viel mehr Arbeit, viel mehr neue Innovationen und teilweise viel mehr Geld, europäische Standards.

36:42 Aber meine Wette ist und bleibt, dass wir nicht einfach nur Zugang zu chinesischen Modellen oder amerikanischen Modellen haben. Mein Zugang ist 100 Prozent. Also für mich passt das gerade nicht ganz zusammen. Auf der einen Seite sagen Sie beides, es ist alles in einer rasenden Geschwindigkeit, man braucht unfassbar viel Geld.

37:04 Und gleichzeitig kann Europa es aber doch noch schaffen? Also die schon lange geschlafen haben, auch in anderen Bereichen? Meine Perspektive darauf ist, ich bin skeptisch, dass Europa einen europäischen Champion hochziehen kann. Ich bin mir nicht sicher, ob es strategisch eine gute Entscheidung ist. Ich glaube, die Risiken sind sehr hoch.

37:24 Ich glaube, Europa muss aber alles daran setzen, Zugang zu den besten Modellen zu bekommen, auch sicher. Ich würde gerne noch drauf blicken, wie sich die Politik und politische Entscheiderinnen und Entscheider gerade mit diesem Thema auseinandersetzen. Der Bundesaußenminister Johann Wadephul hat jetzt gerade vor ein paar Tagen vor den Vereinten Nationen einen sehr drastischen Vergleich gewählt.

37:49 Ladies and gentlemen, imagine if nuclear weapons were developed by private companies, if stockpiles were located on company grounds and launch codes locked away, in a safe in a CEO's office. It's a disturbing thought. Musik Also es sei ein verstörender Gedanke. Man soll sich vorstellen, Atomwaffen würden von privaten Unternehmen entwickelt und die Abschusscodes lägen im Safe eines CEOs.

38:21 Halten Sie den Vergleich für treffend? Ich halte den Vergleich insofern als Treffen, dass das KI durchaus eine extrem einflussreiche Technologie ist. Und ich weiß nicht, ob jetzt der Nuklearvergleich irgendwie in Beteil passt oder ob der irgendwie eher hinkt. Aber so von der Größenordnung verstehe ich, worauf der Vergleich hinaus möchte.

38:46 Der Vergleich trifft, dass die Macht über diese Technologie in den Händen weniger Unternehmen und auch weniger Leiter innerhalb dieser Unternehmen liegt. Und das ist in der Tat ein verstörender Gedanke. Ja und einer der wenigen Hände, in denen da sehr viel Macht liegt, ist sicherlich der US-Präsident Donald Trump, inklusive natürlich der CEOs, von denen die meisten aus den USA kommen.

39:14 Und die haben sich ja diese Woche, Anfang der Woche getroffen in, Washington und haben sozusagen eine Art Sicherheitserklärung, die aber nicht bindend ist, sondern die sozusagen auf einer moralischen Verpflichtung basiert unterschrieben. Das heißt, Donald Trump hat im Prinzip gesagt, naja, aber es würde ja den Unternehmen selber schaden, wenn da was schief gehen sollte und deswegen werden die das hinbekommen und die würden sich schon gegenseitig auch kontrollieren.

39:48 Also Selbstkontrolle, keine große staatliche Regulierung. Schafft man es damit? Ich glaube, wir haben in den vergangenen Jahren sehr viele Anstrengungen von Selbstregulierung gesehen. Ich glaube, die aktuellen Zwischenfälle zeugen so ein bisschen davon, dass es ja anscheinend nicht reicht. Wir sehen ständig schöne Absichtserklärungen, aber ob dann am Ende tatsächlich was passiert, steht dann auf einem anderen Blatt. Das Problem ist, dass wenn man tatsächlich in dieser Situation ist, dass der Wettbewerbsdruck extrem hoch ist, und gewisser Druck auch von politischer Seite in den USA herrscht, schneller zu sein und besser zu sein als chinesische Konkurrenten, dann ist man durchaus gewillt, Abkürzungen zu nehmen.

40:45 Und die amerikanische Regierung ist aktuell nicht gewillt, ernsthaft Sicherheitsvorkehrungen durchzusetzen. Und gute Maßnahmen, die wir sonst auf der Welt haben, zum Beispiel in Europa, haben dann auch nur begrenzten Einfluss. Ich glaube, es wird irgendwann, oder es ist erforderlich, dass es staatliche Interventionen gibt, dass es Regulierungen gibt.

41:12 Ich glaube nicht, dass reine Selbstregulierung am Ende ausreichen wird. Also dann bräuchte es ja quasi so eine internationale Regelung. Und mir fällt es tatsächlich schwer daran zu glauben, über die USA haben wir jetzt gesprochen, dass China da mitmachen würde. Macht ja schon bei anderen Sachen nicht mit.

41:33 Ich glaube schon, dass niemand ein ernsthaftes Interesse daran hat, so eine unkontrollierbare Superintelligenz zu entwickeln, die dann völlig lost ist. Auch China nicht. Dass die sagen, ja Leute hier, wir machen mit und wir lassen uns regulieren und hier sind unsere Bücher, das fällt mir ehrlich gesagt ein bisschen schwer, mir das vorzustellen.

41:54 Das sehe ich auch so und das ist ja gerade das Besorgniserregende, dass die Maßnahmen, die wir eigentlich bräuchten, aktuell nicht am Tisch liegen. Aber wer müsste sie denn überhaupt, wer soll das denn sozusagen fordern und umsetzen und mit irgendwelchen vielleicht Strafen ums Eck kommen, international, wie soll das gehen? Ich glaube, die wichtigsten Akteure sind die USA und China.

42:17 Und dann braucht es natürlich die internationale Gemeinschaft, um bindende Abkommen, die es möglicherweise irgendwann geben könnte, auch tatsächlich zu überwachen. Wir bräuchten Verifikationstechnologien, dass tatsächlich die Unternehmen sich. An mögliche internationalen Abkommen dann auch wirklich halten.

42:36 Das heißt, es ist nicht so, dass es ausschließlich die USA und China sind, die hier eine Rolle zu spielen haben. Ich glaube, die internationale Gemeinschaft, vor allem so Mittelmächte wie Nationen in Europa, aber auch Kanada und Japan, können hier eine ganz erhebliche Rolle auch spielen. Aber am Ende sind die USA und China die Hauptakteure.

42:55 Matteo, Sie wollten, glaube ich, auch was sagen. Ich entschuldige mich, wenn ich zu Ihnen bin in meinen Aussagen jetzt. Ich glaube, die EU und die Europäische Union ist allein, weil es ein so großer Absatzmarkt ist, eine Hauptakteure. was die Kontrolle angeht. Was die Entwicklung angeht, natürlich gerade nicht. Das wissen wir alle.

43:16 Aber wir reden von der Gefahr von KI, wir reden davon, wie wir sie regulieren möchten oder kontrollieren möchten und dann fällt uns auf, es kennen nur so wenige Menschen über, kontrollieren KI. Und das sind zufällig dann halt auch meistens Männer, die sich auch entwickeln. Aber in Europa soll es zu schwierig sein. Oder so schwierig vielleicht oder so angsteinflüssig, dass wir es vielleicht gar nicht mal probieren.

43:39 Wir reden schon von Regulierung, wir reden davon, dass eigentlich nur China und Amerika die Hauptmächte sind, aber in Europa generieren sie so viele Umsätze und nicht nur mit Kali. Und womit wird Kali finanziert? Das Geld kommt ja nicht einfach so aus der Luft. Vor allem die Tech-Giganten Meta und Google finanzieren die Kali-Entwicklung, heißt das eigentlich nur aus dem Cashflow, wenn ich mich richtig erinnere.

44:01 Sie haben so wenig Kapital aufgenommen. Und dass dieses Großteil dieses Geld kommt aus der Welt, wie ich schon mal, Und was ich ganz wichtig sagen möchte, vor allem für die Zuhörer und Zuhörerinnen, wenn wir darüber reden wollen, was wir als Kollektiv, sagen wir Europa oder die Welt, machen wollen, mit KI und die wir sie regulieren möchten, das steht gerade zur Antithese mit dem, was die Frontierentwickler machen.

44:30 Weil die Frontierentwicklung, ich möchte wiederholen, OpenAI wurde gegründet und Superintelligence, Artificial General Intelligence, Superintelligenz. Das ist in der Institut, man war schon immer so, unter den verschiedensten Hüten, die sie getragen haben. Deren Ziel ist Superintelligenz. Worüber wir reden sollten, ist, möchten wir Menschen so etwas wie Superintelligenz.

44:49 Und das ist dieses, in diesem Limbo, in dem wir gerade sind. Wir als Kollektiv wissen noch gar nicht, ob wir Superintelligenz machen möchten. Aber die Leute, die es gerade machen können, möchten Superintelligenz. Und das ist die Differenz, die wir hier sehen. Und die Geschwindigkeit ist das größte Problem daran.

45:03 Und ich bin der Meinung, dass wir schon in einem so unglaublichen Wettbewerbsrennen sind, das ist schon zu spät. Wir können es im Nachhinein irgendwie hinbiegen, aber dass wir China und Amerika und Europa auf einen Tisch bekommen einmal, das hätten wir vorher machen müssen. Das hätten wir weit vorher machen müssen. Sie haben eben gesagt, aus einer patriotischen europäischen Perspektive.

45:22 Ich möchte auch an der Stelle einmal sagen, es ist ja nicht so, dass Europa gar nichts machen kann. Also wir haben ja durchaus einen sehr guten Regelungsrahmen. Und seit August können wir auch einige dieser Regeln auch durchsetzen mit Bußgeldern und so weiter. Und durchaus kann die Europäische Kommission hier Einfluss auf die Entwickler nehmen.

45:42 Ich will nur nicht den Eindruck vermitteln, dass Europa hier mit den USA und China auf Augenhöhe diskutiert oder einen ähnlich großen Einfluss hat. Ich glaube, das wäre illusorisch. Damit möchte ich aber nicht sagen, dass Europa nicht unerheblichen Einfluss hat. Helene, kannst du jetzt nach dieser Folge besser oder schlechter schlafen?

46:02 Ich wollte tatsächlich genau darauf nochmal zurückkommen, weil ja eigentlich sie beide auch gesagt haben, du ja auch, Dunja, dass ihr noch gut und sie noch gut schlafen können. Und man aber jetzt doch das Gefühl hat, das ist eine Krise, die einen echt innerhalb von so kurzer Zeit eingeholt hat und auch so ein bisschen dabei ist zu überrollen.

46:21 Und das bei den ganzen anderen Krisen, die wir ja sowieso schon haben. Ich frage mich da, gibt es denn irgendetwas? Und Herr Rosoli, Sie haben ja auch immer unsere Hörerinnen und Hörer angesprochen. Das hat mir gut gefallen. Gibt es irgendwas, was man... Denen mitgeben kann oder was man uns allen mitgeben kann, was man tun kann, damit man sich auch nicht so ganz ohnmächtig fühlt und die Gewissheit hat, die böse Gewissheit eigentlich, dass es doch mal wieder in den Händen von ganz, ganz wenigen zu sein scheint.

46:50 Ich würde anfangen damit, ich persönlich kann gut schlafen gegenüber der Angst dieser ominösen Suchtkredien. Ich kann überhaupt nicht gut schlafen mit dem Gedanken, was man jetzt schon mit dieser Technologie machen kann. Und ich denke da sehr an die Cybersecurity-Community und die super Privatsphären-Community.

47:10 Wir müssen viel mehr darauf Acht legen, wo wir unsere Daten hinschicken und was mit diesen Daten gemacht werden. Weil die KI, die wir jetzt haben, diese Large Language-Modelle in der Transformer-Architecture, sie haben uns extrem gut darin zu hacken. Und mit hacken meine ich nicht nur Cybersysteme. Sie können alle Arten von Systemen hacken. Finanz-Kurzgangs-Hacken.

47:32 Sie können rechtliche Rahmen erheben. Sie können irgendwelche Interpretationsspielräume erheben. Ich möchte einen Genie-Effekt erinnern. Da mache ich mir durchaus Angst. Und ich glaube, einer der wichtigsten Schritte dafür ist, sich tatsächlich mal mit gutem Datenschutz beschäftigen. Also nicht, ist alles korrekt dokumentiert und wissen, wo es hingeht, sondern möchten wir überhaupt, dass es dort rum geht.

47:54 Klassischer Fall zum Beispiel in einer großen Welle ist hier. Hier in Österreich wird, ich weiß nicht, was der Staat ist gerade, ein Google-Rechnensentrum in Oberösterreich gebaut. Warum ist es ein Google-Rechnensentrum? Warum ist das nicht ein europäisches Rechensamt, das hier in Österreich gebaut wird?

48:12 Und solche Gedanken müssen wir uns halt ehrlich stellen. Und ich glaube nicht, dass wir da hilflos sind, weil ich eben an die teilweise sehr illusorische Macht der EU glaube. Weil jedes große Silicon Valley Startup, auch wir als österreichisches Startup, wenn die Konsumenten und Konsumentinnen etwas fordern und wollen, dann wird das geliefert.

48:31 Und wenn sie nicht mehr wollen, dass mit diesen Daten trainiert wird, wenn sie nicht mehr wollen, dass solche Systeme entwickelt werden, Und wenn sie nicht mehr wollen, mit diesen Daten alles und jedes soziales Profil und jeder Data Broker connected wird, dann wird es auch nicht mehr passieren. Ich glaube an die illusorische Macht, das ist auf jeden Fall mein Satz des Tages.

48:50 Der EU und auch der Konsumenten und der Konsumentinnen. Ganz genau. Herr Freund, haben Sie da auch noch eine Abschlussidee, wie man nicht verzagen kann bei diesem Thema? Ich glaube, einerseits ist es wichtig, dass wir ehrlich mit der Situation umgehen und auch die Öffentlichkeit gut informieren, wie denn der aktuelle Stand ist und wie schnell die Entwicklungen voranschreiten.

49:12 Ich glaube aber nicht. Dass die Katastrophe unabwendbar ist. Ich glaube, es gibt durchaus Dinge, die wir machen können und ich glaube, Deutschland und Europa sind in einer guten Position, doch noch etwas zu machen. Ich glaube, wir können das nicht alleine machen. Ich glaube, es ist wichtig, dass europäische Nationen sich hier gut abstimmen.

49:31 Und ich glaube auch, es ist extrem wichtig, sich mit anderen demokratischen Partnern, vor allem mit Kanada, mit der UK, mit Japan abzustimmen und als ein geschlossener Block. In diesem Zweikampf von China und den USA versuchen, irgendwie doch noch auf das Gute zu drängen. Das will ich unterscheiden. Ich auch.

49:54 Dann sage ich an der Stelle ganz herzlichen Dank in die Runde. Wie behalten wir die Kontrolle über KI? Wie groß ist die Gefahr, die von einer ominösen Super-KI wirklich ausgeht? Darüber konnten wir heute sprechen mit Jonas Freund vom Center for the Governance of AI, der uns aus Washington zugeschaltet war und mit Matteo Rosolli, der uns aus Wien zugeschaltet war, dem Gründer eines europäischen KI-Startups.

50:22 Ganz herzlichen Dank Ihnen beiden. Dankeschön. Vielen Dank für die Einladung. Und vielen Dank auch an dich, Dunja. Ich will vielleicht einmal noch den Hinweis machen für alle, die jetzt denken, ihr habt nur negativ und so Horrorszenarien. Also es ist nicht der erste Podcast vom Heute-Journal, den wir zu dem Thema machen. Und wir haben echt auch schon viel über Chancen und Möglichkeiten und das Positive gesprochen. Also das darf man ja nicht dabei vergessen.

50:47 Und am Ende war es ja auch gar nicht so ein Horrorszenario. Es gab ja auch ein paar Lichtblicke und positive Gedanken. Ganz herzlichen Dank auch an alle da draußen, die zugehört haben. Wir freuen uns total über ein Abo, über Feedback als Kommentar oder per Mail an heutejournal-podcast.zdf.de. Danke und bis nächste Woche.