KI-Bremse: Anthropic und Co. wollen Vorsicht, Trump nicht

0:00 Dieser Podcast wird präsentiert von PostFinance, ihrer Schweizer Partnerin für moderne Zahlungslösungen und einfaches Einkassieren im Geschäftsalltag. Jacob Coxen ist das. Bis vor kurzem war er beim KI-Giganten Enthropic angestellt, davor beim Konkurrenten OpenAI und er sagt im Interview mit CNN grob übersetzt also morgen?

0:49 Da werden wir noch nicht sterben wegen der KI Aber bald schon könnte es soweit sein weil dann könnte die KI so viel klüger als wir sein. Was macht Coxen denn da so sicher? Eine Entwicklung namens Recursive Self-Improvement. Und hinter diesem Schlagwort steht, dass die KI sich inzwischen selbst trainieren kann.

1:21 Du musst dir vorstellen, Dominic, diese Technologie, die uns seit fast vier Jahren begleitet hat in den vergangenen Monaten enorm schnell Fortschritte gemacht. Die wird immer besser! Die ist inzwischen so gut, dass sie sich selbst beibringen kann wie sie besser wird. Und wenn man sich allein anschaut die Modelle, die wir als normale Nutzer du und ich nutzen selbst.

1:44 Die werden ja in den vergangenen Monaten immer immer besser das fällt uns auch auf oder? In den Firmen selber werden aber noch mal ganz andere Modelle die nächste Generation schon trainiert. wirklich die Frontiermodelle die cutting edge sind Das sind die Modellen die du und Ich nicht sehen können. Wissenschaftler wie Coxen bereits mitarbeiten.

2:04 Und vor denen warnen sie uns nun, die sagen das was da um die Ecke kommt dass es so gut, dass es eben Menschen wie Coxon jetzt schon gruselt und nicht nur ihm sondern auch CEOs wie Dario Amodei dem CEO von Entropic der dazu sagt hey wir müssen wirklich langsamer machen. KI-Chefs die sich selbst bremsen wollen und das kurz vor einem möglichen Börsengang ihrer Firmen.

2:33 Und wie das vielleicht zusammenhängt, darüber spreche ich mit Marie Astrid Langer. US-Korrespondentin mit Schwerpunkt Tech. Ich bin Dominik Schottner Hallo! gegen den Willen der KI-Mitarbeiter. Konkret waren Modelle sowohl von OpenAI als auch Anthropic aus der vermeintlich sicheren Testumgebung ausgebrochen, d.h., die haben es irgendwie doch geschafft Zugang zum Internet zu bekommen und haben dann dort andere Firmen gehackt wie z.B.

3:25 Huggingface. Und der inzwischen Ex-Anthropic Mitarbeiter Coxon sagt eben dazu das ist nur der Anfang! Und nicht nur erst, sondern inzwischen waren wirklich alle führenden KI-Forscher die sehen was da auf uns zukommt. Dass diese Technologie unsere eigenen Erwartungen unserer eigenen Kontrollmöglichkeiten jetzt schon übersteigt.

3:47 Okay Astrid aber könnt es nicht vielleicht auch sein dass dieser ehemalige Mitarbeiter cox'n von der Arbeit frustriert ist und vielleicht auch ein bisschen Aufmerksamkeitsbedürftig Wenn man sich so zurückerinnert, in den vergangenen Monaten sind die Tech-Brows in der KI-Industrie immer wieder mal aufeinander losgegangen.

4:04 Doch das kann durchaus sein! Also was wissen schon du und ich ob der Coxson vielleicht noch eine Rechnung offen hat mit Entropic oder Ammo Day? Aber er ist ja kein Einzelfall. Solche Hinweise vor diesen möglichen Gefahren gibt es schon seit Monaten und die werden immer drängender, und es gibt auch noch viel mehr KI-Forscher außer ihm, die genauso die Alarmglocken schlagen – zum Beispiel der Godfather of AI Jeffrey Hinton.

4:31 Vielleicht erinnerst du dich, der hatte im Jahr den Nobelpreis für seine Grundlagenforschung zu KI erhalten? Und selbst der warnt nun. Der sagte gerade letztens in der BBC, dass die KI nur mit anderen kommunizieren müsse – also nicht mal ausbrechen aus dem System und allein so schon enorm globalen Schaden anrichten könnte.

4:57 Und jetzt gegen es eben darum, dass man wissen müsse wie man diese KI designed also von Grunde auf entwickelt und Leitplanken einbaut damit sie eben solchen Schaden nicht anrichten wird. Wir sind gleich zurück! Vom Setup bis zum täglichen Einsatz begleiten wir Sie Schritt für Schritt. Profitieren sie bis zum dreißigsten November, zwanzig sechsundzwanzig vom Sonderrabatt!

5:40 Mehr Informationen und Bedingungen unter postfinance.ch. slash terminal. Die Warnung eines ehemaligen Mitarbeiters der KI-Firma Anthropic ist um die Welt gegangen eine Warning das KI uns demnächst alle auslöschen könnte. Und Anthropic Chef Dario Amodei hat den Ball sehr dankend aufgenommen und gesagt eigentlich Teile er sogar die Kritik seines Ex-Kollegen.

6:23 Astrid, ganz ehrlich ich finde Amodell gefällt sich da schon so ein bisschen in der Rolle des sehr vernünftigen oder? Ja, absolut. Also er ist da schon immer so wie der große Bruder, der die anderen kleineren zur Raison aufruft, die anderen kleineren im Sinne seiner direkten Konkurrenten und du erinnerst dich vielleicht hat das ja in der Vergangenheit schon häufiger gemacht also zum Beispiel als es darum ging dass sich Anthropic nicht dem amerikanischen Militär beugen wollte.

6:50 auch darüber hatten wir am Podcast mal gesprochen. Es ist insgesamt schon sehr die Marketing-Schiene von Anthropic. Sie betonen auch auf jedem Konferenzpanel wo ich sie sehe gleich dreimal, dass sie ja Wehr zu haben und anders sind als die anderen. Und auch jetzt in dieser Rolle schlägt Amodei eben drei konkrete Maßnahmen vor!

7:10 Erstens verlangt der sogenannte Embedded Evaluators, um das Problem zu lösen. Also es muss dir so vorstellen dass externe Experten jetzt bei Anthropic embedded werden dürfen also Zugang wie die Mitarbeiter auf die neuesten Modelle bekommen, die um die nächste Ecke schon auf uns warten. Zweitens verlankte eine Democratic Coordination, also dass die Firmen sich am Wochenende gesehen haben untereinander absprechen und Idealerweise da auch die amerikanische Regierung dabei eine Rolle spielt.

7:41 Und drittens, eine globale Koordination zwischen den Kainationen dieser Welt namens China und Amerika. Das klingt so ein bisschen als würde das von Schritt zu Schritt immer schwieriger zu realisieren werden. deswegen lass uns mal auf Punkt eins schauen diese Embedded Evaluators also ich kenn embedded Journalists mit Truppen mitfahren um über den Krieg zu berichten.

8:05 Hier geht es jetzt um unabhängige Prüfer, wie stellt er sich das genau vor? oder gibt's da vielleicht irgendwo Beispiele wo sowas schon mal funktioniert hat in der freien Wirtschaft? Ja also ich fand ein Beispiel mit den Embedded Journalists ganz anschaulich weil daher auch die Idee ist dass man den Journalisten nichts vormachen kann sondern die als Externe auf einmal aus erster Hand erleben können was wirklich los ist Und auch in der Wirtschaft gibt es das schon.

8:29 Also denkt beispielsweise an Bankenkontrolleure, die wirklich in die Datenbanken und in die Unterlagen Einsicht nehmen dürfen. Ganz genau kennen wir die Details dazu noch nicht aber ich glaube man muss sich das so vorstellen dass da auch wirklich Kontrolleure von außen reinkommen, die Modelle sehen dürfen, die Firmenkommunikation einsehen dürfen und wirklich embedded sind.

8:52 an der vordersten Front der KI-Firmen. Gab's denn da schon Reaktionen von seiner Konkurrenz? Also er hatte sie ja aufgerufen, da auch mit zu machen. Haben Sie darauf reagiert? Ja, das war wirklich das Spande am Wochenende. Denn du musst wissen diese KI-Chefs hier im Silicon Valley Sam Altman, Dario Amodei auch Elon Musk von SpaceX die kennt sich ja alle seit Jahren wenn nicht Jahrzehnten und waren auch einst Wegbegleiter aber sie haben sich völlig zerstritten, haben ganz unterschiedliche Philosophien die Sie mit ihren Firmen verfolgen Und die sind sich normalerweise bei gar nix einig.

9:27 und umso eindrücklicher war es dann am samstagmorgen zu sehen letzte woche wie auf einmal die einander recht gegeben haben, also auf Ammo Days Ankündigung. Dass er jetzt diese Kontrolleure in die Firma reinlassen will hat dann auf einmal Sam Altman von OpenAI geschrieben. Dario hat Recht! Auch das ist schon ein Satz, den man nicht besonders häufig hört von ihm und er hat angekündigt dass OpenAI das Gleiche machen werde.

9:52 Also auch sie wollen externe Kontrolleüre in die Firmah lassen. Und auch Elon Musk der normalerweise immer Kontrovers agiert, der hat dann sogar auch ein Modell beigepflichtet. Und auch Dennis Hasabis, der große KI-Vordenker von Google, hat sich dem auch angeschlossen. Also scheint jetzt tatsächlich so das die Frontierlabs, die wirklich führenden KI-Firmen Amerika mehr Kontrolle innerhalb ihrer Firmen zulassen wollen?

10:18 Man muss sich das eigentlich nochmal kurz auf der Zunge zergehen lassen. da sind CEOs von Firmen, die so hoch bewertet sind wie noch nie Firmen zuvor in der Geschichte und die schlagen letztlich vor ihr eigenes Geschäftsmodell irgendwie zu beschränken. Warum sollten Sie das tun? Welchen Anreiz haben Sie dazu?".

10:36 Ja, dass es auf den ersten Blick wirklich verrückt weil's ja eigentlich derzeit verdammt gut bei Ihnen läuft und sie wirklich enorme Bewertungen bekommen. Manche Kritiker sagen auch, das sei gar nicht authentisch von ihnen. Es sei im Endeffekt alles nur Marketing! Sie wollten mehr öffentliche Aufmerksamkeit, sie wollten sich nach außen als verantwortungsbewusst geben und gleichzeitig weiter voranpreschen ... Tatsächlich war es ja bei OpenAI so, dass die Bewertungen zuletzt nicht ganz so prickelnd waren und diese Beteuerung jetzt verantwortensvoller handeln zu wollen vielleicht gut ankommt.

11:10 Aber ich glaub dahinter stecken wirklich ... echte Sorgen. Und zwar die Sorge, dass man da gerade einen Monster geschaffen hat und der Versuch sich mehr Zeit zu erkaufen um dieses Monster zu bändigen. Sie sagen ja nicht wir tun kann jetzt nicht mehr weiterentwickeln. sie sagen wir wollen das ein bisschen langsamer machen und Amodei hat auch in seinem blog Eintrag vom Wochenende genau ausgeführt dass dieser eins zwei Jahre die man sich mit diesen Maßnahmen dieser Verlangsamung erkaufen könnte Den Menschen dahinter, den Mitarbeitern die Werkzeuge an die Hand geben könnte.

11:46 Die KI viel besser zu kontrollieren. Denn der Fortschritt der Technologie war zuletzt wirklich so hart im Berauben schnell! Da sind wir als Mensch nicht mehr hinterhergekommen und das haben jetzt eben die Chefs dieser Firmen auch eingestanden. Atemraubend schnell sind ja meistens auch die Reaktionen auf dem Aktienmarkt gerade wenn es darum geht dass Firmen an den Aktien Markt überhaupt erst mal kommen.

12:09 gab's denn da schon Auswirkungen übers Wochenende? Ja, direkt postwendend am Montagmorgen. Da war der Börsenindex Nasdaq Composite zum Beispiel, der sich aus wichtigen Tech-Aktien zusammensetzt. Der war im Minus und auch Einzeltitel der Techindustrie. Zum Beispiel der Chip Designer Nvidia oder der Chip Hersteller TSMC die hatten direkt einen Bußen verbucht Und das war eben auch fand ich eine gute Erinnerung daran was bei dieser ganzen Debatte nicht nur für uns Als Gesellschaft auf dem Spiel steht, sondern auch wirtschaftlich.

12:44 KI ist derzeit der Motor der amerikanischen Wirtschaft. Ohne KI-Investitionen würde die hiesige Wirtschaft zur Zeit schrumpfen! Und das musst du eben auch im Hinterkopf behalten, wenn du dann Aussagen von einem Präsident Trump hörst. Der sagt er wolle derzeit eher nicht intervenieren und er findet dass man weiter voran brechen muss weil er auch weiß was da wirtschaftlich für das land auf dem spiel steht.

13:11 zur zeit Ja, und das ist Donald Trump wie er live bei einer Tech-Konferenz Anfang der Woche den CEO von Nvidia anruft Jensen Wang. Und der das Smartphone ans Mikrofon hält und Trump einfach mal reden lässt! Ja, also Trump preist da mal die Vorzüge der KI was das alles an Wohlstand bringen könnte und er nennt die Sorgen über die wir jetzt hier gesprochen haben Astrid letztlich ein Hokes eine Falschmeldung.

13:54 Was aber auch sagt und darüber würde ich gerne noch einmal zum Schluss mit dir sprechen Er nennt China einen der größten Player im KI-Game. eigentlich müsste man ja eben nicht nur so eine freiwillige Selbstkontrolle machen, zwischen den KI-Firmen in den USA. Nicht nur Regelungen in den USA finden die auch von der Regierung Trump erst mal erlassen werden müssten sondern eigentlich damit das Spiel auch wirklich weltweit funktioniert und eben nicht schief geht müsste man Ja mit China sprechen?

14:22 Ja, absolut. Also die USA sind ja Punkt Dukai nicht auf einer einsamen Insel sondern es ist eine ganze Inselkette. und wenn sie im Alleingang entscheiden etwas nicht mehr zu tun dann heißt das nicht dass dein China sich auch anschließen würde. ganz im Gegenteil. Und das ist eben auch derzeit ein Argument dass gerade die Republikaner immer wieder bringen Dass man sich eben auch im Wettrennen mit China befinde.

14:44 und die Chinesen musst du wissen Bei der Entwicklung von Cutting Edge KI nur wenige Monate hinter den Amerikanern. Das heißt, wenn die Amerikaner jetzt die Gangart verlangsamen dann wird China auf einmal aufholen können. und da hat man eben auch die Befürchtung dass das sicherheitspolitische ja womögliche militärische Konsequenzen für die USA haben könnte.

15:07 dem stimmt auch Amode in seinem Blog Eintrag vom Wochenende zu. er sieht es dadurch aus realistisch Aber er verweist eben auch darauf, dass die Konsequenzen dieses Wettrenns bei KI der beiden Supermächte durchaus global sind. Also wenn ein Land zum Beispiel geologische Waffen mithilfe von KI entwickeln würde dann könnte das katastrophale Folgen für uns alle haben und entsprechend ist jetzt eben die Frage ob sich diese beiden Großmächten womöglich darauf einigen könnten, dass es bestimmte rote Linien gibt bei der Technologie die keine von beiden jemals überschreiten würde.

15:51 Und wenn ihr mehr zu Risiken und Nebenwirkungen von KI wissen wollt, dann empfehle ich euch unsere umfangreiche Berichterstattung dazu auf NTC.CH und natürlich bei uns in der App. Ich bin Dominik Schottner. Vielen Dank fürs Zuhören!