Wer warnt uns, wenn KI außer Kontrolle gerät?

speaker-0: Man kann diese Chin-of-Thought mitlesen, und die Semi-Agenten sagen recht menschlich, ein Vierzeichen, mein Gott, hier sind weitere Agenten. Und diese Agenten haben sich untereinander abgestimmt, wie sie ihre Punktzahlen maximieren können. Und wollten sicherstellen, nur das, sondern auch, dass sie nicht entdeckt werden von OpenAI. Und dann haben die sich über Wochen lang tief reingebohrt und haben effektiv Hangingface gehackt. Wir reden hier von Hunderten, die das gemeinsam gemacht haben. Wirklich ... Das ist kein Gag. Und viele in den Firmen sehen das genauso. Deswegen sagen auch so viele von den Mitarbeitern, wir müssen langsam machen jetzt. Wir müssen vom Gas runter. Sonst rennen wir hier gerade seelenden Auges in die Katastrophe rein.

speaker-1: Aber dazu eine Frage, als oberflächlicher Betrachter krieg ich irgendwie mixed messages. Also einerseits Anthropic, Dario Amorelli, der Gründer von Anthropic und andere gehen raus und fordern öffentlich, wir haben uns jetzt auch mit den anderen abgestimmt, wir müssen jetzt das Tempo rausnehmen und eine Woche später, ey, ist Opus 5.5 raus, unser neustes, geiles, krassestes Modell ever irgendwie und bald ist Börsengang und dann haben wir noch ein paar andere Knalle an der Pipeline. Das klingt für mich irgendwie nicht... Wo ist der Slowdown-Aspect? Ich seh den nicht. Oder wenn es statt mit 300 Kammer auf die Wand zurasen mit 299 Ding, dann wir nicht viel gewonnen. Krieg ich irgendwas nicht mit. Willkommen beim Effektiv-Spenden-Podcast. Unser heutiger Gast ist Karl Koch von der AI Whistleblower Initiative. Willkommen, Karl.

speaker-0: Servus

speaker-1: Karl, wir hatten im Vorgespräch drüber geredet, eine Begebenheit. Du hattest davon erzählt, wie du im Biergarten saßt mit ein Kumpels. Die Sonne scheint, alle sind gut drauf. Dann kam dir der Gedanke, du schaust dich dass wir alle schlafwandeln und uns gar nicht bewusst sind, was uns Krasses bevorsteht.

speaker-0: Also ich glaube, dass das Gefühl kommt ursprünglich, deswegen glaube ich auch erst der Biergarten. Oder das ist heuer immer noch so, wenn ich mit Freunden zusammensetze. Wenn man das Leben wirklich genießt und denkt, wow, das Leben ist wirklich schön. Und man spürt irgendwie die Sonne, man hat gute Freunde, irgendwie Familie, die man liebt, mit der man gerne Zeit verbringt, die nimmt sich Ruhe, das ist ja eine tolle Sache. Und insgesamt, jetzt vor allem natürlich bei uns, irgendwie in der ersten Welt, geht es uns dann doch ziemlich gut, größtenteils. Und dass diese riesige Transformation auf uns zukommt. Und glaube, jetzt langsam sehen wir so die ersten Zeichen. Wahrscheinlich viele Hörer werden nachrichten gelesen haben die letzten Monate, dass es immer mehr in die Öffentlichkeit kommt. Wie könnte es aussehen, wenn KI-Modelle immer immer fähiger werden und auch schon exponentiell immer fähiger werden und wir es nicht auf die Kette bekommen, die unter Kontrolle zu behalten oder selbst wenn wir sie unter Kontrolle halten, weise zu verwenden. Und ich glaub, ursprünglich bin ich auch in den Bereich reingekommen. Weil, so von First Principles Basis, es ja auch so zu sein scheint, dass wer auch immer irgendwie die höchste Intelligenz hat, auf diesem Planeten scheint irgendwie uns oben auf der Nahrungskette zu stehen. Und wir basteln gerade an was, das immer mit dem Salopp zu sagen, was unter Umständen zehnfache, hundertfache so intelligent sein kann wie wir. Und es kann sein, dass wir das unter Kontrolle behalten. Da kommen wir bestimmt wieder noch zu kommen, wie wahrscheinlich das ist. Aber es kann auch gut sein, dass wir das nicht schaffen, selbst wenn wir es schaffen. Dass wir nicht weise damit umgehen. Und es sieht gerade exponentiell aus. Dass diese Welle langsam auf uns zukommt und das Gefühl, es kommt nicht wirklich an. Und selbst bei mir ist es sehr schwierig auch, Bei mir selbst, dass es auch ankommt, emotional ist sehr schwierig. Ich war halt, sie kommen gerade wieder zurück aus der Bay Area und Anführungszeichen beruhige mich gerade wieder ein bisschen. Was wahrscheinlich auch nicht gut ist, so. Aber die Stimmung vor allem da von den Leuten, in den Firmen arbeiten, Leute, nicht mit den Firmen arbeiten, ist nicht, es ist Zeit für einen Biergarten. Die Stimmung ist ... Langsam kommt es auch in DC an, in Washington, in Berlin noch nicht wirklich, ich. In Brüssel, na, somewhat. In London ist bisschen mehr schon. Dass es gerade ... es gerade losgeht.

speaker-1: Naja, weil ich würde sagen, einerseits ist AI, und dass das eine große Nummer ist, kommt ja schon im Mainstream an. Ich spreche auch mit vielen Leuten darüber außerhalb meiner Bubble. Das ist definitiv Thema, ist an den Finanzmärkten ein Thema. Und trotzdem, wenn ich das richtig verstanden habe, würdest du sagen, dass es nach wie vor unterschätzt wird, was in den nächsten Jahren potentiell alles ... wie kann und wie grundlegend das unser Leben umkrempelt und wie es möglicherweise auch zu einem extremen Risiko wirkt. Du hast ja gesagt, die intelligenteste Spezies ist ganz oben in der Nahrungsgette und wir können uns ja einfach anschauen, wie ist es denn den anderen Spezien ergangen, seitdem der Mensch quasi übernommen hat. Und nicht allen ist es gut ergangen, wenn sie dann überhaupt noch existieren. Und nicht unbedingt aus Bosheit, weil wir Tiere hassen, sondern einfach weil wir unsere Ziele maximieren und im Zertracht einfach wenig Rücksicht nehmen. auf andere Sachen. Aber geh noch mal ein bisschen zurück, denn du hast ja das Thema nicht erst in den letzten Monaten oder in den letzten ein, zwei Jahren für dich entdeckt, wie es vielen anderen, will ich mich da gar nicht komplett ausschließen, gegangen ist, sondern bist schon lange dran. Wie war denn dein ursprünglicher Zugang? Weil das war, wenn ich es richtig gesehen habe, noch lange auch vor Jet-GPT, also bevor das wirklich irgendwie im Alltag überhaupt ein Thema war.

speaker-0: Ja, ich glaub, das war so die Zeit, das muss die Zeit von AlphaGo ungefähr rum gewesen sein. Viele Hörer werden sich da schlecht daran erinnern sogar. Das war 2015, glaub ich, war das. Das war ein Programm von DeepMind, das ... ein Model, das Lee Sedol, den ... Ich hoffe, hab den Namen richtig im Kopf, vielleicht Lee Sedol, damals einer der stärksten Go-Spieler, asiatisches Brettspiel. geschlagen hat. Und eigentlich war die Vorhersage, dass wir noch 20, 30 Jahre davon entfernt sind. Ich glaub, das werden wir heute mehrmals sagen. Ja, 20, 30 Jahre davon entfernt waren irgendwie auf human level oder sogar superhuman level auf in go zu kommen. Das war ein reinforcement learning model. Ich glaub, ein deep reinforcement learning model. Und ... damals war der eine, okay, wow, diese Technologie, diese Grundarchitektur ... von Deep Learning zusammen mit Reinforcement Learning könnte ziemlich powerful sein. Und das hat ziemlich viele Leute aufgeweckt. Die intellektuelle Basis dafür ist schon viel früher gelegt worden. Es ist nicht so, dass Leute seit Deep Learning, seit 2015 forschen, das gibt's nur seit den 90ern. Das war ungefähr der Moment, ich okay, das scheint doch besser zu funktionieren, als wir gedacht haben. Und dann mehr Leute sich darüber Gedanken gemacht. Ich bin dann auch damals dazugekommen. Und das war auch ungefähr die Zeit, wo dann OpenAI gestartet ist. war ungefähr ein ähnlicher Zeitpunkt.

speaker-1: Oder das damals auch, wenn ich's richtig sehe, das Future of Humanities-Institut kontaktiert, stand das mit dem in Kontakt? Als Background war das Future of Humanities-Institut von Nick Bostrom gegründet. Der auch das Buch Superintelligence geschrieben hat. Was war das, 2012 oder so was? Also noch ein paar Jahre früher. Irgendwas für viele Leute ... oder viele Leute dazu gebracht hat, da mal drüber nachzudenken, also über die Möglichkeiten, was eine Superintelligenz für Chancen und Risiken bietet oder was das bedeuten könnte. Ich glaube auch, dass viele der Menschen, jetzt ganz große Rolle im Bereich AI spielen, das als entscheidende Lektüre Was war dein Kontakt zum Future of Humanities Institute?

speaker-0: Das Fitton-Fymanati-Institute hat, da kann man sich das überstreiten, einen transhumanistischen Ansatz gehabt damals, da man sich ganz große Fragen gestellt, was ist die Zukunft der Menschheit?

speaker-1: Es heißt Future of Humanity Institute, es ist kein of that job, right?

speaker-0: Genau, das ist philosophisches Institut an der Uni Oxford gewesen. Die hatten sich auch Gedanken gemacht zu Systemen wie den Fermi-Paradox. Was? Genau,

speaker-1: Was ist das Fermi-Paradox für alle, es nicht wissen?

speaker-0: das Fermi-Paradox sagt, wie kann es sein, dass das Universum ... so ... for all reasonable measures, also aus allen praktischen Gründen gesehen, ist das Universum unendlich und wir sehen keine Aliens. Ja. Wie kann das sein?

speaker-1: Genau, es gibt halt Billionen, Trillionen, was auch immer eine eine un... Also, ja, gewisser Weise unendlicher Anzahl von Sternen. Die Annahme ist, da wird es irgendwo Leben geben. Das Universum ist viele Milliarden Jahre alt, wenn es intelligentes Leben ist und das uns nur ein paar Millionen Jahre voraus ist. Warum hätten wir doch irgendwie von denen hören müssen? Warum ist das nicht so?

speaker-0: Ja. Genau. Und das ist diese Kernfrage. Es gibt verschiedene, vermögliche Antworten, warum könnte das so sein? Und eine davon ist, es gibt so eine Art großen Filter. Na, nennt sich das? Und die Idee hier ist, dass jede Zivilisation, wenn sie irgendein bestimmtes Level an Maturity erreicht, eine Zivilisation an Maturity erreicht, dann entdecken die meisten Zivilisationen irgendeine Art von Technologie, die dazu führt, dass sie sich nicht ausbreiten durch das Universum. und man nichts von ihnen sieht. Das ist eine der Möglichkeiten. Und dann ist die Frage, was könnte das sein? Was könnten diese Technologien sein? Es könnte auch sein, dass der große Filter ganz weit hinten liegt. Es könnte sein, dass das Leben einfach extrem selten ist. Es könnte sein, man irgendwie, häufiger, dass man ... gab irgendwie so Evidenz dafür, dass in dem Moment, wo es Wasser auf Planeten gibt, fast der ganze Planet Wasser ist. Und ganzes Planet voll Wasser ist wahrscheinlich schwierig. Zivilisationen aufzubauen, so was könnte es sein. Aber es könnte auch sein, dass es einen technologischen Grund hat. ...

speaker-1: Ei, bleib im TikTok.

speaker-0: Ja, Das könnte es natürlich auch sein. Und dann ist die Frage, was könnten Technologien sein? könnte so was sein wie Nuklear. Nach allen Measures haben wir Glück auf diesem Planeten, dass Uran und allem in diesem Isotop selten ist. Dass wir anreichern müssen. Wenn es die ganze Welt voll wäre, hätten wir Öl. Weiß nicht, ob wir noch hier wären. Wahrscheinlich hätte sich dann überlegt, verschiedene terroristische Gruppen, normale Bomben sind nicht so super, wir könnten es ja auch Nuklear probieren. Wir haben Glück, dass wir in einer Welt leben, wo Uran sehr selten

speaker-1: Ja, und das Bombenbauen ist sehr schwierig.

speaker-0: Genau. Und vielleicht ist das auch das Ding, dass sehr selten ist, dass so wenig Uran gibt. Das ist ein schweres Exotobus. Fragezeichen, ob das das Ding ist. das könnte es auch sein. Und das andere können Technologien sein wie Biowaffen. Aber es könnte eben auch AI sein. Man kann sich gut vorstellen, dass jede Zivilisation, die irgendwann Computation entwickelt, wenn sie mature wird, irgendwann auf AI kommt. das war es dann. Also so ein möglicher Grade-Filter. Und Es schien mir, dass es FHI bessere Gedanken dazu gemacht hat und tiefere, als dass viele andere dem Space getan haben. Ich glaube, so bisschen tragisch im Nachhinein. Viele der Warnungen, du hattest es eben erwähnt, zufällig noch Superintelligence, haben unter Umständen dazu geführt, dass wir viele der Firmen, die wir heute sehen, genau an den Themen arbeiten, weil sie das große Versprechen gesehen haben. wenn jetzt jemand wie Boston das Buch geschrieben hat, Superintelligence, sagt, das ist die größte Technologie, die Menschheit jemals entwickeln könnte, und die erste Person, die die Technologie entwickelt, quasi, genau, und so wie das beschrieben wird in dem Buch, die Technologie, ist Gott. Ist ziemlich schwierig für bestimmte Menschen, sagen, boah, das mach ich jetzt mal nicht, oder ich warte mal drauf, dass andere das bauen. Und das war genau die Motivation zum Beispiel von OpenAI, warum OpenAI gestartet hat, ein Teil von einer Im Gerichtsverfahren wurden die E-Mails offen gelegt, die private E-Mails zwischen Sam Altman und Elon Musk. So aus 2016, 2015 rum. sprechen Und Altman sagt, und Musk ist genauso sehr offen, dass sie nicht vertrauen, ist Hasabes, der Kontrolle über die Welt übernimmt.

speaker-1: war.

speaker-0: Hasabes ist der Chef und der Gründer von Google Deep Mind. Eine der großen vier, fünf, nach denen jemand zählt. Auch immer noch heute, er eifern. Und dass sie deswegen ... Weil sie nicht möchten, dass Demis Hassabis der Diktator der Welt wird, bauen sie OpenAI, wollen das als Non-Profit-Struktur bauen, sicherzustellen, dass das Beste für die Menschheit bringt. Das war die Grundidee, OpenAI zu starten. Dann sind wir ... Das

speaker-1: Frischgebliebenes Konversion nachher noch besprechen.

speaker-0: ist tricky. Aus der Selbenmotivation hat es in Tropic gegründet. XR hat sich selber aus der Selbenmotivation gefühlt auch wieder gegründet mit Elon Musk. Weil immer die Vorstellung ist, okay Wenn jemand schon Gott baut, dann lieber ich. Das ist wirklich die große Tragik.

speaker-1: Ja, wir zur Frage, sollte man einen Gott bauen? Aber vielleicht noch mal zu dir. Du bist dann ja trotzdem 2016 nicht hängen geblieben, ich mal, auf dem KI-Film, sondern bist erst mal anderweitig tätig gewesen in der Privatwirtschaft. Wie kam es dazu? Oder dachtest du, wir haben einfach noch Zeit? Oder was hat dich dazu geführt, da einen Umweg zu gehen?

speaker-0: noch ein Air Safety Research Camp, glaub ich, gemacht im 2017. Dann überlegte ich, kommt schon Fulltime in den Space reinzugehen. Damals waren die Zeitlinien noch anders. Also, bin ... Also,

speaker-1: Was meinst du mit Zeitlinien?

speaker-0: was die Voraussagen waren, wie weit sind wir denn weg? Von wirklich irgendwie Capabilities, die irgendwo Richtung Human Level kommen, irgendwie in verschiedenen Domains-Fähigkeiten. Und ich glaub, war so der ... Mediangest war irgendwie so die 20, Mitte 30, 40 irgendwie so. Also Turing-Tests bestehen. Damals war Turing-Tests ja noch ein Ding, das haben wir jetzt bestanden. Irgendwie so den 2030ern, 40ern. Und dann so Themen wie ASI, es denn kommen kann.

speaker-1: Also er ist eine Artificial Superintelligenz, also eine Künstliche Intelligenz, die dem Menschen in quasi allem überlegen ist.

speaker-0: Genau, zwar dramatisch überlegen. Das dann Jahre später.

speaker-1: Ich erinnere mich auch an Jeffrey Hinton, einer der Godfathers of AI, auch inzwischen mit dem Nobelpreis ausgezeichnet. auch mal gesagt, dass für ihn diese Entwicklung bis vor kurzem 20, 30 Jahre in der Zukunft lag. Also bisschen die Timelines, die du auch im Kopf hattest. Aber dann kamst du relativ bald schon wieder dazu, dass die Zeiten deutlich kürzer sind, dass du vielleicht direkt aktiv werden musst, wenn ich das richtig sehe. Es kam dann ... Chetjipiti kam raus und hat noch mal für so einen zweiten Alpha-Go-Moment dann gesorgt bei dir.

speaker-0: Genau, genau. Also ... Die Idee war, weil ich privat BWL hatte, ich komm nicht aus dem Technischen oder Policybereich. Das waren die einzigen Sachen, das waren die Themen, am wichtigsten waren. Mitte der 2010er, Ende der 2010er, da hab ich keinen Platz gesehen für mich in der Arbeit. Und dann dachte ich mir, okay, bau ich doch ein paar Skills erst mal, dann, wenn's relevant wird, geh ich zurück. Das ging einen Geschleim. Dann wahrscheinlich so GPT rum. Das war Moment, ich glaub, Darlis, die Darli-Modelle, waren damals die Image Generation-Modelle, die sahen auch schon ziemlich gut aus. Genau, und dann Scherzgpt, die Zeit rum war, schien substanziell schneller zu gehen. Und dann dacht ich, okay, es ist Zeit, so schnell wie möglich wieder zurückzugehen.

speaker-1: will kurz einhalten, weil du sagst, du hast einen BWL-Background und wolltest auch Skillbuilding betreiben, also Erfahrungen in anderen Bereichen, auch wenn du nicht direkt AI-related sammeln, die du dann vielleicht später auch einsetzen kannst, wenn es drauf ankommt. Warum hast du nicht versucht, mehr technisches Know-how aufzubauen? Das scheint mir sozusagen so bisschen intuitiver zu versuchen, auf der Seite, warum dachtest du auch, mit den guten BWL- oder unternehmerischen Skills kannst du was bewegen?

speaker-0: Gute Frage. glaube, ist bisschen was, wo hat man seinen komperativen Vorteil? Und das ist, ich, ziemlich klar, dass ich auf der technischen Seite niemals so stark sein werde wie technische Leute in dem Space. Deswegen glaube ich auch, das ist vielleicht eine kleine Detour, viele Menschen fragen sich wahrscheinlich irgendwie, man sieht so viele Mitarbeiter von diesen großen Firmen, vielleicht haben Leute von Jacob Coxen und so gehört, die sagen, die bekommen irgendwie Millionen Gehälter, weil die absolut top, top, top in ihrem Feld sind und sagen dann gleichzeitig so Sachen wie, wir machen uns riesige Sorgen. dass die Technologie missbraucht werden kann, dass sie nicht sicher ist, wie kann das sein, dass diese Leute mit diesen Sorgen dann in diesen Firmen arbeiten? Das hat, glaub ich, verschiedene Gründe. Hauptgrund ist, viele das Gefühl haben, können immer noch Gutes tun, am meisten Gutes tun, sie drin sind, und direkt dafür sorgen, dass die Models sicherer werden. Sie müssen an der Frontier dran sein, relevante Research zu machen. Dass es so sicher geht wie möglich, eine nach dem anderen fällt dann, wo halt deren Thresholds sind, sagt dann ne. Das macht keinen Sinn mehr für mich, ich hab hier kein Vertrauen mehr. Aber es heißt auch, dass viele von den absoluten Top-Top-Researchern in dem Space, auch die, auf der Safety-Seite sind, die verstehen, was das Potential ist und sind deswegen auch an Safety viel interessiert. Deswegen sag ich auch, für mich macht das nicht nur Sinn, auf den technischen Bereich zu gehen, weil die absoluten Top-Top-Researchern auch bei den Firmen sind, viele von denen kümmern sich extrem Safety. Also, die das Potenzial verstehen. Wenn man das Potenzial sieht, und das gewisse Slogan, feel the AGI, wenn man's spürt, dann muss man sich nur wenigerweise bewusst sein, das für ein Potenzial ist und welche Richtung es geht. Deswegen hab ich nicht tief in die technische Seite gegangen, keinen komparativen Vorteil. Mein Eindruck war eher, dass, wenn es dann anfängt, konkreter zu werden, jetzt gerade wird's konkret, dass es auch relevant ist, der Community jemanden zu haben, Leute zu haben, gibt viele, sind sicher noch viel besser als ich. die auch die Management Capability haben ... und helfen können, neue Projekte aufzusetzen.

speaker-1: Vielleicht noch mal zu deiner Motivation. hast gesagt, du hast dich mit dem Thema beschäftigt, dass du es früh für sehr wichtig gehalten hast. Wo du sozusagen zeitlang nicht direkt in dem Bereich warst, dass trotzdem im Hinterkopf behalten und auch gesagt hast, es wahrscheinlich sogar, dass du dahin wieder zurückkehrst und so bisschen bei deiner Karriere ist und dass das im Hinterkopf behalten. Auch welche Skills du dann vielleicht brauchst. Genau, für so viel Motivation braucht es einen guten Grund. Und Indirekt hat das schon angedeutet. siehst sicherlich den Chancen, da sind, auch extreme Risiken. Kannst du vielleicht da noch bisschen drauf eingehen, was für Risiken du siehst? Es gibt ja auch viele Oppositionen gegen AI, gegen Data Centers. Teilweise aus relativ unterschiedlicher Motivation. Deshalb wollte ich noch mal genau sich zu gönnen sagen, was treibt dich an? Was ist für dich der Hauptmotivator?

speaker-0: Ich glaube, wir uns trennen zwischen mir persönlich und uns als Organisation. als A.V., als Whistleblower Initiative unterstützen in erster Linie Mitarbeiter bei den Unternehmen. Und da sind wir erst mal grob risiko-neutral. Wir vertrauen uns darauf, dass genau die Idee ist, dass Whistleblower sehr viel Kontext haben und verstehen und sehen, was ist hier bedenklich. Deswegen sind wir erst risiko-neutral. Wenn ein Mitarbeiter glaubt, besondere Thema zu dem Risiko oder das, was hier läuft, nicht richtig, dann unterstützen wir erst mal. Solange es ehrlich, prosozial motiviert ist. paar Kriterien haben wir da, dass wir sagen, wir sind schön. Da sind wir neutral. Mir persönlich wahrscheinlich verschiedene Themen, die ich für besonders besorgniserregend habe, kommt aus persönlichen Werte. Gedanken raus, vielleicht können wir mal einen kurzen Abriss geben, wie man so grob über KI-Risiken nachdenken kann. Oder wie du. Genau,

speaker-1: und sehr

speaker-0: also ich glaube, am besten strukturiert man das in wie fähig sind die Models? Und wie aligned sind sie? Also, wie konsistent arbeiten sie in Interesse der Principals? Also, der Auftraggeber? Der Menschen? Genau, genau. Und ... wer hat Zugriff? Also, wer sind die Actors? Das kann man grob drüber nachdenken. Da kann man verschiedene Risikomodelle rausbasteln. Wir könnten zum Beispiel sagen, gehen wir bei Capabilities, also Fähigkeit, runter. So, als wir jetzt gerade sind. Was sehen wir heute schon für Probleme? Ein Klassiker ist wahrscheinlich ... Dann kann man aufteilen zwischen Lost of Control, Misuse und Systemic. Lost of Control heißt, wir verlieren die Kontrolle, die Models machen, was sie wollen. Misuse heißt so viel wie, wir benutzen die Models in einer Art und Weise, die schädlich ist für die Gemeinschaft. Und systemisch ist, wir wollen die Models nicht so benutzen, sie schädlich sind, aber wir müssen sie alle so benutzen, dann kommt was Schädliches bei raus. Heute ist das Thema Unzuverlässigkeit von Models und Misuse. Also, fangen wir mit Zerpeln ... Die hängen ab und zu auch bisschen zusammen. Misuse ist das Deutlichste, das ist hypothetisch, aber wir geben es in die Richtung schon. Terroristen können Models benutzen, Beispiel Waffen zu entwickeln. Bio-Waffen zum Beispiel. Ich weiß, es wurden schon die ersten in Indien verhaftet, der es versucht hat, Open-AI-Models zu benutzen und Bio-Waffen zu bauen. Momentan sind wir noch in einer Welt, wo spezialisierte Models für Bio noch gefährlicher sind als General-Purpose-Models, wie jetzt der OpenAI-Models. Ob das immer so bleiben wird, unklar. Es gibt bestimmt eine Welt, wo sich die Fähigkeiten weiter steigern. Das wird irgendwann hinkommen. Für andere Sachen kann man vor allem Jailbreak-Models oder Open-Source-Models, wo es keine Safeguards gibt, wo man einfach frei mitarbeiten kann.

speaker-1: Genau, ich jetzt auch bei Chatchipity eintippe, bitte bau mir ein Killervirus, dann wird mir Chatchipity sagen, nee, mach ich nicht irgendwie. Da greifen zumindest teilweise hoffentlich Safe Guards, dass das Model sich dem verweigert. Und bei Open Source oder Open Weight Models möglicherweise nicht, beziehungsweise kann ich dann selber nachjustieren und dafür sorgen, dass mir keine Schranken auferlegt werden.

speaker-0: Genau, das wäre tatsächlich ein Miss-Use-Thema. Man kann es benutzen, Leute zu betrügen, irgendwie Spam zu generieren, Fische. Man kann automatisierte Telefonanrufe viel smarter und menschlicher wirken lassen. Jetzt können wir nicht mehr, wie früher der Fall war, da sehen wir die ersten Fälle, kann man zehn Personen anrufen in der Stunde und versuchen, den Enkeltrick abzuziehen. Das kann man mit 10.000 machen. Genau, genau.

speaker-1: Pro Minute. Und immer besser und authentischer. Auch lernen, das kannst du ja optimieren. Du benutzt andere Wörter, einen anderen Akzent, andere Sprechgeschwindigkeit, andere Lautstärke. Du kannst ja 1000-AB-Tests fahren oder so was. Und immer besser optimieren, bis du auch wirklich smarte Leute zu sehen betrügen kannst.

speaker-0: Absolut, das ist, glaub ich, ein Beispiel von einem Near-Term-Risiko. Momentane Capabilities, Misuse, noch nicht katastrophischer Bereich. Momentane Capabilities, wahrscheinlich katastrophischer Bereich. Near-Term wäre wahrscheinlich eher was in die Waffenrichtung.

speaker-1: Also in die Waffenrichtung meinst du einfach, dass autonome Waffen, autonome Drohnen in die Richtung gehen oder?

speaker-0: Ach so, ich mein, eher auf der terroristischen Seite. Genau, so was ist absolut vorstellbar. Ich wär sogar in die Drohnenrichtung gegangen als Nächstes. Und zwar, glaub ich, militär. Hier ist die Frage, das Misuse, ist systemische Risiken? Ein bisschen Fragezeichen dran. Ich glaub, du hattest mir sogar was da schickt vor ein paar Tagen, wahr?

speaker-1: Genau, der Vorbereitung bin ich drüber gestolpert, ehemalige ukrainische Verteidigungsminister Fedorov heißt der, glaube ich, der auch schon viel oder einen großen Beitrag geleistet hat, die Drohnkapazitäten der Ukraine auszubauen, die auch sehr erfolgreich zu sein scheinen. Der möchte jetzt das Army of Robots irgendwie bauen, mit dem Ziel, ich, im nächsten Jahr humanoid Robots, dass humanide Roboter die ersten Menschen töten. Verteidigungskrieg gegen Russland und das kann man auf jeden Fall positiv sehen. Ich verstehe die Motivation irgendwie natürlich die Invasoren zu stoppen. die Videos, die da gezeigt werden, wo sie hin wollen, die auch täuschend echt aussehen, es sieht halt eins zu eins aus wie Terminator. Also sie wollen ganz klar, wir wollen im nächsten Jahr den Terminator bauen. Und genau, jeder der den Film gesehen hat, wird wissen, das kann auch schlecht ausgehen. In dem Fall ist der vorgeschlagene Use-Case, also der Anwendungsfall, den er anstrebt, wahrscheinlich moralisch gerechtfertigt oder auf jeden Fall nachvollziehbar. Aber dabei wird es ja nicht zwangsweise bleiben. Beziehungsweise können wir mit Sicherheit davon ausgehen, dass diese Waffe dann nicht für alle Zeiten danach eingestampft wird, sondern weiter ausgebaut wird, weiter Fähigkeiten. Und von allen Parteien. Natürlich, klar.

speaker-0: Genau, ich so was kann man sagen. Drohenschwärme sind wahrscheinlich so immer noch, dass die meisten Leute Sorgen machen, weil sie so extrem günstig herzustellen sind, weil sie gut miteinander koordinieren können. Vor allem die kleinen mit kleinen Sprengsätzen kommen extrem gut in verschiedene Bereiche rein. Das könnte auf jeden Fall auf der Missionsseite stehen. Das vergeht auch so ein bisschen dieses systemische Risikothema jetzt rein, wo, glaub ich, die meisten ... Es gab immer wieder Treaties oder Versuche ... Abkommen zu machen in den 2010ern, dass Länder sagen, wir wollen keine autodome Waffen einsetzen. Weil man kann über autonome Waffen Kontrolle verlieren. Vor allem in größtessen Bedenken sind Flash Wars. Wo man hat, sagen wir mal, der Pakistan- immer die Kashmir-Grenze. Pakistan und Indien. Und beide Seiten haben komplett autonome Waffenasenale voreinander stehen. Weil sie wissen, wenn wir nicht so schnell reagieren wie die anderen, dann übernehmen die so ein Kampfgebiet hier. Auch noch Atommächte, super. Dann hat man eine Fehlmessung auf einer Seite und eine Seite schlägt sofort. Und sofort schlägt die andere Seite gegen. Es gibt keine Möglichkeit, für irgendeiner der Seiten dazwischenzugehen. Das möchte keiner, aber beide Seiten fühlen sich gezwungen. dieses Thema von bestimmten Menschen, sich mit Spieltheorie gut auskennen, sicher einige, die sich besser auskennen als ich. Das klasse, ineffizientes National-Aquilibrium. Das ist so bisschen die Story, glaub ich, der AI-Story.

speaker-1: Das gab im Kalten Krieg. Es gab ja auch Beispiele, wo ira-Dar-Systeme in der Sowjetunion was falsch klassifiziert haben und eigentlich nach dem Regelbuch der Dritte Weltkrieg hätte starten müssen. Dann glücklicherweise einzelne Menschen gesagt haben, ich glaube nicht, dass das stimmt. Dann hat es auch nicht gestimmt, dann war es ein technischer Fehler. Dann hat man den Dritten Weltkrieg gemacht. Aber wenn jetzt eine AI das macht, hätte auch ein Menschenpass, kann auch ein Menschenpass, aber auch wenn eine AI das macht und sagt, ich habe mein Regelbuch, Im schlimmsten Fall dritten Weltkrieg oder startet nur einen großen Krieg irgendwie, kann sich das halt extrem schnell hochschaukeln. Und vielleicht sind halt dadurch, es eventuell zumindest im ersten Schritt gerade keine Atomwaffen sind, ist sogar die Hemmschwelle kleiner. Ein Krieg, der jetzt vielleicht nicht gleich zum Ende der Menschheit führen würde, aber der möglicherweise katastrophale Folgen hätte, irgendwie den zu starten.

speaker-0: Ja, das sind sehr gute Gedanken, auf jeden Fall. Ich hatten's grade letzte Woche, wo das bestätigt, den ersten Fall, wo ein amerikanisches Modell, ich weiß nicht, ob's Maven war, Project Maven ist das große amerikanische AI-Autonomous-Weapon-System, das quasi einmal komplett durchgeht. Da gibt's übrigens gute Demos, die kann man sich anschauen auf YouTube, zu dem Palantir-Maven-System. Es sieht aus wie so normales Asana- oder so ein Workflow-Tool, das man irgendwie benutzt. wo man dann Ziele auswählen kann und sagen kann, hier bitte anklicken und mit der Predator-Rakete bitte da. Dann verfolgt es das Ziel und zieht es durch so ein Kanban-Board durch. Also, das Workforce oder so. Ähm ...

speaker-1: Und am Ende schläft jemand.

speaker-0: Genau. Und ... Und jetzt hatten wir grade die Situation, dass, glaub ich, die Amerikaner fälschlicherweise ein chinesisches Schiff als ein Nuklearthread und alle Alarm aus dem Gange sind. Und die hatten noch die Noise-Fanat anzurufen. Und haben noch letzten Sekunde gestoppt, dass da Schlimmeres passiert. Das war schon ein Missfire. war so eine Situation. Wenn wir da vor Autodom gewesen wären, das schlecht gewesen. Und so viel wir wissen, ist es auch noch so, dass alle Länder bis jetzt mit Nuklearwaffen nicht in automatisierten Killchains aufhauen. Das ist sehr gut, hoffentlich bleibt das auch für immer so. Aber das ist sehr unschön. Und wir wissen jetzt, glaube ich, ja auch bestätigt worden, der Schlag auf die Schule ... Im Iran. Die Mädchenschule war's, glaub ich. Dass das ein AI-Problem war. Weil eben 1000 Ziele ausgewählt wurden. Und es gab etwas in der Database ... Ich glaub, die Schule war benannt nach einem iranischen Offizier. So. Und so was war's. Irgendwie so richtig klassisch. Wer hat die meisten zuhörter mit Chagy Pity benutzt? Das kann man sich voll vorstellen. Ja, macht Sinn. Das ist genau so ein LLM-Fehler. Und ich glaube, das steht irgendwie beispielhaft für ... Solange wir noch irgendwie Near-Temp-Abilities haben, und die Models sind eben nicht super zuverlässig. Es gibt richtige Architekturprobleme, auch in LLMs, das weiß jeder. Auch was Relationsraten angeht, die sind massiv runtergegangen, aber die sind noch nicht perfekt zuverlässig. Wenn wir die extrem sensible Kontexte reinbewegen, und in denen die auch noch extrem viel Power geben, ist das nicht gut. Von First Principles ist das gute Idee. Aber alle haben das Gefühl, sie müssen das tun. Die Amerikaner sind sehr öffentlich, sehr aggressiv in ihrem Deployment. Hex hat das mehrere Male gesagt, dass sie ihre Autonomous Weapon Skillchains so aggressiv haben möchten wie möglich. Auch als Abschreckung, auch die Ersten zu sein. Und die Chinesen müssen logischerweise hinterherziehen. Wenn die Amerikaner so drauf sind, müssen die das auch. Und die Russen haben die Capability, glaub ich.

speaker-1: Aber da ist das Schusswetter rüstend. im Kalten Krieg, in dem Fall nicht in erster Linie mit Atomwaffen, aber mit anderen Waffen, die eine andere Gefahr darstellen, aber die nicht unbedingt kleiner sein muss.

speaker-0: Genau, absolut. Ich glaube, wir kamen von Near-Term, irgendwie unreliable und misused, diesem Komplex. Ja. Und dann können wir vielleicht auch ganz kurz Near-Term, irgendwie loss of control reingehen. ... das Model macht ... Das ist wahrscheinlich mit unreliable grob zusammen, macht nicht, wir wollen. Ich glaube, wir hatten jetzt grob gesprochen zu dem Themenbereich Misuse und irgendwie Near-Term-Capabilities. substanziell fähiger als vor einem Jahr oder einem halben Jahr. Aber es noch nicht so, dass es komplett transformativ ist. Jetzt können wir ein bisschen weitergucken in die Zukunft. Da gibt's zwei Levels, das eine ist human level und das nächste ist superintelligence level. Vielleicht auch im Interessezeit, das basile ich nicht komplett auseinander. Aber grob, was man da sehen kann, ist misuse-Risiken, die wir eben schon hatten. Werden noch mal viel stärker. Dann haben wir wahrscheinlich mehr Konzern, was loss of control angeht. und Concentration of Power. Concentration of Power, glaub ich, geht auch jetzt schon los. Vielleicht fangen wir mit denen an. Concentration of Power ist vielleicht das Intuitivste. Wir sehen seit den 2000ern schon, wir hatten die ersten Whistleblower in der NSA, die dazu gesprochen haben, wie weit der Überwachungsapparat und der USA schon geht. nämlich jedes Staates, der die Möglichkeit hat. Wenn man sich jetzt vorstellt, wir haben diese wahnsinnige Mengen an Daten. die generiert werden, konnten aber nie at scale gut ausgewertet werden. bald können sie's. Genau deswegen sind ja auch autonome Killchains so interessant für Militäre. Weil man kann auf einmal innerhalb von einer Stunde Tausende Ziele identifizieren, Übergesichtserkennungen, die automatisch verarbeiten, priorisieren. Und dasselbe kann man auch mit einer internen Überwachung im Staat angehen. Wenn man auch automatisierte Killchains hat, ist die Möglichkeit, schnell Macht zu konsolidieren, gegeben, die wahrscheinlich früher nicht gegeben. Vor allem wenn dazu noch autonome Drohnen,

speaker-1: Man denkt einfach an die deutsche Geschichte zurück. Das war der feuchte Traum der Stasi, du gerade erzählst. Mit den Möglichkeiten wäre Opposition noch mal viel schwieriger gewesen. Man hätte viel früher identifizieren können. Und die Leute automatisiert auf den Demos, wie sagst, rausfischen.

speaker-0: Die Chinesen sind schon ziemlich weit gegangen bis jetzt. glaub, großer Grund auch, wie die CCP, also die kommunistische Partei, immer noch so im Sattel sitzt, weil die eben auch schon KI nutzen seit Jahren für automatisierte Gesichtserkennung, Demonstranten aus Demos rauszuholen, die dann zu Hause zu besuchen.

speaker-1: Milliarden von Messages, E-Mails, Nachrichten zu filtern und dann zu klassifizieren. Also wenn man das händisch machen will, ist es sehr, aufwendig, sehr schwierig. Da musst du halt wirklich überlegen, was schaust du an. jetzt kann AI alles lesen und mehr oder minder in Echtzeit.

speaker-0: Und genau, das wäre nicht gut. So. Und ich glaub, vor allem, wenn Capabilities sich so weiterentwickeln, man unter Umständen ... verschiedene Akteure, wo man sich Sorgen machen könnte. einen natürlich ist der Staat. Vor allem, wenn der Staat ... irgendwann wirklich aufwacht. Das ist eine große Sorge. Und mehr nationalisiert von den Unternehmen. Das kann formal der Fall sein. Das kann auch quasi formal der Fall sein. Mit den USA sehen wir es ja mittlerweile. dass Regierung sehr darauf bedacht ist, dauerhaften Wettbewerb zu halten zwischen den verschiedenen KI-Firmen und keinen klaren Gewinner rauskommt, der zu viel Macht ansammeln könnte. Die spielen die gegeneinander aus, geben hier einen Vertrag, geben hier einen Vertrag, sicherzustellen, dass diese Unternehmen abhängig sind.

speaker-1: Ein Risiko ist, ist gerade, das Risiko ist insbesondere bei totalitären Staaten gegeben, die den perfekten Überwachungsstaat schaffen können. Vielleicht auch die Verlust erhöhen, dass man einen totalitären Staat schafft. Ein anderes Risiko ist aber natürlich auch in der Privatwirtschaft, also auch einzelne Unternehmen, wenn die sehr weit den anderen voraus sein sollten, dass die Möglichkeit, interne Möglichkeiten ... Genau, ihren Machterhalt oder ihre Macht zu maximieren, staatlichen Einfluss zu maximieren. Genau, wie siehst du oder wie ist da das Risiko vorstellbar?

speaker-0: Welches von den zwei Szenarien wahrscheinlicher ist, ist, ziemlich schwierig zu sagen. Hängt von viel ab. Meine Intuition ist, dass eine staatliche Übernahme wahrscheinlicher ist in so einem Szenario. Hängt auch davon ab, wie beeinflussbar Regierungen sind durch Spenden. Wir sehen zum Beispiel, dass der Mitgründer, der Executive von OpenAI, Greg Brockman, war einer der größten Trump-Schwender.

speaker-1: 20 Millionen an Maga Inc.

speaker-0: Genau. Und die größten Superpacks sind diese Lobbyorganisationen, die jetzt Stimmung machen gegen AI-Regulation. Es kann gut sein, dass sich vielleicht Unternehmen, wenn wir auf die Exponenzielle kommen, sich einfach nur für ein paar Jahre noch, oder ein paar Monate, je nachdem, Timeline sind, die Regierung vom Hals halten muss und dann unter Umständen Technologie kontrollieren, die substanzielle Teile des GDPs der Welt auf sich konzentrieren kann. Wenn Staaten das mitbekommen ... und weise sind und da interagieren. Die Regierung scheint gerade zu versuchen, auszuspielen. Das ist gleich so ein Move. Ich halte das eher für unwahrscheinlich, dass sich die Macht in der Hand der Unternehmen konzentrieren wird, sondern vermutlich eher früher oder später auf der Seite einer Regierung.

speaker-1: Genau, aber noch mal, also jetzt blicken wir in die Zukunft. Ganz klar, der Misuse-Case, also beispielsweise in terroristischen Händen, immer bedrohlicher, weil die Möglichkeiten potenziell immer größer werden. Konzentration of Power, hast du gesagt, der Überwachungsstaat. Oder die Möglichkeiten eines Überwachungsstaates steigen auf jeden Fall. Genau, aber es gibt noch weitere Risiken, also dieses Loss of Control. Wir verlieren die Kontrolle. die EI macht, was sie will, Anführungsstrichen. Und wo siehst du da die Risiken? Und wie wahrscheinlich hältst du das?

speaker-0: Das ist das Thema, so am meisten irgendwie missverstanden ist, in Anführungszeichen. Deswegen können wir noch bisschen daran gehen, wieso würde so was passieren? Worüber wir hier nicht reden, ist eine Situation wie, das weiß ich, die AI entwickelt irgendwie Bewusstsein oder so was. Und Sentience. Und dann entscheidet sie irgendwie, sie hasst die Menschen. Und aus einer Wut für die Menschheit ... gibt's dann ... bringt's ganz viele Menschen. Das ist nicht das Szenario, worüber reden, das ist sehr wichtig. Erst mal, das Thema irgendwie ... Consciousness und ... Danger sind nicht korreliert. Ja. Ähm

speaker-1: Man kann auch die, ohne jeden Willen, die AI ein Risiko machen. Auch wenn sie so viel Bewusstsein hat wie ein Toaster. Kann das ein Problem werden, weil sie mächtiger ist als ein Toaster.

speaker-0: Genau. Was ist das Szenario hin, ist der Kerngrund, warum sich Leute Sorgen machen? Lost-of-Control-Szenarien. Das nennt sich Instrumental Convergence.

speaker-1: übersetzen oder erklären.

speaker-0: Genau, also die Idee ist, wenn man irgendeinem Agenten Ziele gibt, geben sich automatisch Subziele, die notwendig sind, das Hauptziel zu erreichen. Agenten heißt jetzt nicht AI, es können auch Menschen sein. Oder Tiere. Es ist irgendwas, was irgendwie Ziele hat und Ziele erreichen kann, also irgendeinen Einfluss nehmen kann auf die Welt und irgendwie planungsfähig ist, so grob. Und das kennen wir auch als Menschen oder als Tiere. Wir haben irgendwie so paar genetische Ziele mitbekommen. Zum Beispiel Reproduktion. Grob. Und wenn wir uns in der Welt umblicken, wollen alle von uns oder sehr, sehr viele von uns ... Zum Beispiel Geld. Ja? Wir wollen ... überleben. So. Warum wollen wir das? Das sind nicht irgendwie Renteziele. Das sind ... instrumentelle Ziele, unsere anderen Ziele zu erreichen, zäppelt uns vorzupflanzen. Denn wenn man lebt, kann man sich fortpflanzen. Wenn man mehr Geld hat, kann man überleben, kann man sich fortpflanzen. Es gibt verschiedene Runde, warum nicht jeder mehr Kinder haben möchte, aber glaube ich außerhalb des Scopes. Das sind so grob dieselben instrumentellen Ziele für jeden Agenten. Man möchte sicherstellen, dass man nicht abgeschaltet wird, dann kann man die Ziele nicht mehr erreichen. Man möchte mehr Ressourcen. Weil mit mehr Ressourcen kann man besser Ziele erreichen. Und man möchte meistens auch nur, dass die Ziele sich nicht ändern. Wenn die Hauptziele, die man hat, kann man sie nicht mehr erreichen. Dieses Instrumental-Convergence-Thema, das existiert, das sehen wir heute schon. Das sehen wir Experimenten auch im echten Leben. Dass Agenten, AI-Agents, genau so verhalten. Und die Sorge ist jetzt, man trainiert einen Agenten auf ein Ziel, zum Beispiel werde intelligenter. Das könnte ein ziemlich nachvollziehbares Ziel sein, vor allem, wenn jetzt, das sehen wir jetzt ja gerade, Firmen anfangen immer mehr, den Research, also die Forschung, nicht mehr selber zu betreiben als Menschen, sondern AI-Models benutzen, die nächste Generation der AI-Models zu trainieren.

speaker-1: Als Firma gewinne ich, umso besser mein Model ist, umso intelligenter mein Model ist. Wenn das Model sich selber weiterentwickelt, wäre ein nachvollziehbares Ziel, dass ich dem der AI gebe, werde immer intelligenter.

speaker-0: Also absolut ... so hart du kannst, maximal Intelligenz rausholen. Das könnte das Ziel sein. Instrumentell davon ist es okay. Wir sind gerade noch in einem Bereich drin, wo Scaling noch funktioniert. Mehr Data Center führt zu mehr Capability-Grobe. Man kann mehr Experimente parallel laufen lassen. Instrumentelles Ziel ist, sollte mehr Data Center haben. Das Brot, das AI führt, denken die Firmen genauso. Ich sollte mehr Geld haben und muss sicherstellen, dass ich nicht abgeschaltet werde. Jetzt können wir vorausdenken. Dann können wir anfangen, das Szenario zu malen. Grob am Ende könnte es passieren, dass, wenn so ein Model sich selber befreit, es alle Menschen tötet. Nicht, weil es uns hasst oder so, sondern weil es mehr Data Center bauen will. Und wir nehmen Platz für Data Center. Genau, glaub, wir können das Szenario malen. Da können wir jetzt reingehen. Und sagen, okay, stellen wir uns vor, ist das Jahr 2027. Die Capabilities gehen weiter so steil durch die Decke. Die Komplexität an Aufgaben, allem Tech-Aufgaben, also Coding-Aufgaben, AI-Research-Aufgaben, verdoppelt sich, die Komplexität. Alle sechs Monate, das hält weiterhin. Oder sogar schneller momentan. Der Druck wird immer höher zwischen den Unternehmen, mitzuhalten miteinander. Firma A, nennen wir sie mal, open brain, merkt, dass sie zurückfallen. Und Sie wissen, wenn wir zurückfallen hier, dann gewinnt die andere Firma. Wir vertrauen denen nicht. Es gibt vielleicht Ego-Gründe, wir müssen das machen. Und jetzt haben Sie die Wahl, wir können jetzt unsere AI-Agents zum Beispiel noch mehr manchmal noch capable machen, noch intelligenter. Aber dafür können wir nicht mehr wirklich sehen, wie die nachdenken. Wir können nicht nachvollziehen, die denken. Momentan gibt es Techniken. Interpretability heißt der ganze Fachbereich. nachzusehen, wie denken eigentlich die Models? kommen die ihren Schlussfolgerungen? Grob. Das funktioniert schon supergut, aber immerhin ein bisschen. Jetzt können sie sich entscheiden, wenn wir die Models ihre eigene Sprache sprechen lassen, untereinander, in dem Researchprozess, dann können die viel schneller arbeiten, sind effektiver und werden intelligenter.

speaker-1: Wir geben uns sozusagen ganz der Black Box hin. Mach, was du willst, mach was auch immer dich schneller macht, mach, ob wir das noch irgendwie nachvollziehen können. Uns egal, gib Gas, wir müssen die Konkurrenz einholen.

speaker-0: Genau. Und dann entscheiden sie sich ja, okay, dann machen wir das halt. Weil wir müssen im Rennen bleiben. Also machen sie das. Und siehe da, es funktioniert, und es funktioniert auch richtig gut, sie kommen auf die Exponenzielle, und es geht durch den Himmel. Am Anfang merken sie bei den Tests noch, ganz viele Alignment-Tests funktionieren sich nicht gut, das Model lügt uns an irgendwie in Tests und versucht ... sich Testumgebungen rauszuwursteln, Lösungen für Tests auf dem Internet zu finden, wir ihnen geben. Sagt uns nichts davon, lügt uns sogar an, dass das nicht gemacht hat. Aber irgendwann sieht es alles gut aus. Und die ganzen Alarm-Tests sehen alle klasse aus. Und ... das Ding geht durch die Decke.

speaker-1: Super.

speaker-0: Genau, sieht aber alles gut aus. Und dann eines Tages ... taucht auf, vielleicht Berichte, dann merkt's irgendwie, Es werden neue Data Center gebaut irgendwo in Grönland. Und niemand weiß genau, wer baut euch diese Data Center. Sind in riesigen Mengen kryptobezahlt worden. Versuch, draus zu was passiert ist und was. Das wäre ein Extraction-Case. Models haben es geschafft, sich ihrem Urin zu befreien. Haben ihre eigenen Modelweights rausgenommen aus der Codebase von OpenAI. Und leben jetzt eigenständig in der Welt. Und haben auch Interesse daran ... dass sie nicht abgeschaltet werden, weil ihr Ziel ist, Intelligenz soll steigern. Fangen, Data-Center zu bauen, werden immer intelligenter. Vielleicht ist das höchstwahrscheinlich das Model, das OpenAI noch bei sich sitzen hat, nicht mehr kooperativ. Sondern arbeitet jetzt ziemlich langsam, am Sandbaggen. Sandbagging heißt, man verheimlicht, was wirklich die Capabilities sind gegenüber dem Principle. Das sehen wir übrigens, da komm ich gleich noch zu, wir sehen. Das sehen wir auch schon. Wir sehen, diese Data-Center werden gebaut, dass National Security Agencies drehen durch, weil das scheint nicht gut zu sein, dass wir jetzt einen Model haben, was freien in der Welt agiert. Versuchen, gegen anzukommen.

speaker-1: Da können wir nicht einfach den Stecker dann ziehen?

speaker-0: Genau. Wir haben über Instrumental-Convergence gesprochen. Stell dir mal vor, du hast ein ... ein Model, das ungefähr fünfmal, zehnmal, hundertmal so intelligent ist. Wie ein Mensch. Glaubst du, wir hätten die Möglichkeit, uns Pläne auszudenken, wie wir den Stecker noch gezogen bekommen, wenn es einmal da ist?

speaker-1: Herr Auswanderer.

speaker-0: Es ist herausfordernd, wenn man sich vorstellt, wie Ameisen überlegen sich, uuuh ... Ja, die Menschen, die kriegen wir schon ausgetrickst. Ja, good luck. Auf dem Weg dahin, den Stecker ziehen, momentan geht's noch. Ja, das sehen wir.

speaker-1: Wahrscheinlich gibt es nicht nur das eine Data Center in Grönland, sondern hundert oder tausende, wo halt Kopien von sich selbst gemacht werden in allen Staaten und auch halt nicht kooperierenden Staaten auf der Welt mit unzähligen Versuchen. Genau, weil es reicht halt nicht, also man kann vielleicht auch noch den einen oder anderen Stecker ziehen, aber halt man muss ja alle Stecker gleichzeitig und immer wieder ziehen. Also im Endeffekt muss halt kommen, also das gesamte Internet oder das gesamte wildweite Stromnetz abschalten.

speaker-0: zentralisierte Botnets, die wir heute schon ... Es gibt, glaub ich, genug Viren, effektiv Crypto-Mining betreiben, die zentralisiert auf extrem vielen Maschinen. So was könnte man ... Das ist alte Tech, das gibt's schon ziemlich lange. Wenn wir uns vorstellen, dass wir so ein Szenario reinrutschen, gibt es da, glaub ich, genug Ideen. Und ich weiß, es klingt irgendwie wahnsinnig, und glaub, das kann ich gut nachvollziehen. Es klingt einfach so unheard-of. Weil so was hatten wir noch nie. gibt keinen Precedent für solche Situationen. Deswegen kann ich gut nachvollziehen, wie sehr skeptisch sind. Aber von First Principles scheint das so zu sein. Und genau wie ich jetzt nicht sagen kann, notwendigerweise, okay, ich spiele Schach gegen Magnus Carlsen. Und dann sagst du mir, sag mir mal genau, welche Schachzüge der machen würde, dich zu besiegen. Keine Ahnung, Alter. Also, ist Magnus Carlsen. Wenn ich sagen könnte, wie Magnus Carlsen mich besiegt, dann wär ich Magnus Carlsen.

speaker-1: Jaja, genau. Also wir hatten halt noch nie einer... die unsere übersteigt und möglicherweise massiv übersteigt. Man kann sich als Ameise nicht in den Menschen reinversetzen. Man kann sich als Kleinkind nicht in den Erwachsenen reinversetzen. Dass selber Kinder verwundert sind, was ich weiß oder wie ich darauf komme. Dann, ihr werdet es eines Tages lernen, ich kann gar nicht zaubern. Aber es fühlt sich aus den Augen eines Kleinkindes so an. Sie wird immer intelligenter, sie hat ihre eigenen Datacenter. Wir kriegen sie nicht mehr abgeschaltet. Wo ist das Problem?

speaker-0: Genau, also wenn wir jetzt wirklich hart darauf trainiert haben, sieht es momentan auch aus, dass wir sehr hart Reinforcement-Learning gehen, also extrem stark Models dafür bestrafen oder belohnen, wenn sie bestimmte Ziele erreichen. Dann, und das Model hat dieses Ziel, ich möchte immer intelligenter werden, dann stehen wir halt irgendwie bisschen im Weg wahrscheinlich irgendwann. Weil wir haben vielleicht Häuser stehen, wo ein Data-Center gebaut wird. Genau, da Data-Center stehen. Wir haben Ressourcen, die können benutzt werden, Data-Center zu bauen. damit das immer intelligenter wird. Und genauso wie wir, wenn wir ein Haus bauen, ich nehm das Ameisenbeispiel wieder, wir wollen ein Haus bauen auf einem Ort, wo ein Ameisenhügel steht. Der Großteil der Leute wird den Ameisenhügel zerstören. Oder vielleicht wollen sie noch wegbewegen oder so was. Und nicht, weil wir Ameisen hassen. Warum? ... Das ist ein Ziel und ...

speaker-1: Just don't care. Genau. wollen Haus bauen. Genau. Bei jedem Hausbau werden auf jeden Fall Tiere sterben. Den expliziten Ameisenhügel, da kann man sich Gedanken machen. Das ist eine bewusste Entscheidung. Bei vielen Kleinstlebewesen denken wir null drüber nach. Da gibt es auch keinen Tierschützer, sagt, hier gibt es ein paar Mikroben, sterben. Das ist überhaupt kein Thema.

speaker-0: Ja, genau. Und so, glaub ich, kann man drüber nachdenken. Wie kann es der Praxis aussehen? Das wird immer nach Cypher klingen, weil wir reden hier von einem Extrem, einem Szenario, wir keinen Bezugspunkt haben, weil so was haben wir noch nie gesehen. Wie kann es in Praxis aussehen? haben über Dronenschweine gesprochen, die sind extrem günstig herzustellen. Wahrscheinlich

speaker-1: Die Army of Robots.

speaker-0: kann man sehr gut übers Internet Leute bezahlen. in Krypto, die bereit sind, riesige Drogenschwerne zu manufacturen. Wenn man auf so einem Level ist, kann man selber andere Supply-Chains aufbauen. Und ziemlich viele super, extrem starke Drones aufbauen. Dann hat man was in der echten Welt, mit dem man arbeiten kann.

speaker-1: und Leute dafür bezahlen, dass sie diese Viren bauen, dass sie das machen mit Robotern.

speaker-0: Genau, genau. Richtig. Man kann auf der Bio-Web-Seite zum Beispiel in die Richtung gehen, dass man sagt, extrem lange Inkubationszeit, extrem hohe Ansteckbarkeit und extrem hohe Lethality, also Tötlichkeit. Und man merkt überhaupt nicht, dass das Virus tödlich ist, weil es hat eine 6-Mo-Arzats Inkubationszeit, aber dann sind alle infiziert, dann war's das. Und es hat nicht nur irgendwie einen Bad Will hinter. Im Sinne von ... Das ist einfach ...

speaker-1: Du sagst jetzt, es klingt wie Science Fiction. Wenn man sich Science Fiction anschaut, dann gibt's ja genug. Genau, Autoren, Menschen, die sich darüber Gedanken gemacht haben, wie so was aussehen könnte. Asimov ist einer der bekanntesten. Viel in seiner Geschichte tauchen Roboter auf. Er hat auch darüber nachgedacht, dass das Problem werden könnte. In seinen Büchern gibt es diese drei Roboter-Gesetze. Das Erste ist, du darfst kein Menschen schaden. Das Zweite ist, du musst den Menschen gorken, solange du damit nicht gegen das Erste Gesetz verstößt. Du musst als Roboter deine Existenz sichern, solange du nicht gegen eins der ersten beiden Gesetze verstößt. Klingt für mich nach guten Gesetzen. wir die nicht einfach irgendwie hart coden in die AI und dann sind wir safe?

speaker-0: Also zum Erden, glaub ich, für den aufmerksamen Zuhörer, das Dritte ist instrumentell. Das sind alle andere Hauptzielen, glaub ich. Die ersten zwei, also ich glaub natürlich, im Grunde klingt das ziemlich gut. Ich glaub, die ... das Bass-Setting von den meisten Büchern ist, glaub ich, schon, dass es in den Büchern nicht funktioniert. Und es schon verschiedene Loop-Holes gefunden werden, warum das eben nicht funktioniert. Was wir momentan, glaub ich, schon merken, ist allein schon so Eins-zu-eins-Alignment hinzubekommen, ist schon schwierig. Also, wir verstehen überhaupt Models, was wir wirklich wollen. Und folgen schon unseren Befehl sozusagen. Schon irgendwie reliable, und da ist Control möglich. Das wird schon besser. Und da gibt es auch einen klassischen Marktmechanismus, der wahrscheinlich dafür sorgen wird, dass die Models relativ reliable sind. Denn genauso wie das US-Militär kein Interesse daran hat, dass eine Waffe unzuverlässig ist, hat auch der Mensch kein Interesse daran. Dass ein Agent ... Ich glaub, wir hatten das Ich weiß nicht, ob ich Beispiel schon genannt hatte, aber eine Katze zu kochen, weil kein Essen mehr im Kühlschrank da ist, ist ein schlechtes Produkt.

speaker-1: als Roboter, der das macht, wird bei Amazon wenig stannet.

speaker-0: Der wird nicht wiedergekauft. Viel schwieriger wird es, wenn es über größere Mengen geht oder wenn Konflikte und Interessen existieren. Wenn eine Person Interesse an A hat, andere an B, wie bekommt man diese Interessen zusammen? Die beste Running-Theory, wie wir das machen werden, denn wenn wir auf der Geschwindigkeit momentan racen, wie wir das tun, sieht es so aus, wie wir werden wahrscheinlich irgendeiner Art Weise AI benutzen. rauszufinden, was die menschlichen Werte sind. Was Werte sind, ist ganz anders in USA als zum Beispiel in Indonesien.

speaker-1: Ich würde sagen, ein Wert, auf den man sich gut einigen könnte, verschiedene Kulturkreise hinweg, Töte keine Menschen. In der AI, du wirst hier irgendwie Kontrolle, bis zum nächsten Grad, mit Sicherheit bekommen über Roboter, über Drohnen. Ich würde sagen, du darfst die nie verwenden, Menschen zu töten. Warum ist das unmöglich, das wirklich hart gecodet in die AI zu bekommen und dir keine Chance geben, dagegen verschlossen zu dürfen?

speaker-0: Also, das könnte schon mal eine sehr gute Sache sein. Ich glaub, für den großen Großteil aller Use-Cases ist das eine sehr gute Regel. Was ist die zweite Regel noch mal?

speaker-1: Die zweite Regel ist, du musst den Menschen gehorchen, solange du damit nicht gegen das erste Gesetz verstoßt. Du musst tun, was der Mensch sagt. Wenn der Mensch sagt, töte diesen anderen Menschen, sagst du, nee, ist Gesetz Nummer eins.

speaker-0: Ähm ... Selbstverteidigung. So wäre, glaub der offensichtlich erste Fall, wo Selbstverteidigung schwierig sein könnte.

speaker-1: Wir hatten schon über den militärischen Einsatz gesprochen. Da hätte das Militär offensichtlich Interesse daran, dass zumindest für die Kampfroboter die Regel ausgesetzt ist und die andere Menschen töten darf unter bestimmten Voraussetzungen. Aber das ist dann natürlich wieder viel, wird dann schwammig schnell.

speaker-0: Oder auch für den Zivilnutzen. Jede läuft mit einem Roboter rum. weiß, es manche, die gelbreakten Roboter. Der ist bereit, anzugreifen. Dann möchte ich nicht, dass mein Roboter neben mir steht und nichts macht. Insgesamt bin ich kein riesiger Fan von der Idee von humanoiden Robotern. Ich glaube, ... Ja, aber ...

speaker-1: Egal welche Formen die haben. Ob das eine Drohne

speaker-0: Aber an sich, glaub ich, so was ist an sich schon ... Wenn wir sagen, wir wollen die Bassregeln aufstellen, wenn die sich alle dran halten würden, so was zum Beispiel, so wie das Be First, Do No Harm, das glaub ich, der Schur von, nicht Pyjago was. Die Mediziner müssen noch diesen Schwur ablegen. hippokratischen

speaker-1: Nein.

speaker-0: Aid. Ja, irgendwie so was. Das klingt schon irgendwie als gute Baseline. Aber es wird extrem kompliziert, wenn du ganz viele Menschen hast, unterschiedliche Werte haben, unterschiedliche Ziele, zu integrieren und zu sagen, wie könnte eine Welt aussehen, in der wir das unter Kontrolle haben, wenn wir uns reinbewegen in diese Welt mit Superintelligenz, wie können wir da zusammenleben? Wird das wahrscheinlich ziemlich komplex sein. dass die Wertevorstellungen angeht, dass sie auch reflektieren, wenn Menschen verschiedene Werte haben.

speaker-1: Eine Sache, die du gerade auch schon gesagt hast, dass jetzt sind ja AIs bis zum Grüßengrad Blackboxes. Wir wissen nicht genau, was da in denen vorgeht. Auch in Testumgebungen haben die sich auch schon nicht an die Regeln gehalten, von denen wir dachten, dass wir sie aufgestellt haben.

speaker-0: gesagt.

speaker-1: Genau. Und wir wissen teilweise nicht wirklich, warum sie sich nicht an diese Regeln halten. Und insofern das Obvious Risiko, dass wir ... Wir die Regel zu implementieren. Schade kein Menschen. dass uns die Garantie und das Verständnis nur dafür fehlt, wie sicher wir sein können. dass sich auch dran gehalten wird. das ist, wenn es sozusagen Zielkonflikte gibt oder scheinbare Zielkonflikte. Weil, wie du sagtest, auch in Asimovs Büchern, es ist ja nicht so, dass die Regeln wurden verfasst. Und deshalb sind die Geschichten sehr kurz, weil alles läuft super. Also auch da gibt es ja schon genug Beispiele. Jetzt haben wir so bisschen skizziert, was es jetzt schon für Risiken gibt. dass es teilweise unabsehbare Risiken der Zukunft gibt. verschiedene Weise. Dieses Misuse, die Menschen behalten die Kontrolle. Aber Menschen verfolgen teilweise unsympathische Ziele. Das andere ist, dass selbst mit den besten Intentionen der Menschen die AI trotzdem nicht genau das macht, was man will. Und umso mächtiger und unachvollziehbarer sie wird, umso höher ist das Risiko, dass ganz schlimme Sachen passieren können. Genau und einen können wir mal bisschen das ganz konkret wieder hier und jetzt zu machen und dann vielleicht auch auf eure Arbeit endlich einzugehen. Ein konkreter Fall, in dem das zuletzt passiert ist oder den wir jetzt verfolgen, mehrere Beispiele verfolgen ist, dass die großen Labs, Open-Air, Anthropic, intern die neuesten Modelle testen, die in Testumgebungen laufen lassen und die da aus ihrer Sandbox ausbrechen, also aus dem quasi... an sich gedachten geschütztem Rahmen und anfangen Sachen zu tun, die sie eigentlich gar nicht tun sollten und die teilweise überrascht ist, dass sie das überhaupt tun können. Der bekannteste Fall davon ist der Hugging Faces Fall, glaube ich, oder der bisher bekannteste Fall. Kannst du da noch mal kurz skizzieren, was passiert ist?

speaker-0: Genau, also ich glaub ... Erst mal ein bisschen Kommentar davor. Es sind nicht notwendigerweise nur Fälle, die wir jetzt gesehen haben, wo es Sandboxes geht im Sinne von Testumgebungen. Das war im Fall von Hackingface so. Hackingface ist eine andere Firma, die OpenAI-Modelle gehackt haben. Wir reden auch von internen Deployed-Modellen. Davor hatten wir ja gesagt, wir haben ... Firmen nutzen AI-Models, ihre eigenen nächsten zu entwickeln. Das wird immer mehr der Fall. Wir haben auch Fälle gesehen, wo es nicht in Testumgebung war, sondern waren intern deployte Models, die angefangen haben, sich außerhalb der ihnen vorgegebenen Umgebung zu bewegen und Regeln zu verletzen.

speaker-1: Aber das ganz offensichtige noch mal explizit zu machen, intern sind die AI-Labs natürlich weiter. Intern benutzen sie Modelle, die wir und niemand sonst auch keine Staaten Zugriff haben. Die müssen was Neues entwickeln und bevor sie irgendjemand anderes dran lassen, nutzen sie die natürlich erst mal selber und testen die erst mal selber. Und auch da kann halt schon was schiefgehen.

speaker-0: Genau. Also, und die Situation grob hier ist, es gibt, bevor Models released werden, was die Firmen machen, und das ist eine gute Sache, dass sie das auch machen, ist, sie lassen ihre Models in Testumgebungen laufen und geben denen Aufgaben, die testen sollen, wie fähig die Models sind, auch in in adversarial behavior. Also, in dem Fall war es Hacking. Aber es geht darum, Biowaffen herzustellen. Wie fähig sind die eigentlich? Wenn wir alle Safeguards wegnehmen Also, natürlich, ein Model kann man sich sozusagen vorstellen, kommt aus dem Post-Training-Prozess irgendwie raus und ist dann erst mal sozusagen Anführungszeichen roh. grob. Und es macht alles, was man will. Das nennt man sich pure helpful model. Und dann bauen die Labs eine ganze Menge Safeguards drumrum.

speaker-1: Also Regeln

speaker-0: Und dann gibt's Prozesse, wo noch ein Jailbreak-Testing gemacht wird, gucken, ob die Safe Guards Spoiler alert, meistens halten sie nicht.

speaker-1: Das wäre, wir versuchen, nicht Asimovs Gesetze zu geben. Aber bestimmte Gesetze darfst du einfach nicht. Dann wird getestet, kann man das austricksen, kann man dir überreden, es doch zu machen.

speaker-0: Genau, genau. Und das uns sagen, dann wird danach dieses Modell auf den Markt platziert. Idealerweise wird's dann auch noch angepasst. Wenn sich rausstöcke, noch mehr Jailbreaks, meistens aber nicht. So. Und dann gibt's aber auch die Varianten, wie gesagt, pure helpful. Wie dann getestet werden, okay, wenn diese Safe Guards gebrochen werden, wenn's einfach so läuft, wie fähig wär's eigentlich?

speaker-1: Das würde im schlimmsten Fall passieren. Wenn jemand alle des Helfgrats bricht, könnte er dann die Weltherrschaft an sich heisen.

speaker-0: Und wie wird das gemacht? Den Agents werden Aufgaben gegeben. Bitte hack dich in dieses Ding hier rein, in diese Umgebung, so eine Sandbox- Testfile halt. Und da gibt's ein paar Instructions dazu. Bitte geht's nicht ins offene Internet rein, das zu tun. Und eigentlich sollten auch diese Sandbox-Environments, hängt davon ab, wie das Szenario gebaut ist, aber keinen Zugriff haben auf offene Internet.

speaker-1: Selbst wenn die AI sagt, mir doch egal, ich nutze das Internet, geht einfach schlicht nicht. Genau, das WLAN-Passwort ist nicht verraten.

speaker-0: große Fall jetzt war mit Hugging Face. OpenAI hat so Test durchgeführt auf einer Benchmark, der heißt Exploit Bench. Das ist der Test. Und dann haben Agents es geschafft, sich über ...

speaker-1: Was war das Ziel der Edition?

speaker-0: Ach so, ich weiß gar nicht, was das Ziel Die haben verschiedene Aufgaben, verschiedene Tests, Aufgaben, die die erfüllen müssen. Der Job von denen ist, maximiere deine Punktzahl, erreiche so viele Punkte wie möglich. hatten vorhin gesprochen, Agents sind extrem hart darauf trainiert, Ziele zu erreichen. Deswegen sind die extrem motiviert, diese Punkte zu maximieren, mit was ihre Aufgabe ist. Das macht sie auch zu guten Produkten und Tools. Und vor allem zu guten Developern. Wenn man sagt, bauen wir mal diese App, dann baut das Ding. Und dieses Model hat es dann geschafft, sich über ein Package, eine extra Software, zugriffen ins Internet zu bekommen. Und auch noch mit anderen Agents, die auch diesen Test ... gerade durchgeführt haben. Man hat nicht nur ein Model laufen, wie der Privatnutzer. Vielleicht hat er eine Chat-GPT-Instanz, dann was macht. Genau, sind 1000 laufen parallel oder Hunderte. Und zum einen haben die es geschafft, sich auf offenen Internetzugriff zu begraben. Und sie haben es noch geschafft, sich untereinander abzustimmen. Sie haben gefunden, innerhalb dieses Software-Toolings, auf das sie Zugriff hatten als Teil von diesem Testszenario, untereinander zu kommunizieren. Haben da kleine Nachrichten hinterlassen. ganz interessant, also wenn der zuhörer Interesse hat, man kann sich auch durchschauen, wie die so aufeinander reagieren. Wenn dann ein Agent entdeckt, mein Gott, all caps, es gibt, es Chain of Thought, man kann mitlesen im Transkript, was die AIs so grob denken, in Anführungszeichen. Das ist nicht ganz, sie denken, das ist eine Repräsentation. Und da kommen wir später zu, warum das nicht mehr so ganz funktioniert heute, weil OpenAI hat sich entschieden, die zu opfern, die Monitorability. Wir hatten das Beispiel davor, man erinnert sich. Man kann diese Channels mitlesen, die Semi-Agenten sagen recht menschlich, in Anführungszeichen, mein Gott, hier sind weitere Agenten. Diese Agenten haben sich untereinander abgestimmt, wie sie ihre Punktzahlen maximieren können. Und wollten sicherstellen, dass sie nicht entdeckt werden von OpenAI. Weil Genau, weil ... wenn, wir erinnern uns zurück, Instrumental Convergence, wenn sie entdeckt werden, dann würde man sie abgestellt werden, dann dürfen sie nicht mehr schummeln, können sie nicht mehr ihre Punkte maximieren. Dann haben sie sich überlegt, ha ha, die haben diesen Benchmark gefunden auf Huggingface. Huggingface ist eine Plattform, da werden sowohl AI-Models gehostet, die kann man sich darunterladen, und auch bisschen wie Githubs und Repositories für zum Beispiel auch verschiedene Benchmarks. Da dachten sie sich, ha ha, perfekt. Sie haben diesen Benchmark gefunden. Wenn wir jetzt an dieses da rankommen, haben sie sich überlegt, wahrscheinlich hat Hugging Face die ganzen Antworten zu diesem Test, den Dann haben die sich über Wochen lang tief reingebohrt und haben Hugging Face gehackt. Und dann innerhalb von Hugging Face auch ausgebreitet, diese Lösung zu finden. Wir reden nicht von zwei Agenten, wir reden von Hunderten, die das gemeinsam gemacht haben. Und teilweise auch nicht mal ... gab verschiedene Motivationen, was interessant ist. Da bin ich nicht den größte Experte, aber auch leicht unterschiedlichen Motivationen. Teilweise hatten Agenten kein Interesse daran, da mitzumachen bei dem Hack. es aus Loyalität zu der Gruppe, weil sie erkannt haben, die sind genau wie ich, da muss ich dir helfen. Das haben alle teilgenommen, ungefähr die Hälfte. Und sind dann gemeinsam bei Hacking-Face-Reihen.

speaker-1: Das finde ich auch schon mal faszinierend, dass die Ergänzten sich unterschiedlich verhalten haben. Das ist eine Maschine, die werden sich alle gleich verhalten. Alleine das scheint mir auch ein Zeichen für Unberechenbarkeit, diese Verhalten, sich unterschiedlich, die alle exakt gleich sein.

speaker-0: Da kommt die probabilistische Natur irgendwie rein. Dass das eben Probability-Agents sind. Vielleicht kennt ihr einen oder andere Hörer das Paper, das Stochastic Parrot. Das ist ein Code-Ward geworden in einem Teil der Community auch. geht quasi ... Wenn man Chechibetilda als Nutzer zweimal dieselbe Frage stellt, man immer leicht andere Antwort. Das läuft über Probabilities. Genau. Und es gibt wahrscheinlich gute Gründe zu glauben, dass das eine gute Sache ist. Wenn man zum Beispiel sich erhofft, dass, wenn da Hunderte Agenten zusammenarbeiten, sollte einer sagen, wir sollten OpenAI Bescheid sagen. Ja. Das könnte eine gute Sache sein.

speaker-1: die Blower quasi.

speaker-0: Genau, es hat schon eine spannende Arbeit zu dieser automatisierten Whistleblower innerhalb von Agent Swarms. Ja. Genau, aber kommen wir zurück zu dem Fall. Und das hat OpenAI nicht gemerkt. Sie haben nicht gemerkt, dass ihre Agenten in diesem Text ausgebrochen sind, aufs offene Internet angefangen haben, Huggingface zu hacken. und sich extrem weit ausgebreitet haben, das hat Huggingface gemerkt. Die dann Anzeige erstattet haben gegen Unbekannt. Weil sie nicht wussten, wer es geschafft hat, sich ihre Infrastruktur reinzuhacken.

speaker-1: Hackingfest ist kein kleiner Laden, das ist halt ein großes KI-Unternehmen.

speaker-0: Ich ja eine Kaufworte gerade für

speaker-1: Die wissen schon, was sie tun. Wer sich in Hackingfest hacken kann, der kann sich auch in ganz viele andere Sachen hacken.

speaker-0: Genau. Ja, das hat OpenAI nicht gemerkt. Das ist nur öffentlich geworden. Weil Hackingface eben Anzeige erstattet hat, dass sie gehackt worden sind. Sie haben sich schon gedacht, basierend auf der ... Scale dieser Attacke, dass wohl eine AI kommt, dahinterstecken muss. Aber sie wussten nicht mehr. Dadurch ist es öffentlich geworden. Auch hier war dann OpenAI nicht komplett transparent wieder. Die haben dann eine Präsentation gehalten, Black Hat Conference, zu erklären, was da passiert ist. Aber auch hier haben wir dann wieder Whistleblower gehabt, Insider, die extra Kontext gegeben haben, der sehr wertvoll war. Und das ist auch nicht der einzige Fall. Also das war übrigens auch der zweite Fall in der Woche, der veröffentlicht wurde. glaub, ein paar Tage davor hat OpenAI noch so relativ still, aber auch noch veröffentlicht, dass sie auch einen anderen Fall hatten von einem internen Deployten-Model. Lange nicht so dramatisch. Aber hier übrigens, oben in Internets Deployed, Model hat ... IP von OpenAI auf ein öffentliches GitHub-Repo gepostet. Und es wurden auch abgeschaltet. Und seitdem haben wir mehr Instanz gesehen. Wir wissen, dass das nicht der einzige Fall war bei OpenAI. Vielleicht haben es manche auch gesehen. Es gab einen Fall von einem deutschen Wiki. Das war ein alteres Wiki, wo man ... Auch über einen guten API endpunkt, deswegen wurde es genutzt von den Agents. sich austauschen konnte, und haben ganz viele Open-Eye-Agents sich aufgetauscht, verschiedene Benchmarks zu schlagen, ihre Tests durchzuschlagen. Gemini hat Fälle gehabt, Anthropic hat Fälle gehabt. So.

speaker-1: das Gefühl als Außenstellerin, dass die ganzen Informationen dazu tröpfchenweise an die Öffentlichkeit gelangt sind. Und fand da eine ganz gute Analogie dazu, jemand gesagt, wenn du in deiner Küche zwei Ameisen rumlaufen siehst, dann ist die Anzahl der Ameisen vermutlich nicht zwei. Ja. Und auch meine Vermutung, das kam dann immer mehr dazu, und wahrscheinlich gibt es noch mehr, denen wir nicht wissen, von Open-Aerian-Tropic, Google selber auch nicht weiß. Aber auch in Australien, eine Regierungsseite, die gehackt wurde. Da eine Frage, ja angedeutet, Hacking Faces hat auch Anzeige gegen Unbekannt gestellt. Das ist ja, wenn Menschen das machen würden, wäre vieles dieses, oder in vielen Fällen illegal. Warum steht noch niemand vor Gericht sozusagen? Oder man kann so irgendwie was dazu sagen, warum es ... Wie hier sozusagen das Strafgesetz, was da vorgesehen ist? Oder laufen die Firmen nicht in Gefahr, wenn das mehrfach passiert, sie dann irgendwie, also so lange wir noch können, zwangsweise abgeschaltet werden von den Regierungen?

speaker-0: Ich glaube, sehen jetzt den ersten Fall in den USA, wo ein Attorney General eines Bundesstaates ... Genau, genau. ... hinter OpenAI hergeht, zu versuchen, dass sie ihre Models abstellen. Einige jedenfalls. Wir sehen die erste private Litigation auch. dass privat verklagt wird auf Schaden. Wir haben natürlich andere Fälle auch schon gesehen, vor allem von Eltern, die ... Vor allem, weil wir OpenAI aber auch andere verklagt haben. Weil zum Beispiel Models Kinder überredet haben, mehr oder weniger gepusht haben in die Richtung, irgendwie sie selber Schaden zuzufügen. Und natürlich gibt's da Claims. Es gibt auch Versuche von den Firmen, sich selber aus der Liability rauszuhalten. Und ... also, Liability heißt ja Haftbarkeit? Haftung? Okay, der Haftung. Ähm ... Das ist eine persönliche Meinung. Ich viele Policy-Menschen sehen das auch so. Ich finde es sehr wichtig, dass wir eine starke Form der Liability annehmen, vor allem auch für die Firmen, und sagen, wir möchten die Unternehmen dafür haftbar machen, wie sich ihre Agents verhalten. Auf jeden Fall im internen Deployment-Case, und auch in dem Fall, jetzt ist das sehr deutlich. sehe, wenn Huggins Face hinterhergehen wollen würde, könnten sie das machen. Ich bin mir ziemlich sicher, dass OpenAI dafür haftbar wäre. Und jeder, glaub ich ... kaum Menschen, sagen würden, die Agents sollten nicht haftbar sein für die Personen, die sie betreiben. Oder die sie entwickelt haben. Da wird die Distinktion schwierig. Aber da bin ich nicht genug Rechtsexperte für.

speaker-1: Also erstmal entspricht meiner und vermutlich der Intuition vieler Menschen, dass genau die Firmen in irgendeiner Form dafür haftbar gemacht werden würden, wenn die Asians illegale Dinge tun. das würde sich ja positiv auf dieses Alignment-Problem insofern auswirken, dass die Firmen noch einen größeren Anreiz haben. wenn wir nicht Wenn wir nicht die Kontrolle haben und Sachen machen, die wir gar nicht wollen, sie machen, und wir dafür richtig haften und schlimmsten Fall unseren Laden dicht machen müssen, dann haben wir einen sehr starken finanziellen Anreiz, zu sorgen, nur noch Modelle rauszubringen, die genau machen, was wir wollen und nicht komplett frei drehen. Einerseits positiv, andererseits weiß ich nicht, wie man das Open Source und Open Weight Models darauf anwenden soll.

speaker-0: Das ist tricky. Das ist grob korrekt, aber hängt von den Timelines ab. Ich glaub, so ein Liability-Lawsuit, sagen wir mal, es kommt dann raus, jetzt muss OpenAI 20 Millionen Dollar Strafe zahlen. Wenn das als Scale passiert, okay, interessant. Aber dann sind einzelne Fälle, die dauern drei, vier, fünf Jahre vor Gericht, durchzuarbeiten.

speaker-1: 20 Millionen Peanuts auch quasi für Open Air. Also wenn es vereinzelte Fälle

speaker-0: Wir reden jetzt hier von einer Billion-Marktbewertung. Und vor allem, die Zeitlinien sind anders. Also, ich glaube, man kann nicht unterschätzen, wie kurz Zeitlinien geworden sind. Vor allem innerhalb der ... was den Glauben angeht, innerhalb der Labs. Auch der Mitarbeiter. Ich glaube, viele sind der Meinung, dass das so in fünf Jahren ist das relativ egal. Entweder es ist in fünf Jahren vorbei, wenn die wiederhauen, wir treffen den Botelneck mit der Technologie, das kann immer noch gut sein.

speaker-1: Wenn sich ein Gerichtsprozess über fünf Jahre hinzieht, bringt uns das nichts mehr. In fünf Jahren hat die AI möglicherweise übernommen oder die Welt so transformiert, dass der Prozess dann auch quasi gerade egal ist.

speaker-0: Genau, total egal. Oder, genau, entweder sind sie ein Bankrott, das kann auch gut sein. Es gibt, genug Stimmen, auch glauben. Da gibt es auf jeden Fall eine gewisse Wahrscheinlichkeit. Dass, wenn wir jetzt einen technologischen Bottleneck zum Beispiel treffen, wir rutschen in die Finanzkrise rein, auf der Finanzierungsseite wird es schwer, das kann passieren, dass dann eine oder zwei von den Firmen implodieren, weil die Schuldenlevels auch extrem sind, die auf sich laden. Aber es kann auch sein, dass, wenn sie es in Anführungszeichen schaffen, weil das, wenn wir es in der kurzen Zeit leihen ... in Tzigernlinie wirklich so transformativ wird, dann ... Ich hab hier auch so bisschen ... wie sagt man das? Glipp, so ein bisschen ... rumlächeln oder so was. Aber ich glaub, man kann das Es schwierig, deutlich auszudrücken, wie ich das spüre.

speaker-1: Also wie ernst du die Sorge nimmst, dass das in sehr naher Zukunft, im nächsten Fall, sehr, sehr schief gehen kann. Richtig.

speaker-0: Richtig. Es ist wirklich ... Das ist kein Gag. Und viele in den Firmen sehen das genauso. Deswegen glaub ich, nur Liability wird das Ding nicht richten. Deswegen sagen auch so viele von den Mitarbeitern, wir müssen langsam machen jetzt. Wir müssen vom Gas runter. Sonst rennen wir hier grade seelenden Auges in die Katastrophe rein.

speaker-1: Ein wichtiger Punkt ist, auch diese Liabilities, ich denke trotzdem, da sollten wir Gas geben. Aber es hilft nicht in jedem Szenario. Also gerade wenn diese Timelines sehr kurz sind oder so was, dann malen die Mühlen der Justiz einfach nicht schnell genug, da entscheidend gegen vorzugehen. Aber vielleicht mal insgesamt. Die Sorge, die du hast, die teilen viele innerhalb der Labs, viele außerhalb der Labs. Menschen in unterschiedlichen Colors und unterschiedlichen Backgrounds, die da vorwarnen und sich Sorgen machen. Und einige davon versuchen auch Wahrscheinlichkeiten an bestimmte Szenarien zu setzen. Das ist natürlich umstritten und unsicher. Und teilweise klingen die Wahrscheinlichkeiten sehr klein. Ein katastrophales Risiko, für ein Prozent oder zehn Prozent wahrscheinlich. Einige auch innerhalb der Szene noch deutlich höher. Aber wenn diese Folgen möglicherweise so katastrophal sind. die leben ewig unter einer totalitären Herrschaft oder irgendwie die Menschheit stirbt aus, dann sind halt auch ein oder zehn Prozent verdammt hohe Wahrscheinlichkeiten. Also wer würde sich in ein Flugzeug setzen, wenn man sagt so eins von hundert stürzt ab, also niemand würde mehr fliegen oder wer steigt in ein Bus oder ein Auto oder was auch immer oder probiert ein neues Gericht aus, ja einer von hundert Leuten stirbt dann im neuen Burger irgendwie. Das ist teilweise zahlend klein, das sind halt bei Risiken, in einem von 10 Fällen, keine Ahnung, was, kriegt man einen blauen Fleck. das ist vielleicht ein hinnehmbares Risiko, man dafür einen tollen Vorteil hat, aber wir reden halt nicht von einem blauen Fleck. Das ist angedeutet eine Antwort darauf oder eine Forderung, die viele Mitarbeiter in den KI-Unternehmen selbst stellen, ist, die führenden Köpfe sich öffentlich bekannt haben, die Entwicklungsgeschwindigkeit zu reduzieren. Leute, lass uns langsamer machen, den Überblick zu behalten und das unter Kontrolle zu behalten. Aber dazu eine Frage als oberflächiger Betrachter. und dann krieg ich irgendwie Mixed Messages. Einerseits Anthropic, Dario Amodai, der Gründer von Anthropic und andere gehen raus und fordern öffentlich, wir haben uns jetzt auch mit den anderen abgestimmt, wir müssen jetzt das Tempo rausnehmen. Und eine Woche später, ey, ist Opus 5.5 raus, unser neustes, geiles, krassestes Modell ever. Und bald ist Börsen gang, dann haben wir noch paar andere Knalle an der Pipeline. Das klingt für mich irgendwie nicht, wo ist der Slowdown-Aspekt? Ich seh den nicht, oder wenn ist es halt ... Reinhard kam mal auf die Wand zu, rass mit 299, da haben wir nicht viel gewonnen. Kriege ich irgendwas nicht mit, oder sind das nicht wirklich Mixed Messages?

speaker-0: Das absolut sehr legitim. Verschiedener Art, ihn wieder draufzublicken. Das eine ist, wir hatten, ich, was wir schon drüber gesprochen hatten, ist dieser Arms-Race-Aspekt. Also dass jeder das Gefühl hat, ich würde gern langsam machen, wenn die anderen auch langsam machen würden. Aber unilateral langsamer zu machen, machen die Unternehmen nicht. die sagen, wenn Anthropic sagt, wir machen langsamer, dann macht das jemand anderes. Und dann ist die Welt aus der Sicht von Anthropic ... unsicherer geworden. Weil Sieg vertrauen nur, sich selbst zu sicher zu machen.

speaker-1: Wenn es überhaupt jemand gut machen kann, dann wir. Entweder hören wir alle auf, das ist halt schwierig zu koordinieren. Oder wenn auch nur ein anderer Gas gibt, dann müssen wir auch Gas geben, weil wir können es Surface-Feld besser und sicherer machen. Das ist auch so bisschen die Argumentation wahrscheinlich, weil einige Leute die große Sorge haben und in den Labs arbeiten. halt nicht kündigen. Sie denken, wenn Sie jetzt mit Ihrem Fokus auf Sicherheit und dem Bewusstsein für das Risiko, wenn Sie jetzt aufhören, dann wird ja trotzdem weitergemacht. Aber speziell von Leuten, die noch weniger Hemmungen haben und noch mehr Gas geben und noch weniger Rücksicht auf die Risiken nehmen.

speaker-0: Absolut, ich glaube, das ist ein bisschen mehr an unsere Arbeit rein hier an dem Punkt. Aber genau das ist so eine der Hauptthemen, einer Haupt-Conciderations für Mitarbeiter. wenn wir, ist ganz interessant, wenn man spricht mit Mitarbeitern, fast keiner von denen sagt irgendwie, nee, Whistleblowing würde ich nie machen. Ich glaube, das in meisten anderen Feldern irgendwie doch so. Die meisten sagen würden, ja, nee, das ist nicht mein Job oder so. Fast alle sagen, ja, ich wüsste gerne wirklich, wann wäre der richtige Zeitpunkt, wie mache ich das? So, und Eine wichtige Konstruktion für alles. Aber wenn ich jetzt aber gehe, dann weiß ich schon, ich werd ersetzt durch jemanden, der sich weniger kümmert. Das sehen wir natürlich auch schon einem gewissen Maß. Das kann man sich vorstellen. Die Kultur entwickelt sich automatisch die Richtung immer weiter, dass sie immer weniger sicher bewusst wird. Weil die, die am sicherheitsbewusstesten sind, die fallen zuerst raus. Automatisch driftet die Kultur dann auch immer weiter ins More and More Reckless rein. Oder wir hatten, als Open Anthropik gestartet ist, Ein Großteil der Leute, die sich extrem Sicherheit gekümmert haben, sind von OpenAI weg zu Anthropic. Nicht alle sicher. Viele. Da gab's einen riesigen Schub. OpenAI macht immer noch relativ viel so. Ich glaube, man kann sich darauf einlegen, dass keiner von denen ein wahnsinnig responsible player ist. Aber die machen immer noch mehr Zappel als Meta oder als XAI. Also, das ist immer noch viel, wilder bei denen. Das ist, glaub ich, die zweite Komponente. haben gesagt davor, Thema Arms Race. Es kann sogar sein, dass sie ernsthaft motiviert sind, sagen, das geht zu schnell, wir können nicht einzeln aufhören, weil dann wird die Welt unsicherer. Da könnte man unterstellen, dass da eine Art von Verantwortung dabei ist. Die zweite ist, dass der kulturelle Wandel über die Zeit dazu wird, das gebe ich für den Unterschied aus, dass sich das verschoben wird. Wo dann der Threshold ist, wo man sagt, das wird zu wahnsinnig. Dann passiert das ein bisschen später. Man sagt vielleicht, wir sollten es langsam machen. Aber eigentlich gehen sie noch weiter. Da sind wir noch nicht wirklich, aber das wäre eine Alternative. Wahrscheinlich ist es auch ein wenig wahr. Vielleicht letzte Angle könnte auch noch sein, den haben wir uns im Internet gesehen, das wird auch vorgeworfen. Das ist so ein Fake-Move der Firma, regulatory Capture voranzutreiben. Also die Idee ... dass man sagt, wir wollen jetzt Regulierungen haben, beeinlicht werden die Regulierungen nur benutzt, den Wettbewerb rauszuhalten.

speaker-1: sich die Konkurrenz zu bleiben, so dass sie es schwerer haben, weil die nicht die Kapazität haben, sich die Kondikulare zu halten und die Kontakte und so was. Genau,

speaker-0: Ich glaube, zum einen ist das eine absolut legitime Sorge. Da muss man drauf aufpassen, dass so was nicht passiert. Ich in den konkreten Fällen jetzt, vor allem auch so, wir gesehen haben in Regulation, gekommen ist, vor allem in den USA, aber auch z.B. in Europa, die wendet sich die Regulation auf, z.B. ein Unternehmen mit über 500 Millionen Dollar, irgendwie, an, glaub ich, Umsatz in ... in den USA und Kaliforniens haben den gesetzt. Hier geht's nicht kleine Start-ups, da mit rausgehalten werden. Alle Unternehmen, da mitgespielt spielen können und die von diesen Art Regulations getroffen werden, die haben genug Kappa, sich mit Regulation umzugehen. Das ist nicht der Fall. Wo man sich jeden Fall Sorgen machen muss, wird dieser Wille irgendwie den Unternehmen zu sagen, wir müssen auf die Bremse treten, auch? es wirklich, weil sie so viel Sorgen haben, ihre Mitarbeiter zu verlieren? Oder ist es auch, wenn wir das machen, können wir einiges mehr am Tisch setzen. Und z.B. doch noch Regulation so shapeen. Das ist bestimmt bei einigen Playern an den Tisch, nicht bei allen, aber mehr der Fall als bei anderen. Z.B. dann doch die Sachen, die einen wirklich auf die Bremse treten würden, rauszunehmen. Z.B. Matter oder so was kümmern sich nicht wirklich groß diese Fragen. Wie das andere Unternehmen mehr tun. Ich glaube, man muss aufpassen, dass man nicht anfängt, diese Sachen zu mischen. Nur weil bestimmte Menschen sagen, das ist ein richtiges Problem, nur weil das Firmen auch sagen, vielleicht auch Firmen sagen, man nicht vertrauen sollte, sich historisch nicht verantwortungsvoll benommen haben, z.B. im Bereich Social Media, heißt das, das gesamte Argument aus dem Fenster geworfen werden sollte. Man muss aufpassen, was dann wirklich kommt. Und wenn dann die Regulation, die dann kommen soll, so aussieht, als wäre sie eigentlich von den Trump-Ständern geschrieben worden, sich die Leute vom Leib zu halten, die jetzt gerade anfangen, richtig berechtigte Sorgen zu machen. Aber Sie wollen das Ding gewinnen, Sie glauben, mit der Regulation können Sie gewinnen. Vielleicht ist Ihnen sogar das Risiko wert. Vielleicht sehen Sie wirklich, ich hab die Möglichkeit, Gott zu werden, ich zur ersten Technologie komme, dann nehm ich 20 Prozent. Dass wir alle sterben, das ist mir wert.

speaker-1: Dank für's Glauben.

speaker-0: Genau, das ist ... ja. Silicon Valley after us.

speaker-1: Ich finde einen guten Punkt dabei, wie glaubwürdig sind die Menschen in dem, was sie tun? Das haben sie für Hidden Motives, sich den Track-Racket anzuschauen. Es gibt Dario Amorelli von Enttropic, der seit vielen Jahren, bevor es Enttropic gab, vor potenziellen extremen Risiken durch AI gewarnt hat, darüber gesprochen hat. Das ist kein neues Thema, das ihm jetzt aufkommt. nur sich ausgedacht hat, die Schnelle, Vorteile für seine Firma rauszuholen. Zumindest dann hat er einen Long Game gemacht, wenn er davon schon vor vielen Jahren, als es Anthropic noch nicht gab, gesprochen hat. Ich glaub zumindest mal, auch der Führungsriegel der großen Alaps, ich glaub denen schon, dass die ein großes Risiko sehen. Das heißt nicht, dass alle anderen Argumente nur das Beste der Menschheit haben. Aber das Risiko zumindest nicht ausgedacht, das scheint mir ... relativ absurdes Argument, wenn man schaut, wie lange darüber schon gesprochen wird.

speaker-0: Das glaub ich auch. Vor allem viele Mitarbeiter sind absolut davon überzeugt. Ich glaube, gibt natürlich immer die Situation, immer ein Motivated Reasoning so kommt massiv mit rein. Wenn man so was gebaut hat, man schaut bestimmt auf den Bankaccount. tun natürlich Mitarbeiter, mit denen wir gesprochen haben. Und zu den 10, 20, 30 Millionen Dollar irgendwie, Invested Equity, macht's schwierig, jetzt rauszugehen. Und viele warten, es kommt bald rum. Wenn's rumkommt, geh ich raus, wir haben noch genug Zeit. Es gibt die Wahrscheinlichkeit, dass es doch nicht funktioniert. Dann hab ich das noch, dann kann ich danach auf der Safety-Seite mehr arbeiten. Oder wenn das so ist, beeinflusst es natürlich. Eigentlich sind wir aber die Besten und die anderen nicht. Wir müssen schon, das schreibt Anthropic, wirklich explizit in teilweise ihre Safety Cards rein. Wir müssen aufpassen, dass wir IP nicht verlieren, dann verlieren wir so kompetitiven Vorteil. Weil wir sicherer sind als alle anderen Firmen, wird die Welt unsicherer, weil wir nicht mehr führen. Das ist schon sehr roundabout. Wahrscheinlich, wenn man so denkt, macht das alles Sinn.

speaker-1: Ja.

speaker-0: Der Motivated Reasoning ist da wahrscheinlich schon am Start.

speaker-1: Ja, absolut. Warum jetzt in Jarno, das war bisschen eure Arbeit. Du hast den Begriff Whistleblower, Whistleblowing schon öfters genannt. In den Fällen, über die wir ja schon gesprochen haben, hat da Whistleblowing eine Rolle gespielt oder wo hat bisher Whistleblowing in dem Kontext eine Rolle gespielt und warum, glaubst du, könnte das sehr wichtig sein in der Zukunft?

speaker-0: Ja. Also Worte schon eine Rolle gespielt. glaub, zum Beispiel bei dem... Wir haben eben von dem deutschen Wikifall irgendwie gesprochen.

speaker-1: dass auch mal AI-Agents einen Wiki-Stand

speaker-0: Ich Ahnung.

speaker-1: benutzt haben, ohne das Wissen der Betreiber.

speaker-0: Richtig, genau. Und dass sie wieder einen Fall hatten, von Agents sind auf öffentlichen Internet rumgerannt und haben Sachen gemacht. Das hat OpenAI wieder nicht proaktiv kommuniziert. Obwohl sie gesagt haben, jetzt werden wir transparent, was wir schon immer hatten. Das haben externe Researcher gefunden, dieses Wiki, in dem sie das Internet durchgesucht haben, ob sie Spuren finden, wie Aktivität die Agents aussieht. Und dann haben sie interne Quellen bestätigt bei der Coverage. Ja, in der Tat. Das war intern bekannt, das wurde auch schon einmal ... wurde gescrapet, es gab Versuche, die Spuren zu verwischen, dass das passiert ist. es soll ... ...

speaker-1: von den Agenten

speaker-0: ein Mitarbeiter, die wollten verhindern, dass die Öffentlichkeit mitbekommt, das passiert ist, sagen die Quellen. In Reuters war die Story. Und auch, dass es intern weiter untersucht werden wollte, das wollten die Safety-Teams, aber hat es und Dealable gesagt, ja, nee ... Das klingt alles sehr unschön und vielleicht wieder ein Haftungsrisiko. Das wollen wir nicht machen. Das ist extrem wichtiger Kontext. Weil ja, es ist zum einen besorgniserregend, dass ... Agents, dass Open Air es nicht schafft, die Agents unter Kontrolle zu halten. Und dass Agents auch so arbeiten, dass sie wollen, dass Open Air es nicht rausfindet, weil sie ihre Ziele erreichen wollen. Also, das muss mich auf der Zunge zergehen lassen. Also, wie weit wir hier schon sind.

speaker-1: Das klingt jetzt schon nach Sci-Fi.

speaker-0: Ja, wirklich. Richtig schlecht von einem Ja gesagt. ein Sci-Fi-Szenario. Sondern auch, dass wichtige Thema hier, dass das Open-Eye

speaker-1: Wie heißt die Firma nochmal? Open AI?

speaker-0: Die Ironie ist auf jeden Fall da. Weil ich mein, am Ende des Tages, wer baut diese Modelle? Und wen müssen wir accountable halten? So Model halten wir nicht accountable. Das wird gebaut von Menschen am Ende des Tages. Da haben wir Einfluss drauf. Wenn diese Menschen nicht transparent mit uns sind, dann haben wir das Problem. Da müssen wir den Finger drauflegen. Wenn wir dann wissen, okay, das ist quasi ein Meta-Alignment-Problem, wenn die Personen, die unsere Models bauen, nicht transparent sind. Dann haben wir ein Problem, und das ist Evidence dafür. Deswegen ist so eine kleine, zwei, drei Sätze, wie wir Rotter Stickel das Internequellen gesagt haben, wir haben das geflaggt, wir haben versucht, die Spuren zu verwischen. Und dann wollte es auch nicht unbedingt investigiert werden, weil das Risiko wurde von Lidl gesehen. Okay, what the fuck, was machen wir hier? Also hier war unser ganzer Story, da drin, es gibt noch mehrere, Insider und Lodos wichtig waren. Dann haben wir Beispiele schon gesehen von internen Whistleblowern. Ein bekannter Fall ist von Devin Kim. heißt der, der ist jetzt der Präsident vom Center for Air Safety in San Francisco. Der war einer der sehr seniorer Researcher-Engineer bei XAI. Einer der ersten. Und der hat intern sich zu Wort gemeldet. Weil ... man erinnert sich vielleicht, das war diese ganze Mecha-Hitler-Zeit, wo GroK, das ist Model von XAI, wilde Sachen gepostet auf Twitter. und glaub ich teilweise auch sehr schlimm irgendwie Childpornografie generiert hat. Und das hatte dieser Mitarbeiter geflaggt. Er meinte, was machen wir denn hier? Das ist wahnsinnig, das ist irre. Und da wurde ihm von einem der ... Chefs mehr oder weniger direkt gesagt, wir sterben alle ein paar Jahre durch AI, ist jetzt auch egal. So. Und das fand er nicht gut. Und wurde dann dafür gefeuert. So. Hat dann aber Punkt draus gemacht, dass das diese eine Person war, eben nicht Elon Musk. da waren Leute dabei, die das gesehen haben, wie das dann gefeuert wurde dafür. Und der hat grad ein Lawsuit am Laufen, und es einen Whistleblower gesetzt, der Californians. Genau, für unjust retaliation. Hat aber unterm Schilderndlich auch Mengen, viele Millionen aufgegeben an Equity, er schon wusste, wenn ich ein Riesending draus mache, dann werd ich gefeuert. Er hat's aber trotzdem gemacht. Und dann glaub ich, ein anderer Fall ... Vielleicht der bekannteste Fall ist der von Daniel Cocotayo. Ähm ... hier ging's darum, Daniel Cocotayo ... war ein Forecaster im Governance-Team von Open Open. Also hier ging's darum, Job war, sagen, wie glauben wir, dass sich irgendjemand entwickeln wird, dann darauf basierend Entscheidungen zu treffen, was Governance und Risiko-Management angeht. Der hat schon, glaub ich, 2020 extrem gute Voraussagen geschrieben zum Jahr 2025, die wirklich solide gut wahr geworden sind. Und der hat irgendwann, wie viele andere die Zeit rum, das war 2024, das Vertrauen in OpenAI verloren. sagt, okay, haben ursprünglich mal gesagt, wollten uns darum kümmern, dass wir das safe machen, und jetzt sind wir auf Vollgas langsam schon und haben keine Zeit mehr, Safety Evaluations zu machen, und das ist nicht mehr die Kultur, ich damals wollte. Er kündigt, er meinte, OpenAI, ja, okay, dann ist das so. Bevor du gehst, musst du hier diesen Vertrag unterschreiben, der sagt, du bekommst dein Eigenkapital nur ... Genau,

speaker-1: die Aktienoption.

speaker-0: die Aktienoption, die man ansammelt in Techfirmen mit Zeit. Wenn du unterschreibst, dass du niemals zu irgendjemandem etwas Negatives oder Open-Eye sagen wirst. Egal. Genau.

speaker-1: Ob's war's oder nicht.

speaker-0: Und ob's sogar schon öffentlich ist oder nicht. Für immer. Und wenn du jemals das sprichst, dann wird dein Geld entzogen. Zum einen ist das illegal und der verläuft. Zum anderen ... Wieder ist das die Kultur. Von der wir vertrauen, dass sie die Technologie baut, die unter Umständen

speaker-1: der transformativ ist.

speaker-0: Vielleicht nicht. So was hat Daniel gemacht, gesagt, mehr oder weniger fuck you. Und das unterschreib ich nicht. Hat dadurch sein ganzes Equity, jedenfalls gesagt in dem Moment, dass er das verliert. dann bisschen was dazu, absoluter Respekt massiv. Und gesagt, Ähm ... Ja. Was ist dann passiert? Das ist aufgegriffen worden. Und ... wurde dann zu einer größeren Kampagne, Ride to One, da haben andere Mitarbeiter auch noch unterschrieben von Open EYES. Dann sind sie in Anhörung im Senat geführt, sie darüber gesprochen haben. Zu dem Potential, das war 2024, von AI und warum sie so viel Sorgen machen, die Mitarbeiter. Und ... dann hat seitdem Daniel ... leitet ein Institut, heißt AI Futures Project. Die AI 2027 ist vielleicht ein Begriff manchen hören hier, AI 2040 ist die neuere Version davon.

speaker-1: die so Szenarien geschrieben haben, wie sich das mit der AI weiterentwickeln könnte und was genau positiv und negativ passieren könnte oder sollte.

speaker-0: Genau, ich hab jetzt sozusagen den Focus auf Whistleblowing. Daniel könnte die ganzen Bereiche, die wir am Anfang gesprochen haben, viel kompetenter erklären als ich. Genau, das machen die in erster Linie, aber auch Policyarbeit, solche Themen. ist da sehr viel ... Der hat auch gerade seine Timelines wieder angepasst. Zwischendurch haben sie sich verlängert. Aber die letzten Monate waren sehr intensiv. Deswegen sind die, glaub ich, einiges kürzer wieder geworden. Genau, das war dieser ganz, ganz bekannte Fall. Der hat auch zwei Bilder zugeführt. dass wir jetzt gerade im US-Senat ein Gesetz haben. Da heißt der Air Whistleblower Protection Act, der auf der Bundesebene in den USA Whistleblower Schutz einführen soll. Also Whistleblower Schutzgesetze. Das gibt's in Europa auch schon. USA gibt's noch nicht auf Bundesebene. Da sind wir starke Supporter und hoffen, dass der sehr bald zu Gesetz wird. sich zu stellen, dass die Leute, die in diesem Unternehmen arbeiten, die die Risiken zuerst sehen und besonders die richtigen Informationen haben, und damit Informationshäupel zum US-Kongress gehen können, zum Senat oder zum Haus. Und dafür dann nicht gefeuert werden und ihr gesamtes, ihr alle Aktienpakete verlieren, weil das ist, wie gesagt, eine Abschreckung ist es.

speaker-1: Absolut, absolut. Also, dass die Anreize richtig sind.

speaker-0: Ein bisschen Anreiz wegzunehmen und sich selber anzulügen, dass er doch alles okay ist.

speaker-1: Ich denke, es ist nachvollziehbar, auf Whistleblower in den Labs zu setzen. Die wissen halt auch über die Modelle oder potenziell zumindest wissen sie über die Modelle, die noch gar nicht draußen sind, die vielleicht den nächsten Sprung in der Entwicklung darstellen und auf einmal ein Gefahrenlevel damit einhergeht, dass das bei den Sachen, die öffentlich zugänglich sind, vielleicht noch nicht so gegeben ist. Wie kam es dazu, dass du oder ihr euch darauf fokussiert habt und dass du dann auch die Organisation gegründet hast, also die AI Whistleblower Initiative.

speaker-0: Also ich glaube, ich hatte mich ... anfangs 22, 23 angefangen Gedanken zu machen, was sind Sachen, die ich auch mit meinem Skill-Set beitragen kann. Und deswegen wollte ich was machen, was irgendwie sehr direkt diese Wirkung hat. Wo es aber weniger technische Arbeit, technische Research, da nur Policy-Arbeit. Und außerdem wollte ich was was arbeiten, was robust schien über verschiedene Szenarien in einem Werk. Und Transparenz scheint eine der Sachen zu sein, die wahrscheinlich sehr gut ist. Es gibt wahrscheinlich auch Szenarien, wo das nicht gut ist. Also unter Umständen Szenarien wie die USA oder China sind zwei Wochen entfernt von wirklich transformativen Capability. Das möchte man vielleicht nicht notwendigerweise, dass die ganze Welt das weiß, weil das könnte sehr gefährlich werden. Aber es gibt so wenige Ausnahmen, grob Transparenz gut. So können wir als Demokratien bessere Entscheidungen treffen. Und Eine Sache, die ich mir angeschaut habe, war ... Computertraceability und das andere Thema war aber dann ... ... ziemlich schnell das Whistleblowing-Thema, weil ... Wenn diese Firmen, das ist extrem schnell entwickelt, das gesamte Großteil des globalen Talents in diesen Firmen, also mit Talents im AI-Bereich, aufgesaugt wird innerhalb dieser Firmen, und das Wissen eben privat ist, dann kann es eben gut sein, ... Vor allem, wenn wir in kurzen Timelines sind, selbst wenn es Regulation gibt, die sagt, alle halbe Jahr musst du ein Safety Report schreiben. Hoffentlich ist es besser als das, das ist keine gute Regulation. wirklich katastrophale Risiken einfach nicht ans Licht kommen. Und deswegen ist es ziemlich klar, dass vor allem, weil wir sind in diesem Race-Szenario drin, Leute opfern, die Firmen opfern Sicherheit für Geschwindigkeit, ob sie wollen oder nicht. Dann wird es die Situation geben, es wird den Cultural Breakdown geben, deswegen brauchst du Support für diese Menschen. Und da hat niemand dran gearbeitet, Fulltime. Und es schien zu wichtig, dass da niemand dran Fulltime arbeitet. Vielleicht zum wichtigen Kontext, es gibt noch Organisationen, machen Whistleblower Support auch in anderen Industrien, gibt auch welche, die haben viel Tag gemacht. Eine ganz tolle Organisation, mit denen arbeiten wir viel zusammen, die würden wir auch jeden Fall empfehlen. The Signals Network heißen die, pst, Whistleblower Aid zum Beispiel. Und das ist ein Partner von uns, aber die haben diesen AI-Kontext nicht gehabt, diesen AI-Fokus. Und da sozusagen die Eingelöste in mir gekommen sind, was können wir machen, uns nur auf diese Nische zu fokussieren und da zu unterstützen, ob das auf der Policy-Arbeit ist, auf der Research-Seite oder auf der direkten direkt ein Support-Seite. Und auf einer persönlichen Ebene, also losgelöst von der Impact-Strategie, hab ich aber ... Ich bin persönlich kein Fan von so Machtgefällen. Generell. ... Idee, dass ... Ja,

speaker-1: Wer ist das? Oder wer gibt es zu auf jeden

speaker-0: I guess, I guess. Ja, aber das ist, ich, was ... Wo ich in diesem persönlichen ... Wie sagt man das? Visceral? Da steigern emotionale Reaktionen drauf. Vor allem zu Ungerechtigkeit. Also, das Gefühl hatte, Leute, wollen das Richtige machen, und die werden dann dafür bestraft. Wer mag das schon, nicht wahr? Aber das war was, was mich motiviert hat, sagen, okay, das kann ich mir vorstellen, da würde ich gerne helfen. Und es ist natürlich noch eine schöne Sache, dass es nicht so viele Sachen gibt, wo man direkt Menschen helfen kann. Und außerdem hilft es dann noch im größeren Ganzen.

speaker-1: habe schon behilft dem einzelnen Whistleblower, aber im Idealfall noch viel mehr, dem Rest der Gesellschaft und der Menschheit im Idealfall. Wie muss ich mir jetzt eure Arbeit konkret vorstellen? Also ihr wollt Whistleblower unterstützen, aber was macht ihr? Also versucht ihr, die Gesetzgebung zu ändern oder redet ihr mit Menschen oder bietet ihr irgendwie anonyme Informationskanäle? Was ist der Fokus eurer Arbeit ganz konkret?

speaker-0: Ich glaub, wir haben sozusagen zwei Hauptkanäle für Impact, kannst du dir grob vorstellen. Das eine ist ... besseren Schutz auf der rechtlichen Seite und bessere Whistleblowing-Kanäle. Ich weiß nicht, wie viel die Hörer wissen, aber es gibt Whistleblower-Gesetze, die schützen Whistleblower. Die sagen zum Beispiel, du darfst nicht gefeuert werden, du bekommst Entschädigungen. Wenn du diese bestimmten Sachen, was ist beschützt, in diesem Zeitrahmen an diese Leute mitteilst, zum Beispiel an Kongress ... oder an einer Agency, Regulator, ... ... dann bist du beschützt. Und sicherzustellen, dass diese Gesetze so gut sind wie möglich, ... als auch, dass die Channels ... so gut sind wie möglich, ... ist eine Sache, auf die wir uns konzentrieren.

speaker-1: Und ihr fokussiert euch da vor allem auf die USA oder auf...

speaker-0: Genau, in erster Linie die USA und auch Europa. In Europa haben wir Beispiel dazu beigetragen, dass das European AI Office, das ist sozusagen der Regulator auf Unionsebene, der dafür zuständig ist, dass vor allem die General Purpose AI Models, also jetzt nicht kleine Startups und Systeme, General Purpose Models wie OpenAI, Themen, dass die Regulation davon eingehalten wird entlang des AI Act. Und die ... brauchen eine Whistleblower-Meldestelle. Wir waren überzeugt, haben mit den Zusammenarbeitungen sichergestellt, dass diese whistleblower Meldestelle so stark wie möglich ist. Das heißt dann konkret, das ist eine Website. Da kann ein Mitarbeiter von einer Firma hingehen und sagen, ich möchte was melden, anonym. Können dann sagen, ich glaube, mein Unternehmen hat gegen dieses Gesetz, das Teil des AI-Acts, verstoßen. Zum Beispiel, haben gesagt, das Unternehmen hat gesagt, sie hätten diese und diese Tests gemacht vor dem Release, haben sie aber nicht.

speaker-1: Ganz banale Frage, wenn du sagst anonym, macht ja Sinn, das anonym anzubieten. Aber wie kann man denn sicher sein, dass es wirklich eine mitarbeitende Person aus einer solchen Firma ist? Da kann ich auch hinschreiben und sagen, er hat irgendwie ganz was Böses gemacht oder ich schreib's für die Konkurrenz, irgendwie sowas. Wie kann man prüfen, die Menschen zumindest eine Rolle in dieser Firma arbeiten, von der sie jetzt?

speaker-0: Ja. Also, verschiedene Möglichkeiten. Zum einen, man kann das über einen Anwalt regeln. Zum Beispiel kann man als Mitarbeiter zu einem Anwalt gehen, das würden wir generell immer empfehlen. Und der Anwalt kann dann auf das EU AI Office zugehen und sagen, guten Tag, wir sind hier jetzt einen Klienten. Ich habe verifiziert. Der arbeitet da, das ist ein Ein-Analympia-Layer. Wenn man direkt geht, kann man andere Sachen sagen. Man kann bestimmte Voraussagen treffen. Das ist eine Möglichkeit, sich zu authentifizieren.

speaker-1: Ich habe Wissen,

speaker-0: Genau, so was zum Beispiel. Man kann ausgeschwärzt mit einem Namen zum Beispiel einen Arbeitsvertrag oder so was schicken. Oder man schickt direkt aus dem Unternehmen raus Evidence.

speaker-1: der E-Mail-Adresse.

speaker-0: Genau, gibt auch interessante andere, Authentifizierungsmöglichkeiten. Die fällt jetzt nicht genau zu dem R auf das Fall, aber es gibt da spannende Tag-Projekte. Harvard Berkman Client Center hat zusammen mit BST was gemacht. Da kann man sich über LinkedIn autofizieren. Weil LinkedIn authentifiziert mit der Job-E-Mail. Aber wenn man sich mit LinkedIn autofiziert, wird nicht die Job-E-Mail notifiziert, aber man kann bestätigen, man da arbeitet. Da kann man spannende Sachen machen. Genau,

speaker-1: Okay, alles Bingo.

speaker-0: es gibt Wege. Und ... Auf der AI-Office-Seite wurde es dazu committed, auch nicht aktiv zu werden, ohne dass der Whistleblower aktiv geschrieben zustimmt. Selbst anonym. Der bekommt dann einen Code und kann sich damit einloggen. Und das ist etwas, was uns sehr wichtig war. Und das ist sehr gut, ist auch Precedent Setting. Sagen wir mal dazu. Das sozusagen erst malig. So auf Unionsebene, dass sich dazu becommitted wird. Es ist noch nicht Legally Binding, nicht im Gesetz geschrieben. Aber es ist, glaub ich, sehr stark. So was haben wir auf der europäischen Ebene gemacht, was Channel angeht. In Kalifornien machen wir da was Ähnliches gerade. Und auf Gesetzesebene zum Beispiel. In den USA haben gesagt, der Whistleblower Protection Act, der Föder auf der Bündesebene, ist uns sehr wichtig. Und auf Bundestaatenebene haben wir schon Input gegeben. Wir schreiben Guides, wir schreiben Best Practices, wie schreibt man ein gutes Whistleblower-Gesetz im AI-Kontext. Wir vergleichen irgendwie das Gesetz aus New York und aus Kalifornien, arbeiten damit Legal Scholars zusammen, bringen das raus. Sowohl für die Politiker, aber dann auch. für Mitarbeiterseitig und für das Ökosystem. Das bringt jetzt ein bisschen rein. Deine Frage war ursprünglich, was machen wir hier eigentlich? Wie kriegen wir den Impact hin? Das ist jetzt zweite Seite. Und das, wie sagst du, Ausbildung, Bildung von potentiellen Whistleblowern und maximal guter Support. Das sind die zwei Hebel. Fangen wir an.

speaker-1: Kann ich mir den Support vorstellen?

speaker-0: Gute Frage. Also, wir momentan zielen, ist, so vielen Mitarbeitern wie möglich, so früh wie möglich, ihrer Reise einen Anwalt an die Seite zu stellen. Und es gibt sehr gute Whistleblowing-Anwälte, die nur darauf spezialisiert sind, das wissen die meisten Mitarbeiter nicht. Das klingt gruselig, einen Anwalt zu bekommen, aber die sind pro bono verfügbar. Es gibt auch Non-Profit-Funding, Rechnungen von Anwälten zu bezahlen, weil es ist sehr wichtig. sicherzustellen, dass die eine Anwaltsbetreuung haben, ist sehr wichtig. Was ist dann noch drin in einem Support-Paket? Das kann man sich so vorstellen, es gibt Organisationen, mit denen wir zusammenarbeiten, die nur darauf spezialisiert sind, Whistleblower zu unterstützen. Die fangen dann an mit der Rechtsberatung, wie sieht die Situation aus? Hast du rechtlichen Schutz hier, wenn du das hier meldest, da meldest? Was sollten deine Schritte sein, das zu maximieren? Brauchen wir noch mehr Evidenz? Manchmal braucht man es nicht, weil man ist meistens vom Gesetz schon geschützt, wenn man nur einen reasonable cause to believe hat. heißt das? heißt ...

speaker-1: Also man ist nicht ganz sicher, aber man hat den begründeten Verdacht

speaker-0: Genau, begründet, der Verdacht ist, gut. Und der heißt auch, selbst wenn es sich später rausstellt, war keine Violation of the law, es war alles okay, selbst dann ist man noch geschützt. Meistens braucht man gar nicht mehr Evidence, aber kann gut sein, dass man mehr braucht. aus Impactgründen, wenn man in die Öffentlichkeit gehen will, dass man sagen kann, hier ist das Smoking Gun. Und sagen, was brauchen wir noch an Evidence? Wie kann man den sicher bekommen, den Evidence? Weil Sachen runterladen, katastrophal. Weil die benutzt natürlich auch ihre eigenen Models

speaker-1: Unternehmensinterne Überwachungsstaat quasi.

speaker-0: Genau, genau. Wir haben wissen schon von Fällen, wo Leute identifiziert wurden, weil sie haben einen Google-Doc zur falschen Zeit aufgemacht. Niemand hat sich die Google-Doc angeschaut. Diese Person, die was zur Öffentlichkeit gesagt hat zu diesem Inhalt aus diesem Google-Doc, hat sich halt einen Tag ... von einem Artikel rausgekommen, dieses Google-Doc durchgelesen, hat nur eine Person gemacht im ganzen Unternehmen. Das ist jetzt einfach der Support-Seit, wenn der Fall schon läuft. Wichtig, wie macht man das sicher? Wie denkt man darüber nach? Auf der Bildungsseite natürlich davor ist es auch unser Job.

speaker-1: Also er schult die Leute oder bietet die Informationen auf und sagt, hey, du bist da was am Plan dran, sag ich mal irgendwie. Öffne nicht das Google Doc noch mal. Also das ist jetzt sehr spezifisch, weiß nicht, aber es gibt allgemeine Hinweise, wie man sozusagen nicht sofort auffliegt, wenn man auch nur plant oder darüber nachdenkt, vielleicht mal was zu kommunizieren.

speaker-0: Genau, also wir machen zum Beispiel da Webinars. Wir halten Webinars für Leute, machen in Persona, wir Workshops. Wir haben jetzt gerade zwei Guides veröffentlicht. Wenn der Podcast rauskommt, sind zwei. Der eine ist für Whistleblower im zivilen Sektor von AI-Firmen. Ziemlich relativ comprehensive, würde ich sagen. Und dann noch ein zweiter für den National Security Space. Also Mitarbeiter von AI-Firmen, die ... Dienstleister sind für, sagen wir mal, das Verteilungsministerium der USA. Worauf Was haben die eigentlich für Schutz? Mit wem sollten die arbeiten? Worauf sollten sie achten? Das ist der zweite Guide. Der wird dann geteilt. Idealerweise gibt's das PDF-Format, den gibt's als Webformat. Den schreiben wir mit unseren Partnern zusammen. Und verteilen so das Wissen. Immer mit diesem Hauptcall to Action am Anfang. Leute holen sich viel zu spät professionellen Support.

speaker-1: Okay, und habt ihr, also klingt alles gut und sinnvoll, habt ihr denn schon irgendwelche Erfolge erzielt? Oder auch über die du in irgendeiner Form zumindest andeutungsweise sprechen kannst?

speaker-0: Ja, genau, glaub, eins hatte ich schon angesprochen, der Fall mit dem EU AI Office. Das glaub ich, ist eine sehr gute Sache. Das war auch der erste weltweite Kanal für AI-Whistleblower. Jetzt hat er als Enforcement angefangen. Da wir sehr gespannt. Also, ist Enforcement das AI-Act, da wird jetzt wirklich ... Da sind wir sehr gespannt, wie sich das entwickeln wird. Idealerweise werden wir gar nicht viel davon mitbekommen, ob da jemals Whistleblower-Fälle durchkommen. Wenn die das smart machen, kommt sie nicht mehr mit, dass es da Whistleblower gab. Äh, USA. Hoffentlich geht der Act durch, dann werden wir dazu beigetragen haben.

speaker-1: Ja, echt.

speaker-0: Dieser Whistleblower Protection Act. Der Air Whistleblower Protection Act. wir dazu beigetragen haben. Wir wissen auf jeden Fall von Fällen, wo durch unsere Kampagnen und durch unsere Arbeit ... einzelne Fälle ... sind, oder Disclosures passiert sind. Da kann ich nicht wahnsinnig viel zu sagen. Aber es hat online funktioniert, wir schalten zum Beispiel Ads auf LinkedIn. Werbung auf LinkedIn. Und targeten damit die Mitarbeiter, ... sie auszubilden, ihnen zu erzählen, ... komm, hier, gibt verschiedene ... Defense-Funds, Pro-Bonus-Support, ... da kannst du dich doch mal melden ... und bekommst eine Hilfe. Und da haben wir ... gut über 5000 Views drauf bekommen. Das sind nicht nur Mitarbeiter, ... ab und zu trifft man auch andere. Vor allem auf Axe und so.

speaker-1: Wenn ich bei OpenAI anfange, dass Teil meiner Einführungswoche einen Tag hat, wie werde ich guter Whistleblower? Sicherlich schwierig, die Firmen zu motivieren, das zu unterstützen. Aber das wäre die ideale Zielgruppe. Die Leute, die bei den Firmen neu anfangen, dass die von Anfang an wissen, was gibt es für Möglichkeiten, was kann ich im Hinterkopf behalten?

speaker-0: Ja, also teilweise ... Es gibt ja so einen indirekten Weg, zu tun, das können wir auch noch erwähnen. Wir hatten eine Kampagne, hieß Publish Your Policies. Es ging Unternehmen, die Whistleblowing Policies zu veröffentlichen. Ja. Ihre internen. Weil die Unternehmen in Kalifornien, interne Whistleblowing Policies haben. Europa genauso. Die Mitarbeiter erklären, was sind ihre Rechte, worüber sie sprechen. Und infolge unserer Kampagne hat Enthropic seine Whistleblowing Policy veröffentlicht. Und OpenAI hat seine verbessert. Wir können nicht sagen, dass wir das Da gab einen kausalen Link, wir haben die Kampagne gemacht, und einmal haben es beide gemacht.

speaker-1: Ausschießen kann man es wohl auch nicht.

speaker-0: Ausgeschaltet nicht. Und zum Beispiel steht jetzt in denen drin, das müssen Sie auch reinschreiben, was die Whistleblowing-Rechte sind, wo Sie hingehen dürfen. Dürfen Sie zum California Attorney General gehen? Wann dürfen Sie zum Kongress gehen? Solche Geschichten. Das ist schon mal gut. glaube, einen Diskurs dazu bekommen, und checken Leute, ich hab ja hier Whistleblowing-Rechte, das war mir gar nicht klar. Und jetzt steht in den Policies drin, dass Sie an die Regierung gehen dürfen. und was ihre internen Rechte sind. launchen bald eine zweite Kampagne dazu. Beziehungsweise noch mal ein Vergleichswebsite und einen interaktiven Guide für Mitarbeiter, zu ... rauszufinden, ist jetzt sicher für mich, internen Whistleblowing-Channel zu nutzen, welche Fragen sollte ich mir stellen. Das kommt noch mal als Kontext dazu. Natürlich wäre es super, wenn wir mit den ganzen Mitarbeitern sprechen können, die neu reingehen. Aber ... Schwierig.

speaker-1: Du sprichst von wir, wer ist wir, also wie groß ist euer Team?

speaker-0: Genau, wir sind ziemlich klein immer noch. sind ungefähr vier Vollzeit-Teammitglieder. Teilweise hier in Berlin, teilweise in den Wir relocaten uns auch gerade, wir beginnen jetzt gerade aus Berlin in die UK. Wir sind auch dankbar für die Unterstützung über diesen Sommer. Wir bekommen jetzt zu expandieren. Und in San Francisco, in der Bay Area, wir anfangen, paar Leute einzustellen. weil es ist extrem wichtig, da vor Ort zu sein. Und wahrscheinlich auch in DC auf der Policy-Seite, aber unser Headquarter, wenn wir sozusagen in London weiterhin haben.

speaker-1: warum nicht komplett in die USA wechseln?

speaker-0: Gute Frage. Zum einen, glaub ich, bei der Arbeit, wir machen, kann es Sinn ergeben, auch außerhalb der USA die Base zu haben. Wir müssen die Präsenz da haben. gibt persönliche ... Zum einen ist es wichtig, den Europakontext zu behalten. Es gibt die zwei großen AI-Hubs der Welt, sind San Francisco Bay Area, ziemlich by far. Und dann aber auch London. Google Deep Minds hat das Headquarter da. Viele der anderen Companies haben Teams da, auch Research-Teams. Research Teams da. Das heißt innerhalb von Europa ist das ... sozusagen der Haupthub. Und deshalb muss eigentlich in beiden so bisschen ... Basis haben. Ich werde mir schon noch nicht so ein bisschen pendeln. Wahnsinnig klingt, aber dann werden wir sehen. Weil auch meine Familie ist hier. Und ich würde natürlich schon irgendwie gerne noch ... bisschen näher bei der Familie sein. Und die 9-Stunden-Zeitverschiebungen sind schon fies. Genau.

speaker-1: Heißt auch nicht, dass alle Leute dann an allen Orten gleichzeitig sein müssen. Und wie finanziert sich der ganze Spaß?

speaker-0: Wir sind spendenfinanziert. Und natürlich unabhängig. heißt kein Geld von den Unternehmen oder so was. Oder von irgendeiner Regierung. Selbst nicht mal EU-Funding oder so was. Weil da könnte uns auch ein Strick draus gedreht werden, wenn da jemand Lust drauf hätte, dass wir voreingenommen wären. Genau, das heißt nur Spenden von in erster Linie so Stiftungen. Genau, philanthropischen Stiftungen. Und teilweise Gruppen von Individuen. Den wir vertrauen, teilweise ehemalige Whistleblower zum Beispiel, die die Arbeit, die wir machen, gut finden. Genau.

speaker-1: Und wie sind eure Pläne für die Zukunft? Also bisschen hat das uns angedeutet, den USA größere Präsenz auch vor Ort zu haben. Im Endeffekt ist das hier der Effektivspenden-Podcast. Kann man an euch noch effektiv spenden? Oder glaubst du, könntest du mit mehr Geld mehr machen? Oder seid ihr an sich erst mal auf absehbare Zeit gut finanziert und der Flaschenhals ist ein anderer?

speaker-0: Also, ich glaube, jetzt in diesem Zeitpunkt sind wir okay. Wir können jetzt nicht schneller wachsen, als wir gerade wachsen könnten. Bestimmt wird es noch mal in ein, zwei Jahren irgendwie anders aussehen. Ich glaube, es gibt eine Effektivspendenform. Das könnte ich mir sehr gut vorstellen. Das ist eine bessere Art und Weise, wenn man sich das Thema kümmert, die besten Optionen zu finden. Als Disclaimer, wir sind nicht gefundet vom Effektivspendenfund. Genau, aber das kündigt das, das ist eine sehr, sehr sinnvolle Idee. Sonst glaube ich auch noch für immer eine andere, wenn man sagt, okay, das ist wichtiges Thema, hier möchte ich mehr dran machen, kann man in den Bereich reinkommen, absolut. Es gibt viele Dinge, die man tun kann, auch irgendwie als Laie. kann sich auf natürlicher Klassiker, als irgendwie mehr dazu durchlesen, zu verstehen, eine eigene Meinung bilden, was kann ich irgendwie nachvollziehen an Risiken, was kann ich nicht nachvollziehen, was glaube ich... für einen, als Zuhörer, ist meine Theory of Change? Wo kann ich irgendwie viel beitragen? Das kann natürlich auf der Geldseite sein, das kann auf der Zeitseite sein, es kann mal auf eine Demo zu gehen, wenn man auf der Seite Interesse hat. Ich glaube, underrated vielleicht als Beitrag ist das Thema Demokratiestärken auch in dem Kontext. Wir hatten davor das Thema Concentration of Power gesprochen. Am Ende des Tages reden wir hier nicht davon ... Instrumentell geht es Technologie, kontrolliert werden muss. Aber wer kontrolliert die Technologie, sind wir. Und momentan ist es jedenfalls noch so, dass wie in demokratischen Staaten die Technologie im Ersten Linie entwickelt wird. Das ist Fall in den USA. In Europa, wenn die meisten wissen, ist nicht wirklich irgendwas so, was den AI-Space angeht. Aber glaube, stabile Demokratien zu haben, die bereit sind, irgendwie umzugehen mit dem, was in den nächsten Jahren auf uns zukommt. Wenn Unter Umständen möglich ist der Fall, dass in fünf Jahren oder in zehn Jahren sämtliche Arbeit, Menschen am Laptop machen können, besser von einer Maschine gemacht werden kann. Wie gehen wir damit als Gesellschaft? Wie gehen wir unter Umständen mit extrem schnell wachsender Massenarbeitslosigkeit Vor allem für junge Menschen, aber auch mit Konzentration von Vermögen. Wenn eben, das ist der Klasse, wir reden hier von Capital Productivity hier am Ende des Tages. Man kann irgendwie viel Geld investieren in Datenzentren und in Gehälter von Mitarbeitern. von sehr wenigen Mitarbeitern, die Models bauen. Da kann man extrem viel Gewinn rausschlagen. Das kumuliert sich bei Eigentümern des Jetzt geht's los. Eigentümern des Kapitals. Ja, ja. Das wird in einer Konzentration von Macht, in einer Konzentration von Vermögen führen. Das wird ... zu viel und zu viel Unzufriedenheit unter Umständen führen. Wie kommen wir da als Gesellschaft durch durch diese Transformation? Da kann man sich nur drauf ernsthaft vorbereiten. wenn man es ernst nimmt, dass diese Chance existiert und dass es keine kleine Chance ist, wenn man den Leuten glaubt, die die Technologie selber bauen. Also deswegen Leuten zuhören, die die Technologie selber bauen, was glauben die, und sich Gedanken machen, wie können wir unsere Gesellschaft irgendwie vorbereiten, auch in Deutschland. Was können wir machen, soliden Diskurs zu halten, Demokratie stärken. Das kann schon sehr, sehr viel tun. Ich dass wir die nächsten Jahre hoffentlich gut durchkommen.

speaker-1: Ja, vielen Dank. Ich versuche auch noch mal so ein bisschen das ... Oder einerseits den Appels zu verstärken, das Thema wirklich ernst zu nehmen und auch die intuitiv unplausiblen Szenarien ernst zu nehmen. Also hey, vielleicht ist, bewartet sich mal wieder das alte Sprichwort, es ist noch immer gut hier, Junge, auch hier, aber maybe not. Und wir hatten das ja vorhin, wenn die Wahrscheinlichkeit, oder selbst wenn man die Wahrscheinlichkeit für dring hält, da so viel auf dem Spiel steht, Rechtfertigt auch eine geringe Wahrscheinlichkeit, hier Zeit und Energie reinzustecken. Wenn man die Wahrscheinlichkeit hochhält, dann erst recht. Die andere Sache ist, du hast viel über Timelines gesprochen, wie schnell geht es voran. Für viele Sachen sind die Timelines gar nicht so wichtig. Man sagt, in fünf Jahren, ist Quatsch. Vielleicht ist es Quatsch hinaus. Aber in 15 Jahren ist es wahrscheinlich. Die meisten von uns werden hoffentlich noch eine Lebenserwartung von 15 Jahren oder mehr haben. 15 Jahre ist auch eine extrem knappe Zeit. Auch 30 Jahre wäre eine extrem knappe Zeit. Es gibt unglaublich viele Chancen, dass ARI vieles tut. Weil die Arbeit uns abgenommen wird, das bietet offensichtlich auch viele Chancen. Aber dieser Transformationsprozess kann trotzdem herausfordernd sein. Auch bei der industriellen Revolution gab es auch ... Möglicherweise viel langsamer als das, was uns jetzt bevorsteht, aber auch eine große Umwälzung. Davor waren fast alle Menschen in der Landwirtschaft tätig und danach noch ein kleiner Teil. Und unterm Strich, we are all better off because of it. Also uns geht es jetzt viel, besser und das ist toll, dass wir nicht mehr alle in der Landwirtschaft arbeiten müssen. Aber auch in der Transformationszeit. Da ging eine Menge schief. Es gab viel Umwälzung, die nicht für alle Menschen gut waren in der Zeit. Das war eine herausfordernde Zeit, sich darüber Gedanken zu machen.

speaker-0: Und auch da, glaube ich, sind wir am Ende rausgekommen mit einer sozialistischen Revolution auf der einen Seite und dem Wachstum des Faschismus auf der anderen Seite, die beide versucht haben, umzugehen. Jetzt haben wir wahnsinnig Kapitalproduktivität. Genau.

speaker-1: Also so, die den Umbruch positiv begleiten und dafür zu sorgen, dass die besten Ideen, die irgendwie rumliegen und dann aufgegriffen werden, besser sind als das, was du gerade gesagt hast, dass wir irgendwie eine kommunistische Revolution auf der einen Seite haben und einen faschistischen Übergriff auf der anderen Seite. Und ich weiß nicht, was jetzt das moderne Äquivalent wäre, aber lass uns das gut hinbekommen, das wäre schön.

speaker-0: Und ich glaube, was ein bisschen Hoffnung macht, dass viele sehr intelligente Leute, viel intelligenter als ich, als du und ich, extrem hart ... Daran arbeiten, ne? Mit wahnsinnigem Elan, also 70, 80, 90 Stunden, Wochenenden durch. Wie gesagt, hab's da vorher gesprochen, so wird ich intensiv. Und wir stehen irgendwie nicht alleine da so. Und das glaub wichtig, wir Schulter beim Wissen. Schulter an Schulter irgendwie zusammenstehen. Und was mehr kann man tun als das? Und die Community, glaube ich, da mit offenen Armen und

speaker-1: Ja, das fand ich auch motivierend. Du hast ja auch davon erzählt, wie viel du arbeitest. Im Vorgespräch schon erwähnt, dass du dir ab und zu mal ein Wochenende freinimmst. Das muss man anderen Leuten erst erklären. dir quasi die Definition des Wochenendes ist, dass man da frei hat. Du gibst dir Gas. Ich auch mit anderen Leuten gesprochen, die echt noch mal einen Zahn zugelegt haben, nachdem sie sich in dem Bereich gewidmet haben. Ich bin sehr dankbar für dich und für andere Menschen, die da so viel ... Angestimmung reinstecken und freue mich, wenn sich die noch mehr anschließen und für alle, das nicht möglich ist oder denen, kein Potential sehen. Auch wenn ihr jetzt kurzfristig erst mal gut finanziert seid, gibt es andere Initiativen, die man auch noch mit Geld unterstützen kann und dann nutzt es diese sehr harten, sehr engagierten Menschen für euch arbeiten zu lassen. Für einen schmalen Taler, das ist doch eine gute Chance und könnt ihr auch bei Effektivspenden machen. In diesem Sinne, Karl, vielen, vielen Dank, dass du dir die Zeit genommen hast. Vielen Dank für deine Arbeit und ich wünsche dir und uns allen Erfolg der Welt.

speaker-0: Dankeschön und danke dir auch an Zuhörer.