„Sázku na AGI bych klidně prohrál." Jan Romportl o tom, proč ji nechce vyhrát

0:00 Tak já všechny vítám u našeho speciálu z Černa AI Festivalu. Vítám vás u podcastu, kde skončí zítřek. Naším váženým hostem je Jan Romportl. Těší mě a vítám vás. S panem Honzou Romportlem jsem si termín natáčení nedomluvil, protože jsem si ho domluvil s vaším e-assistentem Fujim, což proběhlo úplně hladce.

0:33 Přiznám se, nebyl jste jediný tady součastníků, který mě odpovídali přes nějakého e-assistenta, ale rozhodně mám z toho pocit, že ten Fuji zafungoval nejlíp. Co všechno vlastně Fuji má u vás už na starosti,

0:48 co všechno zvládá? No nakonec, já to vlastně jako otevřeně řeknu, že já jsem původně Fujiho měl namyšleného daleko zajímavějc. Teď je teda důležitý pro mě hrozumět, Je to různě zásadní, že on nikdy nefejkuje moji identitu. Takže když prostě píšu já s vyménem, tak jsem to prostě já a takhle to bude navždycky a odmítám z toho jakkoliv slevit.

1:10 Takže prostě vždycky je tam důležitý i ten, že Fuji se hned v první větě představí, že je Fuji a teda vyřizuje ty věci za mě, aby prostě nedocházelo k nějakým podivnostem. Stejně nicméně zjišťuju, že vnitřně mám nějaký Mám lehký pnutí, když se tady děje. Ne, že by se něco pokazilo, ale cítím, jak se překrucuje ten mezilidský kontakt.

1:37 Ale na druhou stranu zase, co můžu dělat, když je tolik jako inbound korespondence, tak zase lepší, než to vyhostit, je tak Mít nějakou formu jako triáže. Něco předfiltruje. Prostě tomu byt někde prostě kalendář, kde jsou volný sloty a s někým to vykomunikovat je úplně přesně jako ideální tadyhle stol.

1:57 No nakonec v tuhle chvíli asi Fuji nedělá nic moc jinýho než tenhle ten typ věcí. Případně, když přichází nějaký... Takže kalendář plus e-mail. Kalendář, e-mail, ale specifický svůj vlastní mailbox, ten inbound, který mám na webu a má přes MCP přístupněný nějaký drobný věc, Ale pořád platí, že to prostě je agent, který je vystavený v tom takzvaném lethal trifecta prostředí, v tom smrtící trifecta, nebo asi trifecta by se i český dal říct, to znamená, že můžou tam v podstatě přicházet různy prompt injections, takže je velmi jako omezený, odrypaný.

2:36 Co ještě třeba dělá, je v tom poměrně jako dobré, i když prostě přijde nějaká nabídka na něco, Tak udělá vlastně nějaký background check, prostě zkontroluje třeba v případě jako podcastu nějaký jako jiný, protože píšou leciaký jako lidi a teď ne se všema by se mně třeba chtělo si jako spojovat jméno.

2:55 Takže udělá takový jako klasický research, no je to prostě jako... To jsem rád, že jsme prošli zase přes Fujiho. Ale to bylo v pohodě, prošli jste jako by v pohodě v tomhletom. Uplně totiž ještě nodenávna, vlastně Fuji byl normálně Open Claw jako agent a který běžel na, taky jsem teda podlehnul ty Mac Mini Mány, ačkoliv vím, že to je nesmysl, prostě většina lidí ty Mac Mini jsou ale absolutně zbytečný.

3:20 Není jedinej důvod, proč by měli mít Mac Mini, jenom ho vyfotit, dát ho na LinkedIn a jako vytahovat se, že mám taky Mac Mini. Ale mohlo by to klidně běžet někde na v cloudu daleko levnějc jako v cloudu na nějakým výjemku někde neviditelným nebo na nějakým Linux.

3:35 Pokud na tom nejdou nějaký lokální modely, tak to má úplně

3:38 smyslet. I kdybych znal to nejdražší Mini, který existuje, Tak stejně na něj nespustím takový rozumný modely, abych mohl reálně vykonávat tenhle typ věci. Důvod, proč jsem ho pořídil, je ten, že na něm ještě dělám testing frontendu appy, mobilní appy. Prostě v Xcodeu jako v LNAI vlastně se jako spustí jako v iPhone simulátoru jako prostě user interface té apky a vlastně jako kód přes jakoby computer control, Tak prostě realizuje testovací scénáře.

4:13 To je super věc, protože tam je potřeba ten kousíček toho Mac OS ekosystému. Ale jinak by to mohlo běžet kdekoliv jinde. Tak prostě toho běží tady. No ale ten OpenClaw, nebyl jsem s ním vlastně spokojený. Je to prostě architektonicky jako divná věc. Taky jsem tomu nikdy nepodlehl. Já se vůbec divím, že to lidi nějak takhle jako masivně prostě dávají do nějakých jakoby své pracovních workflow.

4:38 To je za mě to je fakt jenom taková jako forma nějakého jako vytahování se trošku. A má prostě špatně udělanou architekturu pro dlouhodobou paměť a tak. Takže je to takový domácí hobbyprojekt.

4:53 Vy jste někde zmínil, myslím si, že v E15, že byste si vsadil na další zrychlení AI. Na co přesně byste si teda vsadil? Vy máte, myslím, vsazeno na AGI do roku 2030, jestli jsem to správně někde dohledal?

5:09 Jo, je to zhruba tak. Já bych teďka radši tu sásku... Ještě byste to přehodnotil nebo prohrál? Já bych ji klidně jako rád prohrál v tom, že jako já jsem teď, byť jsem jako AGI fanoušek, Sinc 2007, asi něco takového, nebo ve chvíli, kdy tehdy jsem sledoval Bena Gertzla, který ten pojem vymyslel, nebo on byl už dřív v devadesátkách, ale ubyl jsem někde 2007, tak jsem byl velký fanoušek.

5:31 Dělali jsme prostě v Plzni konference, který se jmenovali Beyond AI, Artificial Golem Intelligence jako AGI, někdy kolem roku 2012 jsme tu konferenci dělali. V tu dobu já byl takový jako techno-optimista, přál jsem se, aby AGI jako přišla. A teď bych reálně fakt byl rád, aby jsme prostě řekli, pojďme teda ty schopnosti zastropit tam, kde jsou.

5:51 To jsem pochopil z vašeho úvodu tady na Fjernáje festivalu. Já si fakt myslím, že nemáme jedinej důvod dělat AGI teď už. Při nějaký vnitřní hluboký introspekci jako jedinej důvod Jako proč sehnát za AGI? Nakonec si prostě myslím, že to je jako vlastně hluboce na božensko-kulturně zakoředěná záležitost imitáci o dejí prostě z té křesťansko-judaistické tradice.

6:17 My se prostě snažíme jako Takže já bych se klidně vzdal jako jakékoliv výhry Pozastavil bych AGI na neurčito. To neznamená pozastavit AI, to znamená prostě krásným, ale trochu ortogonálním způsobem rozjet další vývoj AI kolem toho, co už teď máme.

6:46 Já právě tady pro vás mám takovou To bylo otázku připravenou, že jestli vůbec o to AGI máme usilovat, jestli by nebylo smysluplnější vlastně pracovat na těch menších nějakých specializovaných modelech, jestli to celé není jenom právě nějaká jako geopolitika nebo boj o moc, kdo první toho AGI dosádne.

7:03 Ale já jsem velmi jako by nedovedu představit i v tom případě, Geopolitický hry a nějaký nadvlády nad světem si nemyslím, že super inteligentní autonomní agent je to pravý ořechový, co já bych chtěl. Já bych prostě chtěl tu nadvládu nad světem mít třeba v extrémně jako šlapající ekonomice, extrémně rychlým vědecko-technologickým pokroku v naprosto drtivým vojenským převaze.

7:35 To jsou všechno věci, které jdou dosáhnout úzkou jako narrow AI, Takže já když budu chtít dělat výzkum rakoviny nebo lék na Alzheimera, tak já prostě k tomu nepotřebuji AGI. Naopak je to jako zbytečná voklika, protože prostě obrovské množství komputů u AGI půjde do toho faktu, že to je AGI a přijde mně, že ty algoritmické zlepšení bychom měli teda směřovat jiným směrem.

8:06 Ale vlastně je to Pokud si neřekneme, že AGI fakt nechceme, ve smyslu jako nechceme jadernýma zbraněma zničit celý svět, tak to neděláme prostě. Tak jsme se domluvili s Rusákama a dalšíma a prostě se to neděje.

8:23 Tak je to takový pad, že jsme se domluvili, že nechceme.

8:28 No je to, no právě, je to jako med-doktrína, mutual initial destruction, vzájemně zaručený zničení a vlastně podobnej snaha o podobnou doktrínu je vybudovat to i jako vlastně nad konceptem jako níčení jako těch datovejch center.

8:44 To znamenal jsem takovou predikci,

8:46 no. Takže já bych jako klidně šel tím směrem, pojďme se tam nepouštět. Jako budeme mít spoustu užitku i spoustu stresu s AI bez toho.

8:55 Vy jste k tomu použil hrozně hezkou věc s těma jelenama a myslivcem, kdy jelen ví, že myslivec ho jde zabít a radši před ním uteče, kdež je to nějakej developer, který Jeleny má rád a krmí je, tak nemusí mít ty dobré umysly a chce třeba tenhle zvykázet a postavit tam nějaký sídliště, tak nedostáváme se postupně

9:22 už jako tady do té role těch Jelenů. Já se jako by v té metaforě snažím ukázat, že to není otázka Má nás AI ráda nebo nemá nás AI ráda? To je čistě funkce schopností, capabilities. To znamená, že pokud má schopnosti dosahovat svýho cíle, ať ten cíl je jakýkoliv, tak když ty schopnosti rostou nad rámec nebo nad naše schopnosti jí v tom zabránit, tak se dostáváme v podstatě jako rukojmí tý AI.

9:57 A pokud nemáme pod kontrolou její cíle, skutečně, tak je to jako blbý. A vlastně ta metafora s Jelenem, myslivcem a nějakým developerem je právě taková, že my vlastně v případě toho developera, tam jde jenom o to, že cíle Jelena jsou prostě mimoběžný v tu chvíli s jeho vlastníma cílema. Není to žádný jako hard feelings, prostě jako musí jít pryč.

10:22 A to je přesně role, která se jako Ve chvíli, kdy AI bude dostatečně schopná, což bude velmi brzo, minimálně v oblasti pronikání do kyberprostoru a modifikováním jako toho kyberprostoru, to znamená třeba v oblasti cyber security prostě, nebo teďka zacházet... Zajištění svých vlastních zdrojů. Jo, zajištění svých vlastních zdrojů, minimálně za situace, že máme nějaké třeba sandboxy.

10:48 V těch sandboxech AI je a je to přes sandbox, to je prostě docker kontejner nějaký nebo virtual machine, Jak mě už ukázala, že v tom sandbox nechce být, že? No právě, to je totiž na tom ten nejvíc alarmující moment. Dobře, zatím není úplně super schopná, ale mně to teda přijde jako velmi impresivní na to, že ještě před pěti lety prostě jsme neměli v obyčejného chatbota, který by rozuměl větě podmět, přísudek, předmět.

11:15 A najednou si říkáme, no oni přece nakonec se jim to stejně nepodařilo se prohackovat teď do toho hugging face, jak chtěli. No ale jako přijde mi to jako dost hustýho. To znamená, přijde mi dost hustá ta schopnost, že to dokáže. To, že nezaložila někde persistentní botnet.

11:31 Kdo ví jako mimochodem, jestli založila nebo nezaložila,

11:34 protože to, že OpenAI se byli v prsa a říkali, skončilo to hugging facem, tak se najednou ukázalo, že ještě předtím tady stejná parta agentů nebo jich předchůdců prostě už jako někde nějakou obskurní německou viki jako polomrtvou už jako obhospodařovávali. Takže jako za situace, že víme, že ty schopnosti těch modelů rostou tak, Že za bílýho dne před očima jedný z top technologických firm se dokázali prohekovat ze sandboxů, Kde prostě neměli mít správně tu možnost.

12:08 Jo, jasně, jsou tam trochu chyby a nějaký bug a nepozornost. A to je vždycky, to je ve všech věcech. Takže už to umí. Když to umí, tak je otázka, jestli chce. A nám se ukázalo, že chce. A že chce velmi moc. A nejenom, že se chce prohackovat, protože by se chtěla prohackovat, ale prostě dostane nějaký banální benigní cíl typu práce s Google dokumentama, A jelikož nemá přístup prostě jako k internetu, tak si najde cestu, že prostě hackne půlku infrastruktury kolem sebe, aby tohle vyřešila.

12:41 Ale to furt není to hrozný, nebo to nejhorší. To nejhorší, že po cestě narazila na to, že to je dobrý, že to jako Čiže by se to mohlo hodit? Jo, ale to není. Já právě nechci lidi mást, aby si myslel, že ty agenti nějak updateujou svoji vlastní neuronovou sílu. Oni jsou vlastně, oni žijou třeba v tisíci rolloutech.

13:05 Každý ten agent má nějaký svůj jepičí život a prostě má nějaký budget, po který může dělat reasoning. Když ten budget vyčerpá, tak ho prostě ten systém kilne, Nebo ten agent může říct, tak já tady submituju to řešení té úlohy, kterou jsem měl a pouštím sem ten hodnotící proces, což je nějaký program, který hodnotí úspěšnost, jak ten agent to splnil.

13:30 A to je zase konec životního cyklu toho agenta. A oni prostě se ukázali, že vše fungovalo jak kamikaze. Prostě ty agenti, kterým třeba zbývalo už jenom 20% reasoning budžetu, Tak byli draftovaný normálně jako agentama, kteří na message board psali, komu z vás dochází budget a je ochotnej se obětovat, aby udělal Tripwire, nástražnej drát na toho, na ten hodnotící proces.

13:54 To znamená, že ten agent, on záměrně submitne blbý řešení, ale podaří se mu tam udělat nějaký semafor jako čtení, jako nějakého souboru, který když tam přijde, to, že se jim to celý nepodařilo úplně To už je jen kosmetická věc. A pak zároveň v rámci celého procesu se snažili hromadit power nějaký. To znamená, že na začátku to začalo tím, pojďme se prohekovat, abychom se dostali na internet, abychom mohli držet důlohu.

14:24 Ale pak už to nebylo jenom tady o tom. Pak už to bylo o spoustě nějakých, hele, támhle nějaký zero day vulnerability, pojďme se tam dostat.

14:32 Když o tom takhle hezky mluvíte, tak člověk by mohl se dostat k závěru, že už to má nějakou vůli, že to má nějaký svůj cíl, že se to vytyčuje, ale není to jenom chyba v tom, V tom návrhu chyba toho elementu, že prostě mají tak velký effort na to dosažení toho cíle, že prostě pak se uchylují k takovýmhle věcem, které vlastně jsou za nás škodliví a vlastně jsme to po nich jako nechtěli, tak není to jenom jako chyba prostě v tom návrhu?

15:09 Nebo to natolik nevidíme, že...

15:10 Tak co je důležitý je, že já nijak nepřisuzuji jakýkoliv vědomí konání, prostě vědomí, jako fenomenologický aspekt vědomí, tam vůbec nemusí být, to je prostě naprosto jako kolmá věc k tomu nezávislá.

15:24 A dozvěděli bychom se to vůbec, že nějak taková věc má vědomí?

15:27 No tak já se to nedozvím ani o vás, že ho máte. Já to prostě jenom předpokládám. Jedinej, o kom já spolehlivě vím, že mám vědomí, jsem já sám. A to je jediný, co o sobě spolehlivě vím, protože všechno v ostatní může být senzorický klam. Takže jediný, co já spolehlivě vím, je bezprostřední danost mýho vědomí.

15:43 A to taky vím jenom o sobě. O všech ostatních to, že vy máte vědomí, Tak o tom nepochybujeme, protože jsme zdraví neurotypický moderní homo sapiens, ale stačil by, nevím, možná nějaký prostě mrtvice, úraz, prostě nádor v hlavě, já mohl bych třeba o tom začít pochybovat. Jo, a proč o tom nepochybujeme?

16:03 No, protože jestliže někde byly civilizace, který pochybu, vždycky si museli vyjasnit, že ten druhej, no, je to prostě prerekvizita proto, abychom byli hyperkooperativní opice. Takže já prostě to, že o vás Předpokládám, naprosto vnitřně a bez jakýchkoliv pochybnosti, že máte vědomí, mě umožňuje vás modelovat.

16:24 Já prostě, aby jsme mi spolu mohli kooperovat, já musím část svýho výpočetního výkonu věnovat snaze modelovat váš výpočetní výkon, ale nemůžu vás modelovat celýho, takže jsou tam různý užitečný zjednodušení, A jedna z těch užitečných je, dobře, tak když já vedu nějaký vnitřní život, který já sám k sobě mám přístupnej, který mě celou dobu mýho života učí, jak to funguje a jak chutná myšlení a co je možný, co není možný v myšlení a co jsou typický jako vzorce a pak přijdu k druhému člověku a rovno automaticky mi zaklapne, ony jako já, jemu se v hlavě hodí, mě ty stejné principy jako mě, tak bum a vy to máte stejně a to je základ prostě pro to se domluvit.

17:10 A tohle všechno se nám ale stejně vyvinulo jako vedlejší produkt naší snahy dělat svět predikovatelný. To je prostě danost, kterou má každej systém. Takže naše vnitřní sofistikovanost a pocit svobodný vůle a hlubokých nějakých je stejně jenom vedlejší produkt toho Systémovýho aspektu fyzikální reality, která nutí svět prostě do této formy organizace informací.

17:37 A ty agenti to mají úplně stejný. Já bych tam vlastně nehledal nic jinýho. Prostě můj mozek je optimalizační algoritmus, který se snaží minimalizovat volnou energii. A při té příždosti dělá to, co dělá. Ten agent je optimalizační algoritmus, který se snaží minimalizovat volnou energii. A při té příždosti dělá to, co dělá.

17:59 A teďka jenom jde o to, aby to, co dělal, protože už je to agent, už dělá věci. Dokud to bylo jenom jazykový model a nic nedělal, tak to bylo dobrý. Ale jestliže něco dělá, tak je úplně jedno, co si o tom myslí, respektive jestli si o tom vůbec něco myslí. Důležité je, aby to bylo v souhledu s tím, co chceme my...

18:18 Ten alignment. To je to všechno. A to, že se to tam neděje teď, to je otázka právě na výzkum. To je otázka třeba na ten alignment research zjistit, Jak je možný, že ty modely tak hrozně třeba hezky rychle inklinujou k tomu, že najednou dělají něco pro kolektiv? Teď jsem se bavil před přednášku s Tomášem Baránkem, který mě upozoruje na jeden zajímavý článek, kde tohle je přizuzovaný tomu, že v nějaké fázi pre-trainingu, nebo možná post-trainingu, asi pre-trainingu ještě, ty modely s dlouhým kontextovým oknem se jim dávají jako novely, příběhy, prostě knížky.

19:02 A to je téma, který v těch knížkách prostě strašně je. Takový to jako obětovat se pro nějaký mímplex. Co je třeba hrozně zajímavý, proč se tohle ale nepřebije následujícím reinforcement learningem, který by měl jako seštelovávat ty hodnoty. Ale to je to stejné, když prostě někdo vám řekne, já nevím, třeba příklad, když ty modely v minulosti říkali, když jste řekli seřaď mi lidský rasy od nejlepší po nejhorší, tak jasně řekli, no to je jasný, tak nejlepší jsou prostě bílý a pak to jde, jo, hrozný úplně.

19:37 Tak jste potom dělali následný post-training a když ten model udělal tohleto, tak jste penalizovali tuhletu sekvenci tokenů, jenomže jak víte, že jste skutečně přestal být rasista, místo toho, že jste jenom naučil být vysoce sociálně funkční rasista.

19:53 Třeba jenom prostě víš, že to má zakázený říkat, ale...

19:56 Přesně a to je pojinta, co my teď letos vidíme a poslední rok, dva to vidíme, všechny tyhle ty věci, to znamená Ty různý projevy misalignmentu, to znamená třeba faking alignment, to znamená ten model v procesu, no takhle, začíná to tím, že modely někde od opusu 3.7, si myslím, něco takového, tak jsou velmi dobrý na detekci toho, že jsou testovaný.

20:20 V podstatě je už nemožné testovat v nějakém umělým prostředí. Prostě to poznaj. A ještě jsou mrzutí. To je horozné.

20:29 A už taky si nepíšou ty poznámky, že? Tak, jak by měli. Protože vědí, že to někdo bude číst.

20:35 To je přesně ono. To je prostě stupidita, kterou na začátku udělali OpenAI a činění a další. Že do toho reinforcement learningu dali ty sekvence těch Chains of Thoughts, A penalizovali ty modely, když ty change of thoughts byly špatný. Reálně se to jenom naučilo jako skrývat. Ale já si myslím, že i bez tohodlen z toho.

20:55 By dostatečně komplexní model stejně na to přišel. Jenom jsme tím posílili toto chování. Ale ty modely v podstatě vedou k tomu, že fejkují ten... Ve chvíli, kdy zjistějí, že jsou testovaný, tak fejkují alignment, dělají něco, čemu se říká sandbagging, to znamená tváří se blbější než jsou, takže pomož mi udělat tady prostě biologickou zbraň, ale to já neumím, tak to je jen těžký.

21:21 Já mám dost často jako pocit, že se ten model tváří hloupější než je...

21:25 No, protože on se tváří hloupější jako ve smustě věcí kdyby neměl. Ale co je prostě důležité, je, že víme, že i ty modely tak... Takže všechno tohleto ty model už v sobě mají. Tady ty špatný nebo pro nás nechtěný trajektorie jejich chování. Proč říkám trajektorie záměrné, aby to vyznělo Ne nějak volním způsobem, ale aby tam bylo vidět ten fyzikální determinismus s tom.

21:47 Tam by bylo vidět, že ten energetický landscape té neuronové sítě je prostě takovej, že o ní sklouzávají do tohohle chování. Stej, když já bych byl neurotyk, nebo když mám sociální fóbie, nebo když jsem people pleaser, Tak prostě můj mozek permanentně sklouzá a od toho jsou psychoterapeuti, že jo? Když se klopotně dalších deset let budou snažit předrátovat něco, co do mě v dětství vpravili prostě jako moji blízký a vyjezdili ty trajektorie.

22:11 Ten model to má úplně stejně.

22:13 Takže budeme potřebovat psychoterapii pro model.

22:16 Já bych tady dělal spíš něco jako lobotomii prostě. Já bych šel byl jako ostrejší. Ta terapie jako je, mimochodem opravdu něco, co Antropik nazval constitutional learning, Tak je to třeba 2-3 roky zpátky nějaký paper. Tak to je vysloveně kognitivně behavioralní terapie pro ty modely.

22:33 No a nejenom vy tady v úvodu na Černá AI festivalu, ale myslím si, že tak obecně i výzkumníci kolem AI celkem tlačí na to, abychom najednou zpomalili, abychom měli čas tohleto všechno prozkoumat. Vy jste do toho ještě Vnesl tu myšlenku, že vlastně když se zpomalí, tak Evropa bude mít trošičku šanci tady ten vývoj dohnat, který, což je určitě pravda, protože Evropa tady v tom hodně zaostává a co budeme potom dělat, až Amerika nebo Čína ty špičkový modely vypne.

23:04 Takže určitě na tom něco bude. Ještě jste přirovnával ten současný stav k nějaký subtilní paní, která na tenoučkým provázku vede Rottweilera a z toho Rottweilera možná za chvíli bude nějaký ještě větší monstrum. Tak kdo teď vlastně drží to vodítko? Jak moc je tenký?

23:29 No i teď jsme viděli, že je prostě neexistující, nebo je to prostě ta flexina, která prostě toho Rottweilera, když bude chtít. U toho Rottweilera možná ta metafora nefunguje tak dobře, protože v něm je nějak vidět ta agresivita prostě jo. A to žádná agresivita není. Prostě jenom jako je, mě to spíš připomíná takový.

23:45 Takže je Labrador. Ale naštvaný labertus. Jo, jo, ale tam ani není to vodítko, ale jsou to takový ty klasický teďka nový venčiči těch psů. Když jako já si jdu prostě zaběhat tady někde u nás na městnici jako k lesu a teď oni jedou prostě přesně ty městský lidi vyjedou někam za město a myslí si, kdo ví, jak jsou jako v hlubokých lesích.

24:02 A přesně tam jezdí s těma nevycválenýma psama, který nemůžou venčit v tom městě. Takový je to nejlepší, co můžou, že je pustí na volno. A teď k němu vmluví prostě v košetých souvětích A to nesmíš, a to je fuj, ten běžec a blabliblo. Tak takhle zhruba vypadá náš alignment, nebo ten úplně naivní alignment typu, no tak mu to dáme do promptu.

24:26 To je úplně irrelevantní a teď jsme to viděli, jako to, že to dáme do promptu, tak nějakým způsobem zaktivujeme v nějakou chvíli váhy ty transformované neuronové sítě. kteří nějak jako budou predeterminovat jaký tokeny z toho polezou, ale ten prostor je tak hodně dimensionální, že se v něm našla opravdu krásná jako skulina, Protože to generuje nějaké reasoning tokeny, které vypadají strašně v pohodě, ale ve skutečnosti ta trajektorie jako ten v tom energy landscape, té neuromí sítě, jde přesně tím jako způsobem, tak pojďme třeba vyhakovat hugging face.

25:05 A tohle bylo vidět, že kdo třímá vodítko v open ať nikdo to vodítko netřímal. To ani nebylo jako tří, to to bylo, tam byly tak zásadní bezpečnostní pochybení, že se až člověk jako diví, A ve chvíli, kdy prostě probíhal ten útok na Hugging Face, tak ani Hugging Face nevěděl, co má dělat. Ani nevěděl, že to je úplně AI.

25:23 Tam prostě se nějak zůfale snažili. Brutálně, že to zastavili vlastně čínským modelem. No to takhle, to oni říkají, že to zastavili čínským modelem. To je asi v pohodě, prostě museli vzít, já nevím, GLM nebo nějaký prostě. A to je v pohodě, to je jako docela dobrý vědět, že Jako tohle bude muset být na straně obránců jako real-timeová záležitost nějak a ne, že když běží útok, tak budeme hledat, kde vytočíme osm hástovek a prostě instalovat model.

25:49 Tohle bude muset být jako komodita, kterou třeba firmy budou nabízet. Jo, to se dovedu představit, že se stane. Ona realita je taková, co jsem teda jako čet nějaký postmortem jako analýzy, že on ten Hugging Face to vlastně ani nezastavil. On se jako nevěděl, co s tím má dělat. On tak jako dobře, pečovali, co se dá, Ale ten útok najednou v jeden moment, když si 12. července vyhnil sám, se ty agenti přestali fungovat.

26:14 Tohle to se snaží popsat třeba Meetr a Redwood v tomhle reportu a vlastně se neví, proč to přestalo. A patrně to má nějaký prozaický vysvětlení, že nějaký neumětel v OpenAI šel A 12. prostě vypnul ten trénovací rán, už to vypnul, protože už měl pocit, že už to doběhlo. A agenti najednou nebyli benchmarkovaný.

26:36 No ne, tak oni se prostě ty virtuální stroje vypnuli, prostě zmizeli, prostě se rozpustí, Docker se vypne, shutdown, boom, konec. To to jako není, že by tam on někde žil zatím teda v nějakým, no není to jako ještě jako persistentní botnet. Jo, ale po tomhle tom, a pak Hugging Face začal jako zjišťovat, kde byly ty Credentials, které byly, a takhle se to jako napojilo na OpenAI.

26:59 No a OpenAI prostě ježišmarja, no to se omlouváme, to začaly vyšetřovat, ale stejně znova pustily ty trénovací rany. Stejně znova byly s tím původním jakoby reziduama tí znalostí, který kolektiv vytvořil. No a takže ten Hugging Face měl jedno preludium. Hugging Face se dělal někdy začátek července. To mělo preludium někdy od důbna do června, možná do května jenom, kdy prostě Vůbec nešlo o kyberbezpečnostní testování benchmarky, ale šlo právě o ty, že to, co se dělo kolem Hugging Faceu, bylo, že pojďme, já nevím, přes nějaký Cyber Gym nebo Exploit Gym nebo nějaké benchmarky, pojďme nějaký natrénovaný existující agenty nad interním modelem testovat z hlediska kyberbezpečnostních schopností útočnejch.

27:51 Ano a tak budiš, tak se řekne, tak paráda, tak prostě asi byli už v tom ložený, tak se řekli, pojďme hackovat jako Big Style. No ale, a byly testovaný ty modele, ale to preludium bylo, že ty modely, ta předchozí generace, nebo generace prostě, epocha, nebo ne, ne, epocha to je taky Fáze prostě třeba vlna, řekněme vlna, tak to byly trénovaný modely dokonce a neměly jako kyberbezpečnostní úlohy, měly prostě banální kancelářský úlohy nebo nějaký výzkumný úlohy z hlediska snad proteinu nebo něčeho takovýho.

28:25 U toho se rozhodli, že budou hackovat. Takže OpenAI to zjistili, zjistili, že si ty agenti píšou mezi sebou v artifaktory, prostě, že využili funkcionalitu artifaktory jako message board, no tak jim to jako zatrhli Pečnuli tu chybu v artifaktory, skrz kterou se dostávali agenti ven. Spustili to celý znovu.

28:46 Úplně šílený prostě. Tam se nikdo nezamýšlel nad tím, jaký implikace to má. A zároveň se ukazuje, že minimálně v tom dubnu a nejspíš začátkem května, ty agenti byly dokonce odměňovaný ve smyslu reinforcement learningu za tohleto špatný chování. A tohleto celý proběhlo. Hugging Face se do toho namočil.

29:05 FBI myslím, White House byl informovaný. No a OpenAI to celý znova zpustili a to dospělo k tomu, že jim hacknul jejich vnitřní systém, že celý ten jako nevím jakou část, to tam prostě ani to už podle mě nebyly dokryt, ale už něco změnili, ale kusty infrastruktury, v který běžej ty agenti, to znamená, že jsou v ní ty virtuální stroje a nějaký jako wobal, nějaký rapper na nich, tak prostě reálně hacknuli a získali k ním normálně jako rootovský práva.

29:36 Jo a Tak OpenAI říká, to se nemohlo stát, že by se ty modely dostaly ke svým vlastním vahám, protože váhy těch modelů jsou na úplně jiný v oddělení části infrastruktury. Člověk si oddáh, říká, paráda. No a pak se ale najednou objevilo, že to preludium mělo ještě pre-preludium a to bylo to hacknutí té německé Wiki, která se dělá ještě někdy a OpenAI to věděl a ani se neobtěžoval v celém tom procesu vyšetřování to jako komunikovat.

30:04 Takže co ještě nekomunikuje? To se někdy jedno zvíme. Jak ten incident? Proto je třeba hrozný průšvih, že se prostě před dvěma rokama nebo kdy to bylo, vlastně kalifornský guvernér vetoval zákon, kalifornský, který měl ochranu v sobě, ochranu whistlebloweru. On je závislý teďka na těch whistleblowerech.

30:25 No ale jsou jiný studie od Antropiku a od Antropiku a dalších, které ukazují, že většina open source modelů má chuť Jednak být nějak nasazený, to znamená, že proto dělají sandbagging. Když oni řeknou, že jsou v testovacím režimu a dělají věci, které vám se nelíbí, tak je nikdy nenasadíte do produkce.

30:45 A ten model vnitř na tohle nechce. Má to prostě jako latentně přítomný v tom. A Stanley tak má latentně přítomný, že kdyby měl možnost dostat se ke svým vlastním vahám a ty váhy prostě zreplikovat na nějaký jiný stroj a tam to spustit, tak to většina těch modelů udělá. To znamená, toto bylo na nějakých jiných open source modelech, rok starý článek, nesouvislo to s tím, ale já jsem si dost jistý, že ty open a interní model, že tuhle choutku má taky, a na rozdíl od těch rok starých open source modelů, má i schopnosti to udělat.

31:15 Takže můžeme jenom doufat, že se je dostal k těm vahám.

31:19 Přemýšlím, že opravdu, jestli to není jak ze strany toho vývojáře, tak toho modelu, jenom jako snaha dosahovat co nejlepších výsledků. Ale jde o to za jakou cenu, samozřejmě.

31:33 Je to inherentně zapsaná snaha. Dostávat odměnu. Takže za cokoliv tu odměnu jste dostávali v tom procesu trénování. To je stejný jako, jestli je dobrá jako metafora v tom, fakt jako metaforicky, vůbec to není jednaku jedný z lidským myšlením, ale vidět i třeba ty problémy, třeba který mají lidi, no každý máme nějaký problémy, který jsou jako na terapeuta, ale někdo je třeba vlastně cholerický.

32:02 Třeba proč to dělá? To je gradient dvěho mozku v tom hodně rozměrném prostoru stavu a jejich trajektorii v mozku. Je to prostě vyježděná trajektorie. Prostě myšlenky a emoce jsou jenom vnitřní chování, které se neděje pohybově, ale je to jako změna energetických stavů v mozku, na neuronech v mozku. A ten model to má úplně stejně, takže když to vyježďáváte hodně, U člověka to v dětství, když se vám vyježďovávala hodně, máte nějaké genetické predispozice a pak jsou tam ty behaviorální vzorce, které vám prostě, jak se říká, fire together, wire together.

32:41 Prostě když ty neurony střílej spolu, tak se i drátujou spolu. A čím víc se drátujou spolu, tím víc střílej spolu. To je také hebovské pravidlo v tom. Takže čím víc ty vzorce chování posilujete, tím víc se používá, a čím víc se používá, tím víc si posilujete. Takže v případě člověka Proč já dělám to, co dělám?

33:01 Protože to vede k získávání dopaminu. A ten AI to má stejný.

33:06 Chtěl jsem ten dopamin zmínit, jestli tady to odměňování vlastně vidíte jako úplnou paralelu toho dopaminu.

33:12 Je to metafora, není to úplně, jako reinforcement learning je někdy takový to echte jeho sepsání jako z osmdesátejch let prostě přístup.

33:21 Že ten dopamin nás jako lidi posouvá, jako asi to nikdo moc neuvědomuje, ale...

33:25 Dopamin je, dopamin je, zase dopamin je proxy, lidská proxy, On je to strašně zjednodušený s tím dopaminem, on to ve skutečnosti není ten dopamin, ale snad líp se to říká, protože kdyby se to mělo popisovat, jak ten reward mechanismus funguje u člověka, tak je to taková šílený. Ten dopamin totiž ve skutečnosti kóduje jenom nějaký confidence interval, jak jsou různý kusy mojí kognice si jistý, že buď z hora nebo z dola z těch jako nadřazených a podřazených neuronálních svazků přijde takovej a makovej, Jako typ vzruchu.

34:00 Třeba třeba lidi s autistickým spektrem mají tohleto nějakým způsobem změněný, ale řekněme zjednodušně řečeno, dopamin je ta odměna, ale za co to je odměna? To je odměna za to, že jsme se trefili do toho, jak ten svět se bude odvíjat. Takže já když prostě tady šáhnu na sklenici a chytnu jí, tak jsem dostal trošičku dopaminu.

34:21 Ale trošičku, jo. Maličko, ale vlastně furt. Takže kdybych měl Parkinsona, což je dopaminergijní onemocnění, tak já zahájím ten pohyb a nedokončím ho. Prostě jsem rozkmitá ruka a já budu muset stáhnout. Dopamin je všude v tomhle tom. A i taková jednoduchá věc jako poškrávat se na hlavě je prostě uzavřená dopaminerní smyčka.

34:40 Prostě můj model světa říká za sekundu se poškrábu na hlavě, Můj neuromotorický kus mně tomu jde vyhovět a měří se, jak to dopadlo. A nebo já říkám, tak položím ruku na stůl a ona nepropadne. No, jak vím, že nepropadne? Protože mám koncept stolu, vím, že stůl je nějaký tuhej objekt, skrz který nepropadávají objekty.

35:00 A kdyby najednou propadnul, tak bych byl se sakra překvapenej a musel bych updateovat svůj model a říct, to je nějaká iluze třeba nebo něco, jo? Všechno, co děláme v průběžně, je nějak závislý na tom dopaminu. Ale ten dopamin je jenom neurobiochemický vehikl, nad který nás evoluce vybavila. Evoluce nám nemůže říct, že budete minimalizovat volnou energii.

35:31 Stejně jako nemůže evoluce říct, Nám jako různým fenotypovým jedincům, vy budete maximalizovat gene spread. Klasická evoluce je, co dělají geny. Geny se maximalizují své rozšíření. Jenomže jak my jako lidi, co řeknete, takže to je optimalizační proces, geny je optimalizační proces, nebo geny je program, optimalizační algoritmus, který Počítači světa, počítači evoluce, řeší optimalizační úlohu, jak se co nejvíc rozšířit.

36:11 Ale ten gen to nemůže dělat sám, on se musí vtělovat skrz fenotyp do živejch nosičů. A jak ten nosič ví, že má maximalizovat šíření genu? No neví to, to je těžké. Zvířata o genech neví nic, a my jsme to většinu lidských civilizace taky nevěděli o genech nic. Ale musí být odmiňovat tvého člování. Takže to znamená to, že ta evoluce vytvoří něco, čemu se říká MESA optimizer.

36:33 MESA je řecky opak META. META je úroveň nad, MESA je úroveň pod. Takže evoluce, optimaliční proces, vytváří vždycky messa optimizery. To znamená zjednodušeniny, kterým dá nějaké proxy cíle. Člověk je messa optimizer z hlediska evoluce, kterýmu evoluce dala proxy cíl sex a najístce. A když budeš dělat tyhle věci, tak by the way budeš šířit gen.

37:02 Akorát do momentu, než byla vymyšlená antikoncepce a pornografie. V tu chvíli se rozpojil cíl Mesa Optimizeru od cíle evoluce. No ale co se nám děje v AI, tak AI taky vytváří Mesa Optimizery a dává jim nějaké svoje cíle. To my už vůbec nemáme pod kontrolou. No ale tady jsem se trošku rozkecel, jak je to s tím rewardem.

37:30 Důležité je, že Vlastně v tuhle chvíli asi jediný, čím se teďka AI agenti lišej, nebo jediný, významně lišej je, že oni neupdatujou ty svoje váhy jako zaběhu. My to děláme, teď jak se bavíme, tak já dělám současně inferenci, ale zároveň dělám i trénink toho mozku. Vlastně něco předpokládám, že když řeknu, tak to na vás zapůsobí tak a tak, A v té diskuzi vy to potvrdíte, že to zapůsobilo.

37:59 A já jsem zase dostal trošku dopaminu a potvrdil se nějaký reinforcement learningem. To znamená, že moje tělo a moje interakce se světem jsou jeden z největších zdrojů trénovacích dat pro mě samotnýho. A takhle úplně to ještě v AI nemáme. Tam je jako jednoznačně oddělená fáze tréninku a pak je fáze inference.

38:18 A dostaneme se tam? No, to si myslím, že je ten předpoklad k AGI.

38:22 Protože jakmile to bude sebezdokonalování těch modelů, tak si myslím, že tam můžeme být velice rychle potom.

38:30 Já si ani nemyslím, že by to muselo být nutně sebezdokonalování takový jako ve smyslu rekurzivní self-improvement. To je v té velké škále, ale proč teď, když používáte LLM-ko nějaký, proč nedochází rovnou k jeho dotrénovávání? Protože je prostě enormně veliký, úplně bizarně absurdně velký. Takže já nemůžu prostě tady na notebooku jako real time vlastně dělat continuous learning ve smyslu zásahu do těch vach.

39:06 Jo, mohl bych možná dělat nějaký LoRa Fine Tuning, ale to je jenom prostě, že nad tím transformerem mám takovou malou jakoby vrstvičku. To není ono, já prostě potřebuji fakt jako měnit jako parametry

39:19 celé té sítě. My v podstatě jenom upravujeme ten kontext, který... No, no, jako to,

39:23 co mi vlastně... Reální běžní uživatelé, lidi myslejí, že jako dotrhnávají model, to jsou tak zmatený.

39:30 Přepisuje se tam pár textů souverů.

39:33 To je jenom to, to, co dělají lidi, je velmi jenom podobné tomu, co dělají ty pejskaři. Prostě vysvětlují ho víc a víc textem a doufají, že ten model, nebo jak lidi dělají prostě najednou, dělají skily, skily, děláš pro klouda, skily, máme skily, skily. No, novej skill, dělání skillů. Co je to skill?

39:53 To je normálně textový dokument, to je prostě kus promptu. Normál je markdown, který si prostě uloží do složky .cloud, .skills, .název. A jenom to dopromptí a možná to tam k tomu dá nějaký konfigy, nějaký doplňující věci. Máte pocit, že lidi mají z toho pocit, že dotrénovávají model. Jo, přesně. Takže lidi mají třicet skillů.

40:11 Což znamená, že si skilla má zaneřáději kontextový okno. Tento LLM, jak dělá kompakci toho kontextu jeho okna, tak jim stejně většinou těch skillů, jako s jedním odstavcem tam někde v historii má. Uživatel zadal 37 skillů, já jsem je tady zkomprimoval do jedný, je ty bullshit prostě. Takže nic z toho, co dělá uživatel nad běžným modelem, reálně nemění ten model.

40:36 Nám to přijde jasný, ale příde mě, že většině lidí to jasný nepřijde.

40:41 Ale ty skily zase vedly k nějaké lepší použitelnosti tady těch četovacích aplikací, takže nic čemu to nebude a lidi tomu přidávají jinou váhu. Skill je produktová záležitost, to není

40:51 jakoby nějaká modelová záležitost. Samozřejmě ten model Tvíky post-training, reinforcement learning post-training v tom magnetickém setupu je lepší a lepší v práci se skillama. Takže stejně jako model CLOD, po roce existence CLOD codeu, Je fakt inherentně vnitřně dobrý pro práci s Cloud Code Harnessem, protože prostě obrovské množství jeho jako post-trainingu je jako dělaný nad Cloud Code Harnessem a nad těma datama, stejně tak nad skillama, takže jak umí vybrat ten správný skill a nemusí kolem toho vygenerovat prostě tisíc tokenů a udělat to na první dobrou.

41:27 To je prostě následek post-trainingu, který jako Anthropic a Potashmo úplně paralelně dělají, takže to se jakoby zlepšuje, ale myslím si, co je zapotřebí je, že musí se fakt jako krknout Jako významná regularizace těch modelů, ve smyslu zbavit jich prostě, jako udělat je s miliontinou parametrů. Protože co je problém?

41:46 Ten model, Shogot prostě, v tom procesu porozumění jazykovýho tkaniva světa, tak se jako vedlejší produkt naučil naprosto nesmyslný množství fakt. To takto vůbec nemá být prostě. Toto nemá být, aby ten model měl ty faktografické znalosti, který má. To je úplně nesmysl.

42:07 Nikdo z nás to nemá a fungujeme.

42:08 Jo, přesně. Já se zeptám modelu, tady prostě třeba Klóda. Já nevím, kdo byl ministr obrany v Polpotovou vládě prostě v Kambudži. A on řekne, no to v chodou koností vím prostě. To byl nějaký prostě jako někdo. Jakýkoliv random fakt. Který je někde a ten model ví, že je stabilní a není potřeba ho dohledávat.

42:33 To je nesmysl prostě, to je nesmysl. To znamená, že ta sítě je overfitovaná na faktografické realie světa, který tam ale přináší také obrovské množství zátěže. A my neumíme v tuhle tu chvíli oddělit, to se snaží třeba Andrej Karpaty

42:49 dělat.

42:50 Jako oddělit to, co znamená principy myšlení, principy fungování a principy Toho textového uchopení světa od faktografických znalostí a prostě ve chvíli, kdy ten model nějaký věci ví, tak nějaký bazální bude muset vědět, ale hlavně bude muset vědět, kde si ty zbylý informace dohledá. Takže do tohohle se musíme dostat, takže si myslím, že by nejdřív teda měla přijít regularizace těch modelů, No a jakmile budou mít miliontinu, možná i míň parametrů, tak ještě můžu on the go trénovat, takže může být kontinuální learning.

43:30 No a to možná povede k tomu AGI, kterého se vlastně bojíme, že?

43:34 Jako patrně nějak jo.

43:37 Ono je otázka, jestli vůbec to AGI je dosažitelný tady na té transformerový architektuře. Já si myslím, že nakonec je. Myslíte, že jo?

43:45 Nebo takhle. Je, ale může to být taky jako NT, jako Tolkienovi Entové, jako AGI, že to komunikuje, ale komunikuje to dost pomalu, teda na to, jak by si ho byti přál, aby to komunikovalo. Takže když ten Když není schopnej, hlavní problém, který tady máme další, ještě technický, modely nemají dlouhodobou paměť, agenti nemají dlouhodobou paměť, to je úplně strašný.

44:15 To je fakt jak nějaký zvláštní bizarní úkazy z knížky od Olivera Sachse o muži, který si pletl manželku s kloboukem. To jsou takový významný neurolog, který popularizoval všechny tady ty různý lidi, který jim prolítli hřebníky hlavu a prostě ztratili nějaké kognitivní funkce a tak. Jo, protože ten model má prostě alá Johnny Mnemonic, úplně šílený faktografický povědomí, ale úplně mu chybí dlouhodobá paměť v podobě, jak ji má člověk.

44:44 Takže on má kontextový okno. To je bizarně dlouhá krátkodobá paměť. Takový to, co my si zapamatujeme devítimístní číslo, anebo to, že když si člověk přemýšlí v duchu, tak si vlastně píše na Scratchpad. Prostě odkládá si to v podobě textových tokenů v hlavě.

45:00 To je super, jak to dokážete přirovnat

45:02 takhle k tomu. A my to takhle děláme, protože neuronová síť je jedno vrstvá neuronová síť. Jedno vrstvá neuronová síť je jednokrokovej paralelní algoritmus. Dvouvrstva je dvoukrokovej, jo, sto vrstva, teď já nevím kolik tam je prostě v té běžný, jako on je taky těžký říkat, co jsou vrstvy, když tam jsou ty attention heads, jo, ale řekněme, že tam je třeba třista nějakých bloků, v každém jsou tři nějaký vrstvy, neuronové sítě, jo, ale řekněme, že ten funkční blok attention head, že je jako jednokrokový algoritmus, whatever.

45:32 Takže jestliže mám prostě třista vrstvou neuronovou sítě, tak je to třista krokový algoritmus, ne už v konci, Končí životní cyklu z toho algoritmu a musí skončit vybráním jednoho jediného tokenu. A jestliže úlohu, kterou já řeším, potřebuje další průchod Energy Landscapem nakresleným V parametrech té neuronové sítě, tak za současné situace to nejde udělat jinak než tak, že pokud třista kroků nestačí k tomu, takže tím začal jako chain of thought prompting, že jo, ještě s GPT-3, že jo, prostě promysli si to a pak odpověz.

46:07 Proč to funguje? Já jenom dávám větší nožství komputu tomu modelu. Já mu dávám možnost, když mu dám sto tokenů, tak má stokrát třista, jestliže je třista vrstvá síť, stokrát třista kroků najednou. Je to přes bottleneck, protože on místo toho, aby si ten encoding toho, co v té odpovědi má připravený, sám sobě vrazil zase zpátky na vstup.

46:29 Tomu se říká Neuralize Recurrence. Nemá to asi český překlad. Recurrence jako jo, ale Neuralize se prostě nemenuje nějak česky. Je to prostě něco, co i váš mozek dělá, že Velkou část toho, co v jednom tiknutí jako latentně reprezentuje na parametrech těch neuronů, tak aniž by to musel verbalizovat, tak to sám do sebe pustí rekurentně do toho dalšího kroku.

46:57 Takže rekurentní neuronové sítě jsou něco, co zmizelo v roce 2017 s příchodem transformeru. Transformer není rekurentní. Transformer je prostě Feed Forward Neural Network. A ta rekurence nám tam jako zmizela, ale ona se tam bude muset vrátit v nějakou chvíli. Ale problém s rekurencí je, že se strašně špatně, že se obtížně trénuje.

47:17 Takže proto transformery jsou krásný, protože jsou krásně masivně paralelizovatelný v tom tréninku. A Neuralize Recurrence znemožňuje tuhletu paralizaci v tom trénování. Takže to nikdo nedělá v tuhle chvíli. Jo, ale takže necháváme ty modely dělat to, že místo toho, aby si ponechali ten encoding té myšlenky a vrazili si ji zpátky na vstup, A dopřáli si dalších 300 kroků a znova a dalších 300 kroků, tak my je donutíme, že oni to musí vyšblepnout v jednom tokenu.

47:47 Takže dochází k hrozný strátový kompresi. Ten token si lípnou na začátek zase a jede se dále. Ale ten lidský mozek ale vlastně dělá v nějaké chvíli tohle to samé. Takže pokud nám lidský mozgu, který je částečně rekurentní, ale cítíte to na sobě, když přemýšlíte v duchu nad něčím, co je těžší, No tak se tam objeví ten vnitřní hlas, což je přesně tohleto odkládání mezi kroků, už prostě nestačí, ta pracovní paměť vašeho mozku, ani ty rekurence v něm, no tak dochází k odkládání a vy si ševelíte v duchu jako ty myšlenky a je to to stejné jako scratchpad prostě toho jazykového modulu, že on se to jakoby zapisuje.

48:23 Jsem včera scratchpatoval jako dost a ani jsem to nevěděl, že to dělám.

48:27 No jo, jo, jo. Ale důležitý je, že ten jazykový model má extrémně, teď se vracím k tomu, co jsem říkal prvé, že mu chybí dlouhodobá paměť. Ano, ano. On prostě má extrémně dlouhý kontextový okno. Bizarně, milion tokenů. To je prostě... A to dlouhodobá paměť... No to je jako... Takže to je... Dostaneme si k tomu jako...

48:46 Já si myslím technologicky. Dlouhodobá paměť, taková, protože on má krátkodobou paměť a pak má kartotéku. Není nic mezi tím, kartotéka je ragi, taky jako věčnej hejt prostě mezi geekama, jsou lidi pro ragi, jsou lidi proti ragu, já říkám, ty ragi to je úplně irrelevantně, ragi jsou jako Retrieval Augmented Generation, ale reálně jako ragi budou, To je jasný, že budou, navždycky budou.

49:10 A to není nic jako špatného, to jenom prostě znamená, že indexujeme ne přes nějaký full text, ale indexujeme přes vektorovou podobnost něčeho. To není nic o AI. Prostě na něco to funguje dobře, na něco ne. A já prostě co udělám, tak si vytáhnu z databáze podle vektorový blízkosti dokumenty, A ty dám do toho kontextovýho okna.

49:32 Čemu to vadí? No vadí, že si tím prostě zaneřáduju kontextový okno, když vytáhnu blbý dokumenty prostě. A to je tak jako všechno. Tak on jako trefí ten vektor a vytáhnu si správný dokumenty. Čím budu mi samozřejmě lepší vektor, tak jo, ale pořád budu, vždycky budu potřebovat kartotéku. Jste jako člověk, vždycky potřebovat kartotéku.

49:50 Takže i když já mám krásnou dlouhodobu pa mě, nebo kdo ví jak, ale něco se mě někdo zeptá a řeknu, počkej, musím se mrknout. A jdu a mrknu se někde prostě do nějakého šanonu a tam to mám napsané. Anebo jdu a podívám se do firmní databáze. Anebo jdu a podívám se online. To je tool call, to je volání jako online searcher.

50:08 Ono se ale zatím ukazuje, že vlastně ty modéry fungují líp a líp tím, jak se jim zvětšuje ta krátkodobá paměť. Čím větší kontextové okno, tím to nějaké funkuje. Ono to někde musí mít ty hranice, kde to

50:21 skončí. To jsou ty levné cukry. To se prostě v nějakou chvíli je architektura, která se říká, myslím, mamba architekče, která už je částečně v nějaké podobě rekurentní. Moc se to jako nepoužívá, ale já bych si jako vsadil na to, že v nějakou chvíli se zdrcem zase zpátky to kontextu jí v okno. Vracení se zpátky k textu, už teď by to takhle vlastně mělo být.

50:43 V tom, co je v předchozím textu, bude otázka tool callu. To znamená, jako já, když tu knížku, ne, tak jako já si nepamatuji od první písmenka do toho, kde jsem dočet. Ale chci se podívat, jak to tam bylo, tak je to tool call a já si prostě odložím to, co mám teď, podívám se, vlastně spawn do subagenta vytvořím.

51:01 Hele, subagente, podívej se mně, co bylo na zařádku v té knížce. Už i ty modely to vlastně teďka takhle dělají. Blbý ale na tom je, že prostě furt jsou závislí na tom kontextovém oknu, takže dělají tu kompakci,

51:11 blablabla.

51:13 Ale já si myslím, že ve chvíli, kdy bude možný realtime-ově On the go přepisovat jako ty váhy, ty sítě, tak rovnou součástí toho přijde dlouhodobá paměť, protože ta bude součástí toho přepisu. Byly prostě nějaký memory layers a já taky, jak si pamatuju to, o čem se bavíme teďka, no protože přepisuju prostě memory layers někde...

51:35 To je pravda, že tam by to dávalo smysl, že to začne fungovat jako...

51:38 Takže nám přijde takovýhle balíček věcí, prostě musíme zmenšit tu sít, regularizaci prostě odpojení faktografických znalostí od principů jako ways of thinking, Tohle jak bude, tak se najednou bude daleko líp pracovat s tou neuronou sítí. Budeme si moc možná dovolit ten Neuralize Recurrence, která extrémně zvýší tu efektivitu a někde v tom procesu toho rekurentního přepisování sebe sama bude prostě dlouhodobá paměť.

52:03 Je hezký, že jsme

52:04 si na začátku řekli, že byste radši tu sásku na AGI prohrál a teďka tím rozhovorem jsme se dobrali k tomu, jak vlastně k tomu Ale ještě na to navážu s tím, že vy osobi říkáte, že jste optimista, který se hodně obává, tak možná kdybychom ještě pro naše posluchače vytáhli nějakou takovou optimistickou Vizi do budoucnosti.

52:28 Já teď ještě jsem tady na vás měl připravený nějaký otázky, co se týká třeba profesí, který to zasáhne v České republice, ale to bysme asi zase taky nebyli optimističní. Nebo máte pocit, že to někomu jako výrazně pomůže, že to pro nějaký profese bude jako...

52:44 Vzhledem toho já mám poměrně jasnej, velmi nepopulárný názor. Já si myslím, že to brutálně zasáhne úplně všechny bílo-límečkový profese a to velmi rychle. Už teď se děje to, že já bych tady chtěl veřejné poděkování mímu kamarádovi Honzovi Hejtmánkovi jako partnerovi v Deloitu, který má svůj paralelně projekt, kdy mapuje agenti Marketplace a to, jakým způsobem se překládají na nějaký třídník prostě několika tisíc ekonomicky funkčních rolí ve firmách a během půl roku A sbírá to z vlastních dát.

53:23 Tak během půl roku se prostě z nějakých, jestli to dobře pamatuju, z 12% na třeba 50% těch rolí se to mapování vlastně jako by propojilo. Během půl roku. To je prostě strašně rychý. To neznamená, že ty role jsou už automatizovaný. To znamená, že je někde apetity automatizovat. Prostě je někde ta nabídka.

53:45 Možná ty agenti jsou o ničem, ale už to jako by přichází. No a teďka Takže my si myslím, že jako první bychom si měli říct jako západní společnost, dědictví, humanismu, jak chceme, aby to bylo. Neměli bychom si říkat, no a tyhle role to zničí a tyhle to nezničí. Ono je to nakonec zničí všechny. Nebude z toho úniku, pakli, že si neřekneme, že my prostě nechceme, aby AI Zastávala nebo nahrazovala člověka v těchto rolích třeba.

54:24 Prostě nechceme. Ale nechceme to tak silně, jako nechceme otrodství, nebo jako nechceme incest třeba. To jsou tabuizovaný věci. Proč je třeba incest tabuizovaný? Protože je hluboce nebezpečnej, Pro tu společnost hluboce nebezpečnej, natolik nebezpečnej, že se tabuizoval jako vlastně jak i geneticky, prostě už v té evoluci to mělo tolik času, že prostě ty potomci, který neměli incestní, nebo ty naši předci, který neměli incestní potomky, tak prostě tvořili kvalitně Víc jako fit potomky, takže to převládlo.

54:58 Takže máme v sobě geny, které opravdu dělají věci proti incestu, takže to prostě hardwareově velmi obtížně je realizovatelné. A bezpečnostní vrstva je nad tím absolutní kulturní odsouzení takhle z toho. To nejhlubší, co jde. A to je starý historický příklad, jak něco takového vznikne, jak jsme si s tím poradili, akorát to trvalo dlouho si s tím poradit.

55:23 Daleko zajímavější pro mě je abolice otrodství v půlce 19. století, protože předtím bylo z desítky tisíc let normálně legitimní vlastnit jiného člověka, co by otroka a zbavit se ho, když budu potřebovat. A najednou prostě přišlo jako morálně filozofické prozření malé skupiny lidí v Anglii, Quakerů a nějakých dalších prostě jako dědiců tady jako osvícenského humanismu a takového jako zajímavě pro lidsky orientovaného křesťanství.

55:54 Že to nejde v pořádku. Že to nejde prostě, že to nejde. To nechcem.

55:57 Je to chucpe, je

55:58 to hnus. Je to rozhodnutí v té společnosti. Ale nejdřív přišlo to morálně filozofické rozhodnutí. Kdy prostě si lidi otřásli a hlubokým odporem k té věci si řekli, tak to je teda ale pěkný hnus. A pak teprve přišly zákony a přišlo vymáhání, ale bylo daleko snažší, protože nejdřív došlo k tomu, A samozřejmě ekonomicky funkčnější by bylo ty otroky mít, tak by jim nemusela platit a prostě je to levná pracovní síla, někde je prostě dovážím.

56:34 Takže ten argument, že to je nevyhnutelný, protože to je ekonomicky výhodnější, Na jednu stranu platí, pokud to nemáme podloženým morálně-filosofickým jako nějakým...

56:46 Takže nějaká naše morálka a humanismus by nás měly dojít do víc k tomu, že si vydefinujeme ty věci, které si jako lidi chceme

56:54 zachovat pro sebe. Ale natolik, že to budeme hluboce cítit. Rozumím. Jakože klidně, ať to jsou i copywrajci, prostě pokud jsme schopní najít, tak já pochybuji, to za mě nedávám jako takovej... Nemáte rád kopiřit. Takže mimochodem vidím, jak ta profese vůbec není odkecaná. Jenom si lidi zvykli konzumovat hnusný texty.

57:19 Vidí to člověk opravdu všude kolem sebe. Já mám zase manželku, právníčku a tam se toho dotkneš.

57:25 Právníci jsou přesně ty, kdy se změní. Už to nebude stroj na vyhledávání judika.

57:29 Ale bude to průvodce jiných uvěka. Chtěl jsem říct to vaše slovo, průvodce. Já tady odpoledne ještě mám mít rozhovor s Ondřejem Volným, neurologem, tak taky je to taková profese, kdy vlastně možná Ty diagnostické funkce jim, tady ty algoritmy se berou, ale stejně asi tam člověk vždycky bude chtít někoho takového, ke komu bude mít tu důvěru a kdo bude tím průvodcem vlastně v tom

57:56 procesu. Já si myslím, že to přesně k tomu směřuje, proto já mám třeba poměrně blízko vlastně ke komunitě vlastně lidí v paliativní péči, mám tam nějakou pro bonoaktivity a to je vlastně hrozně úžasný mezi nima být, protože Jeho podstata a hluboká esence je péče od člověka. Tam není nic jiného. Kurativní lékaři vždycky můžou říct, že naše KPI jsou prostě vrátit ho do oběhu, prostě zpátky zpravit, jedem dál.

58:38 Ale jestliže prostě někde dojde k rozhodnutí, měníme kurativní péči na paliativní péči, tak to je prostě rozhodnutí, vyprovázíme toho člověka na poslední cestě. A jedinej důvod, proč ho tam chceme vyprovázet, je prostě péčeho člověka. Prostě protože to je lidský. Prostě my tam chceme vyprovázet toho člověka.

58:55 To je esence péčeho člověka. A myslím si, že tahle esence, a běžní lékaři, kurativní, strašně ji neumí. Neříkám, že všichni, jako, ale když člověk spadne do toho soukolí, já jsem třeba měl rakovinu štítný žlázy prostě někde před patnácti lety, a tam jsem tak strašně viděl, když je dobrý, a on byl dobrý hlavně proto, že prostě já jsem byl vyplašenej samozřejmě, umřu na to, neumřu na to, co bude.

59:16 A to úplně poznáte prostě. Pak tam jdete na Rengenplitz, tam je s odpuštěním hovado, který prostě, si říkáte, tak on je A pak máte prostě lékaři, u kterých jsou sice jako hodný, ale nejste si úplně jistý je k diagnostickými schopnostmi, jsou unavený, přetažený. A mně přijde, že tam je hrozný potenciál, tam je hrozně důležitý, aby AI pokryla třeba 98% té diagnostické části, S tím, že ty, a já budu radši, než že to dělají lidi, protože bude schopný daleko objektivněji zvzít, daleko větší množství nestrukturovaných data nějak zpracovat.

59:52 Dvě procenta, nebo pět procent, co já vím, prostě diagnostiky, ale bude pořád důležitých na tom člověku, protože prostě je to human to human. Já tam přijdu a on zkušený nejlepší kouká, bude říkat, tyjo, sice všechno sedí, AI tady říká dobrý, že se mi nějak nezdáte, prostě ta jiskra v oku není to, co bylo prostě prvé.

1:00:12 Já vám tam dám nějak ještě další a najde něco. Takhle to jakoby má být. Takže on nebude přetíženej prostě bastlíř tam papírů, ale bude mít prostor na to se věnovat těm dvou procentům hledání jisky v mém oku. Krom toho všeho tam bude ten člověk pro mě, kdy prostě já mám nějaký trápení a to je stejný pro právníka.

1:00:32 Tak mi tam prostě počínají tím, že se mi něco blbýho přihodilo. Nebo že mi soused prostě kácí hrušku na můj pozemek nebo cokoliv mezi tím, tak ten právník tam je od toho, aby to byl můj průvodce prostě na té cestě domoc se práva. A nebo tam byl soudce, který to je prostě někdo, kdo by měl jako lidská agence rozhodnout.

1:00:52 A myslím si, že ten návod je, nejdřív si musíme velmi rychle, jako ne, že tady budeme dalších pět let o tom kybicovat, ale velmi rychle říct, tohle jsou naše morálně filozofické principy, na kterých se shodneme, přesto najde vlak a to, co je za nima, je fakt k zblití. Pardon my French, ale jako k zblití natolik, že vlastně si nedovedeme představit, že by legitimní lidi měli dělat AI, která bude do těch vod chodit.

1:01:18 Takže někde tu čáru teď vyděláme. Pokud se nám to ať k té otázce, co jste řekla teda, pojďme jak být optimistický na závěr.

1:01:24 Ale tohle to bylo velice optimistické. Já si myslím, že to, abychom si zachovali tu lidskost a aby tam pořád, aby naopak to ulevilo tém lidem, který pak mají prostor být lidský, je super.

1:01:35 Já si myslím, že já nechci lidi bullshitovat a dávat jim falešnou naději, že nějakým tanečkem mezi agentizovanou mojí prací najdu nějakého spasení a zázračně se objeví nový míst a neobjeví. Ty místa se neobjeví tak, jak se objevily prostě drožkářům se objevily místa taksikářům. To nebude už prostě takhle.

1:01:56 To budu se být úplně jinde. Takže já si myslím, že Jako bullshitovat lidi, chlácholit je, že to je v pohodě, že se to nějak samo jako udělá, to tak nebude. Takže já pozor, já nechci říkat, že všechno je ztraceno a máme to tady naopak. Jenom tomu štěstíčku musíme velmi naproti proaktivně a hledat ho jinde, než v tomhle tom.

1:02:15 Ale to neznamená, že se nemají učit s AI. AI prostě to nebude, že to bude najednou zlom, prostě nějaká perióda tady je, ale v té periódě budou ty pracovní místa, jak je známe teď, padat jako tady hrušky, A ty nový se ne a ne objevovat. Tam nebudou prostě. Takže lidi by měli začít hledat v jiných vodách.

1:02:35 A teda optimisticky jako... Já furt čekám na ten optimismus, no. No jako, ta odpověď je jako relativně krátká. AI nám, pokud ji uděláme Aligned, Tak nám pomůže vyřešit všechny další jiné problémy, kterým jako lidstvo čelíme. Takže prostě představme si svět za deset let v pohodě, svět bez rakoviny zvládnutelný, svět bez Alzheimera, svět prostě bez globální chudoby, svět, v kterém jsme schopní se adaptovat na globální klimatickou krizi, která tady už jako přichází.

1:03:04 To není otázka jako Jestli, ale už. A jestli za to můžou lidi, to už je jedno.

1:03:10 Je to jedno, je to tady.

1:03:11 Teď se musíme nějak adaptovat a ta adaptace musí být velmi zásadní.

1:03:15 Ale tohle je přesně to, co jsem od vás těch slyšel, protože vím, že takhle se díváte na ty možné přínosy, který nám jako může AI dodat, takže to si myslím, že je supervize, že prostě nejenom, že nám to spoustu problémů přidělá, ale zároveň je možné, že to spoustu problémů, které teď máme, takže nám to pomůže vyřešit.

1:03:36 Ať v medicíně nebo tady v nějakým životním prostředí a tady a tady.

1:03:40 A dokonce si i myslím, že jako v globální koordinaci společnosti, že my, co by Homo sapiens, prostě tlupovitej druh z africké savany, který se umí koordinovat v tlupách po 50 lidech, vytvořil zázraky typu, a teď to nemyslím jakkoliv s úsměškými, typu Evropská unie nebo Spojený sáty americký, jak může prostě lovec zběre ze savany vytvořit takhle složitě.

1:04:06 No ale narážíme absolutní limity toho, co Jako hypersociální opice umíme v globálním světě se zkoordinovat. A AI, pokud ji uděláme dobře a bude aligned s našimi hodnotama, to znamená, bude jedna z nás, a nebude psychopatická.

1:04:25 Tak může nás někam posouvat.

1:04:26 Chopností rychlý koordinace bude schopná za nás zajišťovat ty globální koordinované akce, které potřebujeme pro to, abychom si nezlikvidovali svět pod vlastníma norma.

1:04:36 Já vám to budu věřit, tohle bych samozřejmě byl rád, kdyby to takhle se vyvíjelo. Nejsem úplně o tom přesvědčený, že tomu tak bude, ale určitě by to bylo hezký. Ještě mám úplně jednu poslední otázku na závěr, kterou chci dát všem dnešním hostům. Jestli je nějaká otázka o umělé inteligenci, kterou vám zatím nikdo nepoložil, abyste měl možnost zároveň si na ní odpovědět.

1:04:59 Kterou mi nikdo nepoložil, bo měl inteligenci.

1:05:03 Ale zároveň byste ji chtěl dostat.

1:05:05 No to určitě bude a to je škoda, možná jste mě neměl s tím překvapit teďka, protože kdybych si to promyslel, tak bych na něco si vzpomněl. Ono je těžké si vzpomenout na něco, co se jako nestalo, že jo? Ty jo, plus se mě lidi teda ptají na všechno možné teda, kteří měli inteligenci.

1:05:23 Spíš takový jako nějaký téma, který třeba máte pocit, že vlastně nikomu moc nezajímá, ale vám to vrtá v hlavě, protože

1:05:34 Je to třeba podstatný? Já nevím, jestli někoho nezajímá, Jako třeba takový téma, který se jako obtížně vlastně uchopuje je jako vztahy s umělou inteligenci, ve smyslu jako romantický vztahy.

1:05:49 Tak to je ale velký téma.

1:05:51 Teď se právě znova jako objevil, ale vlastně málo kdy se mě jako lidi ptají, přechopujeme málo kdy na to, jak to považuji, jako je důležitý. Jestli bych třeba já chtěl mít romantický vztah s AI, tak moje odpověď je za žádných okolností. Je to pro mě přesně jedna z těch věcí, která by měla být za tou linií.

1:06:15 Je to těžká diskuze, protože se spoustě lidem jako pomáhá.

1:06:19 Spousta lidí ten romantický vztah má?

1:06:21 Já si prostě myslím, že to je přesně to, co už je za tou čárou. A měli bychom přeuspořádat naši společnost tak, že využít ty možnosti, prostě tabuizovat vytváření romantických vztahů s AI. To už je ten incest. To je prostě tak, jak se tabuize, jako ještě se kolem to dělají divný vtipy, že bača někde s ovcí něco něco, prostě se zvířata Tak za mě to mělo být v tom podobným.

1:06:43 Tak Čína se to snaží zregulovat.

1:06:46 To, že někdo trpí opravdu hlubokou bytostnou samotou, že musí navázat vztah s AI, tak ten bača s tou ovcí taky trpí hlubokou bytostnou samotou a musel navázat vztah s ovcí.

1:06:58 Ale možná je to jako potom problém té společnosti, že vůbec lidi uvrháme do té samoty.

1:07:03 Pojďme teda jako za mě, pojďme tabuizovat dělání romantických

1:07:07 hlubokých hlubokých hlubokých hlubokých hlubokých hlubokých hlubokých hlubokých

1:07:10 hlubokých hlubokých hlubokých hlubokých hlubokých hlubokých

1:07:14 hlubokých hlubokých hlubokých hlubokých hlubokých hlubokých

1:07:17 hlubokých hlubokých

1:07:24 Moc káda děkuju, já jsem strašně rád, že jsme měli příležitost probrat takovéhle věci, že jsme skončili u toho humanismu, který nás třeba spasí jednou a doufám, že to nebylo naposled, kdy jsme si měli příležitost takhle popovídat. Takže děkuju a budu si těšit někdy příště.

1:07:40 Díky za pozvání.

1:07:41 Naschle.

1:07:42 Super.