Logik Joe (diskuse)

[Rad]

Diky za pripomenuti ... jak jsem nazev clanku uvidel v rss, hend jsem si rekl - ty jo, to tu povidku krome mne jeste nekdo zna? opravdu davno jsem ji necetl - ale mam ji doma :)

prave proto miluji stare scifi - jsou 'odlehcene' od ruzne, dnes uz malem povinne, omacky (politicka korektnost jeste tehdy neexistovala, takze si autori klidne vystacili s jednym hlavnym hrdinou a klidne to byl chlap a beloch, nezatizen nejakou feministickou zenskou, ani dalsimi postavami ruznych narodnosti ... protoze je k pribehu proste nebylo potreba.

coz je dnes vdet hlavne ve filmech: trochu neco jako scifi (dej se odehrava ve vesmirum ale to je vse), pak hrdina ma problem se svoji polovickou, resi jine 'existencni' problemy, hromada zvanicich postav, pak tam musi byt nejaka postelni scena (nejlepe nevera, ktere se pak pozdeji zas dlouze 'resi'), musi tam byt prvek akcnosti - nejaka honicka, strelba, nejaky zapas (nejlepe meci, nebo plamenomenetem - na palube kosmicle lodi je to naprosto logicke, ze?)

proste stare scifi je pro mne uderne, jdouci dopredu, bez balastu. a klidne kratke - a pritom, neskutecne silne

takze jeate jednou diky za pripomenuti :)

[podlesh]

Souhlasím s tím závěrem, nicméně příčina je trochu jiná - v té době se scifi vydávalo většinou časopisecky, takže se muselo jednat o povídky a pokud možno úderné. To je diametrální rozdíl oproti románovým ságám které se tisknou na metry, o filmových sračkách (většina dnešní filmové produkce se jinak nedá nazvat) ani nemluvě.

Ještě jedna technická - politická korektnost tenkrát samozřejmě existovala, akorát že hodnoty byly opačné (tj. hrdina nejen že mohl být chlap a běloch, ale v podstatě musel). Ale časy se mění i teď, takže se to možná vrátí.

[jozka]

Vola mi zena, uz nechce maso, chce krev...

jj, par prorockych poivdek se urodilo.

[Honz]

Jedna z mnoha ženiálních povídek, které utvářely naše dětství a životy ve vosumdesátejch... Vždycky se snažím dát si několik let voraz, než mě zase obsese donutí se do toho ponořit. Těchto povídkových knih od editora Železného je několik a jsou tam neuvěřitelné skvosty, namátkou detektivky z budoucí totality "Copak nohy se kradou?", skutečně feministické veledílo "Svět je les, les je svět" a "Se založenýma rukama"...

[jozka]

Mnojo, Timothy Truckle...

Ja uz nejaky cas badam (vzdycky po Vanocich, kdyz se chca nechca dostanu pobliz nakupaku) nad tim, jak se jmenovala ta povidka o nakupech (a hlavne tu zarivou barvu...). V osumdesatkach mi to prislo jako pochmurne sci-fi, az pozdeji jsem pochopil, ze to neni uplne nemozne. Bylo to v takove te zlute sbirce...

[Honz]

Těch žlutých menších antologií bylo víc, vzpomínám si na Stvořitelé nových světů a Navštivte planetu Zemi... Povídku o nákupech si úplně nevybavuju, ale na podobné téma jsem určitě taky narazil...

[marbu]

Jo, povídku "Se založenýma rukama" si taky vybavuju. Jinak díky za tip, dívám se, že těch knih je 6, ale četl jsem jen Roboti a androidi a Pozemšťané a mimozemšťané.

[Honz]

Těch opravdu tlustých a na sebe navazujících je jenom 5, Stvořitelé nových světů je menší sbírka, ale taky pěkná...

[jozka]

Bylo to v nejake mensi, jenom si vzpomenout ve ktere, az bude cas, prohrabu knihovnicku.

[Bystroushaak]

Dobrá povídka, fakt čumím, že se mu povedlo předpovědět nejenom celosvětovou komunikační síť a osobní počítače, ale i AGI a argumenty s nimi spojenými, jako třeba Paperclip maximizer. Na dobu kdy to vyšlo si fakt neumím představit jak ho to mohlo napadnout a co k tomu vedlo.

[marbu]

Hehe, ten myšlenkový experiment jsem neznal, ale přijde mi, že jádro problému leží v cíli a metrikách, na kterých je založeno rozhodování. AGI tomu pravda dává další rozměr, ale šlo by to aplikovat i na lidi, resp. skupiny lidí (např. korporace nebo státy). Každopádně jak na to ten autor přišel by mě taky zajímalo.

[Jendа]

ale přijde mi, že jádro problému leží v cíli a metrikách, na kterých je založeno rozhodování

Ano, to je totiž pointa toho experimentu.

AGI tomu pravda dává další rozměr, ale šlo by to aplikovat i na lidi, resp. skupiny lidí (např. korporace nebo státy).

U lidí, korporací nebo států se neprojevuje tak šíleně rychlá intelligence explosion.

[JS1]

U lidí, korporací nebo států se neprojevuje tak šíleně rychlá intelligence explosion.

Jenze neni ta "exploze inteligence" u AGI jenom hypoteticka? Co kdyz to ve finale dopadne jako v te korporaci nebo statu? (To je nazor, ktery zastavam ted ja.)

[Jendа]

Samozřejmě, že je hypotetická - nikdo ještě AGI nepostavil.

Co kdyz to ve finale dopadne jako v te korporaci nebo statu? (To je nazor, ktery zastavam ted ja.)

Máš na mysli nějaký konkrétní (fyzikální/technologický) limit, na který to narazí?

[Josef Kufner]

Uvíznutí v lokálním maximu. Pokud AGI nebude dostatečně chytré, nepřijde na to, že/jak by se mohlo samo vylepšovat a bude jen chrlit sponky. V takovém případě půjde relativně snadno zastavit. Ale to nebyla pointa toho myšlenkového experimentu.

[JS1]

Máš na mysli nějaký konkrétní (fyzikální/technologický) limit, na který to narazí?

Ano. Ale nevim, jestli ho lze nazvat fyzikalnim.

Odpovim protiotazkou - co presne zabranuje korporaci, aby byla superinteligentni? Zjevne, s vypocetnim vykonem problem neni - stredne velka korporace obsahuje desitky tisic mozku. Takze proc se zatim zadne korporaci (nebo dokonce statu) nepodarilo sebeorganizovat se tak, aby byla superinteligentni?

[Josef Kufner]

s vypocetnim vykonem problem neni - stredne velka korporace obsahuje desitky tisic mozku

To je právě ten problém. Spojování mozků/procesorů výžaduje vzájemnou komunikaci a ta není dostatečně efektivní. Proto pár jednotlivců dokáže vymyslet daleko lepší věci, než velká skupina, která se zadusí komunikací. Velká skupina je dobrá na paralelizovatelné problémy/úkoly, kdy už třeba máš něco rámcově vymyšlené a potřebuješ řešit relativně nezávislé detaily.

[JS1]

Spojování mozků/procesorů výžaduje vzájemnou komunikaci a ta není dostatečně efektivní.

Co zde presne myslis tim "neni dostatecne efektivni"? Treba u nas v korporaci, lide komunikuji co muzou.. (rekl bych mozna az moc)

To neni ten hlavni problem, ktery bych v tom videl (ale jsi blizko), i kdyz i tohle samozrejme muze realizovatelnost te superinteligence ohrozit.

[Jendа]

Co zde presne myslis tim "neni dostatecne efektivni"?

Tady je to velice dlouze popsáno.

Treba u nas v korporaci, lide komunikuji co muzou..

A komunikují tak, že si otevřou DMA do L3 cache a InfiniBandem to tam nakropí 200 Gb/s s 1μs latencí, nebo komunikují pomocí kanálu, který má na L1 pár b/s, na L2 používá fuzzy jazyk a na L7 se neustále zápasí s tím, že příjemce něco nepochopil, chybí mu prerekvizity, nebo má nekompatibilní mindset?

[JS1]

Takze mam to chapat tak, ze chces, aby se posilalo tech informaci vic?

Vzdyt kazdy individualni clovek v korporaci uz pracuje na urovni sve vlastni kapacity. A presto je nedokazeme zorganizovat tak, aby se jako celek chovali inteligentneji (inteligentneji nez jedinci nebo male skupiny).

Na srovnani s pocitaci zapomen, zbytecne zavadi. Samotny lidsky mozek je fuzzy a mysli rychlostmi par desitek b/s. Co te vede k zaveru, ze posilat informaci vic ten problem nejak vyresi?

nebo má nekompatibilní mindset

Tady jsi na spravne stope, ale co presne to znamena?

[Jendа]

Takze mam to chapat tak, ze chces, aby se posilalo tech informaci vic?

Víc, rychleji, přesněji.

Na srovnani s pocitaci zapomen, zbytecne zavadi.

Pokud AGI bude, tak bude velmi pravděpodobně implementována na počítači.

A presto je nedokazeme zorganizovat tak, aby se jako celek chovali inteligentneji (inteligentneji nez jedinci nebo male skupiny).

Třeba je to proto, že nezvládají efektivní komunikaci...

Tady jsi na spravne stope, ale co presne to znamena?

Že k tomu, abych ve tvé hlavě vyvolal nějaký složitý koncept, ti možná budu muset popsat spoustu svých unikátních zážitků a předchozích zkušeností, což trvá a někdy je to až nemožné. Systémy realizované na zcela jiné platformě než je biologický mozek tímto třeba trpět nebudou.

[JS1]

Systémy realizované na zcela jiné platformě než je biologický mozek tímto třeba trpět nebudou.

Co te vede k tomu si myslet, ze jen zmena platformy zpusobi, ze nebudou mit tento problem?

Dnes vecer o tom napisu vic. Ale zkus jeste premyslet, stale uvazujes prilis konvencne.

[Jendа]

Co te vede k tomu si myslet, ze jen zmena platformy zpusobi, ze nebudou mit tento problem?

Protože vidím, že mozky mají zoufale pomalé I/O, zatímco všechna zařízení, co jsme kdy vymysleli, mají I/O o mnoho řádů rychlejší.

Ale zkus jeste premyslet, stale uvazujes prilis konvencne.

Podle mě uvažuješ konvenčně naopak ty - tím myslím, že si nedokážeš představit, že by mohlo existovat něco inteligentního s vlastnostmi úplně jinými, než současná biologická inteligence. (já netvrdím, že se lidstvu něco takového podaří vyvinout, ale nevidím principiální blocker v tom, v čem tvrdíš, že je)

[pc2005]

Tak v počítačovém mozku bys mohl rovnou nahrát celou wikipedii a nemusel by ses to učit od základky. Vlastně bys mohl nahrát už nějaký "předkompilovaný strom" vědomostí, které by se rovnou zapojily do neuronové sítě.

[Radovan]

Nojo, ale znalost ještě neznamená chápání

[pc2005]

To je už na filozofickou úvahu IMO. Pokud je chápání uloženo v (elektronickém) mozku, tak se prostě může zkopírovat. IMO by to fungovalo jako git merge nějaké databáze. Tedy by to bylo pomalý, ale pořád by to bylo rychlejší než roky studia (u člověka).

[pc2005]

Myslím že tím důkazem "není dostatečně efektivní" je klidně už jen ten Jendův link. Na to abych načetl aktuální kontext diskuze ho musím přečíst celý a to ho čtu už hodinu a jsem teprve ve druhé kapitole . Kdyby ten kontext už byl načtený nebo zkopírovaný po nějaké turbosběrnici, tak bych mohl diskutovat už dávno.

[marbu]

A komunikují tak, že si otevřou DMA do L3 cache a InfiniBandem to tam nakropí 200 Gb/s s 1μs latencí, nebo komunikují pomocí kanálu, který má na L1 pár b/s, na L2 používá fuzzy jazyk a na L7 se neustále zápasí s tím, že příjemce něco nepochopil, chybí mu prerekvizity, nebo má nekompatibilní mindset?

Dejme tomu, že budu mít dvě neuronové sítě, jednu natrénovanou na rozpoznávání psů a druhou na rozpoznávání koček. Docela by mě zajímalo, jak ta první síť té druhé, co nikdy psa neviděla, vysvětlí co je to pes a jak moc by tomu ta větší propustnost a odezva pomohla. Jako neříkám, že rychlejší přenos dat tomu nepomůže, ale zdá se mi, že ten hlavní problém bude jinde.

[Bystroushaak]

Docela by mě zajímalo, jak ta první síť té druhé, co nikdy psa neviděla, vysvětlí co je to pes a jak moc by tomu ta větší propustnost a odezva pomohla.

Otázka je, proč by jí to vůbec měla vysvětlovat. Prostě jí předá svojí kopii a dohromady vytvoří sumu obou.

[Bystroushaak]

Nehledě tedy na to, že možností je nepřeberné množství. Třeba jí může předat trénovací data + výsledky, aby si to natrénovala sama, nebo třeba statistický model, či ontologický popis.

[marbu]

Otázka je, proč by jí to vůbec měla vysvětlovat. Prostě jí předá svojí kopii a dohromady vytvoří sumu obou.

To by samosebou v tomto případě fungovalo pěkně, stejně jako poslání trénovacích dat. Ale je tohleto opravdu komunikace o které se tu bavíme? Bez ohledu na to, jak by superinteligentí AGI mohla vypadat, předpokládal bych, že bude složitější než nejaká dnešní neuronová síť nebo lidský mozek. A netvrdím, že si nedokážu představit efektivně komunikující síť AGI, ale řekl bych, že rychlost komunikačního kanálu nebude ten hlavní problém (jak Jenda píše o klopení 200 Gb/s s 1μs latencí přes DMA kanál), leda že bych předpokládal, že jediný způsob jak jedna AGI předá nějakou složitou dovednost nějaké druhé bude prostým zkopírováním sebe sama - což by ale imho ne uplně dobře škálovalo.

[pc2005]

Zkopíruju jednu vedle druhý a přidám přepínač co chci hledat .

[Bystroushaak]

Proto pár jednotlivců dokáže vymyslet daleko lepší věci, než velká skupina, která se zadusí komunikací.

Viz starý dobrý Mythical man month.

[marbu]

U lidí, korporací nebo států se neprojevuje tak šíleně rychlá intelligence explosion.

Jo, to je fakt.

[Josef Kufner]

Mimochodem, Paperclip maximizer byl i zfilmován – viz replikátoři ve Stargate. Namísto výroby sponek se sice jen množí, ale jinak je to totéž.

[Bystroushaak]

Replikátoři jsou spíš to, co se běžně nazývá Computronium (taky less wrong wiki), tedy něco jako snaha předělat celý vesmír na univerzální výpočetní jednotky (ve kterých pak můžeš pustit simulaci vesmíru s vlastními pravidly). Samozřejmě je to celé obalené sajrajtem SG lore a nedává to tam ani moc velký smysl, ale taky jsem na to koukal, když jsem byl teenager.

Na Paperclip maximizeru je šokující právě ta nesmyslnost toho všeho, kdy začneš s agresivní optimizační funkcí a končíš se sluneční soustavou, kde místo planet obíhají slunce sponky, které k ničemu nejsou.

[pc2005]

Na paperclip maximizer by možná pasoval vtip z Města Permutací, kde byly simulace mrtvých milionářů pořád moc pomalé na realtime a jeden extrémně introvertní milionář chtěl co nejlepší optimalizaci a nakonec skončil s prázdným main() {} .

[pc2005]

LOL to je přesně ta samá zápletka jako v komixu romantically apocalyptic, kde se vyhledávacího enginu konzumní společnost ptala na nesmyslné blbosti .