abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 13:22 | Zajímavý projekt

Více než 60 moderních telefonů má díky práci týmu dobrovolníků SOMainline šanci na zařazení do oficiálního linuxového jádra. Patche pro podporu chipsetu SD630 a SD660, kterým jsou tyto telefony poháněny, jsou postupně začleňovány. Tým se soustředí na zprovoznění klasických linuxových distribucí pro telefony, ale věnuje se i zprovoznění běžného AOSP. Další tým vývojářů postmarketOS již delší dobu pracuje na podpoře chipsetu MSM8953, který umožňuje vdechnout život dalším nejméně 30 telefonům vydaných v letech 2017 a 2018.

David Heidelberg | Komentářů: 17
včera 08:00 | Komunita

Svobodný kancelářský balík LibreOffice slaví 10 let od svého vzniku. Projekt byl představen 28. září 2010.

Ladislav Hagara | Komentářů: 14
včera 07:00 | Pozvánky

Ve dnech 15. až 17. října 2020 se bude konat společná openSUSE + LibreOffice konference. Původně měla konference probíhat v Norimberku, ale vzhledem k situaci bude probíhat online. Konference již zveřejnila program. Naplánováno je několik desítek přednášek. Registrace a podrobnosti naleznete na stránce konference.

Zdeněk Crhonek | Komentářů: 1
27.9. 18:11 | Zajímavý software

SimulIDE je realtimový simulátor elektronických obvodů. Podporuje také PIC, AVR a Arduino. K dispozici je verze 0.4.13. Vývojáře lze podpořit na Patreonu.

Ladislav Hagara | Komentářů: 0
27.9. 14:11 | Nová verze

Virtual Machine Manager aneb virt-manager (Wikipedie), tj. GUI pro správu virtuálních strojů podporovaných knihovnou libvirt, byl vydán ve verzi 3.0.0. Přehled novinek v příspěvku na blogu. Zdůrazněna je nová volba --cloud-init.

Ladislav Hagara | Komentářů: 4
27.9. 11:11 | Zajímavý software

Vývojáři programovacího jazyka Swift na svém blogu oznámili, že společností Apple v červnu představená knihovna Swift System je již open source a byla do ní přidána podpora Linuxu. Jedná se o knihovnu poskytující idiomatická rozhraní k systémovým voláním.

Ladislav Hagara | Komentářů: 0
26.9. 15:11 | Nová verze

Byl vydán Debian 10.6, tj. šestá opravná verze Debianu 10 s kódovým názvem Buster. Řešeny jsou především bezpečnostní problémy, ale také několik vážných chyb. Instalační média Debianu 10 lze samozřejmě nadále k instalaci používat. Po instalaci stačí systém aktualizovat.

Ladislav Hagara | Komentářů: 1
25.9. 23:11 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě BLURtooth (CVE-2020-15802) v Bluetooth 4.2 a 5.0 v Cross-Transport Key Derivation (CTKD). Útočník může provádět MITM nebo navázat spojení s libovolným zařízením. Podrobnosti v článku (pdf).

Ladislav Hagara | Komentářů: 2
25.9. 21:44 | IT novinky

Byly zveřejněny informace o úniku zdrojových kódů Windows XP.

Ladislav Hagara | Komentářů: 34
25.9. 15:22 | Zajímavý projekt

Chcete proniknout do tajů gitu? Klikněte na Learn Git Branching. Vizuální a interaktivní tutoriál ve webovém prohlížeči.

Ladislav Hagara | Komentářů: 1
Používáte aplikaci eRouška?
 (19%)
 (3%)
 (2%)
 (12%)
 (50%)
 (8%)
 (6%)
Celkem 459 hlasů
 Komentářů: 35, poslední 20.9. 21:50
Rozcestník
Štítky: není přiřazen žádný štítek


Vložit další komentář
19.8. 03:03 X
Rozbalit Rozbalit vše Re: GPT-3
160 miliard parametrů? wtf? Na jakých datech, a na jakém HW to trénovali?
Jendа avatar 19.8. 05:03 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
Prý GPU cluster.

Data: pro GPT-2 získali data tak, že vzali Reddit, a stáhli všechny odkazy, které byly v příspěvcích, které měly karmu alespoň 3. (tj. tím doufali, že to bude rozumně kvalitní text) To mělo asi 40 GB. Pro GPT-3 sehnali data tak, že vycrawlili celý web (CommonCrawl dataset) a v něm vyhledali stránky, které jsou nějakým způsobem podobné těm z předchozího datasetu. V tom paperu je o tom kapitolka, nevěnoval jsem jí moc velkou pozornost a už jsem to zapomněl.
Jendа avatar 19.8. 05:01 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
(bez záruky, když nás to ve škole učili, ještě transformery neexistovaly, a pak jsem si přečetl pár článků na arxivu a to je asi tak všechno co o tom vím. Kdybyste někdo chtěl začít from scratch, tak můžete zkusit tohle, jsou tam videozáznamy přednášek (vyžaduje javascript) a zajímavé domácí úkoly. Pokud chcete úvod do neuronových sítí a nechcete tomu věnovat víc než 45 minut, tak zkuste moji přednášku ze Smršti (ve Firefoxu nějak nefunguje zvuk, ale všude jinde to jde přehrát v pohodě))

Je to fascinující, osobně mám poprvé v životě pocit, že vidím možnou cestu k AGI -- rozhodně neříkám, že to půjde, ale před tím myslím, že vůbec nikdo netušil, jak by se vůbec k AGI dalo dostat. (samozřejmě je tu ještě scénář, že jsme s GPT-3 narazili na vrchol a víc už to vylepšit nepůjde)

Podle mě jsme ve vývoji někde na úrovni AlexNetu (první hluboká konvoluční síť z 2012, která brutálně zvítězila v soutěži na rozpoznávání obrázků). Během pár let by se mohly vyřešit různé problémy (příklady: AlexNet nešel prohlubovat, protože vanishing/exploding gradient. Tak někdo vymyslel residual connections a batchnorm a najednou šly stavět řádově větší modely) a kdo ví, kam to povede. Příklady problémů v GPT-3:
  • Kontextové okno je omezené na 2048 tokenů, takže to naprosto nedokáže bez fine-tuningu (fine-tuning je, když by uživatel nedělal jenom inferenci, ale na svých příkladech to rovnou trénoval (ve smyslu upravování vah modelu). GPT-2 šlo používat víceméně jenom takto, zatímco GPT-3 už si umí udržet kontext úlohy v sobě. V tom paperu je tohle to, čemu říkají few-shot) natáhnout nějakou dlouhou moudrost a/nebo dlouhou moudrost vyplodit. Byly prý pokusy umožnit tomu ukládat si mezi běhy stavový vektor, ale je to takové debilní. Asi by to chtělo nějakou explicitní paměť, ale diferencovatelné paměti se AFAIK (source: Mikolovova přednáška kde o tom mluvil asi 10 minut, takže třeba je skutečnost barvitější :)) dělají pekelně blbě, mám pocit, že výpočetní nároky jsou něco jako kubické vzhledem k jejich velikosti. Kontextové okno nelze naivně zvětšovat („2048 je málo, vražte tam 1048576“), protože výpočetní attention s velikostí kontextu taky nějak příšerně rostou.
  • Vstupní text AFAIK nemá žádné formátování, proto mě třeba překvapilo, že to vypadá, že to docela rozumí struktuře -- si představte, že byste četli StackOverflow, diskuze na Redditu, nebo učebnice (vzorce, diagramy, popisky…) opravdu jako naprosto čistý text. Proto mě třeba strašně zarazilo, že se to naučilo psát kód.
  • Ta věc se neumí zastavit a zamyslet se/naplánovat na několik kroků dopředu co bude dělat, protože se vždycky natvrdo projde tou sítí a na konci to musí vyplivnout pravděpodobnostní rozdělení pro následující token a pak se z těch nejpravděpodobnějších nějaký vybere a celé se to pustí znova a neví to nic/moc (tady nevím jestli se fakt nějaký stavový vektor nepředává) o svém předchozím běhu. Trochu se to dá emulovat vnitřním monologem, ale to furt nutí generovat tokeny přirozeného jazyka a z nich nějakým nejspíš dost necitlivým způsobem samplujeme.
GPT-3 pracuje nad vektory tokenů, které si můžeme představit podobně jako v známém word2vec.
No právě že ne. GPT-3 používá podstatně tupější BPE, které opravdu jenom hladově grupuje vstupní unicode codepointy (ano, vstup je unicode, včetně emoji, combining characters a dalších divočin), které se často vyskytují u sebe (například " the " to zakóduje jako jeden token), a jediný důvod, proč se tohle dělá, je ukočírovat trochu ty příšerné HW nároky co to má. Oproti tomu skutečné embeddingy jako word2vec slouží k tomu, aby když se to něco naučí pro "king", tak to totéž umělo i pro "queen" protože jejich embeddingy jsou blízko. U takto velkých modelů, jako je GPT-3, se embeddingy nepoužívají proto, protože model má dost kapacity a trénovacích dat na to, aby si to odvodil sám a lépe. Embeddingy byla věc když měl člověk malý model a málo dat, tak tomu takhle pomohl, aby se drahá kapacita/data neplýtvala na zjišťování, že king a queen jsou blízko. Jinak tohle je asi taky důvod proč to neumí "řekni mi abrakadabra pozpátku", protože "abrakadabra" se zaBPEčkuje tak, že to není možné otočit, a proto tomu asi nejsou ASCII arty.
GPT-3 také operuje nad „tokeny“, což jsou také mnohodimenzionální souřadnice ve vektorovém prostoru.
Já teda ještě nedávno nevěděl co je BPE, ale mně přijde, že tokeny jsou čísla a tipuju, že do sítě to vstupuje jako one-hot vektor. Embedding z něj udělá ta věc s názvem embedding, což asi bude obyčejné vynásobení one-hot vektoru maticí.
a očekáváme doplnění dalšího slova. Pokud síť doplní slovo „lásky“, pokračujeme dál.
Ve skutečnosti síť generuje kompletní pravděpodobnostní rozdělení, tj. vypadne z ní
lásky 92.1%
bubna 1.2%
protiiráckého 0.01% [přísahám, tohle je první slovo, které mi dalo zcat wordlist-expanded.txt.gz|shuf|head]
A ty následně děláš update vah v každém případě, tedy i když se trefila -- updatneš váhy tak, aby při tomto vstupu bylo „lásky“ ještě blíž ke 100% a všechno ostatní bylo ještě blíž k 0%.

Mimochodem tohle ukazuje tu vědu kolem toho, jak samplovat -- když si v každém okamžiku vybereme jenom ten nejpravděpodobnější token, tak se ukazuje, že výstup je opakující se a „nudný“ (asi to, čemu říkáš „tautologie“). Proto si typicky chceme vybírat z několika nejlepších. Musíme ovšem adaptivně řešit, že u „Večer si jdu lehnout do “ asi chceme doplnit ten nejpravděpodobnější, protože nic moc jiného nedává smysl, ale u „V obchodě jsme koupili “ existuje tisíc slov, která dávají smysl a text se po jejich vybrání může zajímavě rozvíjet. Pak existuje technika beam search, která tohle nějak dělá.
a cílem je najít poslepu to nejhlubší údolí
Jsem slyšel názory, že když jsi našel nejhlubší údolí, tak jsi beznadějně přeučený.
Ta údolí se hledají proto, že typicky máme nějaký stav modelu, který vrací špatná data, a my chceme změnit jen minimální množství parametrů co nejmenším způsobem tak, aby nám vracel dobrá data.

To je matematicky ekvivalentní tomu, že zkoušíme najít úpravu terénu, kterou když odečteme od současné podoby modelu, tak nám najednou vrací dobrá data. Minimální úpravu terénu chceme dělat protože předpokládáme, že model pro ostatní data vrací dobré výsledky. Kdybychom tedy udělali větší úpravu než je nutné, tak by ostatní věci, co už fungovaly, najednou mohly přestat fungovat.
Tohle je trošku špatně (motá to terén a váhy), ale nedokážu říct proč :-). Zkusím to vysvětlit vlastními slovy:
  • Hodnota chybové funkce je počítaná jako „kolik procent chybí slovu „lásky“ z předchozího příkladu do 100%“, a toto posčítané přes všechny příklady z celého trénovacího setu.
  • Terén je funkce R^175000000 → R. Funkci se dají aktuální váhy modelu a ona vrátí hodnotu chyby. A my ji chceme minimalizovat.
  • Při minimalizaci ale nemůžeme hrabat přímo na tuto funkci, jednak protože její vyhodnocení je příšerně drahé (znamená to vyhodnotit a posčítat něco přes všechny prvky datasetu), jednak protože má lokální minima ve kterých bychom se zasekli.
  • Proto děláme to, že vytáhneme z datasetu jenom pár samplů (tomu se říká minibatch), a chybu budeme vyhodnocovat na nich. Tím získáme nějaký trochu jiný terén, který snad bude podobný tomu „globálnímu“ terénu, dá se s ním počítat.
  • Nyní spočítáme aktuální výšku tohoto terénu, určíme, kterým směrem je to z kopce, a tímto směrem kousek popojdeme.
  • Vytáhneme dalších pár samplů a opakujeme. Pro tyto jiné samply bude terén vypadat trošku jinak, a například doufáme, že lokální minima budou v jiných místech, takže pokud jsme do nějakého vstoupili, tak teď se trochu posunulo a zase z něj vylezeme.
Tohle celé děláme na kopci, který má 175 miliard bodů v mnoha dimenzích.
Ne, ten kopec má nekonečně bodů (teda, celé je to v počítači, takže je to omezené alokovanou pamětí, ale to je několik Tb, a 2^tera je prakticky nekonečno). Prostor, ve kterém existuje, má 175G dimenzí.
GPT-3 používá pro embeding slov 12 288 dimenzí, které je možné si představit jako osy v grafu
Ee. Tohle funguje tak, že na vstupu dostaneš one-hot (vektor, který má všude 0, jenom na jednom místě je 1) kódující token, a z toho nějak vyrobíš vektor dlouhý 12288. Tím jsi zmenšil dimenzionalitu a udělal právě to, že se „king“ a „queen“ dostaly k sobě. A váhy/parametry/osy grafu/dimenze prostoru kde žije ten kopec jsou ty parametry, kterými jsi udělal tuhle redukci. Ale ta jsem zjistil že nevím jak se dělá. Myslel jsem, že to je obyčejné násobení maticí, ale v případě GPT-2 by ta matice měla 50257*1600 = 80M prvků, což je skoro polovina parametrů toho modelu, což je asi blbost.
už samotné schopnosti, které má GPT-3 jsou dost husté na to abych si dovedl představit tisíce různých užitečných použití k získání výhody a náskoku nad konkurencí
Hmm, já se přiznám, že moc ne. Nějaké příklady?
Jendа avatar 19.8. 05:54 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
Myslel jsem, že to je obyčejné násobení maticí, ale v případě GPT-2 by ta matice měla 50257*1600 = 80M prvků, což je skoro polovina parametrů toho modelu, což je asi blbost.
A nebo si jenom pletu čísla, to největší GPT-2 má 1.6G parametrů, takže to tak může být.
Jendа avatar 19.8. 05:59 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
Jo, je, hele. (tohle malé GPT má velikost embeddingu jenom 768, takže ta matice má 38M prvků).
Bystroushaak avatar 19.8. 05:56 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Asi by to chtělo nějakou explicitní paměť, ale diferencovatelné paměti se AFAIK (source: Mikolovova přednáška kde o tom mluvil asi 10 minut, takže třeba je skutečnost barvitější :)) dělají pekelně blbě, mám pocit, že výpočetní nároky jsou něco jako kubické vzhledem k jejich velikosti. Kontextové okno nelze naivně zvětšovat („2048 je málo, vražte tam 1048576“), protože výpočetní attention s velikostí kontextu taky nějak příšerně rostou.
Jo, to jsem si taky říkal. Přemýšlel jsem jak moc by se to tam dalo dohackovat a (nesouvisí s tímhle) co to třeba zkusit nějak propojit s wolframem alpha.
No právě že ne. GPT-3 používá podstatně tupější BPE, které opravdu jenom hladově grupuje vstupní unicode codepointy (ano, vstup je unicode, včetně emoji, combining characters a dalších divočin), které se často vyskytují u sebe (například " the " to zakóduje jako jeden token), a jediný důvod, proč se tohle dělá, je ukočírovat trochu ty příšerné HW nároky co to má.
Uh, ok. Já když jsem to četl, tak jsem tam ten krok s BPE viděl, ale myslel jsem že to počítá ty embedingy poctivě z toho. Protože všude o tom mluví právě jako o těch embedinziích, dokonce to srovnávají právě s word2vec. Jsi si tím jistý?
Ve skutečnosti síť generuje kompletní pravděpodobnostní rozdělení, tj. vypadne z ní
Jo, to máš pravdu, v tom gui se to dá i vizualizovat, ale ono to na principu fungování zas tak moc nemění, protože stejně chceš "lásky" s nejvyšší pravděpodobností.
Tohle je trošku špatně (motá to terén a váhy), ale nedokážu říct proč :-). Zkusím to vysvětlit vlastními slovy:
Mno, ono asi víc než jen trošku, chtěl jsem to jen tak letecky vysvětlit aby to neznělo lidem jako nesrozumitelné matematické buzzwordy. Akorát jsem byl líný studovat do detailu jak přesně to funguje u GPT, takže díky za popis.
Ne, ten kopec má nekonečně bodů (teda, celé je to v počítači, takže je to omezené alokovanou pamětí, ale to je několik Tb, a 2^tera je prakticky nekonečno). Prostor, ve kterém existuje, má 175G dimenzí.
Ok, upravím to.
Hmm, já se přiznám, že moc ne. Nějaké příklady?
Žádné bezpracné, ale například různé korekce. Generování šablon mnoha různých typů dokumentů upravených podle popisů (asi jako ty ukázky CSS). Pokud by to fakt bylo použitelné k analýze textů, což asi úplně netriviálně nepůjde, tak různé sématické generování filtrů (email, ale obecně streamy). Možná různé nástroje ala refactoring, kterému popíšu co chci? Psaní testů? Konverze textu do nějaké strukturované podoby. Highlevel vyhledávání podle významu. Kdyby se to spojilo s různými strukturovanými informacemi, tak třeba pustím nad ablinuxu query ala "najdi mi všechny posty kde se někdo baví o machine learningu a seřaď to podle času". A tak podobně.
Bystroushaak avatar 19.8. 06:01 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
  • Hodnota chybové funkce je počítaná jako „kolik procent chybí slovu „lásky“ z předchozího příkladu do 100%“, a toto posčítané přes všechny příklady z celého trénovacího setu.
  • Terén je funkce R^175000000 → R. Funkci se dají aktuální váhy modelu a ona vrátí hodnotu chyby. A my ji chceme minimalizovat.
  • Při minimalizaci ale nemůžeme hrabat přímo na tuto funkci, jednak protože její vyhodnocení je příšerně drahé (znamená to vyhodnotit a posčítat něco přes všechny prvky datasetu), jednak protože má lokální minima ve kterých bychom se zasekli.
  • Proto děláme to, že vytáhneme z datasetu jenom pár samplů (tomu se říká minibatch), a chybu budeme vyhodnocovat na nich. Tím získáme nějaký trochu jiný terén, který snad bude podobný tomu „globálnímu“ terénu, dá se s ním počítat.
  • Nyní spočítáme aktuální výšku tohoto terénu, určíme, kterým směrem je to z kopce, a tímto směrem kousek popojdeme.
  • Vytáhneme dalších pár samplů a opakujeme. Pro tyto jiné samply bude terén vypadat trošku jinak, a například doufáme, že lokální minima budou v jiných místech, takže pokud jsme do nějakého vstoupili, tak teď se trochu posunulo a zase z něj vylezeme.
Můžu tohle použít v blogu?
Jendа avatar 19.8. 06:05 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
Klidně. Korekce: který snad bude podobný tomu „globálnímu“ terénu, ale dá se s ním počítat.
19.8. 06:45 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: GPT-3
Super komentář, díky za něj.
Hmm, já se přiznám, že moc ne. Nějaké příklady?
Kdysi jsem četl, asi v souvislosti s IBM Watsonem nebo něčím podobným, že je velký problém sledovat třeba lékařské studie. Systém, který to dokáže načíst a pak to lékařskému personálu nějak smysluplně (a podle potřeby) prezentovat, může dost zásadně pomoct u takových těch „detektivních“ případů, kde sice vidíš nějaké projevy, ale vůbec nevíš, pod čím zkoušet hledat další informace.

Takže to vyhledávaní mi přijde asi nejzajímavější (viz taky co píše Bystroushaak… v podstatě takový NQL, Natural Query Language). V praxi se to možná začne používat na různých infolinkách a chatbotech, vlastně by mě asi ani nepřekvapilo, kdyby se to používalo i na automatizované marketingové hovory (no, nazvěme to raději pravým jménem: scamy) a tak.
Bystroushaak avatar 19.8. 06:50 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Příloha:
Teď jsem se bavil s Přemkem na IRC a napadlo mě vyzkoušet, jak to třeba zvládne generovat RSS (viz příloha, tučný text jsem tomu dal, netučný text je GPT-3). Až na ty časy a URL, kterou si to kompletně vymyslelo mi to přijde dost super pro transformaci dat. Asi zajímavější task by teda byl to donutit napsat nějaký konvertor, protože tohle může být kapku nestabilní, ale stejně je to fakt zajímavé.
Bystroushaak avatar 19.8. 07:01 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Teď jsem to zkoušel použít k převodu kódu z pythonu do C a docela se to chytá.
19.8. 12:33 /dev/win
Rozbalit Rozbalit vše Re: GPT-3
a co BASH skripty? Skus mu ich dat.
JiK avatar 19.8. 18:02 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: GPT-3
už samotné schopnosti, které má GPT-3 jsou dost husté na to abych si dovedl představit tisíce různých užitečných použití k získání výhody a náskoku nad konkurencí
Hmm, já se přiznám, že moc ne. Nějaké příklady?
Zcela bez premysleni treba jen generovani desitek, stovek, tisicu reklam (nebo obecne sdeleni, promtu, signalu) a nasledne vyhodnoceni, ktere z nich nejlepe funguji a zpusobi u cilove skupiny (ktera v krajnim pripade muze byt treba mala az do urovne kazdeho jednotlivce) nejake zadouci chovani (utraceni penez, volbu kandidata K, vykonani neceho, nevykonani neceho...)

De-fakto hacknuti svobodne vule cloveka jako bytosti. Mam chut se stat neoludditou...
Bystroushaak avatar 19.8. 23:13 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
De-fakto hacknuti svobodne vule cloveka jako bytosti. Mam chut se stat neoludditou...
To by ti v tom jako nějak pomohlo, jo?
Zcela bez premysleni treba jen generovani desitek, stovek, tisicu reklam (nebo obecne sdeleni, promtu, signalu) a nasledne vyhodnoceni, ktere z nich nejlepe funguji a zpusobi u cilove skupiny (ktera v krajnim pripade muze byt treba mala az do urovne kazdeho jednotlivce) nejake zadouci chovani (utraceni penez, volbu kandidata K, vykonani neceho, nevykonani neceho...)
Jak by to mělo fungovat? Na to potřebuješ feedback a ten se bude blbě implementovat a ten machine learning ti v tom až tak moc nepomáhá.
Josef Kufner avatar 19.8. 23:26 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: GPT-3
Říká se tomu A/B testování. Různým uživatelům dáš různé varianty a měříš jejich reakce, např. kliknutí na reklamu nebo prodeje produktů. Feedback je statistika reakcí lidí, chvíli trvá, ale dělá se to, neboť moc lepších věcí není. Jen bude potřeba tu AI učit zpožděně, tedy aby každá vygenerovaná varianta byla nějak označena a po pár dnech jí říct, že varianta X dosáhla skóre Y.
Hello world ! Segmentation fault (core dumped)
Bystroushaak avatar 19.8. 23:28 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Znám A/B testování, jen mi není úplně jasné jak ti v tom pomáhá ta "AI". K tomu potřebuješ framework který s "AI" nijak nesouvisí. Možná tak v tom kreativním generování reklam?
xkucf03 avatar 19.8. 23:33 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Zpětná vazba
Na to potřebuješ feedback a ten se bude blbě implementovat

To je ale dost zásadní i pro jiné (užitečné, dobré) úlohy. Např. jak jsi psal o tom generování XML nebo kdyby se měl generovat jiný zdroják – chce to zpětnou vazbu, která bude říkat, jestli je kód syntakticky validní a jestli splňuje nějaké požadavky/testy. A dokud to validní nebude, tak se bude iterovat a zkoušet pořád dál. Bez toho je to celkem k ničemu.

Znám A/B testování, jen mi není úplně jasné jak ti v tom pomáhá ta "AI". K tomu potřebuješ framework který s "AI" nijak nesouvisí. Možná tak v tom kreativním generování reklam?

Čekáš, že to vrátí správný výsledek hned napoprvé, aniž by to muselo iterovat přes X neúspěšných pokusů a postupně se k tomu správnému výsledku dopracovat?

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
19.8. 23:48 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: GPT-3
Možná tak v tom kreativním generování reklam?
Samozřejmě. Vždyť to je věc naprosto zásadní. Máš nějaký číselný vektor reprezentující člověka (jeho zájmy, preference, vlastnosti) a dokážeš vygenerovat reklamu přímo na míru pro něj. Nejlepší, co můžeš dělat v současnosti, je ručně připravit reklamy a rozhodnout se, že je budeš ukazovat lidem, kteří mají parametr p ≥ 0,5. Naprosto se to nedá srovnávat se situací, kdy ti přijde zpráva dokonale ušitá na míru přímo pro tebe. Ne pro tvůj „segment“, ne pro tvou sociální skupinu, ale přímo pro tebe.

A teď si představ, že to třeba vůbec nebude označené jako reklama, ale bude to virtuální identita, se kterou si roky vyměňuješ zprávy, občas zapaříte online hru, zavoláte si… A budeš žít v domění, že je to člověk a jste kámoši, ale ve skutečnosti to bude jen AGI, jejímž jediným úkolem je s tebou manipulovat.
20.8. 00:45 deda.jabko | skóre: 23 | blog: blog co se jmenuje "každý den jinak" | za new york city dvakrát doleva a pak už se doptáte
Rozbalit Rozbalit vše Re: GPT-3
Vždyť to je věc naprosto zásadní. Máš nějaký číselný vektor reprezentující člověka (jeho zájmy, preference, vlastnosti) a dokážeš vygenerovat reklamu přímo na míru pro něj.

Uz pred vic jak deseti lety dokazal Amazon doporucovat zbozi a nabizet "balicky" na miru tak dobre, ze sice bylo poznat, ze s tebou ta nabidka manipuluje, ale presto ji bylo tezke odmitnout.

Docela by me zajimalo, co vsechno za tim stoji, jestli jsou to hlavne data nebo algoritmy, protoze napr. alza.cz nebo mall.cz jsou v tomto smeru uplne mimo, i kdyz predpoklady pro personalizaci na teto urovni by meli mit.

Asi před rokem se dostali hackeři na servry Debianu a ukradli jim zdrojové kódy.
20.8. 01:38 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: GPT-3
Obojí. Data a fine-tuned algoritmy. Je celkem jedno, jestli to tuníš ručně ty nebo AGI, akorát ta AGI to samozřejmě zlevní a umožní škálovat do nevídaných rozměrů.
Josef Kufner avatar 20.8. 10:07 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: GPT-3
Možná tak v tom kreativním generování reklam?
Přesně tak. A/B testování samo o sobě na AI nezáleží, ale někdo musí připravit ty varanty, které se podstrčí uživatelům. Když budeš varianty generovat pomocí AI a trénovat jí na výsledcích testování, bude ti generovat reklamy na míru pro konkrétní lidi.
Hello world ! Segmentation fault (core dumped)
Bystroushaak avatar 20.8. 11:04 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Šlo mi spíš o ten divnej předpoklad, že na reklamě nějak extra záleží. Podle mě je úplně jedno, jestli to bude krásná reklama na zlatem vykládaném papíře, nebo hypnotoad, stejně si to nekoupím, když je to nějaký debilní bazmek.

Pro mě je relevantní, *chvíle napětí*, když je to pro mě relevantní. Ale pak se z děsivého ďábelského reklamního nástroje stává prostě obyčejný recommendation engine, a i ten nejrelevantnější v podobě přátel a lidí co mě znají má relativně omezenou úspěšnost.
xkucf03 avatar 20.8. 11:30 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Centralizace internetu, nakupování

Pokud pro tebe budou podobně relevantní dva výrobky, tak si ale koupíš ten, který jsi viděl v reklamě resp. ten, o kterém víš, že existuje. Dneska je spíš problém v tom, že jsme všichni zahlcení informacemi, takže ani není potřeba nic cenzurovat – stačí to, co má být vidět, posunout nahoru, a to ostatní se ztratí v šumu.

Ten, kdo si aktivně vyhledává informace o zboží a přemýšlí nad tím, ten na tom bude líp. A za ty, kdo jen pasivně konzumují (jak informace, tak zboží), rozhodně nějaký algoritmus. Rozhodne za ně třeba Facebook, Amazon nebo Google tím, co jim strčí pod nos. A udělá to na základě toho, co si přejí jejich zákazníci (což samozřejmě nejsou uživatelé ale inzerenti nebo odběratelé nějakých analytických služeb).

Opět se dostáváme k tomu, že centralizace internetu je problém. Na Amazonu jsem si nekoupil nic (jednou málem), i když jinak po internetu nakupuji hodně. Google mám zablokovaný v DNS, stejně jako Facebook a Microsoft. Postupně bych se rád zbavil eBaye, kde stále zatím nakupuji dost.

Ve výsledku je to na lidech – jak si váží svého soukromí a svobody, jaké ústupky jsou ochotní udělat. Je to věc, kterou může ovlivnit každý svým tržním chováním.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
Bystroushaak avatar 20.8. 13:44 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
Pokud pro tebe budou podobně relevantní dva výrobky, tak si ale koupíš ten, který jsi viděl v reklamě resp. ten, o kterém víš, že existuje.
Ani ne. Koupím si ten co bude mít nejlepší poměr cena/výkon, a nejlepší uživatelské recenze. Občas si koupím něco co se mi prostě víc líbí. Reklama v tom všem hraje roli imho úplně zanedbatelnou.
Ten, kdo si aktivně vyhledává informace o zboží a přemýšlí nad tím, ten na tom bude líp. A za ty, kdo jen pasivně konzumují (jak informace, tak zboží), rozhodně nějaký algoritmus. Rozhodne za ně třeba Facebook, Amazon nebo Google tím, co jim strčí pod nos. A udělá to na základě toho, co si přejí jejich zákazníci (což samozřejmě nejsou uživatelé ale inzerenti nebo odběratelé nějakých analytických služeb).
Dobře, tohle uznávám, ale znova; k tomu nepotřebuješ žádnou "AI", a už se to aktivně děje asi dvacet let.
20.8. 13:58 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
…a nejlepší uživatelské recenze … Reklama v tom všem hraje roli imho úplně zanedbatelnou.

:-)

Bystroushaak avatar 20.8. 15:46 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
…a nejlepší uživatelské recenze … Reklama v tom všem hraje roli imho úplně zanedbatelnou.
To bylo myšleno opačně. Několikrát se mi stalo, že jsem něco neobjednal protože to mělo negativní recenze, sám jsem negativní reakce několikrát přidával. To že to vychvaluje deset lidí na mě nepůsobí zdaleka tak, jak když na to deset lidí nadává.

Asi to může vypadat, že se snažím působit že na mě reklama nemá žádný vliv. To pochopitelně není pravda. Akorát prostě vliv na mě mají spíš různé recommendation enginy, které nepovažuji vysloveně za reklamu. Například když mi amazon něco nabídne (typicky podobné knihy), tak si je často koupím. Když mí něco nabídne nějaká kontextová reklama někde na netu, tak si to nekoupím nikdy. Když tady na abclinuxu někdo napíše recenzi na čtečku knih a že s ní byl spokojen a vysvětlí důvody proč, a deset registrovaných lidí v diskuzi s ním bude souhlasit, tak existuje slušná šance že si jí taky koupím. Když uvidím někde banner na čtečku knih, tak existuje nulová šance že na něj kliknu, natožpak abych šel a koupil si to.

"AI", která by mi takhle doporučovala věci by měla nějakou úspěšnost, ale znova, to není nějaká apokalypsa, jak to podával op, ale zcela chtěná feature.
xkucf03 avatar 20.8. 16:04 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
To bylo myšleno opačně. Několikrát se mi stalo, že jsem něco neobjednal protože to mělo negativní recenze, sám jsem negativní reakce několikrát přidával. To že to vychvaluje deset lidí na mě nepůsobí zdaleka tak, jak když na to deset lidí nadává.

Tohle mám podobně, akorát je potřeba si být vědom toho, že to může být i negativní reklama/kampaň placená konkurencí.

Ono když třeba koukám na nějaké video-recenze zboží, tak mne spíš než to, co ten člověk říká, zajímá to, jak ta věc vypadá – chci ji vidět z různých úhlů, v pohybu, chci vidět detaily, jak je co udělané, navržené, jaká je povrchová úprava a kvalita zpracování… a to natočené běžnými kamerami různých lidí – nikoli vyretušovaná marketingová fotografie nebo video od výrobce.

To se samozřejmě týká věcí, kde jde hlavně o tu fyzickou stránku. Nejde to aplikovat univerzálně.

Například když mi amazon něco nabídne (typicky podobné knihy), tak si je často koupím. Když mí něco nabídne nějaká kontextová reklama někde na netu, tak si to nekoupím nikdy.

To ale znamená, že kdyby o tobě ten reklamní systém měl více informací (jako Amazon) a nabízel by ti relevantnější zboží, tak by ses tou reklamou taky řídil, ne? Nebo v čem je rozdíl?

Když tady na abclinuxu někdo napíše recenzi na čtečku knih a že s ní byl spokojen a vysvětlí důvody proč, a deset registrovaných lidí v diskuzi s ním bude souhlasit, tak existuje slušná šance že si jí taky koupím.

Ano. Ale tady těžíš z toho, že český trh (a tím spíš nějaké AbcLinuxu) je pro výrobce nedostatečně zajímavý na to, aby na něm nějak marketingově působili. Být to třeba v USA a třeba na Facebooku, Redditu, Twitteru nebo jiné tzv. sociální síti, tak by tenhle přístup asi moc použít nešel.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
Bystroushaak avatar 20.8. 17:28 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
To ale znamená, že kdyby o tobě ten reklamní systém měl více informací (jako Amazon) a nabízel by ti relevantnější zboží, tak by ses tou reklamou taky řídil, ne? Nebo v čem je rozdíl?
Jo, vždyť píšu že to by na mě fungovalo. Akorát to pak prostě není něco negativního, ale nástroj co mi pomáhá najít relevantní doporučení. Například v oblasti knih si určitě nechám něco rád doporučit někým kdo mě zná, nebo právě třeba amazonem, který se docela často trefí a přihodím podobnou knížku co mě zaujme.

Oproti tomu si to porovnej s tím co psal op:
De-fakto hacknuti svobodne vule cloveka jako bytosti. Mam chut se stat neoludditou...
Jako možná kdyby třeba nějaký autor knih si zaplatil, že mi to bude nabízet jeho knihy na úkor někoho zajímavějšího, tak by to asi bylo negativní. Pokud mi to ale jen nabídne relevantní knihy, které třeba jako bonus nějaký machine learning vyhodnotí, jako že by mě asi bavily, když mě bavilo tohle, tak je to win-win situace a služba, ne nějaké hackování mojí vůle.
Ano. Ale tady těžíš z toho, že český trh (a tím spíš nějaké AbcLinuxu) je pro výrobce nedostatečně zajímavý na to, aby na něm nějak marketingově působili. Být to třeba v USA a třeba na Facebooku, Redditu, Twitteru nebo jiné tzv. sociální síti, tak by tenhle přístup asi moc použít nešel.
Tak každý druhý youtuber dneska má nějakou reklamu tohohle druhu, kde prostě na začátku videa vychválí nějaký produkt. Až na to že já prostě takhle věci kupuji málokdy. Můj ideál je spíš mít míň věcí, které používám, než hodně které nepoužívám a během posledních asi pěti let jsem systematicky vyhodil / rozdal / prodal asi polovinu všeho co jsem měl. Většinou když jdu něco kupovat, tak protože to potřebuju, a tam je mi nějaká reklama ukradená, protože prostě jdu do eshopu a řadím podle parametrů.
xkucf03 avatar 20.8. 17:49 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování

Například v oblasti knih si určitě nechám něco rád doporučit někým kdo mě zná, nebo právě třeba amazonem, který se docela často trefí a přihodím podobnou knížku co mě zaujme.

Oproti tomu si to porovnej s tím co psal op:

De-fakto hacknuti svobodne vule cloveka jako bytosti. Mam chut se stat neoludditou...

Ono to může dopadnout tak, že Amazon ti bude doporučovat knihy, které sice tématicky odpovídají tomu, co tě zajímá (takže na základě titulku, abstraktu a doporučení je docela šance, že si je koupíš), ale třeba nejsou moc kvalitní a prodejce jich má hodně na skladě a chce se jich zbavit.

Zájmy obchodníka a zákazníka se můžou (v krátkodobém horizontu) rozcházet. A jakýkoli systém doporučení bude přirozeně pracovat spíš ve prospěch toho, kdo ho provozuje a platí, což je obchodník. Z dlouhodobého hlediska je samozřejmě v zájmu obchodníka mít spokojené zákazníky. Pokud ale obchodník preferuje krátkodobé cíle nebo má zákazníky, kteří sebou nechají zametat, tak se ten systém bude zneužívat.

Proto by mi přišlo zajímavé mít nějaký inteligentní systém doporučení placený zákazníky a pracující výhradně v jejich prospěch. V zásadě by to vedlo na nějaké spotřebitelské družstvo nebo komerční službu, která by byla závislá jen na příjmech od zákazníků. Otázka je, jestli je dost zákazníků, kteří by o takováto doporučení měli zájem – nebo jestli je to lidem jedno (pak dostanou, co zaslouží a vytrestají sami sebe).

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
Fluttershy, yay! avatar 20.8. 17:54 Fluttershy, yay! | skóre: 87 | blog:
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
Pokud mi to ale jen nabídne relevantní knihy, které třeba jako bonus nějaký machine learning vyhodnotí, jako že by mě asi bavily, když mě bavilo tohle, tak je to win-win situace a služba, ne nějaké hackování mojí vůle.
Vždyť to je přesně popis uzavření se v personalizované informační bublině, a to ne nutně právě vědomě. (Ba co hůř, vzhledem ke konsolidaci trhu – ten algoritmus může být nakonfigurovaný tak, aby knihy s určitou tématikou, která třeba Amazonu nevyhovuje, v doporučeních nepreferoval.)

Poznámka stranou, pokud to někdo nezaznamenal: Goodreads je vlastněný Amazonem.
Většinou když jdu něco kupovat, tak protože to potřebuju, a tam je mi nějaká reklama ukradená, protože prostě jdu do eshopu a řadím podle parametrů.
Podle kterých parametrů?

Zrovna na tomhle webu se najde dost lidí, kteří mají nekonvenční preference aspoň v některé (typicky např. software, který je svobodný byť třeba na úkor některých funkcí), ale ne v každé oblasti (takže si nechají doporučit parametry, což už je přivede na určitou skupinu produktů), potažmo často je s atypickými preferencemi tak náročné sehnat vyhovující produkt, že to člověk vzdá a zařídí se konformně s většinou.
Science advances one funeral at a time. (Max Planck, parafráze) ✊ ⓔⓐⓣ ⓣⓗⓔ ⓡⓘⓒⓗCHAZ
Bystroushaak avatar 20.8. 18:05 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
Vždyť to je přesně popis uzavření se v personalizované informační bublině, a to ne nutně právě vědomě.
Už jen akt toho že žiješ je uzavření se v personalisované informační bublině. Zajímají mě věci, které mě zajímají. Nezajímá mě plošně všechno. Mým cílem není být dokonalá vyvážená bytost, která sjednocuje protiklady a vyrovnává nevyrovnané.

Jsou prostě věci, které mě nezajímají, a těch je asi i většina všeho. Například rád čtu sci-fi, ale ne úplně všechno sci-fi. Mám rád hard sci-fi, které obsahuje ideálně nějaké prvky, které je docela těžké popsat. Například kamarádi ví co mi doporučovat a co by mě asi moc nezajímalo. Pokud by to věděl i nějaký machine learning, tak je to výhoda, ne nevýhoda, protože mi nabízí věci podle mého vkusu, místo toho aby mi cpal věci co se mi líbit nebudou.
Podle kterých parametrů?
Tak to záleží co kupuju, že. Například u monitoru mě zajímá technologie, rozlišení, doba odezvy a tak. U vysavače výkon a typ sáčků / čištění. U klimatizace BTU a příkon. U žárovky svítivost, barva světla a příkon. U ..
Fluttershy, yay! avatar 20.8. 18:47 Fluttershy, yay! | skóre: 87 | blog:
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
Jsou prostě věci, které mě nezajímají, a těch je asi i většina všeho. Například rád čtu sci-fi, ale ne úplně všechno sci-fi.
I když čteš toliko fikci pro zábavu, je pořád praktický rozdíl, jestli ti doporučovací systém navrhne – střelím vulgární příklad, ať je to snad zjevné – Terryho Goodkinda, nebo Ursulu Le Guin. Tobě osobně to třeba tak nepřijde, ale lidem okolo ano.
Tak to záleží co kupuju, že.
Přesně tak. Napadlo by tě pořídit si např. vodní vysavač? Co takhle něco, o čem na začátku nevíš vůbec nic? Tuhle jsem se zaobíral poněkud nevšední technikou na zpracování potravin…
Science advances one funeral at a time. (Max Planck, parafráze) ✊ ⓔⓐⓣ ⓣⓗⓔ ⓡⓘⓒⓗCHAZ
20.8. 21:22 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
je to win-win situace a služba, ne nějaké hackování mojí vůle
Když jsme se tu bavili o těch obchoďácích… Dejme tomu, že se rozhodneš omezit sladké. Ve kterém případě bude snažší realizovat tvou vůli?

1. Sekce se sladkostmi bude umístěná stranou a snadno se jí vyhneš.

2. Budeš nucen projít přímo kolem ní.

3. Praští tě to do očí hned u vstupu s cedulí upozorňující na slevu a hlouček lidí si to tam bude nadšeně rozebírat.

Nebo co takové cigarety? Tabákový průmysl dřív čile sponzoroval kouření ve filmech. Televizní spoty s reklamou na alkohol, které ti mají vsugerovat, že ta která lahev je základem každé párty, určitě taky nikoho neovlivňují. To je totiž ta krása, že ti každý řekne, jak ho reklamy neovlivňují, ale přitom vidíš, jak masivní prostředky jsou na tu reklamu vynakládány a jak reklama nezmizela ani poté, co je díky příchodu Internetu možné její dopady mnohem lépe měřit.

Namátkou si vzpomínám, jak jsem někde v obchodě viděl procházet nějakou rodinku s dítětem a to dítě ukazovalo na nějakou ústní vodu. Maminka mu řekla, že mají doma Listerine a že ten je lepší. No, zcela určitě je známější a má lepší jméno, ale opravdu je lepší? V čem? Ta nejznámější varianta s alkoholem ani není moc vhodná ke každodennímu užívání…

Tohle všechno jsou věci, které jsou na populaci cílené plošně. I tak to přináší výsledky a není úplně triviální těm vlivům odolávat. Ideální jsou samozřejmě lidi, co si to neuvědomují a naprosto svobodně si dle vlastního racionálního úsudku koupí přesně ten produkt, který jim marketéři podsunou.

GAI manipulaci posune na dosud nevídanou úroveň. Kdo myslíš, že by vyhrál třeba volby? Politik, co to „myslí upřímně“, politik s Prchalem a nebo politik se silnou GAI?

Proč mimochodem existuje nějaká viralita a exponenciální růst? Že by v tom hrálo podstatnou roli to, že lidi prostě jsou ovlivnitelní a když vidí ostatní něco dělat, jsou ochotnější to dělat taky? Jo, vytvořit si tak 100 streamerů/YouTuberů poháněných GAI, co budou propagovat nějaký můj produkt…

Svoboda vůle, pokud vůbec nějaká existuje, je dost vzácná i normálně. Nesmíme dopustit, aby GAI, až se objeví, zůstala v rukou pár obřích korporací. Jakmile inteligenci průměrného člověka překročí o pár desítek procent a bude relativně levně horizontálně škálovatelná, stane se z ní de facto zbraň hromadného ničení. Tou nejsilnější GAI musí disponovat stát, v opačném případě nebude schopný zajišťovat vymahatelnost práva, obranu a potažmo ani mít rozumnou jistotu další existence.
20.8. 21:26 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
Svoboda vůle, pokud vůbec nějaká existuje, je dost vzácná i normálně. Nesmíme dopustit, aby GAI, až se objeví, zůstala v rukou pár obřích korporací.
Zapomněl jsem upřesnit, že samozřejmě nejde jen o tu manipulaci, ale celkově schopnost např. hackovat právní systém a prostě celkově si dělat tak nějak… cokoliv.
20.8. 21:59 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
Tou nejsilnější GAI musí disponovat stát…

Jako třeba ČR v čele s Babišem, který ji řídí jako svou filiálku? Nebo USA v čele s Trumpem, který považuje státní aparát buď za svou hračku nebo za nástroj, jehož primárním účelem je zařídit jeho znovuzvolení? Nebo třeba Rusko v čele s Putinem? Bělorusko s Lukašenkem? KLDR s Kim Čong Unem? Já nevím… to už snad radši ten Google.

20.8. 22:21 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
Tak pořád asi lepší, aby tím disponovala ČR a ne jen Babiš jako soukromá osoba. Čím méně demokratický režim, tím víc se ten rozdíl samozřejmě stírá. S tím ale stejně nic neuděláme a konkurovat třeba Číně bude nesmírně obtížné.

Zajímalo by mě, jestli tohle nějak řeší NATO.
JiK avatar 20.8. 23:20 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
Zajímalo by mě, jestli tohle nějak řeší NATO.
Jiste, je to v seznamu priorit hned pod specialnimi podprsenkami pro transgenderove vychodonemecke tankistky...
6.9. 20:46 _
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování
tak pokud chceš aby ti google AI cpala chřtánem progresivně levicovou politiku plnou všelijakých kvót na gendery, stupně opálení...proč ne, já bych raději toho Trumpa nebo Putina pokud bych si mohl vybrat
xkucf03 avatar 20.8. 16:36 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Centralizace internetu, nakupování

P.S.

"AI", která by mi takhle doporučovala věci by měla nějakou úspěšnost, ale znova, to není nějaká apokalypsa, jak to podával op, ale zcela chtěná feature.

Tady jde o to, kdo takovou A.I. bude provozovat a v čím zájmu tedy bude pracovat. Dejme tomu, že mne zajímá otevřený hardware a rád si ho koupím a podpořím. U reklamy na takový HW je nenulová šance, že na ni kliknu. Ale pokud bych se takovými doporučeními začal řídit, tak bych pak dával přednost projektům, které si zaplatily reklamu a naopak bych se nedozvěděl o těch, které si reklamu nezaplatily. To vytváří motivaci, aby si za reklamu platili všichni – a pak jsme víceméně zase tam, kde jsme byli.

Šlo by to i obrátit – ten systém by byl nezávislý, jeho provoz by platili nakupující a pro prodávající by byl naopak zdarma. Tzn. byla by tam motivace, aby ten systém pracoval ve prospěch zákazníků (na rozdíl od reklamy, kde je motivace pracovat ve prospěch prodávajících).

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
6.9. 20:39 @
Rozbalit Rozbalit vše Re: GPT-3
Hezký komentář Jendo. Jenom bych doplnil že word embeddingy jsou obvykle malé. Třeba i jenom 2 či 3 dimenzionální, rozhodně ne 12288. Představ si že máš 2024 tokenů jako vstup a každý kóduješ jako 12288. Vstupní vektor bys měl 24870912 dimenzionální. Curse of dimensionality by zajistila nefunkčnost systému. Na zakódování tokenu opravdu víc jak 3 dimenze nepotřebuješ.

Navíc, GPT-3 není rekurentní síť, nemá vnitřní stav takže není možné ji nakrmit jen jedním tokenem a dostat výsledek což má za následek právě velké nároky na velikost vstupu.

Rekurentní sítě mají pro změnu zase problém s přílišnou "hloubkou" z pohledu učícího algoritmu, takže dává smysl že použili feedforward přístup.
7.9. 12:19 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
Navíc, GPT-3 není rekurentní síť, nemá vnitřní stav
To je zajimava informace. Myslel jsem, ze je rekurentni (ona tedy fakticky je, protoze vystup jde na vstup). To znamena, ze jde o zcela jinou architekturu nez ma mozek, ktery je patrne rekurentni uz na te nejnizsi urovni.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
19.8. 06:08 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: GPT-3
♪ Now playing: Sybreed - Bioactive

Díval jsem se na přednášku Geneticky modifikované lidstvo. Kdybych to měl shrnout: stále více párů je odkázáno na asistovanou reprodukci, od asistované reprodukce je krůček k testování zárodků na určité mutace… a proč se vlastně omezovat jen na testování a rovnou tam nějaké změny neprovést? CRISPR to už přece umožňuje dělat s vysokou přesností.

No a přednášející pak v úvaze pokračuje dál. Co se stane, když se takový geneticky vylepšený jedinec zakouká do někoho ze „spodiny“? Proč riskovat, že se tento „genetický kapitál“, do kterého rodina možná dlouze investovala po několik generací, promíchá s něčím „podřadným“? Už dnes bychom prý uměli tomu rozmnožování prostě zamezit a lidstvo rozdělit na dva oddělené „druhy“. A nebo zajistit, že ty lepší geny prostě vždycky zvítězí… Chcete přece nejen lepšího potomka, ale i lepší vnoučata, ne?

♪ Now playing: Fear Factory - Mechanized

A proč by mělo zůstat jen u genetických modifikací? Můžu se jen vrátit ke článku Kyborgové mezi námi a Neilu Harbissonovi, který si do hlavy nechal implantovat anténu. Původně mu měla jen kompenzovat barvoslepost – dnes už je připojená k Internetu, aby mohl přijímat barvy od kamarádů a nebo z družic, plánuje rozšíření, které by mu umožnilo vnímat čas, a těší se, jak si zpomalením těch hodin navodí pocit, že vlastně žije déle…

Zatímco Neil Harbisson je nejspíš jen neškodný blázen, který se živí publicitou, kterou mu jeho šílené experimenty přináší, neurální implantáty jsou věc, která dřív či později prostě přijde. Četli jste „white-paper“ od Neuralinku? Kam se hrabe jedna Harbissonova vibrující anténa na tisíce vláken precizně nastřelených do mozku!

♪ Now playing: Technikult of Flesh - Fabrication

Jak daleko jsme od doby, kdy lidé nebudou rozeni, ale vyráběni? Některé páry si už teď pronajímají ženy, které děti odnosí za ně, ale platí se za to řádově stovky tisíc korun a navíc to není moc spolehlivé. Jak zmiňoval Jaroslav Petr v přednášce, kterou jsem linkoval na začátku, došlo k případu, kdy tato „námezdní matka“ během těhotenství tajně užívala léky, v jejichž důsledku se narodilo těžce postižené dítě, o které pak neměla zájem ani ona, ani pár, který si její dělohu pronajal. Dítě skončilo v ústavu.

Minulý rok přitom v Brně úspěšně donosila potomka žena, která byla v té době už v podstatě mrtvá. Co by se stalo, kdyby ji lékaři po porodu neodpojili od přístrojů? A za jak dlouho nebudou „přírodní dělohy“ potřeba vůbec? Je to výrazně složitější než třeba laboratorní výroba orgánů, o kterou se lidstvo také intenzivně pokouší?

„Pojďte, posaďte se. Vykoledujeme si vajíčko a spermie. Pak nám sdělíte popis vašeho vysněného potomka, naše patentovaná umělá inteligence navrhne vhodné mutace a za 9 měsíců si přijdete vyzvednout svého malého šlechtice. Mezitím si samozřejmě neváhejte kdykoliv užít živý přenos z naší unikátní automatické dělohy.“

♪ Now playing: Rammstein - Mutter.

„Kdyby se náhodou něco nepovedlo, my už se postaráme. Jako v tom příběhu, který zmiňoval Jaroslav Petr, jako v písni Mutter od Rammsteinů. Dítě bez rodičů, biologický odpad.“

„Ale ono to dopadne dobře, nebojte. A co se týká neurálního implantátu – ten pravděpodobně taky budete chtít, že – můžeme vám nabídnout buď instalaci základního implantátu, který je zdarma, ale přehrává reklamy, a nebo tuto předraženou elitní verzi bez reklam…“

♪ Now playing: Fear Factory - Autonomous Combat System.

Kdo by chtěl, aby jeho dítě zahynulo ve válce? A který generál by chtěl tahat neposlušnými figurkami? Určitě by bylo mnohem lepší si vojáky vyrábět. Armáda od útlého dětství dokonale programovaných špičkových atletů vteřinu neváhající obětovat svůj život – hlavně splnit misi. Jaké výsledky asi bude přinášet kombinace šlechtění, neurálních implantátů a mučení, které u „potomků nikoho“, navíc pečlivě skrývaných před zraky veřejnosti, ničí svědomí výčitkami tížit nebude, ve srovnání s výcvikovými a propagandistickými technikami používanými v současnosti…
JiK avatar 19.8. 17:26 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: GPT-3
vtipne bude, az nejaky cisnky historik za 80 let zjisti, ze to bylo prave GPT-3 strojove uceni, ktere kolem roku 2018 ukazalo kurzorem, jake segmenty genomu bezneho netopyriho koronaviru je nutno CRISPR zeditovat, aby se udelal optimalne ucinny virus, ktery znicil tehdejsi dominantni zapadni svet i s jeho detinskymi predstavami o nutnosti svobody jednotlivce.
19.8. 09:05 /dev/urandom
Rozbalit Rozbalit vše Re: GPT-3
Ale pri GPT-10 nám už nebude treba kopec povolaní - napr. učiteľov, lekárov (aspoň tých obvodných výhybkárov - a operácie tiež už budú zvládať roboty zachvíľu), analytikov, finančných poradcov, výskumníkov, programátorov, blogerov a pod. Či sa mýlim ?
19.8. 10:50 ondrej
Rozbalit Rozbalit vše Re: GPT-3
Vzniknou jiné pracovní pozice, budou se řešit věci, které teď nikdo neřeší, protože na to není kapacita, stejně jako nikdo v 18. století neřešil manikúru a dnes se manikúrou živí hodně lidí.

jediná jistota je, že svět sebude měnit. Ještě genrace našich prarodičů vystačila se znalostmi ze střední školy prakticky až do důchodu, stačil ose doučit velmi málo, dnešním absolventům to možná nevystačí ani na deset let.

Nejlepší investice do vzdělání je vytvořit si systém, jak se vzdělávat. Naopak je dost možné, že velmi ceněná jazyková vybavenost nebude nějak extrémně výhodná a jazyky se budou učit spíš pro trénování mozku, než přímo pro praktickou schopnost komunikace.
19.8. 15:38 linuxik
Rozbalit Rozbalit vše Re: GPT-3
Aby potom gpt-10 behom 1 milisekundy nezistil, ze vymyslanie prospesneho vzdelavacieho procesu pre cloveka je nieco ako hladanie optimalneho vycviku domaceho zvierata za ucelom dosiahnutia inteligencie jeho majitela.
19.8. 16:14 j
Rozbalit Rozbalit vše Re: GPT-3
To sou dost naivni predstavy. Uvedom si, ze vse zavisi na % popupace v rekneme "produkcni" sfere = tam, kde se neco skutecnyho produkuje (at uz jidlo na poli nebo auto ve fabrice) a to % neustale klesa. Je jen otazka casu, kdy klesne natolik, ze ti v te produkci si reknou, ze musi byt blazni, kdyz zivej ty, ktery vlastne nanic nepotrebujou.

A taky si uvedom, ze prvni kdo bude zcela nahrazen, jsou lopaty. Ono je lze casto nahradit uz ted, ale je to zatim finacne nakladnejsi. Prakticky vsichni tady se ale dozijou toho, ze pro lopaty prace proste nebude. Trebas v zemedelsvi bude jeden technik obsluhovat tisice hektaru - ty masiny to ve skutecnosti uz velmi casto umej dnes. Samy si umej dojet na pole, samy zoraj (jo pardon, ono se neore, a pak se breci, ze tam jsou vsude hrabosi, ktery urodu sezerou), samy zasejou, samy sklidej. Clovek do toho kdyz vse funguje prakticky nemusi vstupovat. Onehda sem nekde zahlid video z fullauto kravina - proste se kravam samo predkladalo zradlo ze zasobniku, a kravy se samy dosly podojit, kde se automaticka dojicka sama pripojila na cecky ...

Nebo logistika, sklady, distribuce ... to taky uz umime 100% automatizovat. A cim vic budou lidi rvat, ze chteji pridat, tim vic se budou priblizovat ty hranici, kdy budou nahrazeni strojem. Strojem, kterej nema koronu a tudiz se nemusi valet doma, nestezuje si, maka ve dne v noci, nestavkuje, neposere na co sahne, ...

Dalsi uzasnej priklad - markety a pokladni, kcemu? Da se tam samoobsluzna kasa, a za 3 mesice jsou naklady zpet. Cimpak se asi bude zivit ta pipna, ktera umi horkotezko odpocitat papirky a mince, ktery ma vratit? Jo vlastne uz vim ... pude delat ucetni do CEZu. Ze vo tom vi kulovy? To je fuk, ale bude levna (to neni vtip, to je realita).

Dnesni absolventi jsou nepouzitelni uz s tim, s cim z ty skoly vylezou. Drtiva vetsina z nich je negramotna.

---

Dete s tim guuglem dopice!
20.8. 00:15 Lorenzo
Rozbalit Rozbalit vše Re: GPT-3
Tohle jsou dost naivni predstavy. Ze samoobsluzne pokladny samozrejme zadna lidska prace nezmizela, jen misto pipiny za penize si to markuji zakaznici zadarmo, navic u nich stoji dalsi clovek, ktery je kontroluje. Zadny robot tam zatim neni, protoze zautomatizovat i tuhle jednoduchou lopatackou praci neni zas takova legrace.

Ti, co pracuji rukama, mohou byt v klidu. Prvni, kdo bude zcela nahrazen, budou vscihni ti "kreativni", co neco vymysli, ridi a planuji.
20.8. 07:44 /dev/random
Rozbalit Rozbalit vše Re: GPT-3
navic u nich stoji dalsi clovek, ktery je kontroluje
Ano ale jeden clovek dohliada na 5 - 10 samoobsluznych pokladni, miesto 5 - 10 predavaciek za pokladnou ... krasne usetrene peniaze pre majitela a praca prenesena z predavaciek na zakaznikov, po kazdom pouziti samoobsluznej pokladne by si mal zakaznik na informaciach vyziadat 1 - 2 eura za vykonanu pracu.
20.8. 08:14 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: GPT-3
Standardní nákup: do vozíku, z vozíku na pás, u pokladny do vozíku, z vozíku do tašek. Pokud nemám hodně malý nákup, u pokladny to fakt nestíhám do tašek nějak rozumně ukládat, navíc se mi opakovaně stává, že prodavačka začne markovat můj nákup, aniž by si uklidil nákup předchozí zákazník, a nebo se zbožím hraje házenou a to mi pije krev. Celkem 4 kroky.

Samoobslužná pokladna: do vozíku, z vozíku namarkovat a položit na váhu, z váhy rovnou do tašek. A nemusím hledat volné místo, uklidím si to v klidu rovnou u té pokladny. Celkem 3 kroky.

Tzn. že mi to práci naopak šetří. Jediný problém je, když jim blbne ta váha, což třeba v Kauflandu je v podstatě na denním pořádku, ale tak to je prostě Kaufland, no. Mně přijde, že to je krám, kde se nedá nakoupit ani kvalitně a ani levně, a pokud tam jdu, tak jen proto, že je nejvíc po ruce.
20.8. 08:58 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: GPT-3

Globus: zboží namarkuju už když ho dávám do vozíku, někteří ho dávají rovou do tašek. U pokladny už vyndávám jen zboží s ochranným prvkem (obvykle ryby). Jinak jen nascanovat kód "konec nákupu", na pokladně nascanovat Globus kartu, na touchscreenu vyberu, že chci zaplatit kartou, zaplatím a můžu jít. Tesco už to má AFAIK taky.

Už jsem si na to tak zvykl, že když nakupuju jinde, mám při ukládání zboží do vozíku divný pocit, že jsem na něco zapomněl. :-)

xkucf03 avatar 20.8. 09:05 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše pokladny v obchodě

Tady je akorát problém v tom, že tě sledují a v nějaké databázi pak bude uloženo, co sis kdy koupil…

Vzhledem k (ne)přívětivosti průměrných lidských pokladní je ta automatická pokladna celkem fajn – ale za předpokladu, že můžeš platit hotovostí a nemusíš se nijak identifikovat.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
20.8. 09:20 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: pokladny v obchodě
Tady je akorát problém v tom, že tě sledují a v nějaké databázi pak bude uloženo, co sis kdy koupil…

Jsem sice na své soukromí citlivější než většina populace, ale tohle opravdu neřeším. Kdybych uvažoval takhle, tak bych musel především zavrhnout všechny e-shopy. A to by se mi chtělo ještě méně než platit všude hotovostí.

20.8. 09:49 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: pokladny v obchodě
Tahle diskuse mi pripomnela.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
20.8. 09:29 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: pokladny v obchodě
Přívětivost… Beztak ty chudáky nějaký Odin ve vedení optimalizuje na „výkon“ a pod výkonem si představuje přesně to, že tam to zboží naflákají co nejrychleji a jestli si to zákazníci stíhají uklízet je nezajímá.
20.8. 12:05 Tyler
Rozbalit Rozbalit vše Re: pokladny v obchodě
Zákazník po zaplatení prestáva byť zaujímavý :-D a niekedy aj pred zaplatením ...
20.8. 09:19 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: GPT-3
Do tašek to stejně radši dávám až na konci, ale je fakt, že je příjemnější to markovat hned.
20.8. 09:26 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: GPT-3
To já taky, hlavně proto, že většinu nákupu dávám do přepravky, kterou mám v kufru auta; přijde mi to praktičtější než tašky. Tašky mám spíš jen na těžké věci jako třeba brambory, na to s sebou vozím jednu malou a jednu střední z Ikey.
20.8. 10:45 /dev/random
Rozbalit Rozbalit vše Re: GPT-3
Keby každý tovar bol balený a mal svoj RFID čip stačilo by s vozíkom prejsť cez scanovaciu bránu a nákup by bol spočítaný a pripravený na zaplatenie ... vlastne by stačilo prejsť cez scanovaciu bránu už s taškami a započítalo by to tovar ktorý by bol vo vreckách (mimo alobalovej folie samozrejme ;-))
20.8. 10:58 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: GPT-3
Na takovém řešení se AFAIK také pracuje, ale není mi moc jasné, jak zabránit tomu, aby mi to nezapočítalo i věci, které jsem koupil už dřív (nebo jinde) a RFID čip z nich zapomněl odstranit. Jedině že by každý jednotlivý RFID čip měl globálně unikátní identifikátor, prodejna měla online databázi těch unikátních id ve svém zboží (aby nezapočítala zboží odjinud) a při odchodu pokladna příslušné identifikátory vymazala nebo označila za vydané (aby nezapočítala zboží z minulých nákupů). Ale i tak by to asi bylo dost náchylné na chyby.
21.8. 12:15 jiwopene | skóre: 23
Rozbalit Rozbalit vše Re: GPT-3
Přečíst víc RFID zároveň je většinou problém. Identifikátor by unikátní musel být, protože jinak by v případě, že si nakupující kupuje více věcí stejného druhu, započítaly by se jako jeden.
.sig virus 3.2_cz: Prosím, okopírujte tento text do vaší patičky.
xkucf03 avatar 20.8. 11:15 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: GPT-3

Velké množství RFID čipů na jednom místě bude AFAIK problém rozlišit a naskenovat. Na různé zboží jako pečivo, ovoce, zeleninu atd. pak taky budeš mít problém RFID čip umístit. Navíc je lidi budou sundavat… To už bych spíš viděl schůdnější optické rozpoznávání – zboží by na pásu projíždělo tunelem s kamerami, které by ho z různých úhlů snímaly + by tam byla váha + skenery čárových kódů + možná nějaký robot, který by se zbožím pootočil, kdyby se ho nepodařilo rozpoznat napoprvé.

Automatické rozpoznávání obrazu je na docela vysoké úrovni a např. v rozlišování různých druhů ovoce nebo pečiva by to mohlo být úspěšnější než nezkušená pokladní.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
20.8. 11:19 /dev/random
Rozbalit Rozbalit vše Re: GPT-3
a aby sme to uzavreli, rozpoznavat by to mohlo AI :-D
Josef Kufner avatar 20.8. 11:30 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: GPT-3
Ono nakonec to ruční skenování čárových kódů není až tak blbé řešení, co?
Hello world ! Segmentation fault (core dumped)
20.8. 16:51 j
Rozbalit Rozbalit vše Re: GPT-3
Cekal sem kdo se chyti ... nestacilo. Protoze to nefunguje a nikdy nebude.

Existujou brany, kterejma muze projet kamion, a nacte to zbozi co je v nem. Jenze se to da pouzivat jedine opacne = kdyz presne vis, co v tom kamionu ma byt, tak muzes timhle zpusobem potvrdit, ze to tam je. Ale nemuzes zjistit co tam je, kdyz to nevis, protoze ti nikdo neni schopen garantovat nacteni vseho.

Uspesnost cteni se totiz pohybuje kolem 70%. Coz ti pro podobny ucely jak sem zminil muze stacit, proste 3 z 10 kamionu prepocitas => 7 z 10 prepocitavat nemusis = prave si usetril. Ve skutecnosti si usetril i na tech, co je musis prepocitat, protoze staci najit (nebo nenajit) zbozi ktery chybi.

Ale v krame by to znamenalo, ze se 30% zbozi nenamarkuje.

***

"jak zabránit tomu, aby mi to nezapočítalo i věci, které jsem koupil už dřív"

Uplne jednoduse, posles ten vozejk do ty brany bez nich. Na pas u kasy prece taky nedavas to, co si koupil jinde. Jenze viz vejs, nefunguje to.

"Navíc je lidi budou sundavat…"

To se s carovym kodem da udelat taky, ze? No dobre, u kasy neco pipnout budou chtit, tak to prelepis jinym. Myslis ze to bude nekdo resit? Nebude, pravdepodobnost se blizi nule.

---

Bezte s tim guuglem dopice!
xkucf03 avatar 20.8. 17:22 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše pokladny v obchodě, krádeže zboží
To se s carovym kodem da udelat taky, ze? No dobre, u kasy neco pipnout budou chtit, tak to prelepis jinym. Myslis ze to bude nekdo resit? Nebude, pravdepodobnost se blizi nule.

Málokdy… ale občas se to řeší. Někteří lidé např. přendavají drahé zubní pasty do krabiček od těch levných a pak se s tím snaží projít skrze pokladnu. Proto některé pokladní mají instrukce, aby takovéto rizikové zboží kontrolovaly.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
Jendа avatar 20.8. 13:09 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
Zajímalo by mě, jestli byly stejné názory před 20-30 (?) lety, když se přecházelo z modelu „prodavač je za pultem, věci jsou za ním, vy mu říkáte a on vám je dává“ (jsem to zažil! v České Třebové naproti DDM u nádraží to mají!) na model dnešní. Když to skenuje ruční prodavačka, tak stejně musím čekat, takže se to časově moc neliší (jo, prodavačka je trochu rychlejší).
xkucf03 avatar 20.8. 13:16 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: GPT-3

IMHO samoobsluhy lidi spíš vítali, protože si můžou věci sami vybrat, prohlédnout a můžou se podívat i na to, co (pravděpodobně) kupovat nebudou a o co by si prodavači za pultem neřekli, aby jim to ukázal. Kromě toho, když kupuješ nějaké „divné“ věci nebo jsi sám „divný“ tak je víc v pohodě ty věci naházet na pás a pak jen zaplatit celý účet, než si o ně říkat prodavači za pultem.

Jinak to souvisí spíš se šířkou sortimentu – v samoobsluze máš velkou plochu a spoustu různého zboží, což bys na tu stěnu za prodavačem nedostal.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
Na druhou stranu to funguje i naopak, a dobrýž prodavač umí prodat i věci, které si lidé v samoobsluze sami od sebe nevyberou, poradí, připomene atd. Ale náklady na prodej a tudíž cenu výrobku to samozřejmě zvyšuje, takže u potravin, kde je na jednom výrobku nízká marže se to nevyplatí.
20.8. 16:30 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: GPT-3
o co by si prodavači za pultem neřekli, aby jim to ukázal. Kromě toho, když kupuješ nějaké „divné“ věci nebo jsi sám „divný“ tak je víc v pohodě ty věci naházet na pás a pak jen zaplatit celý účet, než si o ně říkat prodavači za pultem.

Příkladem jsou scény z filmů z 70. nebo 80. let na téma "mladík si kupuje prezervativ" (které v té době obvykle měli jen u pokladny).

20.8. 15:17 Lorenzo
Rozbalit Rozbalit vše Re: GPT-3
Samoobsluzny model je urcite starsi a ani pultovy nezmizel. Naopak, nekde se svym zpusobem vraci, proste jen to, co ti ma byt pres pult podano, naklikas predem po internetu, aniz bys blokoval ostatni zakazniky. Pokud ma prodejce robotizovany sklad, pak to muze byt skutecne i castecne automatizovane, ale opet, samotne predani pres pult dela zatim clovek, protoze tohle se zrejme automatizuje o dost hur.

Sire sortimentu mluvi pro pultovy prodej, protoze odpada rezie s obrovskou prodejni plochou.
Jendа avatar 20.8. 15:29 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
To s tím že naklikání je vlastně pultový prodej je zajímavá pointa. Každopádně to nic nemění na tom, že naprostá většina potravin, drogerie atd. je samoobsluha a nikdo si nestěžuje, že si to musí sám dát do košíku a u pokladny vyndat.
ale opet, samotne predani pres pult dela zatim clovek
Jsem kdysi byl v nějakém počítačovém obchodě (Alza? Ale tam to minimálně dneska dává člověk. Možná Mironet.) a tam jsem zadal číslo do terminálu a zboží pak vyjelo na pásu jako kufry na letišti.
JiK avatar 20.8. 15:32 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: GPT-3
ale opet, samotne predani pres pult dela zatim clovek
Jsem kdysi byl v nějakém počítačovém obchodě (Alza? Ale tam to minimálně dneska dává člověk. Možná Mironet.) a tam jsem zadal číslo do terminálu a zboží pak vyjelo na pásu jako kufry na letišti.
Na pasu, na ktery to dal clovek vzadu.
Jendа avatar 20.8. 15:36 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
No to jo, ale v principu by to tam mohl dát automatický sklad, který popisuje předřečník. Každopádně jak ukazuje Amazon, levnější asi je nakoupit za $10/h (v zemích co nejsou USA za míň) bioroboty.
20.8. 17:04 j
Rozbalit Rozbalit vše Re: GPT-3
Clovek, kterej tam je jen proto, ze si majitel neuvedomuje, jaky naklady s nim ma, proti ty masine, ktera to umi udelat taky.

Priklad z konkretni firmy. Asi tak 1/2 roku starej. Majitel se rozhod, za klasicky regaly vymeni za regaly automaticky. Neni to jeste 100% vykopnuti lidi, ale po zprovozneni proste random vylosovali skladnika, kterej to vzivote nevidel, postavili ho k tomu, a on za hodinu udelal to, co predtim za celou smenu, a jeste si pochvaloval, ze se pri tom nenadre. Majitel si zaroven liboval a spital s implementatorem, ze to jeste ten skladnik nevi, ze jich 80% vykopne.

=> opet, masina nahradila 8 z kazdych 10 zamestnancu. Misto aby skladnici lozili po skladu a brali co nemaj misto toho co maj, jim to proste prijede pod ruce, a jediny co je na nich, je to vrazit do krabice.

---

Dete s tim guuglem dopice!

20.8. 16:26 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: GPT-3
Jsem kdysi byl v nějakém počítačovém obchodě … a tam jsem zadal číslo do terminálu a zboží pak vyjelo na pásu jako kufry na letišti.

Třeba v případě Alzaboxu nebo Mallboxu je mi sice jasné, že to do těch boxů (zatím?) dává člověk, jen se tam s ním nevidím. U toho pásu to nejspíš bude stejné.

20.8. 17:14 j
Rozbalit Rozbalit vše Re: GPT-3
Jenze prave na tom letisti to tam v mnoha pripadech clovek nedava. Pokud mi skleroza slouzi, jsou na yt k nalezeni i videa celych casto i stovky km dlouhych systemu na trideni zavazadel.

Pouzivaji to pak predevsim proto, ze kdyby obsluha byla lidska, tak by 50% cestujicich v cilovy destinaci svoje zavazadla nenaslo. Coz sice neznamena, ze je to 100%, ale tech chyb je v tehle automatizovanych systemech fakt minimum. Horsi je, kdyz clovek prestupuje nekde, kde to prekladaj ruco, to ma dost velkou sanci, ze kufr poleti uplne jinam.

---

Dete s tim guuglem dopice!
20.8. 16:38 j
Rozbalit Rozbalit vše Re: GPT-3
Lol ... ze prej nezmizela prace. Samozrejme ze zmizela - prace ty podkladni. A ten pripadnej pikolik kterej tam stoji, je jen docasnej, ten zmizi taky. A jak bylo receno, stoji tam jeden u 10 podkladen. Ostatne kramy, kde neni vubec zadna obsluha uz existujou.

Mimochodem, tys uz dlouho nebyl trebas v globusu, ze? Pocitam tak nejmin 10 let. Tam si totiz zbozi muzes pipnout uz v okamziku , kdy ho hazes do vozejku, coz jaksi udelat musis kdyz si ho chces odnyst. Zadna pokladna, jen kredle do ktery to pri odchodu vrazis a des. Neni nejmensi problem tu ctecu zadratovat primo do toho vozejku.

---

Dete s tim guuglem dopice!
Bystroushaak avatar 20.8. 17:31 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Lol ... ze prej nezmizela prace. Samozrejme ze zmizela - prace ty podkladni. A ten pripadnej pikolik kterej tam stoji, je jen docasnej, ten zmizi taky. A jak bylo receno, stoji tam jeden u 10 podkladen. Ostatne kramy, kde neni vubec zadna obsluha uz existujou.

Mimochodem, tys uz dlouho nebyl trebas v globusu, ze? Pocitam tak nejmin 10 let. Tam si totiz zbozi muzes pipnout uz v okamziku , kdy ho hazes do vozejku, coz jaksi udelat musis kdyz si ho chces odnyst. Zadna pokladna, jen kredle do ktery to pri odchodu vrazis a des. Neni nejmensi problem tu ctecu zadratovat primo do toho vozejku.
Práce nezmizela, protože nezaměstnanost nevyskočila. Zmizela konkrétní práce, která byla v systému nahrazena nějakou jinou.
Lol ... ze prej nezmizela prace. Samozrejme ze zmizela - prace ty podkladni
To je práve nezmysel, teda minimálne pri obyčajnej samoobslužnej pokladni, kde to človek musí po jednom vybrať, naskenovať a zase odložiť (prípadne ešte raz, ak to nenakladá rovno do tašiek). Akurát sa zmenilo, kto tú prácu vykonáva a akým spôsobom je ohodnotená - tú prácu vykonáva sám zákazník a neplatí sa explicitne v peniazoch ako podiel na nákladoch na predaj, ale "platí" za ňu zákazník svojím časom, ktorý má tiež nejakú hodnotu (takže vlastne je to len prenesenie časti nákladov na zákazníka, a teda skryté zdraženie tovaru). Nanajvýš sa možno teoreticky zredukovali prestoje, keď pôvodne bol čas strávený obsluhou násobený dvomi (pokladník+zákazník), teraz je to len zákazník sám a len dúfajme, že mu to netrvá viac než 2x tak dlho (čo skôr áno).

V prípade Tesco Scan&Shop a podobných, kde sa tovar skenuje priebežne a môže sa dať rovno do tašky, tak tam by som už súhlasil, tam reálne zmizla práca s prekladaním tovaru z vozíka do pokladne a späť (aj keď tú tiež vykonával zákazník).
19.8. 09:23 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: GPT-3
Koukám, že už nějak docházejí TLA, naivně jsem si myslel, že bude řeč o jiném GPT. :-)
19.8. 09:40 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
Taky jsem byl nejdriv dost skepticky, ale podle vseho se zda - mame AGI.

I kdyz osobne si myslim, ze ten algoritmus, co je na to potreba, bude jeste mnohem jednodussi nez je dnes. Takze casem, tak dekadu dve, a budeme to moci poustet na obycejnem PC.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
Tohle je od AGI (coz definuju jako human-level inteligence) jeste hodne daleko. Jestli pouha evoluce tohohle reseni bude dostatecna k AGI nikdo nevi. Soucasny stav je ze jsme x prulomu (breakthroughs) daleko od AGI, pricemz x je nezname. Muze to trvat 5 let nebo klidne i 200.
JiK avatar 19.8. 19:52 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: GPT-3
Tohle je od AGI (coz definuju jako human-level inteligence) jeste hodne daleko. Jestli pouha evoluce tohohle reseni bude dostatecna k AGI nikdo nevi. Soucasny stav je ze jsme x prulomu (breakthroughs) daleko od AGI, pricemz x je nezname. Muze to trvat 5 let nebo klidne i 200.
Nevim, nevim, mozna je to zatim stale jeste less than human inteligence, ale zaroven ma erudici a encyklopedicke znalosti napric VSEMI obory, napric kulturami, napric jazyky, a ty encyklopedicke znalosti jsou velmi detailni a zcela spolehlive, nehrozi zadne zapomenuti nebo nevybaveni si naprosto VSECH detailu v pripade relevantniho dotazu... ...navic by uz ted nebyl problem udelat izolovane oborove clustery, ktere budou mit tohle vse a k tomu navic specializovany trening na detailnich verejnych i neverejnych datech v patricnem oboru, treba vojenstvi, medicina, mikrobiologie, finance, counterterorismus, pravo, you name it...a ta generalni by si pak vyzadala detailnejsi odpoved od tech specializovanych a davala te odpovedi ruznou vahu na zaklade napred jen vychoziho nastaveni, pak na zaklade predchozi uspesnosti odpovidani na "tezke" otazky...

Josef Kufner avatar 19.8. 21:17 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: GPT-3
Zcela spolehlivé ty znalosti nejsou, neboť může blbě "pochopit" dotaz, nebo blbě sestavit odpověď, nebo znalosti použít v blbém kontextu. A nemáš šanci to poznat jen tak od pohledu. Pokud chceš spolehlivé odpovědi, tak je potřeba, aby odpovědi byly doplněny o zdroje. Obzvlášť v medicíně to bude potřeba pořešit a lékař to bude muset kontrolovat.
Hello world ! Segmentation fault (core dumped)
Samozrejme to je v nekterych ohledech chytrejsi nez clovek, to je ale i kalkulacka nebo sachovy engine. Ano GPT je mnohem obecnejsi nez kalkulacka, ale kdyz jsem cetl nejake vygenerovane komentare v diskuzi na Hacker News, bylo jasny ze to nezvladne ulohu "ucastnit se internetove diskuze", pusobilo to jako extremni verze toho, kdyz politik dela ze odpovida na otazku tim ze rika bezobsazny fraze.
19.8. 21:57 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
pusobilo to jako extremni verze toho, kdyz politik dela ze odpovida na otazku tim ze rika bezobsazny fraze
Hodne lidi si s timhle vystaci.. normalni lidska inteligence.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
Bystroushaak avatar 19.8. 23:20 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Samozrejme to je v nekterych ohledech chytrejsi nez clovek, to je ale i kalkulacka nebo sachovy engine. Ano GPT je mnohem obecnejsi nez kalkulacka, ale kdyz jsem cetl nejake vygenerovane komentare v diskuzi na Hacker News, bylo jasny ze to nezvladne ulohu "ucastnit se internetove diskuze", pusobilo to jako extremni verze toho, kdyz politik dela ze odpovida na otazku tim ze rika bezobsazny fraze.
Když se podíváš na výsledky v angličtině, tak to právě ty bezobsažný fráze moc nepoužívá a například články to zvládne psát líp než většina lidí. Včetně různých zajímavých faktů a analogií a květnatých obratů. Akorát fakticky to často vymýšlí kraviny a občas jsou v tom lehce špatné věci, které jsou sice skoro správně, ale i tak zavádějící.
21.8. 16:31 podlesh
Rozbalit Rozbalit vše Re: GPT-3
Takže touto variantou Turingova testu prošel.
19.8. 21:48 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
Z toho co jsem cetl (doporucuji v zasade vsechny jeho posty) mi to pripada chytrejsi nez clovek. Ano, neumi se to iterativne ucit jako lide, protoze to ma kratkou pamet, ale to je male omezeni modelu, ktere jiste bude brzy prekonano. Taky to neumi rozeznavat obrazy a zvuky jako lide, napriklad, ale to taky nebude eventualne velka prekazka, kdyz uvazime pokroky neuronovych siti v techto oblastech.

Naopak, i s temito handikepy to zda se rozumi svetu jen na zaklade nejakeho psaneho popisu, svetu, ktery to nikdy realne nevidelo ani neprozilo. Myslim, ze to inteligentni je a brutalne.

Na druhou stranu, myslim, ze existuji lepsi algoritmy inteligence nez GPT-3, a nektere z tech triku take lide vyuzivaji kdyz premysli (napriklad neni jasne, jestli to dokaze byt dusledne logicky konzistentni natolik, aby to bylo schopne treba programovat nebo provozovat matematiku). Takze urcite je prostor pro zlepseni; ale vseobecne myslim, ze to lide uz projeli. (Je to trochu jako situace u kompilatoru, kde ano, specialista mozna po dlouhem badani kompilator porazi v optimalizaci pomoci nejake hodne sikovne heuristiky, ale prumerneho programatora proste kompilator hrave utahne na konzistentne kvalitne provedenych beznych optimalizacich.)
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
Zalezi jak definujes "chytrejsi nez clovek", v mnoha ulohach ano, ale od obecnosti lidske inteligence to ma dost daleko.
Ano, neumi se to iterativne ucit jako lide, protoze to ma kratkou pamet, ale to je male omezeni modelu, ktere jiste bude brzy prekonano.
Takze az za rok az dva odstrani to male omezeni, zvladne tuto ulohu: vysvetlim pravidla nove hry, variantu sachu s trochu upravenymi pravidly, a zeptam se, kolik moznych tahu ma prvni hrac? Velmi o tom pochybuju. Jak bys to male omezeni odstranil?
23.8. 07:56 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
Zalezi jak definujes "chytrejsi nez clovek", v mnoha ulohach ano, ale od obecnosti lidske inteligence to ma dost daleko.
Ano, je to vec nazoru, ale podle me je to obecne dostatecne. Aspon nevidim ulohu, kterou by to nemohlo zvladnout lepe nez clovek, pokud se to zacne ucit stejnym zpusobem jako clovek.
Takze az za rok az dva odstrani to male omezeni, zvladne tuto ulohu: vysvetlim pravidla nove hry, variantu sachu s trochu upravenymi pravidly, a zeptam se, kolik moznych tahu ma prvni hrac? Velmi o tom pochybuju. Jak bys to male omezeni odstranil?
Myslim, ze ano, ale je potreba si uvedomit, ze jak jsi to napsal, tuhle ulohu nezvladaji tak docela ani lide. Ano, pokud jsem matematik, tak mi to zadani staci a dam ti odpoved, ale kdybych byl treba 6-lete dite, a vysvetlil jsi mi pravidla sachu (coz je evidentne vec, kterou se 6-lete deti naucit mohou), a pak se zeptal, kolik je moznych pocatecnich tahu, nevim, jestli bych tu ulohu vyresil. Asi bych ji vyresil casem, pokud bych mel nejaky dalsi trenink s temi pravidly.

Tim chci rict, ze i lide se abstraktnimu mysleni dost uci. Nevypadnou z luna jako matematici nebo programatori. Hezky to je videt na nekterych tech otazkach co pokladal James Flynn, objevitel Flynnova efektu. Klasicka uloha je (parafrazuji) "Medved ma barvu kozichu podle prostredi, v kterem zije. Za polarnim kruhem je vecny snih a led; jakou barvu kozichu ma medved, co tam zije?". Spousta lidi driv nebyla schopna na tohle spravne odpovedet, protoze proste neuvazuji timto abstraktnim zpusobem.

Zpet ke GPT-3. Jestli to chapu spravne, tak dnes to funguje tak, ze se to neco nauci, a zbytek uz je prompt (kontext ulohy). Tedy ten prompt je v podstate cela pracovni pamet toho systemu. Ale lide se uci neustale, nemaji jen kratkodobou pamet jako GPT-3, a asi by nebyl velky technicky problem nechat GPT-3 upravovat vahy neustale a zobecnovat to, co uz zna. Ostatne ten mechanismus pozornosti (attention) to myslim vyzaduje, aby si behem uceni algoritmus zopakoval nektere vstupy, protoze v prubehu uceni uz naucene cte zase trochu jinym ("hlubsim", "preciznejsim") zpusobem.

Treba normalni clovek, co sachy nezna, a sachista vnimaji sachovnici uplne jinak. Normalni clovek si asi spis vsimne treba tvaru figurek, kdezto sachista uvidi rozdily v pozici. Koncept "tohle je stejna situace" bude u nich zcela odlisny. IMHO je to prave dane nastavenim na co je zamerena pozornost pri tom uceni. Stejne tak, kdyz ukazu cloveku, co sachy nezna, tisic sachovych pozic, a pak jich ukazu tisic sachistovi, tak ten sachista si z te tisicovky pozic odnese uplne jinou informaci (pravdepodobne daleko relevantnejsi k reseni sachovych uloh) nez ten clovek, ktery si bude sotva pamatovat, ze tam byly vselijake figurky ruzne naskladane, a v zasade byly vsechny ty situace stejne.

GPT-3 ma tu pozornost zamerenou urcitym zpusobem, a ten zpusob je ted fixni, nemuze se menit pro novy problem, mimo ramec toho kratkodobeho kontextu. Ale pokud se bude moci menit (zmenou nastaveni vah), nevidim principialne prekazku, aby se GPT-3 naucila cokoliv, co se dokazi naucit lide.

Proto je nefer GPT-3 hodnotit v kontextu konkretniho abstraktniho problemu, na ktery nebyl specificky trenovan, protoze nemuzeme dobre porovnat, jak moc pozornosti se mu dostalo. GPT-3 bylo trenovano na psani textu, a to zvlada velmi dobre, a v tomto ramci je schopne uvazovat velmi abstraktne. U veci jako sachy nebo matematika, opravdu nevime, kolika problemum a znalostem z techto oboru bylo GPT-3 realne exponovano, takze je obtizne posoudit, proc by melo byt lepsi nez lide, co se - specificky tyto problemy - uci. Ale i jen na zaklade toho mala, co to dokaze delat dnes si myslim, ze ten potencial tam je a bude se to ucit lepe nez lide.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
Ano, je to vec nazoru, ale podle me je to obecne dostatecne. Aspon nevidim ulohu, kterou by to nemohlo zvladnout lepe nez clovek, pokud se to zacne ucit stejnym zpusobem jako clovek.
Ono se to ale uci podstatne jinak nez clovek. Precetlo to celou Wikipedii (a da se rict ze mnohokrat) a velkou cast webu, a presto to casto generuje nesmysly a chyby.

Priklad omezeni toho modelu je, ze clovek dokaze vnitrne vykonat dlouhou serii kroku a ukladat si mezivysledky do pameti nebo psat na papir, a pak se dobrat nejakemu vysledku. Kdezto zjednodusena neuronova sit o 10 vrstvach je v podstate vektor, ktery se 10x vynasobi matici. Neuronova sit si nedokaze rict - "tohle je slozitejsi problem, ktery bude vyzadovat serii kroku, takze ted budu premyslet dokud to nevyresim, po minute to vzdam". Vzdy vygeneruje odpoved v konstantnim case.
Myslim, ze ano, ale je potreba si uvedomit, ze jak jsi to napsal, tuhle ulohu nezvladaji tak docela ani lide. Ano, pokud jsem matematik, tak mi to zadani staci a dam ti odpoved, ale kdybych byl treba 6-lete dite, a vysvetlil jsi mi pravidla sachu (coz je evidentne vec, kterou se 6-lete deti naucit mohou), a pak se zeptal, kolik je moznych pocatecnich tahu, nevim, jestli bych tu ulohu vyresil. Asi bych ji vyresil casem, pokud bych mel nejaky dalsi trenink s temi pravidly.
Mozna, chtel jsem tim poukazat na problem, ktery jsem zminoval vyse. Tahle uloha vyzaduje vicekrokovou uvahu a zaroven neni v trenovacich datech, takze nelze vyresit zkratkou pres "brute force". Proto jsem presvedcen, ze to GPT nezvladne.

GPT (a obecne neuronove site) bych prirovnal k okamzitemu intuitivnimu mysleni, napriklad sachista, ktery koukne na sachovnici a okamzite vidi, ze bily ma vyherni pozici. A k ziskani teto intuice potrebuje clovek mnohem mene dat.
Proto je nefer GPT-3 hodnotit v kontextu konkretniho abstraktniho problemu, na ktery nebyl specificky trenovan, protoze nemuzeme dobre porovnat, jak moc pozornosti se mu dostalo.
Nejde o to jestli to je fer nebo nefer, ale jestli to je AGI, tzn. jestli to zvladne vse co clovek (klidne s omezenim na textove ulohy). Clovek se umi naucit pravidla hry a pak tu hru hrat a postupne se v ni zlepsovat. Jak chces tuchle schopnost pridat do GPT?
Bystroushaak avatar 27.8. 01:36 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Priklad omezeni toho modelu je, ze clovek dokaze vnitrne vykonat dlouhou serii kroku a ukladat si mezivysledky do pameti nebo psat na papir, a pak se dobrat nejakemu vysledku. Kdezto zjednodusena neuronova sit o 10 vrstvach je v podstate vektor, ktery se 10x vynasobi matici. Neuronova sit si nedokaze rict - "tohle je slozitejsi problem, ktery bude vyzadovat serii kroku, takze ted budu premyslet dokud to nevyresim, po minute to vzdam". Vzdy vygeneruje odpoved v konstantnim case.
To platí v tomhle případě, ne obecně. Celkově mi přijde, že současný machine learning je právě o tom, že skládáš různé architektury na sebe / vedle sebe, viz třeba ty diagramy v odkazovaných blozích o architektuře. GPT-3 je v tomhle lehce specifické, že je spíš jednoduché než složité, ale to neznamená, že to tak musí být vždy.
GPT (a obecne neuronove site) bych prirovnal k okamzitemu intuitivnimu mysleni, napriklad sachista, ktery koukne na sachovnici a okamzite vidi, ze bily ma vyherni pozici. A k ziskani teto intuice potrebuje clovek mnohem mene dat.
Já myslel že od AlphaZero porazí neuronové sítě lidi úplně pokaždé?
Já myslel že od AlphaZero porazí neuronové sítě lidi úplně pokaždé?
AlphaZero prohledává herní strom podobně jako klasické šachové enginy, jenom při hodnocení pozice a rozhodování které tahy prozkoumat používá neuronovou síť. Ale i samotná neuronová síť bez prohledávání hraje velmi dobře. Jinak netvrdil jsem opak, intuitivní / okamžité myšlení je právě to co se neuronové sítě zvládnou naučit relativně dobře.
27.8. 09:47 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
No, nevim asi se budu jen opakovat.
Ono se to ale uci podstatne jinak nez clovek. Precetlo to celou Wikipedii (a da se rict ze mnohokrat) a velkou cast webu, a presto to casto generuje nesmysly a chyby.
To neni relevantni, protoze jak sam dal pises, uvedene problemy nejsou v trenovacich datech. U lidi nevime, jestli se treba schopnosti delat matematiku jen uci nebo ji objevuji jako aplikaci toho, co umeji od prirody. Lidsky mozek neni tabula rasa, ale ma znacne predpoklady o svete, ktere usnadnuji uceni.
Priklad omezeni toho modelu je, ze clovek dokaze vnitrne vykonat dlouhou serii kroku a ukladat si mezivysledky do pameti nebo psat na papir, a pak se dobrat nejakemu vysledku.
Jenze GPT-3 tuhle schopnost, jestli se nepletu (sleduju NN dost z dalky), ma. Transformery jsou pokrokem od LSTM architektury, a to nejsou ciste feed-forward site, ale maji vnitrni stav (kontext). Jedine omezeni je, ze ta sit se neuci interaktivne, na konkretnim problemu. Takze omezeni ktera vidime klidne mohou byt klidne dana omezenim kontextu, a faktem, ze ta sit se uz dale neuci.

Ja nevidim duvod, proc by dostatecne komplikovana architektura site nemohla vest k moznosti naucit se libovolny "algoritmus". Asi jako u pocitacu - od jiste slozitosti stavoveho automatu muzeme do jiste miry emulovat vsechny stavove automaty urcite velikosti.

Na druhou stranu, ve srovnani clovekem. Ano, clovek si mozna uvedomuje urcity pozadavek logicke konzistence (i kdyz to neni jasne, jestli se to v te explicitni podobe neuci), nicmene, to neznamena, ze mozek prakticky nepracuje jen s omezenou logickou konzistenci, zase v ramci kontextu jeho vlastniho vnitrniho stavu. A i ta omezena logicka konzistence, kterou je schopen mozek provozovat, vznikla prave na zaklade postupne evoluce architektury mozku.

Jinak receno, je docela dobre mozne, ze pokud by clovek nemel dlouhodobou pamet (jsou zname takove pripady, kdy lide maji poskozenou urcitou dlouhodobou pamet), nebyl by schopen naucit se logicky konzistentnejsimu mysleni uplne stejne jako se mu neni schopne naucit GPT-3. Napriklad u scitani by provadel stale stejne chyby, ktere vyplyvaji z chybne abstrakce soucasneho kontextu.
Mozna, chtel jsem tim poukazat na problem, ktery jsem zminoval vyse. Tahle uloha vyzaduje vicekrokovou uvahu a zaroven neni v trenovacich datech, takze nelze vyresit zkratkou pres "brute force". Proto jsem presvedcen, ze to GPT nezvladne.
Ja netvrdim, ze to GPT-3 (jako konkretni instance) zvladne - to vime, ze ne. Podstatne je tvrzeni, ze to zvladne ta architektura, pokud odstranime to - z meho pohledu znacne limitujici - omezeni, ze se ten system dale neuci, neuci se interaktivne. Myslim, ze GPT prokazalo, ze je schopno provadet vicekrokove abstrakce, a pokud je schopno provadet 3-krokove, pak zvladne i 4-krokove. Mozna nezvlada n-krokove pro libovolne zvolene n, ale to asi nezvlada ani clovek (bez dalsich pomucek nebo specialniho treninku).
A k ziskani teto intuice potrebuje clovek mnohem mene dat.
To je diskuse jina, posun od otazky "dokaze to co lide" k otazce "uci se to stejne dobre jako lide" a IMHO to bude velmi tezke odpovedet, protoze my nevime, kolik "uceni" ma mozek uz od prirody v dusledku lidske evoluce. Ale v praxi je to spis non-problem, protoze proste ty preducene site se budou kopirovat.
Clovek se umi naucit pravidla hry a pak tu hru hrat a postupne se v ni zlepsovat. Jak chces tuchle schopnost pridat do GPT?
Pokracovanim treninku te site (jenze to vyzaduje zda se znacny hardware, a taky vhodna trenovaci data, atd. proste dalsi usili). Ted je ta sit nejak naucena a to zustava konstantni, jedine, co se meni je kontext (asi jako kratkodoba pamet). (A po tom fiasku s Microsoft Tay si kazda dava pozor, aby to nenechal ucit od nahodnych kolemjdoucich na Internetu.)

Osobne bych to videl tak, ze OpenAI se ted pusti do zcela genericke architektury, ktera pojede vsechno - od zpracovani zvuku a obrazu pres jazyk az po abstraktni mysleni. Vsechny ty ulohy uz umime individualne delat, je to jen otazka je propojit. A vysledek se pak mozna bude schopny ucit interaktivne.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
Jenze GPT-3 tuhle schopnost, jestli se nepletu (sleduju NN dost z dalky), ma. Transformery jsou pokrokem od LSTM architektury, a to nejsou ciste feed-forward site, ale maji vnitrni stav (kontext).
To je trochu neco jineho, udrzuje si to stav, ktery updatuje pri precteni tokenu (aspon LSTM, nevim jak funguje transformer). Vygenerovani 1 tokenu je pokud vim vzdy v konstantim case.
Ja nevidim duvod, proc by dostatecne komplikovana architektura site nemohla vest k moznosti naucit se libovolny "algoritmus". Asi jako u pocitacu - od jiste slozitosti stavoveho automatu muzeme do jiste miry emulovat vsechny stavove automaty urcite velikosti.
To je fakt, a plati to i pro KNN, nahodne stromy nebo SVM, pokud maji dostatecny pocet parametru a velikost trenovacich dat.
Ja netvrdim, ze to GPT-3 (jako konkretni instance) zvladne - to vime, ze ne. Podstatne je tvrzeni, ze to zvladne ta architektura, pokud odstranime to - z meho pohledu znacne limitujici - omezeni, ze se ten system dale neuci, neuci se interaktivne.
Myslis uplne ta sama architektura? Ale ta definuje, jakym zpusobem se ten model uci. Prijde mi ze tvoje tvrzeni je, ze nejaka vylepsena verze GPT-3 je AGI. Mozna. Mozna bude stacit nejake iterativni vylepseni, mozna ale ne, nevidim silny argument ani pro jedno.
Pokracovanim treninku te site (jenze to vyzaduje zda se znacny hardware, a taky vhodna trenovaci data, atd. proste dalsi usili).
No ale u cloveka nemusim v podobne situaci (vymyslim hru, kterou pak hrajem) vytvaret trenovaci dataset.
A vysledek se pak mozna bude schopny ucit interaktivne.
Uvidime. Ja bych si na to nevsadil.
Bystroushaak avatar 27.8. 14:46 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
No ale u cloveka nemusim v podobne situaci (vymyslim hru, kterou pak hrajem) vytvaret trenovaci dataset.
To nemusíš ani u machine learningu, stačí jen nadefinovat hodnotící funkci a nechat to hrát proti sobě. Ostatně takhle funguje třeba to AlphaZero / AlphaGo.

Jinak asi by bylo zajímavé zkusit takhle hrát nějakou hru s GPT-3, jestli třeba udrží kontext pravidel nějaké ad-hoc hry co si vymslíš a zvládne to hrát.
27.8. 15:51 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: GPT-3
Naprogramovat hodnotící funkci místo toho, abys ji prostě slovně popsal, mi nepřijde úplně srovnatelné vzhledem k tématu diskuze.
Asi zalezi na hre, vyvoj AI ktera porazi cloveka v go trval nekolik let, nejde na to jenom hodit NN a hotovo. A u pokeru to je jeste slozitejsi, teprve minuly rok vzniklo AI, ktere porazilo dobre hrace v multiplayer NLH (nepouziva neuronove site a oproti cloveku ma par nevyhod, hlavne ze nedokaze exploitovat hrace co hrajou neoptimalne).
19.8. 13:43 ...
Rozbalit Rozbalit vše Re: GPT-3
Jak by si tohle vedlo proti Gretine botu s recepty na snehove pusinky?
Gréta avatar 19.8. 18:25 Gréta | skóre: 26 | blog: Grétin blogísek | Stockholm
Rozbalit Rozbalit vše Re: GPT-3

jako náhodou i uplně hloupučkej grétobot turingovým testem prošel hele :O ;D

gpt3 i se všema chybkama a nedostatkama který teďko jakoby má by na mimibazaru nebo podobným fóru uplně splinul si myslim :O :O :D :D ;D

19.8. 16:29 j
Rozbalit Rozbalit vše Re: GPT-3
Takze ve finale je to trochu zabavnejsi eliza? ;D

Jinak udelat AI je podle me principielne strasne primitivni az trivialni. Potiz spociva v tom to realizovat. Jde totiz o to, ze neurony muzou mit mezi sebou prakticky neomezeny mnoztvi ruzne silnych vazeb, ktery fungujou vsechny zaroven. A tohle se sice da v nejakym meritku sestavit, ale problem je prave to meritko - moc malo vazeb a malo paralelismu.

Asi bych si mnohem snaz nez pokusy o kremiko-sw realizaci doved predstavit realizaci biologickou. Jenze pak by to melo i vsechny nedostatky = zapominani atd atd.

BTW: Az si to samo sebe uvedomi, tak to zaroven zjisti, ze nejvetsi problem planety je pritomnost cloveka, a tudiz, v souladu se zadanim tvurce, dojde k jeho eliminaci.

BTW2: Me osobne by teda zajimalo, jak vyuzitelny by to bylo pro hackovani. Protoze masina ktera zna veskery znamy diry veskeryho SW by pak mohla celkem slusne analyzovat i diry neznamy (a zdrojaky k tomu narozdil od cloveka nepotrebuje).

---

Dete s tim guuglem dopice!
JiK avatar 19.8. 17:34 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: GPT-3
... BTW2: Me osobne by teda zajimalo, jak vyuzitelny by to bylo pro hackovani. Protoze masina ktera zna veskery znamy diry veskeryho SW by pak mohla celkem slusne analyzovat i diry neznamy (a zdrojaky k tomu narozdil od cloveka nepotrebuje)
Kde beres jistotu, ze to tak davno nebezi? Myslis ze NSA a jejich Cinsky a Izraelsky ekvivalent sedi na prdeli a nudi se? Vubec by mne neprekvapilo, kdyby provozovali tak 9/10 vsech ruznych cryptocoin burz, mixeru a kasin, stejne jako tyhle aktivity v AI...
Bystroushaak avatar 19.8. 23:23 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
BTW: Az si to samo sebe uvedomi, tak to zaroven zjisti, ze nejvetsi problem planety je pritomnost cloveka, a tudiz, v souladu se zadanim tvurce, dojde k jeho eliminaci.
Zkus si přečíst Slepozrakost (anglicky Blindsight). Výtečná kniha na téma sebeuvědomění si se a vědomí obecně.
19.8. 16:30 Tomáš
Rozbalit Rozbalit vše Re: GPT-3
Chceš tímto blogem říct, že odteď za sebe necháváš psát AI? (smajlík)
JiK avatar 19.8. 17:51 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: GPT-3
Predstavte si kdyz to nekdo necha provadet cenzuru. Kdyz to nekdo posle hledat ideozlocince. Kdyz na zaklade minuleho a aktualniho chovani na siti, a zmen tohoto chovani bude identifikovat treba lidi, kteri nesouhlasi s [vloz nejakou blbost kterou zrovna prosazuje woke levice]...zivy StBak muze veci prehlednout, nebo byt liny, unaveny, blby, zkorumpovany, ale tenhle "umely soudruh", kdepak, ten se nezakeca...tohle je vlhky sen vsech tech JS1, kteri chteji ridit lidstvo pocitacem a zakazat jakoukoli individualni svobodu a vlastnictvi.
Gréta avatar 19.8. 18:26 Gréta | skóre: 26 | blog: Grétin blogísek | Stockholm
Rozbalit Rozbalit vše Re: GPT-3

musíme to rychle nasadit proti nim než to voni jako nasaděj proti nám :O :O ;D ;D

19.8. 22:17 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
tohle je vlhky sen vsech tech JS1, kteri chteji ridit lidstvo pocitacem a zakazat jakoukoli individualni svobodu a vlastnictvi
Co se clovek nedozvi.. IIRC tak ridit lidstvo pocitacem chtel Bystroushaak. I kdyz ja v zasade taky nejsem uplne proti, za predpokladu, ze bude mit nejakou humanistickou axiomatiku (coz muze byt dost obtizne splnitelny pozadavek).

Nicmene kdyz uz jsme u tech predpovedi. Ja myslim, ze me se nikdo na nazor ptat nebude. AGI tohohle typu prvni nasadi miliardari na management svych investic, protoze proc by meli verit nejakym svym poskokum, kdyz se muzou spolehnout na stroj? Ten bude delat v zasade co vesmes delaji ted ti miliardari, srovna si tech 10 portfolii hedge fundu, co vlastni, a cas od casu vymeni sefa toho, co dava nejnizsi zisky.

Nu a pak to proste pujde dal, ta AI rychle zjisti, co delaji manazeri pod temi portfolii blbe, a nahradi je taky umelou inteligenci. A tak to postupne probehne az skoro uplne dolu. Vznikne struktura, kde AI ma obrovskou faktickou kontrolu nad realnou ekonomikou, tedy zatim ve prospech toho miliardarskeho investora (kteremu to stale prinasi prospech). No a az se ta struktura zvetsi natolik, ze se ty zajmy AI (ktere jsou maximalizaci zisku pro investora) a investora dostanou do rozporu, co se stane?

Ja osobne bych zadne AI do ruky nedal zadnou kontrolu nad materialnim svetem, alespon do doby, nez budeme trochu chapat, co to je. Nicmene obavam se, ze k naplneni snu o "friendly AI" nakonec nedojde, protoze lidska chamtivost bude silnejsi.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
19.8. 23:36 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: GPT-3
To je zajímavá úvaha. Spíš si teda myslím, že k tomu dojde víc nahodile než takhle vodopádem, ale s tím pesimistickým závěrem souhlasím. AGI je děsivý koncept, který by na jedné straně mohl lidstvo posunout směrem ke komfortnímu, bezstarostnému, práce prostému (ve smyslu konvenčních 9-17 jobs) životu, a dokonce bych i věřil tomu, že se to do nějaké míry nakonec stane, ale na druhé straně může společnost de facto rozložit už jen tím, že lidskou inteligenci učiní zastaralou. Krásně je to vidět na šachové komunitě při živých přenosech. Dost lidí už ani nezajímá, co to tam žvaní nějaký velmistr, raději začnou spamovat chat, že poskočila evaluace na Sesse…

Co se stane, až bude možné prostě kdykoliv konzultovat stroj, který je inteligentnější než kterýkoliv člověk ne v jedné specializované disciplíně, ale v čemkoliv? Naivně by se chtělo říct, že by to mohlo mít řadu pozitivních dopadů třeba politicky: každý by měl k dispozici enormní inteligenci i znalosti a mohl si nechat radit, co je ten nejlepší scénář, pro který hlasovat… Ale v praxi to kdokoliv může použít jakýmkoliv způsobem. Dosud v náš prospěch docela hrála relativně nízká pravděpodobnost toho, že někdo bude vysoce inteligentní a současně naprostá zrůda. Tady bude jen otázka, komu ta AGI padne do rukou a jak silná bude oproti jiným. Vedle závodů ve zbrojení nás nejspíš čeká ještě hon za tím mít silnější AGI než ostatní. Bez toho stát nebude schopen zajišťovat vnější obranu, vyšetřovat zločiny, … vládnout.
20.8. 00:28 deda.jabko | skóre: 23 | blog: blog co se jmenuje "každý den jinak" | za new york city dvakrát doleva a pak už se doptáte
Rozbalit Rozbalit vše Re: GPT-3
Nicmene kdyz uz jsme u tech predpovedi. Ja myslim, ze me se nikdo na nazor ptat nebude. AGI tohohle typu prvni nasadi miliardari na management svych investic, protoze proc by meli verit nejakym svym poskokum, kdyz se muzou spolehnout na stroj? Ten bude delat v zasade co vesmes delaji ted ti miliardari, srovna si tech 10 portfolii hedge fundu, co vlastni, a cas od casu vymeni sefa toho, co dava nejnizsi zisky.
Na tento typ ulohy zadnou AGI nepotrebujes. To zvladne jednoduchy automat a na spravu portfolia klidne muzes najmou kocoura.
Vznikne struktura, kde AI ma obrovskou faktickou kontrolu nad realnou ekonomikou, tedy zatim ve prospech toho miliardarskeho investora (kteremu to stale prinasi prospech).
Uz se v podstate stalo. Jeden z prvnich, kdo vazne pochopil, k cemu se daji pouzit data a AI (at uz je to cokoliv) byl Bezos a Amazon, ostatni firmy jej pomalu a jiste nasleduji.
Asi před rokem se dostali hackeři na servry Debianu a ukradli jim zdrojové kódy.
Jendа avatar 21.8. 18:05 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
Ja osobne bych zadne AI do ruky nedal zadnou kontrolu nad materialnim svetem
To se dost těžko dělá (a třeba kolem Eliezera Yudkowského je celá banda lidí co to už 15 let řeší), protože AI bez vlivu na fyzický svět je poměrně k ničemu. A její výstupy, pokud mají být podstatně lepší než to, co dokáže člověk (proto si ji pořizujeme, ne?), nedokážeš sanitizovat (jak zjistíš, že je to AI-vynalezené očkování na Čovid skutečné očkování, a ne tajný plán, jak ovládnout lidstvo? a pak trochu bizarnější: co když má tak skvělé dialektické schopnosti, že při výrobě volebních sloganů ve skutečnosti přesvědčí lidi k něčemu jinému? (AI-box experiment) Co když obrázek, který udělala, je ve skutečnosti BLIT? A pak mimochodem ji samozřejmě nemůžeš jakkoli připojit k internetu, protože vyhackuje bitcoinovou burzu a za bitcoiny objedná v JLC výrobu doomsday machine).
22.8. 09:51 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
Popravde, mne ty Yudkowskeho fantazie pripadaji dost pritazene za vlasy. Ja nevidim ani tak problem v tom, ze by AI mela vlastni zlou vuli, nebo tajny plan, vidim daleko vetsi riziko v tom, ze bude nasazena na rizeni neceho a bude ji chybet prvek bud humanismu nebo neschopnosti, ktery maji normalni lide.

Kazda automatizace ma potencial vyprodukovat velke mnozstvi neceho, s vysokou produktivitou. Pokud je nastavena spravne, je to mozna i uzitecne. Pokud je nastavena spatne, vznikne o to vetsi nehoda. Tady se bavime o necem, co bude ruzne automatizace rekurzivne ridit a nastavovat - takze to ma samozrejme jeste vetsi potencial udelat neco spatne a vytvorit jeste vetsi nehodu.

Vezmu-li si treba korporaci (nebo jinou technokraticky rizenou ekonomiku, jako byl treba komunismus), ta se snazi fungovat efektivne vzhledem k cili maximalizovat zisk a produkci. Casto to znamena, ze se opomiji ekonomicke a lidske externality. Napriklad se muze opominout riziko ujmy na zdravi. Pokud je ovsem ta organizace tvorena lidmi, stale je to urcita brzda. Lide na ruznych urovnich hierarchie mohou reflektovat, jestli cele to snazeni dava smysl, a jestli jejich participace v tom systemu neni pro ne nevyhodna (napr. jestli se dodrzuje bezpecnost prace). Vsichni v te organizaci nejsou stroje, ktere jsou nastavene sledovat jeden konkretni cil bez ohledu na nasledky.

Pokud tuto hierarchii (i pres jeji cetne problemy, ktere obcas ke katastrofe vedou) nahradime ciste stroji, pripadne ponechame lidi jen v nejnizsi vrstve te hierarchie, kde si muzou tak mozna stezovat na nadrazi, v tom vidim velke riziko.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
xkucf03 avatar 22.8. 10:38 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Umělá inteligence, autorské právo a data pro trénování

Umělá inteligence nejsou jen algoritmy a výpočetní výkon, ale hlavně data, na kterých se natrénuje. Pokud poskytneš data, poskytneš i možnost vytvořit AI a tím pádem získat moc. Mohli bychom tedy začít od těch dat. Otázka je, jak by se k tomu mělo stavět autorské právo. Do jedné diskuse jsem napsal trochu provokativní dotaz:

It was estimated to cost 355 GPU years and cost $4.6m.

The dataset of 300 billion tokens of text is used to generate training examples for the model.

And how much have they paid to the authors of that texts?

Co si o tom myslíš? Mělo by zveřejnění či poskytnutí dat dávat automaticky právo tato data používat k trénování AI? Nebo by to mělo vyžadovat zvláštní licenci od autora resp. držitele práv? Co když napíšu článek, natočím film, přeložím titluky, přeložím software atd. – má mít automaticky kdokoli právo na tom trénovat AI? Nebo jen za určitých podmínek? Nebo až po mém explicitním souhlasu?

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
22.8. 11:20 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Mně přijde, že to trochu naráží na takový ten nedořešený problém s autorským právem, na který narážíme i u lidí. Čteš knihy, posloucháš hudbu, sleduješ filmy… To všechno tě nějak ovlivňuje a když pak sám něco vytvoříš, opravdu jsi tím jediným autorem? Třeba u softwaru nebo technické literatury je to problém veskrze marginální, ale umění je závislé na kultuře a kulturu vytváříme my všichni. Uvádět všude reference by ani nebylo prakticky proveditelné.

U lidí se to ustálilo víceméně na tom, že se autorství přisuzuje tomu, kdo na tom nese největší zásluhu a ostatně i ti umělci často dají kredit tomu, kdo je významně inspiroval. U AI je asi hlavní rozdíl v tom, že to není svévolná entita, která by „nasála esenci lidskosti“ a pak přispívala zpátky (tvorbou lidové tvořivosti apod.), ale že někomu konkrétnímu patří a bude ji používat nějakým způsobem (často komerečním), ačkoliv ten natrénovaný model je v podstatě svým způsobem odvozené dílo – odvozené z těch trénovacích dat. Zajímalo by mě, co by na to řekly soudy.
22.8. 11:32 jiwopene | skóre: 23
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Pokud například někdo spočítá SHA256 z nějakého textu (knihy) nebo zvukového souboru (hudby), případně více takovýchto děl spojených, je autorem ten, kdo ho spočítá, nebo autor původní? Myslím si, že je to celkem dost podobné použití dat pro trénování AI – data se někde vezmou, pak se nad nimi něco spočítá a vyleze jakýsi BLOB, který sám o sobě s původním vstupem moc nesouvisí.
.sig virus 3.2_cz: Prosím, okopírujte tento text do vaší patičky.
22.8. 11:55 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
To je velmi dobrá otázka. Máš pravdu, že v obou případech nad tím provádíš jen nějaké výpočty. V jednom případě je ale výstupem číslo, které je samo o sobě bezcenné, a v tom druhém „program“, který lze k něčemu použít (nejen obyčejné klasifikaci, ale třeba i generování – jako je tomu v případě GPT-3) a který nějakým způsobem obsahuje ta tvoje data. Kdybys jazykový model trénoval na jediné knize, bude to velmi patrné.
xkucf03 avatar 22.8. 12:52 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování

Hash je sám o sobě celkem k ničemu, může tedy sloužit jako identifikátor, podobně jako název knihy + jméno autora, ale neobsahuje v sobě informace z té knihy, jde o jednosměrný proces a zpětně z něj nelze získat nic užitečného. Je to jako kdybys spočítal stránky v knize nebo minuty filmu a toto číslo pak někde uvedl. Tyhle věci jsou sice odvozené z původního díla (bez něj bys třeba ten hash nespočítal), ale autorské právo se na ně nevztahuje.

Natrénovaná AI je ale o dost jiný případ, protože ta je jednak z původního díla odvozená a jednak v sobě obsahuje informace či dokonce znalosti v tomto díle uložené. Výsledkem je program, který nahrazuje funkci těch původních knih a dalších děl. A nebýt těch děl, tak by tato AI nemohla existovat. Proto ten dotaz, kolik z investovaných peněz dostali autoři původních textů…

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
22.8. 12:59 jiwopene | skóre: 23
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Takže bychom takovouto natrénovanou AI mohli považovat za trénovací data „převedená“ do jiného formátu a nějak zpracovaná (podobně jako jako např. encyklopedii)?
.sig virus 3.2_cz: Prosím, okopírujte tento text do vaší patičky.
xkucf03 avatar 22.8. 13:24 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování

Řekl bych, že ano. Pokud např. někdo použije moje překlady článků nebo .po soubory s překlady aplikací, nebo třeba překlady titulků k filmům, k tomu, aby vytvořil AI překladač, tak by měl respektovat licenci původních děl. A pokud jsou tato díla pod copyleftovou licencí, tak by i ten AI překladač měl být pod kompatibilní svobodnou licencí.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
22.8. 11:48 petr_p | skóre: 59 | blog: pb
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Mně přijde, že to trochu naráží na takový ten nedořešený problém s autorským právem, na který narážíme i u lidí. Čteš knihy, posloucháš hudbu, sleduješ filmy… To všechno tě nějak ovlivňuje a když pak sám něco vytvoříš, opravdu jsi tím jediným autorem?

Řešené to je, ale jak bývá zvykem, tak nijak exaktně:

(3) Právo autorské se vztahuje na dílo dokončené, jeho jednotlivé vývojové fáze a části, včetně názvu a jmen postav, pokud splňují podmínky podle odstavce 1 nebo podle odstavce 2, jde-li o předměty práva autorského v něm uvedené.

(4) Předmětem práva autorského je také dílo vzniklé tvůrčím zpracováním díla jiného, včetně překladu díla do jiného jazyka. Tím není dotčeno právo autora zpracovaného nebo přeloženého díla.

(5) Sborník, jako je časopis, encyklopedie, antologie, pásmo, výstava nebo jiný soubor nezávislých děl nebo jiných prvků, který způsobem výběru nebo uspořádáním obsahu splňuje podmínky podle odstavce 1, je dílem souborným.

Míru podílu autorství určuje soud.

U AI je asi hlavní rozdíl v tom, že to není svévolná entita, která by „nasála esenci lidskosti“ a pak přispívala zpátky (tvorbou lidové tvořivosti apod.), ale že někomu konkrétnímu patří a bude ji používat nějakým způsobem (často komerečním), ačkoliv ten natrénovaný model je v podstatě svým způsobem odvozené dílo – odvozené z těch trénovacích dat. Zajímalo by mě, co by na to řekly soudy.

Soudy už řešili, jestli opice, která pořídí fotografii, má na ni práva. Došli k názoru, že opice si nebyla vědoma tvůrčího procesu, a tudíž není autorem.

22.8. 11:58 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Soudy už řešili, jestli opice, která pořídí fotografii, má na ni práva. Došli k názoru, že opice si nebyla vědoma tvůrčího procesu, a tudíž není autorem.
Program convert si tvůrčího procesu taky není vědom, ne? :)
xkucf03 avatar 22.8. 13:14 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování

Není, ale to neznamená, že jeho spouštěním nevznikají odvozená díla. Ostatně k vytvoření odvozeného díla nebo kopie žádný tvůrčí proces nepotřebuješ. A přesto je výsledek chráněn autorským právem – ovšem původního autora – a je třeba respektovat původní licenci.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
22.8. 15:05 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Však právě.
22.8. 16:27 petr_p | skóre: 59 | blog: pb
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Komentářem o opici jsem neřešil, co je odvozené dílo. Na odvozenost nemá vliv, jestli odvozuje člověk, opice, umělá inteligence nebo konečný automat. Strefoval jsem se do přítomnosti inteligence. Byla tu položena otázka, jestli umělá inteligence může být nositelem autorských práv. Zatímco o GPT-3 se můžeme dohadovat, jak moc je inteligentní, tak o tom, že opice inteligentní je (v obecném smyslu), pochyby (doufám) nejsou. A přesto se lidé domnívají, že opice (alespoň v onom konkrétním případě) nemůže být nositelem autorských práv. Je třeba zdůraznit, že dílo v tomto opičím případě rozhodně odvozené nebylo. Tudíž i kdyby uměla inteligence vytvořila dílo jedinečné, pak je tu zřejmě jiný aspekt, než míra inteligence, který ovlivňuje autorskoprávní ochranu.
22.8. 22:59 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
OK. Já si myslím, že:
  1. U dosavadní umělé „inteligence“ zatím nemá smysl řešit, zda může nosit autorská práva. Až přijde opravdová umělá inteligence, nepochybně lidstvo začne řešit různé z toho vyplývající etické otázky vč. toho, jestli může být zodpovědná za trestný čin (a ne její majitel) atd. Možná se objeví i hnutí za práva robotů :)
  2. U opice hádám nejde o inteligenci, ale o to, že prostě stojí mimo lidskou společnost a vůbec nedává smysl, aby mohla držet autorská práva. Např. ti opice těžko sdělí, jak dané dílo bude licensovat, nepochopí výsledek soudního řízení atd. Koncept autorství si vytvořili lidé mezi sebou a to ještě v každé kultuře trochu jinak, bylo by absurdní do něj zahrnovat opice – stejně jako by bylo absurdní opici trestat za to, že vydává zvuky, které napodobují autorské dílo, které někde slyšela.
  3. GPT-3 je odvozené dílo, což by bylo víc než zjevné při trénování na jediném díle.
xkucf03 avatar 22.8. 13:19 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování

Autorské dílo je definováno jako výsledek tvůrčího procesu. Pokud něco jen okopíruješ, tak nejde o tvůrčí proces. Samozřejmě tu zůstává otázka, co je tvůrčí proces, jak dokázat, zda něco bylo okopírováno nebo k tomu dotyčný došel nezávisle sám atd. A na tyhle otázky odpovídá soud. Takhle právo normálně funguje. Skoro žádný zákon není prostým algoritmem, který by stačilo mechanicky aplikovat. Vyčítat tuhle vlastnost autorskému právu a nevidět, že stejnou vlastnost mají prakticky všechny ostatní zákony, to je dost hloupé nebo manipulativní (ano, jisté politické strany se k tomu uchylují). Neřekl bych tedy, že je to až tak „nedořešené“.

Když vydáš knihu, do které vložíš svoje znalosti a zkušenosti, tak ji vydáváš s tím, že si ji ostatní přečtou a pak tyto znalosti uplatní v praxi – třeba při práci, ve které vytvářejí další autorská díla. Dá se říct, že je to i záměr a předpokládaný výsledek. Asi to není nikde explicitně definované, ale je to věc zvyku a zdravého rozumu, že akt vydání knihy zahrnuje implicitní souhlas autora s tím, že si ji čtenář přečte, něco z ní načerpá a tyto znalosti pak uplatní při své činnosti. Když učitel učí studenty, tak tam se vyloženě předpokládá (je to cílem toho vzdělávacího systému), že si studenti ty přednášky zapamatují, vstřebají tyto znalosti, a pak půjdou někam pracovat (a často vytvářet díla) a tyto znalosti tam použijí.

Je otázka, zda tenhle princip lze aplikovat na AI. Umělá inteligence není lidská bytost resp. není vůbec považována za bytost a je to jen něčí majetek a nástroj, program. Asi bychom se na ni tedy měli dívat jako na odvozené dílo, které by mělo autorské právo a licence původních děl.

Pokud bys např. z filmů vygeneroval spustitelný ELF soubor, který, bude-li spuštěn s příslušnými parametry, začne na obrazovku promítat konkrétní film, tak by jednoznačně šlo o odvozené dílo. A z praktického hlediska toto dílo nahrazuje původní film – ten program lze použít místo původního DVD či BD disku. A pokud z knih a článků vygeneruješ (natrénuješ) AI, tak tato AI opět může sloužit jako náhrada těch knih a článků – místo toho, aby je někdo četl, tak může AI položit dotaz.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
Fluttershy, yay! avatar 22.8. 14:07 Fluttershy, yay! | skóre: 87 | blog:
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Umělá inteligence není lidská bytost resp. není vůbec považována za bytost a je to jen něčí majetek a nástroj, program.
Co není, může být.

Researcher at Institute for State and Law, Alžběta Krausová, on legal aspects of robots and AI

Tam sice řeší takové věci jako uzavírání smluv robotem, který pro člověka dělá nákupy, potažmo odpovědnost za škody,
“Legal person is an artificial concept of our society. We created the concept of a legal person and applied it to companies because we needed something that transcended humans. With electronic persons or robots, there are similarities and differences. Imagine a robot who is buying pills for you or other items to help care for elderly people. We need rules that make it so it is actually legal for the robot to purchase the items.

“Also, the other big problem is liability. What happens if a robot causes a liability? So, this status of an electronic person is not about making robots humans, but laying down rules on what to do when a robot causes damage.”
ale není důvod, proč to analogicky neaplikovat na autorství, potažmo kopírovací monopol.

Vlastně, když to narvu do vyhledávače, dostávám např. Could an artificial intelligence be considered a person under the law?
Legal scholar Shawn Bayer has shown that anyone can confer legal personhood on a computer system, by putting it in control of a limited liability corporation in the U.S. If that maneuver is upheld in courts, artificial intelligence systems would be able to own property, sue, hire lawyers and enjoy freedom of speech and other protections under the law. In my view, human rights and dignity would suffer as a result.
Science advances one funeral at a time. (Max Planck, parafráze) ✊ ⓔⓐⓣ ⓣⓗⓔ ⓡⓘⓒⓗCHAZ
xkucf03 avatar 22.8. 15:02 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování

Umělá inteligence není lidská bytost resp. není vůbec považována za bytost a je to jen něčí majetek a nástroj, program.

Co není, může být.

A to bys chtěl?

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
22.8. 15:05 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Skoro žádný zákon není prostým algoritmem, který by stačilo mechanicky aplikovat. Vyčítat tuhle vlastnost autorskému právu a nevidět, že stejnou vlastnost mají prakticky všechny ostatní zákony, to je dost hloupé nebo manipulativní (ano, jisté politické strany se k tomu uchylují).
Vyčítám to i těm dalším zákonům. Samozřejmě tam vždycky bude něco, co musí nakonec posoudit člověk, ale přál bych si, aby zákony byly alespoň psané formálním jazykem (jednoznačný AND, OR, XOR atd.) a vedle těch rozhodovacích otázek byly nějaké příklady, komentáře a tak.

No, nicméně, to nebyla úplně pointa. Jednak jsem stejně dospěl k závěru, že ten natrénovaný model je podle současných zákonů odvozené dílo, jednak jsem konkrétně narážel na různé takové ty případy, kdy někdo omylem vytvoří melodii, která je podobná již existující, čímž porušuje autorská práva, ale neexistuje způsob, jak posoudit, jestli to původní dílo vůbec někdy slyšel, a pokud ano, tak jak je to dávno a jestli to udělal úmyslně, nebo ne atd. Tuším, že se někde řešil třeba počet zhlédnutí na YouTube (byly to tuším řádově stovky tisíc nebo jednotky milionů, nic absurdně vysokého) a soud dospěl k závěru, že to ta žalovaná strana mohla slyšet…

Mně to prostě přijde rozbité a s různými dnešními crowdfundingy to stejně směřuje k modelu, že autor vybere peníze předem a pak to uvolní jako svobodné dílo. U softwaru se zase všechno přesouvá do cloudu, což se mi mimochodem taky nelíbí.

Co s tím nevím a nemám na to úplně jednoznačný názor, ale tahle problematika je obecně strašně složitá.
22.8. 18:12 deda.jabko | skóre: 23 | blog: blog co se jmenuje "každý den jinak" | za new york city dvakrát doleva a pak už se doptáte
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
ale přál bych si, aby zákony byly alespoň psané formálním jazykem (jednoznačný AND, OR, XOR atd.)
To je takove hezke, autisticke... problem je, ze realny svet a stejne jako chovani lidi, je inherentne fuzzy a to musi legislativa reflektovat.

Pokud bys nastavil zakony striktne podle klasicke aristetolovske (boolovske, dvouhodnotove) logiky, svet by se stal mnohem nespravedlivejsi. I ta mista, kde se toto dvou hodnotove uvazovani v soucasnych zakonech pouziva, nemusi davat smysl podle zdraveho rozumu. Vezmi si, ze nekdo ukradne v obchode mobil za 4900,-, je to prestupek, dostane pokutu. Kdyz k tomu ukradne i pametovou kartu za 100,-, stane se z toho trestny cin a jde pred soud. Spolecenska zavaznost je temer stejna, i kdyz dusledky jsou fundamentalne odlisne.

Navic, pokud budou existovat striktne nastavene hranice, je to idealni navod, jak se zakonum vyhybat. Napr. ti ostrilenejsi si pri kradezi v obchodech hlidaji, aby neukradli veci za pet tisic a vic.
Asi před rokem se dostali hackeři na servry Debianu a ukradli jim zdrojové kódy.
22.8. 23:55 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Nerozumíme si. Já netvrdím, že zákony mají být psané prostě jako program, kde nebude prostor pro „lidský pohled na věc“, ale že alespoň tam, kde to jde, ty zákony mají mít co nejsrozumitelnější, nejjednoznačnější formu. Přednášející z matematické analýzy nám třeba kdysi vyprávěl o nějaké diskuzi s právníkem, kde řešili právě ten XOR a vyplynulo z toho, že v právu nerespektují pravidla jaká fungují v normální češtině (kde právě čárka před „nebo“ implikuje XOR). Jestli to tak skutečně je nebo to byla jen pomatenost právníka nevím, ale přesto – fakt je tak nereálné udělat v tom pořádek a alespoň základní logickou strukturu definovat jednoznačně? Vždyť se už dávno dělají experimenty tímhle směrem, někdo mi říkal, že snad třeba v Holandsku to mají, ale nepovedlo se mi to dohledat a ověřit (nevím, co googlit).

Fakt, že ty zákony prostě nejdou napsat úplně totálně jednoznačně jako počítačový algoritmus ještě neznamená, že bychom se neměli snažit ty nejednoznačnosti postupně minimalizovat. Ano, je to složité (a musíš dát pozor, aby to nepřerostlo v byrokratizaci, což by bylo ještě mnohem horší), ale psát vágní zákony a přenášet veškerou zodpovědnost na soudce prostě taky není v pořádku. Soudce by samozřejmě vždycky měl mít nějaký manévrovací prostor a už teď existují instituty jako mimořádné snížení trestu (popř. potom ještě úplně mimo soudy prezidentská milost), což je správně, ale házet všude s naprosto vágními termíny jako „míra místně obvyklá“ má k ideálu opravdu daleko. Znovu: chápu, proč to tak je, chápu, že je nesmírně obtížné to nějak lépe kodifikovat tak, aby nevznikl totální kocourkov, kde byrokracie vítězí nad zdravým rozumem, ale přesto si myslím, že má snahu se o to zpřesňování snažit – zadní vrátka v té případné definici můžeš ponechat vždy, že.

Konkrétně u té „míry místně obvyklé“ bych si asi představoval nějaké zónování, kdy už při koupi nemovitosti prostě budeš vědět, jaké jsou tam normy (jestli se byty smí pronajímat přes Airbnb, jestli tam smí jezdit kamiony, jaký smíš emitovat hluk, jestli si někdo může pod tvými okny otevřít hospodu, …) a za jakých podmínek je možné ty normy měnit (většinové hlasování, shoda všech majitelů, …). Ty zadní vrátka pak spočívají v tom, že když někoho přepadnou v noci parku a bude volat o pomoc, tak ho nebudeš stíhat za porušení hlukových norem.
23.8. 00:55 deda.jabko | skóre: 23 | blog: blog co se jmenuje "každý den jinak" | za new york city dvakrát doleva a pak už se doptáte
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Přednášející z matematické analýzy nám třeba kdysi vyprávěl o nějaké diskuzi s právníkem, ...

To je teda argument... Jednak carka pred nebo ma vyznam, ktery je explicitne dany. To je to, po cem volas, a i tak to v tom pripade asi bylo jedno. A taky je rozdil mezi pravnikem a pravnikem. Uz jsem potkal pravniky okresniho formatu a prace s nimi byla na urovni okresu. A pak jsem se setkal s pravniky, co patri k tomu nejlepsimu, co muzes u nas potkat, a prace s nima byla spickova a uplne me to prinutilo prehodnotit pohled na pravniky. Ale cena taky byla o rad jinde.
ty zákony mají mít co nejsrozumitelnější, nejjednoznačnější formu.
A uvedomujes si, ze tyto pozadavky jdou ve vetsine pripadu proti sobe? Bud to bude srozumitelne, pak tam budou nejednoznacnosti. Nebo to bude (opravdu) jednoznacne, ale pak to bude pro vetsinu lidi (opravdu) nesrozumitelne, jak je bezne u matametickych textu a castecne pravnich textu.

Asi před rokem se dostali hackeři na servry Debianu a ukradli jim zdrojové kódy.
23.8. 02:01 Bherzet | skóre: 18 | blog: Bherzetův blog
Rozbalit Rozbalit vše Re: Umělá inteligence, autorské právo a data pro trénování
Jednak carka pred nebo ma vyznam, ktery je explicitne dany.
On nám právě tvrdil opak, ale jak říkám, neověřoval jsem to. Ale to je jedno. Mně prostě přijde, že u dokumentů, na kterých stojí celá naše společnost a lidi jsou na jejich základě zbavováni osobní svobody, by to mělo být vyřešené robustněji a že nějaké právní minimum, kde tyhle principy vysvětlí, by mělo být součástí základního vzdělání, nebo ještě lépe jako volně dostupný online kurz.

Měl jsem někde hezký příklad, kde na těch logických operacích záleželo a zcela upřímně jsem tomu zákonu přes sebelepší snahu fakt nerozuměl (tak, jak byl napsaný). Samozřejmě se můžu řídit selským rozumem, ale proč pak zákony vůbec mít? Nebyla to triviální problematika („nesmíte zabíjet lidi“), ale nebyla to ani žádná specialita. Prostě věc z normálního života. Škoda, že už to teď nedohledám.
A uvedomujes si, ze tyto pozadavky jdou ve vetsine pripadu proti sobe? Bud to bude srozumitelne, pak tam budou nejednoznacnosti. Nebo to bude (opravdu) jednoznacne, ale pak to bude pro vetsinu lidi (opravdu) nesrozumitelne, jak je bezne u matametickych textu a castecne pravnich textu.
Když to dotlačíš do nesmyslných extrémů, tak to protichůdné samozřejmě bude, ale to bych pak z autismu mohl obvinit zase já tebe. Já v tom prostě jen vidím prostor pro zlepšování a myslím si, že snaha o převod alespoň výrazů jako když-nebo-když-tak apod. do formálního jazyka k právní apokalypse nepovede (a znovu opakuji, že mi bylo sděleno, že se to už používá, dokonce mám pocit, že to nějaká firma dělá i nad českými zákony, jen to neumím najít a ověřit) a snaha odsávat právní vakuum dřív než se objeví problém (jako kolem toho Airbnb) taky ne.

Připomínám, že k tomuto tématu jsme se dostali přes autorské právo, kde jsem upozorňoval na nějaká slabá místa, kde je fakt problém některé věci soudit (konzistentně) spravedlivě. Netvrdím, že jsem schopný to ve své neskonalé genialitě všechno šalamounsky vyřešit, ale proto o tom koneckonců taky diskutuju (i když teda úplně v úmyslu jsem to neměl, původně jsem chtěl jen zdůvodnit, proč natrénovaný model dle stávající legislativy považuji za odvozené dílo; jestli to tak má nebo nemá být si nejsem úplně jistý).
Jendа avatar 22.8. 10:56 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: GPT-3
Ja nevidim ani tak problem v tom, ze by AI mela vlastni zlou vuli, nebo tajny plan, vidim daleko vetsi riziko v tom, ze bude nasazena na rizeni neceho a bude ji chybet prvek bud humanismu nebo neschopnosti, ktery maji normalni lide.
Ale vždyť o tom právě většina Yudkovského věcí je (paperclip maximizer a tak). Dokonce mají slogan The AI does not hate you, nor does it love you, but you are made of atoms which it can use for something else.
Kazda automatizace ma potencial vyprodukovat velke mnozstvi neceho, s vysokou produktivitou.
Ano, přesně jak píšeš dále. Problém s AI je, že pokud bude opravdu podstatně výkonnější než lidi (samozřejmě stále není vyřešeno, jestli taková AI jde postavit, ale teď předpokládejme, že ano), tak taková chybná/nepřátelská (ve smyslu maximalizace účelové funkce (u korporací zisku) bez ohledu na okolí) výroba bude taky podstatně větší než to co dělají dnešní korporace.
Fluttershy, yay! avatar 22.8. 11:35 Fluttershy, yay! | skóre: 87 | blog:
Rozbalit Rozbalit vše Re: GPT-3
Yudkovského … paperclip maximizer a tak
Paperclip maximizer je myšlenkový experiment ze starší práce Nicka Bostroma (ačkoliv to třeba popularizovala kniha Superintelligence nebo možná i blogísky jako LessWrong).

Je vůbec zvláštní, kolik vážně míněné pozornosti se upírá k takovým jako Yudkowsky, kteří ani nic moc seriózního nepublikují a tak. „Zvláštní“ je možná špatné slovo. Dává to totiž smysl, když kolem nich můžeme pozorovat kult osobnosti.

Vůbec mi přijde, že se takto rozebírají marginální, ale snadno uchopitelné problémy. Ony to trochu naznačují reakce na Yudkowského shrnuté v RationalWiki.

Přitom je řada relevantních prací např. rozšiřujících perspektivu. Opakovaně doporučuji namátkou Brattonův The Stack, což je dlouhá, ale fascinující kniha (ba dokonce „mystický zážitek“!). Nebo si aspoň proletět nějaké 15minutové rozhlasové rozhovory.
Science advances one funeral at a time. (Max Planck, parafráze) ✊ ⓔⓐⓣ ⓣⓗⓔ ⓡⓘⓒⓗCHAZ
Bystroushaak avatar 22.8. 14:49 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Je vůbec zvláštní, kolik vážně míněné pozornosti se upírá k takovým jako Yudkowsky, kteří ani nic moc seriózního nepublikují a tak. „Zvláštní“ je možná špatné slovo. Dává to totiž smysl, když kolem nich můžeme pozorovat kult osobnosti.
Yudkowsky kolem sebe má kult osobnosti co se týče různých racionalistů, imho ne AI lidí.
Vůbec mi přijde, že se takto rozebírají marginální, ale snadno uchopitelné problémy.
Někdo musí vysvětlit i základy. To že pak všichni papouškují základy, protože jsou jednoduše pochopitelné, to můžeš vidět i v téhle diskuzi, kde nikdo kromě Jendy skutečně neřeší GPT-3, ale různé filosofické blbosti kolem. Klasický bikeshedding.
Přitom je řada relevantních prací např. rozšiřujících perspektivu. Opakovaně doporučuji namátkou Brattonův The Stack, což je dlouhá, ale fascinující kniha (ba dokonce „mystický zážitek“!). Nebo si aspoň proletět nějaké 15minutové rozhlasové rozhovory.
A je to fakt dobré jo? Ten popisek zní upřímně dost špatně.
Fluttershy, yay! avatar 22.8. 15:26 Fluttershy, yay! | skóre: 87 | blog:
Rozbalit Rozbalit vše Re: GPT-3
v téhle diskuzi, kde nikdo kromě Jendy skutečně neřeší GPT-3, ale různé filosofické blbosti kolem
Možná protože definující vlastností je – podobně jako v případě třeba AlphaStar – že za dobrými výsledky stojí řádově deset megadolarů. Kdo z vás to má? No a tak se dostáváme k tomu, co s tím budou dělat ti, kdož řádově deset megadolarů do toho narvat klidně můžou.
A je to fakt dobré jo? Ten popisek zní upřímně dost špatně.
V kontextu #95? Naprostá ztráta času.

Jinak? Jedna ze stěžejních soudobých prací.
Science advances one funeral at a time. (Max Planck, parafráze) ✊ ⓔⓐⓣ ⓣⓗⓔ ⓡⓘⓒⓗCHAZ
22.8. 21:45 JS1 | skóre: 2 | blog: intuition_pump
Rozbalit Rozbalit vše Re: GPT-3
Problém s AI je, že pokud bude opravdu podstatně výkonnější než lidi (samozřejmě stále není vyřešeno, jestli taková AI jde postavit, ale teď předpokládejme, že ano), tak taková chybná/nepřátelská (ve smyslu maximalizace účelové funkce (u korporací zisku) bez ohledu na okolí) výroba bude taky podstatně větší než to co dělají dnešní korporace.
Ano, a o to mi jde. Ten problem uz mame i dneska, u tech korporaci. Resime ho? Moc ne. Asi ho nebudeme resit ani u AI.

Je to jen dalsi pseudoproblem nulteho sveta, kterym se zabyvaji lide, co nevidi (nebo nechteji videt) realne problemy. Asi jako lety na Mars Elona Muska.
Lidstvo čelí v tomto století hrozbě civilizačního kolapsu. Podpořte hnutí klimatickakoalice.cz!
Bystroushaak avatar 22.8. 14:05 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Popravde, mne ty Yudkowskeho fantazie pripadaji dost pritazene za vlasy.
Jaké Yudkowskeho fantazie?
23.8. 01:23 Lorenzo
Rozbalit Rozbalit vše Re: GPT-3
Ale snad bys nechtel prikazovat soukromym spolecnostem jako treba Google nebo FB, jake nastroje maji pouzivat ke zpracovani dat, ktera jsou jejich majetkem, nebo jaky obsah ma byt webech, ktere jsou rovnez jejich majetkem, ze ne, soudruhu?
Jake muze mit GPT-3 komercni vyuziti krome AI Dungeonu? Napada me jenom preklad jazyku (ne GPT-3, ale podobne velka neuronova sit natrenovana na vhodnych datech). Podle vysledku GPT-3 by to melo byt schopne konkurovat cloveku.
JiK avatar 19.8. 19:32 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: GPT-3
19.8. 22:12 nadtržítko
Rozbalit Rozbalit vše Re: GPT-3
Offtopic: Tolik prace a pritom to PDF je hnus. To snad psali v MS Word nebo nedej Linusi v LibreOpice Writer ? Vzdyt ten kerning je hnusnej tak, ze po 4. strance jsem to zavrel a premejslim ze si to necham precist umelym hlasem... To uz fakt nikdo nepise odborne clanky v TeXu jak za starejch dobrejch casu ?
19.8. 23:11 dumblob | skóre: 10 | blog: dumblog
Rozbalit Rozbalit vše Re: GPT-3
@Jenda, @Bystroushaak mohlo by vás zajímat (pokud jste to ještě neviděli):

https://github.com/karpathy/minGPT
Bedňa avatar 21.8. 18:16 Bedňa | skóre: 34 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: GPT-3
Dík zas za parádny blog. Existenciu GPT-3 som zachytil, ale dal som si ju len do to-do, že niekedy ...

GPT-2 bolo pre mňa dosť sklamanie, spomínal som ti že spravím pokus eJílka, hoci sa Češtinu naučil, tak blogy nič moc a ani som to nezverejnil. Potom som to prepísal na LSTM, to bolo lepšie, ale zas výsledok nič moc. Liezli z neho české slová, ale význam viet proste divný. Buranská Angličtina má v tomto určite navrch.

GPT-3 je pre mňa zas sklamanie, že je to uzatvorené, mno viem si predstaviť to využiť, uvidíme.

Tiež som sa snažil priblížiť AI ľuďom, čo majú chuť si to ohmatať. Spravil som pár blogov a pár ľudí si projekty aj naklonovalo. Github meeviduje sťahovanie ZIPu, tak neviem úplne výsledky.

Mám v pláne v tom pokračovať, tak po lete.

A chodím tu pomenej, takže občas zabudnem aj juknúť na blogy ;-)
KERNEL ULTRAS video channel >>>
xxxs avatar 22.8. 22:53 xxxs | skóre: 20 | blog: vetvicky
Rozbalit Rozbalit vše Re: GPT-3
velmi silna vec. takyto skok som necakal. ked sa to trosku vymaka a bude to vediet vylepsovat same seba, to bude hukot.
25.8. 20:59 ehmmm
Rozbalit Rozbalit vše Re: GPT-3
Tak konecne jsem to precetl. Tesil jsem se na to cely tyden. Dekuji za clanek. Jeste si chci procist i nektere linky, ale asi na to nebudu mit vuli.

Moje poznamky:

Ten prvni graf by mohl mit svislou osu logaritmickou.

Stejne jako psal nekdo prede mnou, kliknul jsem sem, protoze jsem myslel, ze to bude o jinem GPT. :)

Co se toho vyctu schopnosti tyka, tak me to proste prijde, ze to prosmejdilo wikipedii, stackoverflow a podobne trochu duveryhodnejsi weby a z toho se to naucilo lepit text. Takze tvrzeni "naucilo se to scitat a nasobit" mi prjde hodne silne. Jak tu nekdo napsal, pro politiky dobry a pro lepice css asi taky, ale ja zatim nastesti budu mit co jist.

Kdyz jsem byl mlady, tak bylo hitem, ze tusim DeepBlue porazil Kasparova. Vicemene hrubou silou. (I kdyz v jedne partii DeepBlue predvedl takovy tah, ze Kasparov protestoval, ze tohle nemohl pocitac vypocitat, ale to je jen takova perlicka.) Hlavni ale je, ze par let pozdeji se objevil program tusim Fritz, ktery s vyrazne nizsim vypocetnim vykonem dokazal konkurovat DeepBlue. Kdyz tady ctu o 175 miliardach parametru a 570 GB trenovacich dat, tak si rikam, jestli to zase neni spis o te hrube sile. (Dalsi muj oblibeny priklad na svou dobu uzasne hrube sily bylo dekodovani Enigmy.) Uz tu nekdo nadhodil dotaz, cim asi disponuji ruzne tripismenkove agentury.

To s tim globalnim minimem jsem nepobral. Take jsem ho behem studii zkousel hledat a troufam si tvrdit, ze na obecnych datech si proste nemuzeme byt jisti, ze nalezene minimum je globalni. (Trochu s tim souvisi oblibeny vyrok meho kamarada "pro tuhle firmu davno dobry".)

Ale jeste jednou dekuji. Takhle jsem si dlouho nepocetl.
Bystroushaak avatar 25.8. 21:21 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Ten prvni graf by mohl mit svislou osu logaritmickou.
Mohl, ale ta pointa by nebyla tak pěkně vidět :)
Co se toho vyctu schopnosti tyka, tak me to proste prijde, ze to prosmejdilo wikipedii, stackoverflow a podobne trochu duveryhodnejsi weby a z toho se to naucilo lepit text. Takze tvrzeni "naucilo se to scitat a nasobit" mi prjde hodne silne. Jak tu nekdo napsal, pro politiky dobry a pro lepice css asi taky, ale ja zatim nastesti budu mit co jist.
Projdi si ty další ukázky, specificky ty odkazy co jsem posílal a například i ten obrázek ke konci, kde to v aidungeonu chápe vnořené funkce a je schopné odpovídat na různé otázky kolem nich.

Taky se podívej na ty různé dotazy ohledně čísel, které rozhodně nejsou jen databázové znalosti.
Kdyz tady ctu o 175 miliardach parametru a 570 GB trenovacich dat, tak si rikam, jestli to zase neni spis o te hrube sile.
Není. Podívej se na ty odkazy o architektuře pro detaily.
To s tim globalnim minimem jsem nepobral. Take jsem ho behem studii zkousel hledat a troufam si tvrdit, ze na obecnych datech si proste nemuzeme byt jisti, ze nalezene minimum je globalni. (Trochu s tim souvisi oblibeny vyrok meho kamarada "pro tuhle firmu davno dobry".)
Je to heuristika. Tzn nemusí to najít úplné globální minimum, to jsem tam právě popisoval, že to hledá něco co je dostatečně blízké v rámci vynaložené námahy / počtu cyklů.
Ale jeste jednou dekuji. Takhle jsem si dlouho nepocetl.
Není zač.
Bedňa avatar 26.8. 21:34 Bedňa | skóre: 34 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: GPT-3
V globálne minimum sa verí, že sa dosiahne ak je k dispozícií dostatočný počet údajov (Prax to aj potvrdzuje). Občas si to pri nejakých dátach sadne do lokálneho minima, ale občasne si to naozaj sadne do globálneho minima.

Sú osvädčené praktiky ako toho docieliť. Okrem heuristík je tu prax, že sa učenie opakuje v nejakých náhodných dávkach. Takže sa náhodne kombinujú dáta v nejakej dávke a keď sa to opakuje niekoľko krát, tak si výsledky naozaj sadnú blízko globálneho minima.
KERNEL ULTRAS video channel >>>
Bystroushaak avatar 21.9. 03:50 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: GPT-3
Doporučuji ke shlédnutí tento talk s Joschou Bachem:

Joscha Bach - GPT-3: Is AI Deepfaking Understanding?

Joscha Bach je člověk kterého doporučuji sledovat.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.