DeepDream (diskuse)

[frr]

V tom odkazovaném spisku je popsáno, že neuronové síti naučené pro klasifikaci obrazu předhodíte klidně čistý náhodný šum (barevné zrnění), nebo nějaký nespecifický obrázek co ještě nezná, řeknete jí, co v něm má hledat, a "hledej šmudlo". Toto s grafickým výstupem z bůhvíjak hluboké vrstvy. No a padají z toho zajímavé kreace...

Pokud to správně chápu, přinejmenším zveřejněný zdroják nevyžaduje jako závislost nějaký přednaučený googlí skynet-neuro-cloud, ale je to založené na relativně obecném "deep learning" neuro-frameworku Caffe od Berkley Vision and Learning Center, který má nějaké nástroje na zkoumání jednotlivých vrstev sítě... a kolem toho nějaký kód v Pythonu, plus nějaké ty numerické a vědecké pythoní knihovny. Na webu Caffe je jednoduché klasifikační demo (ne tohle vysoké umění, prostě jenom "poznej co je na obrázku") - bohužel to vypadá, že to má naučené obrázky jenom z několika základních oblastí (zabírají třeba zvířátka).

Chci říct, že na základní experimenty ani není potřeba kdovíjak velký hardware, Caffe zřejmě stačí PCčko, optimálně s výkonným CUDA GPU.

Tohle je pořád jenom hraní si s obrázky. Namapovat na tuhle "deep learning" hračku nějakou práci s obecnými pojmy a symbolickou logikou, to by mohl být masakr Ono to ale asi znamená napřed vytvořit nějaké otravně nezbytné maličkosti kolem, jako je I/O rozhraní do trochu přirozeného jazyka apod... ideálně aby si to umělo samo číst na webu

[crusoe]

Cely clanok je napisany jemne bulvarne a autori nepoznaju niektore zakladne poznatky z oblasti AI. Napr. Univerzálnu aproximačnu teorému , ktora hovori ze na klasifikaciu stacia max 3 vrstvy , takze spominanych 10-30 vrstiev je zbytocny overkill .

V clanku ide priblizne o nasledovne : Neuronova siet sa nauci na vzorkach klasifikovat obraz (nespomina sa ale do akych skupin ani aka metoda ucenia sa pouziva ) . Takejto vycvicenej neuronovej sieti sa podhodi "nic" (rsp. sum) , cize data ktore sa ani nedaju klasifikovat a chlapci sleduju co si siet mysli ze "vidi" (teda ako zaklasifikuje sum ) .

Cele je to iba take "hranie" sa s datami . Cez NN je mozne generovat skutocne dost bizarne obrazy , v zavislosti na trenovacich datach .

[Mrkva]

autori nepoznaju niektore zakladne poznatky z oblasti AI. Napr. Univerzálnu aproximačnu teorému , ktora hovori ze na klasifikaciu stacia max 3 vrstvy , takze spominanych 10-30 vrstiev je zbytocny overkill

Ja bych rekl ze znaji dost dobre. To ze neco jde udelat s prostredky X neznamena ze je idealni to tak delat. Muzu nejaky program napsat v brainfucku (proste to jde), ale efektivita takoveho pristupu bude proti treba Ccku zoufala. Stejne tak neuronka na rozpoznavani obrazu muze mit *teoreticky* jednu skrytou vrstvu (s kdovi kolika stovkami tisic neuronu), ale je otazka jak dobre to pujde natrenovat a jak dobre to bude fungovat. Popravde bych se nedivil kdybysme se za cas dostali jeste k hlubsim sitim.

[crusoe]

Vyskusajte si viac vrstiev napr. na SNNS a zistite k comu je dobre mat viac vrstiev ..

http://www.ra.cs.uni-tuebingen.de/SNNS/

Matematická analýza celého problému v práci [3], ktorá znela NN s jednou, resp. max dvoma skrytými vrstvami je schopná aproximácie ľubovoľnej funkcie s dostatočnou presnosťou. Je zrejme, že viac ako 2-vrstvové NN to vedia tiež, ale za cenu vyššej zložitosti NN. Existuje tzv. Univerzálna aproximačná teoréma popísaná tiež v [5], ktorá tvrdí, že stačí jedna skrytá vrstva na aproximáciu ľubovoľnej funkcie. Z praktického hľadiska, však nehovorí koľko neurónov má mať táto jediná skrytá vrstva.

http://neuron-ai.tuke.sk/cig/source/publications/books/NS1/html/node46.html

[crusoe]

Auto celkom dobre jazdi so 4 kolesami, existuju aj auta s 3-mi , tie ale maju urcite nevyhody (pripadne vozidla iba s 2 ) .

Nie ze by auto s 30 kolesami nefungovalo alebo sa nedalo skonstruovat ale aky by to malo vyznam ?

[Mrkva]

Hezka analogie... existuje vozidlo s jednim kolem. A dokonce bude i jezdit. Proc maji tedy nakladni automobily treba 10 kol (kdyz pocitame dvojmontaz tak treba i 16)? :)

[mirec]

Keď jedno tak poriadne.

[Petr Tomášek]

A dokonce bude i jezdit.

Tak nevim, jestli brzdeni rozkrokem je to prave orechove

[Mrkva]

Vyskusajte si viac vrstiev napr. na SNNS a zistite k comu je dobre mat viac vrstiev ..

Jasne, jenze v tomhle simulatoru nejde nic komplexniho. Pohraju si az budu u stroje s poradnym GPU.

A ten citat neni v rozporu s tim co pisu ja - teoreticky ti jedna skryta vrstva staci. Prakticky muze byt vyhodnejsi tech vrstev pouzit vic.

[Jan Švec]

Á znalec z oboru AI To že na něco stačí 3 vrstvy ještě neznamená, že se nechá (nějak jednoduše) najít jejich parametry. Ve zpracování obrazu to funguje tak, že každá z vrstev různých typů (konvoluční, pooling, dense) generuje příznaky pro tu následující. Na té nejnižší vrstvě to může detekovat hrany a na té nejvyšší pak zvířata. Mezilehlé vrstvy pak dělají něco mezi tím, což se právě snaží vizualizovat deepdream.

A stejně tak to funguje v rozpoznávání řeči, porozumění, klasifikaci textu atd. Ten kdo tvrdí, že stačí 3 vrstvy zaspal deset let v oblasti výzkumu neuronových sítí.

[Roman Došek]

Existují i daleko lépe naučené neuronky, například Clarifai

[prqek]

Konečně existuje stroj, který umí produkovat autorská díla :)