Vizualizace filmů trocha jinak

9.1.2014 08:10 | Přečteno: 1473× | Stunome | poslední úprava: 9.1.2014 08:10

Dneska si ukážeme, jak jde vizuálně analyzovat filmový materiál - v našem případě půjde o celou sérii původního Neon Genesis Evangelionu od magora, který si říká Hideaki Anno. K analýze postupně použijeme již dříve zmíněný shotdetect, ImageJ, ImagePlot a Calc

Prerekvizity

• shotdetect
  • program, který nám rozkouskuje video na jednotlivé záběry a snaží se poznat střihy
  • homepage
• ImageJ
  • program na analýzu jednotlivých obrázků
  • podporuje batch zpracování a makra
  • homepage
  • dokument s nastavením analýzy
  • problém s alokací paměti
• ImagePlot
  • program na vizualizaci obrázků podle různých kritérií
  • homepage
  • dokumentace
• Calc
• Gwenview

Cíl

Co bylo našim cílem? VŠECKO! Hlavně se tedy naučit s programem ImagePlot, a vyzkoušet si co umí a kam až jde ohnout. Základem našeho bádání zkoumání je myšlenka, že pokud projedeme strojově film či seriál, měly by se v něm objevit určité paterny, které budou jednak zajímavé a jednak nám možná i o daném díle něco řeknou. Pro analýzu byl použit program ImageJ, který u RGB obrázků v základním nastavení dělá především to, že je převede do stupně šedi 0-255 a dále na nich počítá různé analýzy (mean, stdDev, median, skew...). Cíl je tedy spočítat si o daných střizích co nejvíce informací a následně je vykreslit tak, aby jsme z výsledku byli schopni něco vyčíst. Ha, ha.

Příprava dat

Postupoval jsem tedy tak, že jsem si pomocí shotdetectu vygeneroval jednotlivé začáteční scény jednotlivých epizod do samostatných adresářů, aby se nám s nimi lépe pracovalo. Dílů má pouze 26, takže si stačí napsat skriptík, který spustí tento příkaz:

shotdetect -i eva.01.mkv -o 01/ -s 60 -w -v -f -r

Co vznikne je 26 adresářu pojmenovaných od 01 do 26, které obsahují soubory s názvy in_0001.jpg. Dalším krokem tedy bylo pomocí programu Gwenview hromadné přejmenování na název, který nám později umožní rozpoznat kapitolu - já jsem zvolil formát <číslo_epizody><číslo_záběru>.jpg, takže na výstupu jsem dostal jeden adresář, ve kterém už byly všechny epizody ze všech dílů a hezky pojmenované.

Party begins!

Dostáváme se k nejdůležitější části - počítání hodnot. Pomocí příkazu "imagej -x 4000" spustíme ImageJ v módu, kdy nám na 64bit systému dovolí použít celé 4GB RAM!!!, a už jdeme do menu Analyze > Set measurements, kde se nachází nastavení měření a kde zaškrtneme všechno co vidíme, aby jsme to případně nemuseli počítat znovu. Následuje už samotné měření, které spustíme z menu Proces > Batch > Measure. V této chvíli mu již stačí jen předhodit adresář se všemi fotkami a můžete jít na kávu. V našem případě se jedná o 25613 obrázků v rozlišení 704x480px. Na konci nás čeká tabulka s naměřenými daty, kterou však musíme uložit do xls. Obsahuje pak sloupce jako Label, kde se schovává název vstupního obrázku, a dále už všechna měření Area, Mean, StdDev, Mode, Min, Max... My si ji otevřeme a dopočítáme si číslo epizody, pořadí záběru a pak doděláme jeden ošklivý hack, který nám umožní trochu lépe zobrazit data na ose y - a tedy že medián, který chceme zobrazit na ose y a má hodnoty od 0-255 vydělíme číslem 255, následně ještě zmenšíme na polovinu a přičteme k číslu epizody, tím nám vznikne něco, co budeme moci nanášet na osu y a trochu nám to zpřehlední výstupní obrázek.

První dobrá

Jako první jsem zkusil na osu x nanést číslo epizody a na osu y medián světlosti. Vzniklo něco co sice vypadá hezky, ale výpovědní hodnotu to má malou, snad jen že všechny epizody jsou si v tomto směru dá se říci velmi podobné:

Počty střihů v epizodě

V dalším kroku mě napadlo zanést do výsledku počet střihů v epizodě a zachovat pořadí jak jdou po sobě, osa x je tedy pořadí střihu, osa y pak číslo epizody. Výsledek je sice pěkný, ale naprosto jsme v něm ztratili jakékoliv počítané hodnoty.

Počty střihů nakombinované s mediánem

A v této fázi použijeme ošklivý hack o kterém jsem mluvil na začátku. Do osy y jsme si dopočítali normalizovanou hodnotu mediánu, a tak místo aby jsme měli epizodu 1, má obrázek hodnu například 1.83. Vznikne tak celkem zajímavý mišmaš, který je však velmi nepřehledný:

A tady už vás přestanu napínat a ukážu výsledek, který vznikl tak, že jsem před přičtením mediánu k číslu epizody číslo ještě vydělil dvěma:

Závěr

Kdo došel až sem, dostane tradiční kostičku! A teď co nám to vůbec vzniklo? a) hezký obrázek b) ? c) profit! Především nám vznikl pocit, že méně je někdy více a i když tato forma analýzy vypadá efektně, kdyby jsme počítali pouze s daty spočtenými s pomocí ImageJ a vykreslovali je do normálních grafů, vyčíst by se z nich dalo pravděpodobně více. Co je na posledním obrázku hezky vidět je naprosto specifická 26. epizoda (úplně nahoře), která obsahuje sled naprosto stejných záběru pouze s jinými obličeji a pak ještě 20. epizoda, která má opravdu zvláštní pruh světle růžových záběrů. Toto bylo moje první hraní si s ImageJ a ImagePlot, myslím že účel to splnilo, zase umím o pár nových analytických nástrojů více, vím jaké jsou jejich omezení, jaké jsou možnosti, a mám tisíc nápadů jak to všechno vylepšit! Teď jen sehnat pořádný výpočetní cluster a dostatek dat == POUŽÍVEJTE FACEBOOK LIDI, JE ÚPLNĚ SUPER!!! Zatím zdar...

       

Komentáře

[gsnak]

Zaujimave, asi mam selektivnu pamat. Ked som to pred rokmi pozeral tak sa niekolko poslednych epizod vobec nedalo sledovat lebo strih bol snad kazdu sekundu, nejak to tam v tych obrazkoch nevidim.

[pools]

Poslední epizoda je úplně nahoře, na ose x je u spodních obrázku pořadí záběru, takže jde hezky vidět, že poslední (úplně nahoře) epizoda má nejvíce střihů ze všech.

[Fluttershy, yay!]

Konec NGE je mindfuck. Doufám, že v Rebuild of Evangelion se nakonec neuchýlí k podobnému zvěrstvu.

[gsnak]

Podobne skoncilo aj Kare Kano, tiez im dosiel rozpocet, poslednych par casti bol slideshow.

[Fluttershy, yay!]

Já se obávám, že tam nejde o rozpočet, teda primárně. Ten je na takové drogy, aby vymysleli něco takového, naopak nezbytný. Nedovedu si představit, že by někdo usoudil, že nemá prachy na epické vyvrcholení, tak tam narve místo toho tunu náboženských filosofických dřistů.

[petr_p]

Myslíš konec nebo Konec? The End of Evangelion je, myslím, vyvrcholené hodné celého seriálu. Rebuild of Evangelion, pokud jsem správně pochopil, bude mít jen 4 filmy, a z těch třech vydaných mám pocit, že se autoři bezpečně vzdálili do neurčitého časoprostoru s podivnými zvraty a návraty ve snaze udržet diváka. Ale nápad a provedení původního seriálu se rozhodně udržet nepodařilo.

[Fluttershy, yay!]

IMHO konec je hnůj a Konec z toho jenom plyne a je divný. Ale YMMV, já prostě tyhle podivnosti nemám rád; IIRC třeba Lain nebo Akira, ať vyberu nějaký mainstream, bylo v principu podobné.

[petr_p]

Tak to jo. To já zase divný můžu. V tom případě ti nedoporučuji Saishuu Heiki Kanojo ani Ergo Proxy.

[Fluttershy, yay!]

Děkuji za varování.

[Grunt]

Kolíbáči nestraš nespoiluj. Teď nevím jestli se mám bát nebo ne.

[Fluttershy, yay!]

Kdo se bojí, nesmí do lesa. Jak se do lesa volá, tak se ucho utrhne.

[Honz]

Nepochopil. Ale určitě jsou tu mnohem chytřejší, kteří tomu porozumí...

[User682]

zdravim,

diky za zajimavy tip. Pridavam do bookmarku.

Neresil jste nahodou uziti OCR na titulky ve filmu, pokud jsou titulky soucasti video streamu ?

gf

[pools]

Nn, bohužel neřešil. Ale dneska by to asi neměl být větší problém. Jestli máte program který umí z obrázku vysosat text, tak shotdetect umí rozporcovat video na jednotlivé obrázky. Pak už bych jen promazal duplicity, které by tam asi vznikly.

[JS1]

Hm, dostal jsem kosticku a na poslednim obrazku mi Firefox shodil Xka.. Ale jinak zajimavy postup.

[pools]

Jo píšu tam kolik to má mega ty obrázky v titlu tuším Ale jestli ti to shodilo celý xka tak máš někde něco rozbitý... Jinak Firefox mi padá poslední dobou na notebooku v jednom kuse, asi nějaký nový sport...

[Senior database developer]

v title toho img pises ze to ma 50 MB a pritom to ma len 33 MB

[gtz]

POUŽÍVEJTE FACEBOOK LIDI, JE ÚPLNĚ SUPER!!

Přečti si podmínky FB a pak něco doporučuj, pokud tam něco nahraješ tak FB je vlastník, ne ty. Dále pokud chceš to co se tam objeví, aby uvízlo v pavučině 3-písmenkových informací tak tam piš vše.

LIDI nebuďte blbí a nepoužívejte FACEBOOK.

[Luboš L.]

A ty používej mozek = je to úplně super!

Ironie není taková ta láhvička na mytí oken

[gtz]

Náš administrátor shledal tento komentář závadným.

Vulgarity

Zobrazit komentář

[Fluttershy, yay!]

O_o

[Prdík]

Přečti si podmínky FB a pak něco doporučuj

Ano, tohle je vyložené vykání. Osobně, když mi někdo tyká, oplácím mu stejně...

[gtz]

Náš administrátor shledal tento komentář závadným.

Vulgarity

Zobrazit komentář

Náš administrátor shledal tento komentář závadným.

Vulgarity

Zobrazit komentář

[gtz]

Náš administrátor shledal tento komentář závadným.

Vulgarity

Zobrazit komentář

[Bedňa]

dostatek dat == POUŽÍVEJTE FACEBOOK LIDI, JE ÚPLNĚ SUPER!!!

Mne to príde ako dobrá irónia.

[gtz]

Ironie je to, ale v obráceném stylu, google to z-indexuje a spousta master trollů to budou brát vážně.

[Bedňa]

Však práve, poukazuje na to že fejsbukári dávajú hackrom svoje údaje napospas.

[gtz]

Myslel jsem to, že hodně lidí to nebude brát jako ironii, budou to používat protože jim to někdo doporučil nebo protože to používá ta a ta lama anebo protože je to cool.

[Fluttershy, yay!]

Jeden myslel a vymyslel...

[pools]

+----------+
| PLEASE  |
| DO NOT |
|FEED THE|
| TROLLS  |
+----------+
        | |
        | |
      .\|.||/..

[vlastikroot]

+1 i kdyz je to ironie, lepsi je takove veci nepsat, jeste to nekdo nepochopi a fakt si fickenbuch zalozi