Srovnání kvality enkodérů x264, Theora, XviD, FFmpeg MPEG-2 a Dirac

Na blogu Martina Fiedlera vyšlo srovnání kvality videa enkódovaného pomocí x264, Theora, XviD, FFmpeg MPEG-2 a Dirac. Pro srovnání kvality byl použit SSIM index. Theora v testu dopadla podobně jako XviD (lepší v nižších bitratech, horší ve vyšších). Dirac naprosto pohořel. V diskuzi však bylo upozorněno na několik problémů - např. Theora byla použita s konstantním bitrate (pro variabilní bitrate musí být použito nastavení kvality) a na enkódování Diracu byl použit referenční libdirac, nikoliv podstatně lepší Schroedinger.

4.3.2010 10:37 | xm | Zajímavý článek

Komentáře

[anon123]

Docela by me zajimalo, kdy nekdo udela takove srovnani pro normalni lidi a pro normalni nasazeni.

Vubec by me nevadilo, kdyby soubor s Theora byl o 50MB vetsi nez treba x264 a mela by stejnou kvalitu. Je vice mene jedno jak se k tomu dojde. Seste aby asi ta komprimace trvala stejnou dobu. Nejake takove srovnani me dava smysl.

[Zdenek]

V odkazovanem clanku je odstavec o subjektivnim porovnani vcetne screenshotu. Jde videt ze i pri 1000 kbps Theora ztraci spoustu detailu, skoda ze tam nejsou i ty vetsi bitraty. Grafy casu komprimace/dekomprimace jsou tam taktez.

[anon123]

Dobra. Z toho testu teda asi vypliva, ze clovek by potreboval asi dvakrat tak velke video v Theore aby dosahnul kvality v x264. Mozna vice. Teda jestli jsem to spravne pochopil.

[cezz]

Problem je, ze tebe mozno 50MB navyse nevadi, ale takemu youtube ano. Pokial si nejake video pozrie 100 000 ludi, robi to pre toto jedno video 5GB prenesenych dat rozdiel a data su peniaze.

[Jindřich Makovička]

Youtube 50MB navíc nevadí. Vadí jim, že Theoru spousta klientů (např iPhone a vůbec všechno s hw dekodérem) nepřehraje.

[cezz]

No neviem, videl som niekde vyjadrenie cloveka z youtube, ze nasadenie theory by im znacne zvysilo naklady a jednou castou nakladov bol aj zvyseny traffic.

Pre mobilne zariadenia mozu poskytovat videa v niecom kompatibilnom - to robia uz teraz.

[xm]

To vyjádření bylo ovšem lidmi okolo Theory (a jimi provedenými testy) silně zpochybněno. Navíc H.264 videa na YouTube, pokud jsem se dočetl správně (neověřoval jsem si to), nejsou zrovna moc optimalizovaná, jejich kvalita bude podstatně horší než např. s nastaveními v tomto srovnávacím testu (ale samozřejmě i tak nevěřím tomu, že by Theora dávala kvalitnější výsledky, ovšem rozdíl nebude zas tak velký).

[Grunt]

Pokud je řeč o Googlu a YouTube, tak pro ty jsou technické vlastnosti až na posledním místě.

[Grunt]

Docela by me zajimalo, kdy nekdo udela takove srovnani pro normalni lidi a pro normalni nasazeni.

Normální nasazení a normální lidi má být zas jako co?

Nejake takove srovnani me dava smysl.

Smysl v čem? Smysl v tom mít také svůj názor?

[pc2005]

Víc než Dirac by mě zajímal Snow, ten má subjektivně podobnou kvalitu jako Theora.

[Mandarinka]

Snow se ale nevyhýbá patentům, což by snad Dirac měl, takže jako konkurence Theory neplatí a rovnou můžete sáhnout po H.264, což byde v každém případě rychlejší i lepší (navíc, Snow není ani vyladěný, ani dokončený...)

[Rovano]

U statickýho vypadá líp už xvid než Theora.

[Grunt]

Theora v testu dopadla podobně jako XviD

Tak to se divím. Buď neumí autor nastavit pořádně kodér XviDu(a co tak zkusit MPEG4 ASP z dílen ffmpegu?) a nebo jsem lama já a neumím nastavit Theoru.

Dirac naprosto pohořel

Dirac naprosto nepohořel, ale zkoušet Dirac na 500 a 1000kbps je směšné. Ten formát je určen na úplně něco jiného. Chvástaly se, že u 9Mbps se vyrovná v subjektivním srovnání MPEGu-2 o 15Mbps. A jinak ho BBC používá při 250Mbps(!!!) kde už ocení výhody Vlnkové transformace oproti blokově založeným formátům. Je to podobné jako testovat Musepack při 64kbps.

V diskuzi však bylo upozorněno na několik problémů - např. Theora byla použita s konstantním bitrate (pro variabilní bitrate musí být použito nastavení kvality) a na enkódování Diracu byl použit referenční libdirac, nikoliv podstatně lepší Schroedinger.

Nepřebral David nějak? Není to dávno co (dokonce mě osobně) doporučoval pro kódování použít Dirac-research s tím, že Schroedinger je sice rychlejší, ale vrací bůh ví jaké výsledky (což jsem si také osobně potvrdil).

[xm]

Tak to se divím. Buď neumí autor nastavit pořádně kodér XviDu(a co tak zkusit MPEG4 ASP z dílen ffmpegu?) a nebo jsem lama já a neumím nastavit Theoru.

Parametry jsou tam uvedené: mencoder -ovc xvid -xvidencopts me_quality=6:qpel:trellis:nogmc:chroma_me:hq_ac:vhq=4:lumi_mask:max_bframes=2:bitrate=<bitrate>:pass=X

To je podle mě nastavení dobře optimalizované pro kvalitní výstup. Theora byla oproti tomu použita prakticky s výchozím nastavením (ffmpeg2theora --optimize --two-pass -V <bitrate>), což ovšem podle té diskkuze pod článkem znamená, že byla de facto znevýhodněna, viz:

for theora, you shouldn’t try to use bitrate number at all, use quality number instead and check the quality.

setting a bitrate using ffmpeg2theora will only produce CBR files, soft-target does not help. Only quality number (1-10) seems to be able to do VBR in theora.

Navíc současná větev Theory je údajně podle diskuze na tom ještě lépe:

It’s unfortunate that you didn’t use the most current Theora encoder… The 1.1 release is known to perform poorly on SSIM, the current encoder work results in an across the board SSIM improvement of about 2dB. A marked improvement, certainly, though x264 is still a more advanced encoder (and one extensively tuned against SSIM).

Co se týče Diracu / Schroedingeru, tak k tomu se vyjádřit nemůžu, sám jsem ho nikdy nějak víc nezkoušel. Jen jsem tlumočil co bylo uvedeno v té diskuzi.

[xurfa]

No, nic proti, ale nejdřív vypočítat nějakou teoretickou hodnotu, na kterou je x264 (podle slov Gregory Maxwella) masivně optimalizovana a pak předhodit dva screenshoty (u kterých ani neni přesně popsané, jak k nim přišel) s tím, že ty potvrzují, že x264 x-krát lepší, než Theora, mi přijde s prominutím trochu divné.

Tak buď dělám srovnání podle nějaké vypočítané veličiny, nebo udělam pořádné blind testy...

[Grunt]

nebo udělam pořádné blind testy...

A ty je zaplatíš?

[xurfa]

nebo udělam pořádné blind testy...

A ty je zaplatíš?

A proč bych to měl dělat? Já se nesnažím za každou cenu dokázat, že určitý kodek je nah*vno. Když už to ale někdo dělá, měl by používat relevatntí argumenty a ne jen vytvářet FUDy...

[Mandarinka]

Neadekvátní jsou spíš ty pro-theora testy, *zejména* ten, co se nejvíc cituje (to srovnání youtube VS theora).

O tom testu theora má větší PSNR, počkat, je to bug, je horší *jenom* o 4dB! (0.1 je hodně...)

[Grunt]

Jinak tedy nevím, ale subjektivně mi přijde MPEG-1/2 lepší než Theora. I když má asi větší zkreslení, tak se na to subjektivně dívá líp než na deblockovanané kostičky.

[xm]

Tak to tedy absolutně nesouhlasím, ve všech testech co jsem viděl (včetně tohoto) vypadal MPEG-2 podstatně hůře než Theora (hnusné kostičkování až za únosnou mez). Mě se rozhodně lépe kouká na Theoru než na MPEG-2, sporné je to jedině v porovnání s MPEG-4 ASP (konkrétně kodek XviD), kde má Theora jednoznačně navrch v nižších bitratech, ale ve vyšších už se mi o něco více líbí XviD (ale jen nepatrně).

A tyhle srovnávací testy (hodnoty SSIM) s tímto mým subjektivním hodnocením krásně korespondují...

[xm]

(a to se nesmí zapomínat na to, že Theora přitom byla v tomto testu znevýhodněna nepoužitím VBR, což podle mě může udělat docela dost)

[Grunt]

No, nevím. Já teda mnohem radši když si všimnu bloků než (skoro) Gaussova rozmazání. A když se někomu kostičky nelíbí, může si bez problémů zapnout deblocking filtr.

[xm]

Theora vypadá rozhodně líp než MPEG-2 s deblocking a deringing filtrem z mplayeru (tedy alespoň z mého pohledu, díky tobě jsem zjistil, že zjevně existují i lidé kterým se kostičky líbí). Btw. deblocking a deringing filtry zásadně zapínám i u XviDu.

[Grunt]

Přílohy:

• 310_mpeg.png (883110 bytů)
• 310_theora.png (1042102 bytů)

Theora vypadá rozhodně líp než MPEG-2

Se mi válí na disku, tak ať to můžu smazat:MPEG-2/Theora.(Na E-disku to také moc dlouho nepobude)

MPEG-2:
frame= 5016 fps= 19 q=3.4 LPSNR=Y:40.85 U:44.83 V:46.05 *:41.91 size=   94760kB time=209.17 bitrate=3711.3kbits/s    
video:89410kB audio:4903kB global headers:0kB muxing overhead 0.473551%

Theora:
22.4342  (Y': 20.8903  Cb: 31.1065  Cr: 30.4835)

I když se mi teda ten výsledek moc nezdá. Na první pohled po sobě míň MPEG-2 maže, ale rozlišení je tak vysoké, že bloky vnímám podobně jako záchvěvy spíše jako zkreslení než jako nějaký rušivý efekt. Omezením asi bude u tak vysokého rozlišení velikost DCT bloků. Pokud je mi známo, tak Theora má 8x8 a MPEG-2 má 16x16 a prostě se tak malým blokům při tak obrovském rozlišení nedostává dat, tak jsou rády, že obsahují aspoň nějakou DC složku.

tedy alespoň z mého pohledu, díky tobě jsem zjistil, že zjevně existují i lidé kterým se kostičky líbí

Jsem neřekl, že se mi líbí, ale radši kostičky než deblockované fleky. U kostiček aspoň vím, že tam nepatří, ale u těch fleků si nikdo nemůže být ničím jistý. A navíc jsou víc vidět, protože dodržují jakýsi tvar a jak už jsem řekl, tak na nízké frekvence je oko háklivé a tak celkově i když se to vyhladí a obsahuje méně rušivých artefaktů(zkreslení má menší výšku, ale zase se rozprostře po ploše) to v mém případě snižuje subjektivní dojem.

[Grunt]

Přílohy:

• 17.png (407121 bytů)
• 17_pp.png (379578 bytů)

deblocking a deringing

Btw. deblocking a deringing filtry zásadně zapínám i u XviDu.

Jinak na ty dvě mrchy bacha. Oni sice spojují navazující bloky, ale také ovlivňují data uvnitř bloků. Také jeden z důvodů proč ty post-procesní filtry zrovna 2× nemusím.

[xm]

Btw. proč si nereagoval na mou výzvu pod zprávičkou o novém Schroedingerovi? Ty seš člověk který videu a kodekům rozumí rozhodně podstatně více než já (byť se v některých subjektivních tématech jako význam HD videa a zjevně i deblocking neshodneme) a takový test od tebe by se mi vážně líbil...

[Grunt]

Reagoval. Jen nemám IBM Blue Gene. A sepsat to také chvilku bude trvat. Nemám sto prstů, ale jen deset.

[xm]

Super! Jsem vážně zvědavej jak to dopadne...

[Grunt]

Jak by to dopadlo? Jsem si zkusil ten nový Schröedinger při 1024k a je možná o něco lepší než předchůdci, ale jinak furt stejná krása. Nedělal bych si naděje.

[xm]

To je pořád hrozně málo, já měl na mysli rozlišení 1080p a datový tok okolo 8 - 12 Mbps (to jsou nejobvyklejší hodnoty u klasických 1080p x264 MKV ripů).

[Grunt]

Jasně, jasně. Ona to ani tak není vina Diracu, ale spíše DWT. Na to stačí porovnat některé JPEGy proti JPEGům2000. Ale jakmile se zvyšuje bitrate (a nebo rozlišení a nebo pokud je naopak bitrate hodně malá) tak se slabiny blokového kódování začínají naplno projevovat. Bohužel, pro JPEG se udává jako ideální(ale ne plně transparentní) QP 30 a zrovna v tom případě nemůže DWT konkurovat DCT.

BTW: Chceš 720p nebo 1080p?

[xm]

Pokud ti to nepřidělá moc práce, byl bych rád za oboje 1080p na 8 - 12 Mbps (nejlépe vybrat buď obě krajní hodnoty, nebo nějakou prostřední) a 720p na 4 - 5 Mbps.

[Grunt]

Počkat. A co vlastně teda chceš. SSIM/PSNR grafy + subjektivní zhodnocení Diracu, MPEG-4 AVC/ASP, Theory, MPEG-1/2 s podobnou logaritmickou škálou jako v tom testu při rozlišení 1080p a 720p s bitrates 4/5,8/12Mbps a všechno samozřejmě na nejnižší speed level, s full-search, ručním doladěním, atd.? A máš účet na nějakém clustertu. To by na té mojí šunce trvalo tak týden čistého procesorového času.

[xm]

Psal jsem "pokud ti to nepřidělá moc práce" Účet na clusteru bohužel nemám. Asi prostě tak nějak nemám moc představu jak to může být časově náročné. Myslel jsem původně Schroedinger, Theoru, XviD a x264 (ostatní formáty/kodeky mě moc nezajímají), celkem 2 rozlišení/bitraty (dejme tomu 1080p při 10Mbps a 720p při 5Mbps). Vše při nějakém rozumném optimáním nastavení zaměřeném na kvalitu (ovšem ne nějaké šílené ruční ladění).

[Grunt]

Tak jsem se s tím rýpal celý den(kterého vola napadlo použít Scons by mě opravdeu zajímalo) a:

Using Schroedinger encoder for video
Option --full-search currently not supported in Schro encoder
Option --full-search currently not supported in Schro encoder
      0:00:05.58 audio: 46kbps video: 6593kbps, time remaining: 00:20:37      SCHRO: ERROR: schroencoder.c(2335): schro_encoder_mode_decision: DC block ratio too high for frame 140, inserting an intra  picture
      0:00:08.92 audio: 54kbps video: 6550kbps, time remaining: 00:20:32      SCHRO: ERROR: schroencoder.c(2335): schro_encoder_mode_decision: DC block ratio too high for frame 220, inserting an intra  picture
      0:00:17.68 audio: 61kbps video: 6510kbps, time remaining: 00:20:00      SCHRO: ERROR: schroencoder.c(2335): schro_encoder_mode_decision: DC block ratio too high for frame 430, inserting an intra  picture
      0:00:17.85 audio: 61kbps video: 6510kbps, time remaining: 00:19:59      SCHRO: ERROR: schroencoder.c(2335): schro_encoder_mode_decision: DC block ratio too high for frame 434, inserting an intra  picture
…

A to jsem si ještě schválně stáhnul GIT/SVN verzi.

[Grunt]

A hele:

Using Schroedinger encoder for video
Option --numL1 currently not supported in Schro encoder
Option --sepL1 currently not supported in Schro encoder
Option --mc-block-overlap currently not supported in Schro encoder
Option --full-search currently not supported in Schro encoder
Option --numL1 currently not supported in Schro encoder
Option --sepL1 currently not supported in Schro encoder
Option --mc-block-overlap currently not supported in Schro encoder
Option --full-search currently not supported in Schro encoder

Dost pochybuju, že má vůbec cenu to zkoušet, jestli ty hodnoty nejsou rozumně nastavené.

[xm]

Btw. možná bys to tady na Ábíčku mohl publikovat přímo jako článek, IMHO by to zajímalo spoustu lidí...

[Grunt]

No tak to ani omylem. Maximálně pár slůvek v blogu.

[xm]

Jak chceš

[Amarok]

Tak jsem se tesil na objektivni porovnani a opet nic, napul je to nesmysl, coz potrvzuje i plno prispevku. Neni zatim nad vlastni testovani.

[Semo]

Vzdy to bude podla niekoho nezmysel. Pretoze kazdy ma inde optimum pomeru kvality/casu kodovania/vyslednej velkosti. A kazdy kodek ma ine optiony. Takze vzdy sa najde niekto, kto bude tvrdit, ze kodeku A sa mal zapnut tento option navyse, kdezto kodeku B sa mal iny option vypnut. Dalsi to zotrie, ze ho zaujimaju porovnania pri inom bitrate/rozliseni. A vsetkych moznosti nastaveni kodovacich optionov je exponencialne vela. A vyjdenim novej verzie jedineho kodeku cely test zastara.

[xurfa]

pak jsou ovšem naprosto mimo výkřiky typu, že ten, či onen kodek je naprosto nah*vno...

[Amarok]

S tim i souhlasim, da se jen rict, ze ten ci onen je v urcitem pripade horsi nez jiny - coz ale neznamena, ze je k nicemu a pouzivani je nesmyslne. Me ale u tohoto porovnani v blogu vadi hlavne fakt, ze tech nastaveni je spousta a napr. u theory ten clovek nepouzil prakticky nic zvlastniho (napr. rozmazany oblicej pri bitratu, ktery tam uvadi, by mel byt v nove verzi uz minulost pri spravnem nastaveni). Dale u x264 kodovani nevyuzil 2jadroveho kodovani, coz je napr. u me pak rychlejsi nez 1jadrove kodovani do xvidu, a naslo by se vic prikladu. Za clanek jsem stejne ale rad, aspon se z nej daji tahat nektere kombinace parametru.