Monty začíná „blogovat“ o novém kodeku Daala

Christopher Montgomery alias Monty z nadace Xiph zveřejnil první ze svých „demo-stránek“ k nově vyvíjenému video-kodeku Daala. První díl (zamýšleného) seriálu „demo-stránek“ se týká využití „lapped-transforms“ (česky něco jako „překrývající se transformace“) pro kódování videa. Dle zápisku práce na kodeku úspěšně pokračují, koncem května došlo k prvnímu streamování videa s použitím (prozatím ne příliš efektivního) prototypu kodeku. Viz též zápisek v Montyho blogu.

7.7.2013 10:22 | Petr Tomášek | Zajímavý projekt

Komentáře

[Ovocníček]

Přes tejden staré :)

Daala by měla být zajímavá tím, že je od začátku vyvíjená se zřetelem k psychovizuálnímu modelu (kvantizér by měl zachovávat energii, například), narozdíl od konvenčních kodeků (H.264, H.265), u kterých je to až nezávisle na specifikaci záležitost jednotlivých enkodérů, které psy-model dostat můžou (x264) a nemusí (což je obvyklejší - viz VP8, jak to bude s VP9, ví čert).

Ale abych brzdil nadšení (byť se s ním sám potýkám, vývoj Daaly šmíruju už asi rok, spousta ztraceného času, au). Tenhle formát ještě léta nebude relevantní. Viděl bych to tak, že dokončení nejdřív za dva roky, jestli ne později. A pak pochopitelně trvá další léta, než se z referenční implementace vydobude něco skutečně použitelného v praxi (je to třeba zrychlit, přidat pořádnou podporu pro threading, vytunit kompresi, což je nejtěžší).

Takže Daala - pokud vůbec bude dokončena a dostane se do praxe - je hudba daleké budoucnosti. Na druhou stranu je to ale docela dobrý výzkumný projekt, takže nějaké dobro by z toho mělo dlouhodobě pojít tak jako tak.

[Bedňa]

Nechcel by si niečo pekné o kodekoch napísať? Ak si napísal daj link.

[Ovocníček]

To je složitá problematika. To základní fungování kodeků se dá popsat relativně snadno, ale to je pak bez technických podrobností. A zase tu matematiku za tím já neznám, taky jsem nikdy nic neprogramoval...

http://people.xiph.org/~tterribe/pubs/lca2012/auckland/intro_to_video1.pdf Tahle prezentace není špatná (anglicky), pokud si vzpomínám, tak to postupně prochází jednotlivé kroky komprese - motion compensation/transformace/kvantizace...

[Bedňa]

171 strán Ale aj tak dík, za prečítanie to stojí. Aký kontainer a kodeky použiť na archiváciu vlastných videí? Teda ešte je otázka ktorý nástroj robí kvalitnú konverziu, ja osobne používam ffmpeg.

[Petr Tomášek]

Aký kontainer a kodeky použiť na archiváciu vlastných videí?

Pokud by šlo o audio, tak bych řekl, že k archivaci jedině lossless kodek. Jenže to je u videa problém (sice takové kodeky existují, ale co jsem četl, tak bitrate jsou docela šílený), takže bych volil jakýkoliv „lepší“ kodek a) s pořádným datovým tokem, aby to šlo v budoucnu překódovat s co možná nejmenšími ztrátami na kvalitě, b) volil bych takový kodek, který pokud možno nezpůsobuje mnoho artefaktů.

Ale konkrétní odpověď bohužel nedám...

[Grunt]

ale co jsem četl, tak bitrate jsou docela šílený), takže bych volil jakýkoliv „lepší“ kodek a) s pořádným datovým tokem, aby to šlo v budoucnu překódovat s co možná nejmenšími ztrátami na kvalitě, b) volil bych takový kodek, který pokud možno nezpůsobuje mnoho artefaktů.

Z toho důvodu (archivace s technicky snesitelnou chybou) byly vymyšlena vlnková transofrmace. Takže Dirac pro video (CineForm nebo Red Digital formát chceš-li používat komerční ale trošičku vyladenější implementace), JPEG200 pro obrázky. Pro audio nic takového implementováno nebylo, ale MPEG-2 implementovaný v Musepacku si klade podobné cíle.

[Grunt]

Dirac

VC-2

[Ovocníček]

IMHO to je blbost - na těch bitrate, co ty "archivační" kodeky potřebují, podá x264 nejspíš úplně stejně vizuálně bezeztrátový výkon (pokud chcete "šílené bitrate, můžete třeba použít parametr --qpmax a omezit tak rozsah kvantizérů, například na nevím, --qpmax 18 nebo ještě míň").

Dirac je šmejd, nikdy ho neodladili a efektivita je mizerná. JPEG2K = bez kompenzace pohybu, tedy intra komprese, což je opět třeskutě neefektivní. Prostě x264 vám na jakékoliv bitrate, kterou použijete, dá lepší využití bitů a tedy vyšší kvalitu. Myslím, že tyto "skorolossless" formáty mají jiný účel. Používají se tam, kdy se s tím videem dál pracuje, a je tedy třeba, aby to všechno bylo hodně rychlé (proto je to často jen intra, ta technika bývá primitivní), na kompresi se přitom kašle.

H.264 tyhle kodeky podle mě nepoužívají proto, že se tvůrci bojí zpackané rate-control, kterou většina enkodérů trpí, a která často zmrší video i na vysokých tocích. To ale pořádný enkodér naštěstí neudělá (zase jsme u toho x264 - naštěstí nemá problémy v tom, že by mělo nějaký "strop" kvality). Ale jinak pokud zagooglíte "avc-intra" nebo "avc-ultra", tak i do těchto studiových formátů už se to H.264 začíná dostávat.

Jo a to, že vlnková komprese "byla vymyšlena pro tento účel", je podle mě spíš blbost. Spíš bych řekl, že vlnková (wavelet) transformace je takový miláček teoretiků, ale v praxi se nikdy moc neosvědčila a v říši videa už jde skoro stoprocentně o "solution in search of a problem".

Pro audio nic takového implementováno nebylo, ale MPEG-2 implementovaný v Musepacku si klade podobné cíle.

Implementováno to myslím bylo, viz hybridní komprese ve wavpacku. Ale nějak bych se s tím nezahazoval.

[Grunt]

Právě vyladěnost psychovizuálních optimalizací H.264 (resp. x264) jejím zabijákem. MPEG-4 AVC samozřejmě bylo od začátku koncipováno jako archivační formát, x264 z toho spíš udělalo formát prezentační. Silné psychovizuálních optimalizace na jednu stránku zaručují že zavedená kvantizační chyba bude dobře zamaskována, nicméně zaručeně o to dříve tento generation loss vystoupí do popředí v případě rekódování. Muselo by se převést do AVC a už by se s tím nesmělo hýbat. Právě proto jsou používány tyto „vlnkové“ formáty v studiovém prostředí hned poté co vyházeli staré za-archivované filmové pásky. Souhlasím s tím, že Dirac je šmejd, no nic lepšího bohužel nemáme.

Implementováno to myslím bylo, viz hybridní komprese ve wavpacku.

Wavpack a Musepack jsou dvě různé věci.

[Ovocníček]

Právě vyladěnost psychovizuálních optimalizací H.264 (resp. x264) jejím zabijákem. MPEG-4 AVC samozřejmě bylo od začátku koncipováno jako archivační formát, x264 z toho spíš udělalo formát prezentační. Silné psychovizuálních optimalizace na jednu stránku zaručují že zavedená kvantizační chyba bude dobře zamaskována, nicméně zaručeně o to dříve tento generation loss vystoupí do popředí v případě rekódování.

To je dojem nebo to máte nějak otestované? Když používáte vysokou bitrate, tak efekty psychovisuálních triků ustupují do pozadí... A hovořil jsem o srovnání na stejné bitrate. Jinak nevím, jestli si představujete, že ty wavelety nemají žádné artefakty. Každopádně se ale předřečník ptal na archivaci, nikoliv na editační formát. Takže generation loss tu IMHO není relevantní.

(Ale uznávám, že by teoreticky, na supervysokých bitratech mohly mít tyto kodeky lepší vlastnosti v tom, že by se ta artefakty neakumulovaly - možná. protože vím, jaký je třeba Dirac krám, takže vůbec nevěřím, že si tohle nějak moc hlídá...)

Wavpack a Musepack jsou dvě různé věci.

Pozor, o Musepacku jsem já vůbec nemluvil.

[Grunt]

Ale uznávám, že by teoreticky, na supervysokých bitratech mohly mít tyto kodeky lepší vlastnosti v tom, že by se ta artefakty neakumulovaly - možná. protože vím, jaký je třeba Dirac krám, takže vůbec nevěřím, že si tohle nějak moc hlídá...

Ale tak se snad archivuje, ne? Bitrate nemusí být extra vysoký. Počítá se tak 1:2,5 až 1:10 (pro menší kompresní poměry než 1:2,5 přebírají otěže formáty jen s kompresí entropie jako FFV1, HUFFYUV pro větší poměry než cca. 1:10 jsou zase vhodné standardní prezenční formáty té doby počínaje MPEG-1 z let devadesátých)

[Grunt]

Každopádně se ale předřečník ptal na archivaci, nikoliv na editační formát.

A ještě dodatek: S něčím takovým se ale u archivace musí počítat. Mimo jiné na archivační formát jsou kladeny i takové nároky, že musí být bez problémů čitelný i po několika desítkách let na běžném HW. Proto se třeba u algoritmů takových formátů cení jejich jednoduchost a lineárnost. Pro obraz dokonce bylo vymyšlen tzv. téměř-bezeztrátový algoritmus.

[Ovocníček]

Aký kontainer a kodeky použiť na archiváciu vlastných videí? Teda ešte je otázka ktorý nástroj robí kvalitnú konverziu, ja osobne používam ffmpeg.

U videa rozhodně enkodér x264 (čili H.264), nic jiného se nechytá. Použít crf režim s dostatečně nízkým faktorem, aby byla bitrate ve výsledku vysoká. Lossless bych moc neřešil ani u audia (pokavaď se to v budoucnu nebude překódovávat), takže buď AAC nebo vorbis (jelikož AAC by se muselo dělat proprietárním kodekem pod wine). Opus bych nepoužíval, je zaměřený na nižší toky a je to čerstvý tedy enodladěný formát.

Co se nástrojů týče, tak já pochopitelně všechno dělám přes avisynth a x264.exe a ani nic jiného neovládám, hehe (fansuby se holt dělají tak).

[Grunt]

You are so wrong, sir.

[Ovocníček]

Od vás to mistře zní skoro jako pochvala :) Když přijde na video (nebo naposled přesamplovávání obrazu), tak tu na vás reaguju už nekolik let (od roku 2008 minimálně, hehe), a co jsem si tu přečetl...

Neříkám, že vím všecko, ale některýma věcma jsem si docela dost jistý :)

[Bedňa]

ffmpeg nepokladáš za dosť kvalitný?

[Jendа]

ffmpeg k jakému účelu? Při kompresi do H.264 samozřejmě volá x264.

[Bedňa]

Ako frontend.

[Grunt]

Vždyť ffmpeg má pro x264 stejné parametry jako binárka x264 akorát se jinak jmenují. To je úplně jedno co se použije, ne?

[Bedňa]

To práve neviem. Ffmpeg je hlavne pohodlný na písanie GUI.

[Ovocníček]

Ano, v podstatě by to mělo být jedno, ale x264 je snazší/má přívětivější syntax (tedy alespoň pro mě).

[David Jaša]

Opus bych nepoužíval, je zaměřený na nižší toky

Opus je zaměřený na _všechny_ (datové) toky, od nejnižších až do transparence.

[Grunt]

Já jsem spíš nepochopil cílové využití Opusu (teda krom toho zjevného). Nepoužívá pro nízké frekvence LPC ze SILKu?

[Petr Tomášek]

Já jsem spíš nepochopil cílové využití Opusu (teda krom toho zjevného).

Cílové použití je „pokrýt téměř všechno.“ Tj. kromě lossless na jedné straně a extrémních věcí typu codec2 (nebo tady) na straně druhé: Takže od úsporného řečového/telefonního kodeku, přes „HD“ telefonní kodek až po náhradu MP3/Vorbis/.... A to všechno se slušnou latencí a možností transparentně přecházet z jednoho módu do druhého.

Nepoužívá pro nízké frekvence LPC ze SILKu?

To záleží na použité bitrate. Při nízkých bitrate se použije SILK, při středních se pro nízké frekvence použije SILK a pro vysoké „CELT“ a při vysokých bitrate jenom CELT. Taky si to podle kvality/cílové bitrate automaticky upravuje sample rate (nebo přesněji frekvenci dolní pásmové propustě, tj. všechny vyšší frekvence se oříznou). To dokáže dělat dynamicky (např. na základě znalostí o propustnosti linky)...

Na druhou stranu není problém kódovat s cílovou bitrate >=128 kbit/s, kde by kvalita měla konvergovat k transparenci.

[Grunt]

Yup. Už jsem si to přečetl. Tak to je paráda, protože CELT byl zajímavý už i tak u 48kbps. Třeba pro hudbu zkombinovanou se zpěvem by mohlo být LPC velmi zajímavé.

[Grunt]

Omlouvám se za zbytečné dotazy:

For low bitrates (below about 30 kbit/s), the upper frequencies can be cut off and the CELT layer left out. For audio at higher bitrates, the SILK layer that specializes in speech signals is left out, and the non-specialized CELT layer is used.

Takže vlastně general purpose.

[potato]

Lossless bych moc neřešil ani u audia...

To mi přijde vtipné. U audia už neřeším nic. V podstatě by se dnes snesly už i nekomprimované wavy, ale to už se na kapacitě přece jen trochu pozná. Takže FLAC. Ztrátová komprese -- proč proboha? To archivuješ 24/7 bzučení stovky pojistkových skříní a šumění větru ve větvích? Co musí člověk dělat, aby byl nucen archivní audio komprimovat ztrátově?

[maagor]

Pokud vezmu v uvahu, ze vlastni video je pro vas cenne, pak opensource reseni jsou v tomto pripade perfektni volba (ffmpeg).

video: FFV1, audio: FLAC, format: MKV

PS: k vytvoreni MKV bych uprednostnil mkvmerge a nakonec bych vygeneroval alespon 1% PAR2..

[JeChW]

Jenže je třeba si uvědomit, že jedna FFV1 má kompresi cca 1:3 (stejně jako většina bezztrátových formátů). A minuta full HD 50p videa má přes 300 MB. To znamená, že po kompresi by měla 100 MB. Hodina filmu by pak zabrala přes 1 TB. To je myslím pro většinu lidí nepřijatelný.

Zatím jsem ještě nikdy nezkoušel bezztrátový režim v MPEG-4 AVC, ten by se možná mohl dostat na lepší hodnoty ale už z principu to nic výrazně lepšího být nemůže...

[Jendа]

A minuta full HD 50p videa má přes 300 MB.

Does not compute ;). Vteřina?

[Grunt]

Tak, tak. Nějak mu to nesedí:

1920 × 1080 = 2073600 pixelů × 12-bitů/pixel (beru standardní YUV420) = 24883200 bitů/snímek × 50 snímků/sekundu = 1244160000 bitů na jednu sekundu = 148,31MiB na jednu sekundu nekomprimovaného videa

ale 50 snímků za sekundu se používá buď u prokládaného videa nebo bůh ví u jakých HD. Mnohem běžnější je hodnota je cca. 24 fps (běžná Holywoodská produkce), což dělá 71,2 MiB na sekundu videa, jestli umím počítat dobře. To je 376GiB na hodinu a půl.

Kompresní poměr u FFV1 1:3 je už docela maximum které z něj jde vytáhnout, no na druhou stranu je to bezeztrátový kodek, tzn. originál i dekódovaná kopie jsou v poměru 1:1 na jeden pixel a hodnotu přesně. Kolik by tak dal gzip nebo WinRAR? Cokoliv blížící se 1:3 jen velmi ztěžka.

Většina archivace nemusí být bezeztrátově zkomprimovaná (99% zdrojů už je stejně kvůli nárokům na rychlosti sběrnic nějakým ztrátovým algoritmem poznamenaná), proto je tu DWT, která může v kompresních poměrech klesat ještě mnohem níž. To vše, ale není pro normální lidi co potřebují archivovat nasosané porno, nýbrž třeba pro všelijaké produkce a výsledky různých prací (třeba výstupy z Blender Foundation a tak)

[Grunt]

To je myslím pro většinu lidí nepřijatelný.

Lidi nepotřebují archivovat originály. Originály se archivují ještě s mnohem brutálnějšími parametry. Viz To už se nesosá, nýbrž vozí.

[JZD]

Viz To už se nesosá, nýbrž vozí.

Tak tohle bych rád viděl v pražském IMAXu.

[Petr Tomášek]

Nunto upozornit, že tahle prezentace je výsledek debat a nápadů, které se vedly právě s cílem vytvořit nový kodek (→ Daala). Čili není to jen takové obecné povídání o tom, jak se to při kompresi videa dělá, spíše jde o hledání nových cest (a zhodnocení dosavadních postupů ve stávajících kodecích).

Což i to je mi přijde nesmírně zajímavý .

[Ovocníček]

Ten popis fungování na začátku je poměrně obecně aplikovatelný. To, jak transformaci/MC/entrpy coding/etc bude řešit daala, se tam IIRC řeší až později.

[Petr Tomášek]

Přes tejden staré :)

Tak proč jsi nenapsal zprávičku dřív? :-P

Daala by měla být zajímavá tím, že je od začátku vyvíjená se zřetelem k psychovizuálnímu modelu (kvantizér by měl zachovávat energii, například), narozdíl od konvenčních kodeků (H.264, H.265), u kterých je to až nezávisle na specifikaci záležitost jednotlivých enkodérů, které psy-model dostat můžou (x264) a nemusí (což je obvyklejší - viz VP8, jak to bude s VP9, ví čert).

Ono těch rozdílů bude víc, hlavní je IMHO fakt, že Daala je vyvíjena „na zelené louce“ a není tedy jen vylepšením předchozích kodeků (jako tomu je třeba u kodeků z dílny MPEGu). To má své výhody (nezatíženost 20 let starými rozhodnutími), ale i nevýhody (všechno je nutno odzkoušet „od píky“). Takže šance je, že by výsledkem mohl být velmi efektivní kodek, ale může z toho vzejít taky něco, co je horší, než MPEG1 (jak se stalo kdysi u Tarkinu)...

Ale abych brzdil nadšení .......... Takže Daala - pokud vůbec bude dokončena a dostane se do praxe - je hudba daleké budoucnosti. Na druhou stranu je to ale docela dobrý výzkumný projekt, takže nějaké dobro by z toho mělo dlouhodobě pojít tak jako tak.

Však já psal taky o „prototypu“...

[Ovocníček]

Přes tejden staré :)

Tak proč jsi nenapsal zprávičku dřív? :-P

Já nemám login :) Ale také jsem byl koncem června v docela pěkném pressu. Jinak to nebyla nijak vážná výčitka, je dobré, že to nezapadlo; myslel jsem si, že to tu někdo postne, teď mě to úplně překvapilo, že se tak nestalo dřív...

[w4rr10r]

Já nemám login :)

To je opravdu strašný problém vyplnit přezdívku a heslo.

Napsal neregistrovaný.

[Petr Tomášek]

Šmankote, dyk tam má smajlík...

[rufuss]

Daala? Natasi Daala? :D

[Hans1024]

Presne to me napadlo hned pri cteni nadpisu

[rufuss]

Ale na coveru Backlash byla z ní strašná kočka... V těch nových dílech je jako šedá bába, to už stojí za prd. I když Lukášek Skywalkerů taky přesluhuje