LZMA kicks ass

17.7.2007 03:45 | Přečteno: 1705× | (bez kategorie) | poslední úprava: 17.7.2007 18:10

Předevčírem mě hajma informoval o nové verzi man-pages-cs, kterou zabalil do tar.lzma, díky čemuž jsem si nainstaloval lzma a když už ho tu jednou mám, tak proč ho nezkusit, že? Výsledky jsou opravdu zajímavé.

Skoro hned jsem zjistil, že komprimuje ještě líp než lrzip (že je 7-zip tak dobrej jsem zjistil až v průběhu testu ), to mě teda fakt posadilo na zadek. Navíc má další výhody:

• nežere tolik RAM
• dovede brát vstupní data ze stdinu a zapisovat na stdout
• nové verze (vím o 4.49) umožňují nastavit počet vláken, ve kterých lzma poběží

Tak, dost už bylo keců, tady jsou nějaký výsledky. Asi nemusím zdůrazňovat, že mám ode všeho poslední verzi.

Soubor	Velikost (KB)	Kompresní poměr
linux-2.6.22.tar	256 760	1.000
linux-2.6.22.tar.bz2	44 064	5.827
linux-2.6.22.tar.lrz	38 188	6.724
linux-2.6.22.tar.7z	37 540	6.840
linux-2.6.22.tar.lzma	37 236	6.895

Poznámka: Když jsem balil přímo adresář s Linuxem (a ne tar) do 7z, výsledek byl o trošíčku horší (38 836 KB).

Takhle dopadlo moje /etc

# du -k etc.* | sort -n
625     etc.tar.lzma
633     etc.7z
653     etc.tar.lrz
753     etc.tar.rz
773     etc.tar.bz2
917     etc.tar.gz
5137    etc.tar

Omlouvám se, že tu nejsou časy, ale nebylo by to objektivní, když na tom kompu teď něco dělám...

Jinak nová verze je pro Gentooisty v mé overlayi a ostatní se mrkněte nejdřív jestli nemáte v distru balík a jinak berte spolu s LFSáky zdrojáky, který se sestavěj takhle (po rozbalení):

$ cd CPP/7zip/Compress/LZMA_Alone
$ make -f makefile.gcc

V ideálním případě vznikne binárka lzma, která se hodí někam do $PATH        

Komentáře

[Ilfirin]

Hezký test, ale jen mě utvrdil v pocitu, že je to dnes už jedno. Máme velkokapacitní zařízení a vysokorychlostní linky. Samozřejmě je tam značný rozdíl oproti bz2 a taru (he) ale abych kvůli 300KB (zabalené zdrojáky) instaloval a používal nový formát oproti značně rozšířenějšímu 7z, to asi ne.

[David Watzke]

Stačilo by, kdyby se aspoň ten 7-zip rozšířil jako bzip2

[Ilfirin]

To je fakt.

[Käyttäjä 11133]

Já nevím proč, bz2 bohatě stačí. A ani gzip není k zahození. Mě vždycky štve, když chci dělat na něco .src.rpm že je zvykem mít zdrojáky v .bz2, pak to musím zbytečně přebalovat z gzipu. Stejně ty data, která ti na disku zabírají nejvíce místa, jsou téměř bezztrátově nekomprimovatelná (hudba, filmy,..).

[David Watzke]

Ještě něco...

velkokapacitní zařízení

Stejně není nutný zbytečně plýtvat... zas tak velký ty (běžný desktopový) harddisky ještě nejsou.

vysokorychlostní linky

Tož to ano

Samozřejmě je tam značný rozdíl oproti bz2 a taru (he)

Doufám, že tar nepovažuješ za kompresní formát... Já jen že to tak trochu vyzní.

[Ilfirin]

Doufám, že tar nepovažuješ za kompresní formát... Já jen že to tak trochu vyzní.

Proto tam mám v závorce to "he" protože vím, že kompresní formát to není (i když, trochu je. Je to přece složení více souborů do jednoho, což je zmenšení obsazeného prostoru na disku).

Chtěl jsem řící,že mezi těmito formáty je velikostně obrovský rozdíl, ale mezi 7z, lzma a lrz je (další moje věta: při dnešních rychlostech linky a kapacitách úložných médií) zanedbatelný.

[David Watzke]

Chtěl jsem řící,že mezi těmito formáty je velikostně obrovský rozdíl, ale mezi 7z, lzma a lrz je (další moje věta: při dnešních rychlostech linky a kapacitách úložných médií) zanedbatelný.

Jo, to jo... tohle mělo existovat v éře disket

[Jardík]

Plácáš kraviny (viz níže).

[Käyttäjä 11133]

ostatní se mrkněte nejdřív jestli nemáte v distru balík a jinak berte spolu s LFSáky zdrojáky, který se sestavěj takhle (po rozbalení):

$ cd CPP/7zip/Compress/LZMA_Alone
$ make -f makefile.gcc

Navádíš lidi k takovým nehezkým věcem, pěkně ať si ubalí svůj balíček, ne?

[David Watzke]

Ať si lidi ubalej co chtěj Vždyť tohle je jedna binárka, na kterou člověk jen tak nezapomene

[Käyttäjä 11133]

na kterou člověk jen tak nezapomene

Jenom aby

[disorder]

kukam na to... ako si pocital ten kompresny pomer? je to divne

[Käyttäjä 11133]

velikost taru/velikost komprimovaného taru

[disorder]

a to sa este niekde takto udava?

[happy barney]

časy? nestačil by time, riadok označený slovíčkom user ?

[zde]

Zamítnuto. By pak lzma nebyla dost doprdelekopající :) To už rovnou mohl zkusit paq8*, by vzal 2GB a komprimoval to zhruba hodinu..

[KS]

Hej frajere dobrý tip. Stahnul jsem si tohle a zkompiloval. Bohužel jsem nemohl zvolit při kompresi nejvyšší level, protože nemám dost paměti, ale i přesto s levelem 6 proti nejvyššímu levelu u bzipu byl výsledek dvakrát menší:

6.5M etc.tar
950K etc.tar.bz2
537K etc.tar.paq8f

[Semo]

Omlouvám se, že tu nejsou časy, ale nebylo by to objektivní, když na tom kompu teď něco dělám...

Tak aspon cas user z time. Ta bude rovnaka aj na zatazenom stroji.

[zde]

Hmm, takže máš o 15% lepší kompresi, za cenu (odhaduju) 3x více CPU cyklů. K čemu je to dobré? Já naopak uvažuju že na routeru přejdu z GZIPu na LZO pro image a initrd, protože jejich dekomprese dělá (krom POSTu) naprostou většinu boot time.

[hajma]

initrd nemusi byt komprimovany vubec.

Jinak v pripade man-pages-cs, tj hromady textu v utf8, je velikost baliku v lzma oproti bz2 polovicni. Proste zalezi na pouziti, asi jako u vseho.

[Jardík]

7z je jakýsi obal pro komprimované soubory, stejně jako zip. Jako kompresní metody používá právě LZMA, deflate, deflate64, bzip2, nekomprimovanou metodu store a možná další. Zip umí store, deflate, deflate64. Z toho tedy vyplívá, že 7z archiv bude vždy větší než LZMA - kvůli přidaným hlavičkám, kde je název souboru, jeho velikost, komprimovaná velikost, CRC součty, práva, atd.

[Ilfirin]

A to udělá 300kB?

[Jardík]

To může být také tím, že v 7z byla nastavena menší úroveň komprese než v samotném LZMA, nebo nevybráním "solid" archivu (do kterého pak už nejdou přidávat soubory). Ten rozdíl je pak větší při větším počtu souborů - viz příklad komprimování 7zipem rovnou bez taru. Když komprimujete tar, komprimují se v něm i hlavičky těch souborů, kdežto když jednotlivé soubory, je v 7z archivu spousta hlaviček.

[kirpike]

Zkusil jsem to také, ale jen gzipem a bzipem. Přidal jsem kromě textových také nějaká binární data. Všechno v defaultním nastavení.

/usr/src/linux
tar		177971200	100%	1s
tar.gz		39536661	22.2%	13s
tar.bz2		31505311	17.7%	72s
tar.lzma	25799338	14.5%	270s

/usr/bin + /usr/sbin
tar		162611200	100%	1s
tar.gz		70221669	43.2%	18s
tar.bz2		64440005	39.2%	62s
tar.lzma	43098279	26.5%	237s

Zkoušeno na momentálně nepoužívaném Intel 3GHz, 512KB cache, 1GB RAM, HW RAID-1 disky.

[happy barney]

ako bol získaný ten čas? to je dôležitejšia informácia ako konfigurácia.

[kirpike]

Jenom time (real) přepočtený a zaokrouhlený na sekundy. V podstatě jsem dělal takto:

# time tar -czf /tmp/bin.tgz usr/bin usr/sbin                      

real    0m18.496s
user    0m18.080s
sys     0m0.410s

# time tar -cf - usr/bin usr/sbin|lzma e -si /tmp/bin.tar.lzma

LZMA 4.49 Copyright (c) 1999-2007 Igor Pavlov  2007-07-05

real    3m57.192s
user    3m56.550s
sys     0m0.640s

[happy barney]

len pre info ...

real, %e Elapsed real time (in seconds).
sys,  %S Total number of CPU-seconds that the process spent in kernel mode.
user, %U Total number of CPU-seconds that the process spent in user mode.

(t.j, real je nezaujímavý, user je nezávislý na záťaži)