abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 16:00 | Komunita

    Společnost Oracle vlastní ochrannou známku JAVASCRIPT. Komunita kolem programovacího jazyka JavaScript zastoupena společností Deno Land vede právní bitvu za její osvobození, viz petice a otevřený dopis na javascript.tm. Do 7. srpna se k nim má vyjádřit Oracle (USPTO TTAB).

    Ladislav Hagara | Komentářů: 0
    dnes 13:11 | IT novinky

    Byl představen samostatný rádiový modul Raspberry Pi Radio Module 2 s Wi-Fi a Bluetooth.

    Ladislav Hagara | Komentářů: 6
    dnes 12:44 | Upozornění

    Certifikační autorita Let’s Encrypt ukončila k 4. červnu zasílání e-mailových oznámení o vypršení platnosti certifikátů. Pokud e-maily potřebujete, Let’s Encrypt doporučuje některou z monitorovacích služeb.

    Ladislav Hagara | Komentářů: 0
    dnes 01:44 | Pozvánky

    Přemýšlíte, jak začít prázdniny? Už v úterý 1. července se bude konat Virtuální Bastlírna, tedy online setkání bastlířů, techniků, vědců i akademiků, kde se ve volné diskuzi probírají novinky ze světa techniky, ale i jiných zajímavých témat.

    Za poslední měsíc jsme byli svědky plamenů několika raket. Zatímco malá raketa od Hondy se úspěšně vznesla a opět přistála, raketa od SpaceX se rozhodla letět všemi směry najednou. Díkybohu méně … více »
    Uprdkávač | Komentářů: 0
    včera 23:44 | Komunita

    Linus Torvalds zmínil, že souborový systém Bcachefs zřejmě odstraní z mainline Linuxu v začleňovacím okně pro vydání 6.17. Kent Overstreet mu totiž posílá kód s novou funkcionalitou i pro začlenění do kandidátů na vydání, kdy očekává pouze opravy chyb. Kent Overstreet byl již dříve z vývoje vyloučen kvůli konfliktní komunikaci.

    Fluttershy, yay! | Komentářů: 10
    27.6. 11:55 | IT novinky

    Ministerstvo průmyslu a obchodu propaguje Microsoft. Ten ve spolupráci s Ministerstvem průmyslu a obchodu spouští AI National Skilling Plan v ČR. "Iniciativa Microsoftu přináší konkrétní a praktickou podporu právě tam, kde ji nejvíc potřebujeme – do škol, firem i veřejné správy.", říká ministr průmyslu a obchodu Lukáš Vlček.

    Ladislav Hagara | Komentářů: 30
    27.6. 10:55 | Zajímavý projekt

    Jste český ISP? Vyplněním krátkého dotazníku můžete pomoci nasměrovat vývoj nové generace routerů Turris Omnia [𝕏].

    Ladislav Hagara | Komentářů: 4
    27.6. 01:33 | IT novinky

    Celkové tržby společnosti Canonical za rok 2024 byly 292 milionů dolarů (pdf). Za rok 2023 to bylo 251 milionů dolarů.

    Ladislav Hagara | Komentářů: 3
    27.6. 01:22 | Nová verze

    Byla vydána verze 1.88.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

    Ladislav Hagara | Komentářů: 0
    27.6. 01:11 | Nová verze

    Distribuce Tails specializující se ochranu online soukromí uživatele byla vydána ve verzi 6.17. Mimo jiné aktualizuje Tor Browser (14.5.4) a opravuje několik chyb.

    Fluttershy, yay! | Komentářů: 0
    Jaký je váš oblíbený skriptovací jazyk?
     (59%)
     (29%)
     (7%)
     (2%)
     (0%)
     (1%)
     (3%)
    Celkem 333 hlasů
     Komentářů: 16, poslední 8.6. 21:05
    Rozcestník

    FastPAQ8 pre Linux

    9.6.2012 16:33 | Přečteno: 1407× | Linux | Výběrový blog | poslední úprava: 9.6.2012 17:08

    V oblasti bezstratovej kompresie dat dosahuju najlepsich vysledkov algoritmy PAQ. V poslednych rokoch vyhravaju tieto algoritmy v sutaziach Hutter Prize. Nevyhodou PAQ algoritmov je velka pametova a hlavne casova narocnost.

    Pre pomalost kompresie vznikol projekt FastPAQ8 (FP8) ktory vychadza z projektu paq8px.FastPAQ8 obsahuje vylepsene algoritmy pre zvysenie rychlosti kompresie a zaroven sa snazi zachovat maximalny kompresny pomer aky dosahuje paq8px.Autor FP8 vydal poslednu verziu pre windows a hlavne zdrojaky z ktorych si mozme skompilovat aj binarku pre linux

    Co potrebujeme

    1. stiahneme si zdrojove kody pre FastPAQ8
    2. pre asm modul FP8 treba nainstalovat nasm. Ak nasm nemame tak zadame:
    3. sudo apt-get install nasm

    Vytvorenie binarky pre Linux

    Pre kompilaciu potrebujeme tieto subory: fp8.cpp a paq7asm.asm Najprv budeme vytvarat modul paq7asm.o pomocou nasm a potom samotny FP8.Do konzoly zadame tieto prikazy:

    nasm paq7asm.asm -f elf
    g++ fp8.cpp -m32 -DUNIX -O2 -Os -s -march=pentiumpro -fomit-frame-pointer -o fp8 paq7asm.o

    Pre dalsie zvysenie rychlosti kompresie FP8 mozme pouzit SSE optimalizovane instrukcie:

    nasm ./paq7asmsse.asm -f elf -O3
    g++ fp8.cpp -m32 -O3 -s -fomit-frame-pointer -march=k8 -ffast-math -msse2 -msseregparm -mfpmath=sse -DUNIX -o fp8_sse paq7asmsse.o

    Pouzivanie FastPAQ8 a statistiky kompresie

    Predchadzajuce prikazy pre kompilaciu nam vytvorily tieto subory:
    fp8 - toto je standardna binarka aj s asm modulom
    fp8_sse - tato binarka bude navyse pri pakovani vyuzivat SSE instrukcie cize ziskame este vacsiu rychlost kompresie.

    Na zaver uvadzam pouzitie fp8 a vysledky kompresie.Binarke fp8 pridame priznak na spustenie a po zadani do konzoly sa objavi info pouzivania fp8.

    rychlost:
    - paq8px_v69 = 50.8s
    - fp8 = 6.6s
    kompresny pomer (SFC -7):
    - paq8px_v68 = 8764929 bytes
    - fp8 = 9167064 bytes

    Priklad pre kompresiu suboru z excelu
    ./fp8_sse -7 subor.xls
    subor.xls - 2445kB
    subor.rar - 458kB
    subor.fp8 - 263kB

    Najnovsia verzia rar4 s maximalnou urovnou kompresie -m5 spakuje 2445kB subor.xls na 458kB a FastPAQ8 s parametrom -7 az na 263kB

           

    Hodnocení: 89 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    9.6.2012 21:54 Käyttäjä 11133 | skóre: 58 | blog: Ajattelee menneisyyttä
    Rozbalit Rozbalit vše Re: FastPAQ8 pre Linux
    A jak to vypadá třeba se zdrojáky kernelu? Jak velký to je archiv? Je vysoká paměťová a časová náročnost pouze u komprese, nebo i u dekomprese?
    mirec avatar 9.6.2012 22:06 mirec | skóre: 32 | blog: mirecove_dristy | Poprad
    Rozbalit Rozbalit vše Re: FastPAQ8 pre Linux
    Beží ... ale dochádza RAM.
    LinuxOS.sk | USE="-fotak -zbytocnosti -farebne_lcd +vydrz +odolnost +java" emerge telefon
    mirec avatar 9.6.2012 22:35 mirec | skóre: 32 | blog: mirecove_dristy | Poprad
    Rozbalit Rozbalit vše Re: FastPAQ8 pre Linux
    Takže zatiaľ mám údaje pre XZ.

    Peak RES673MB
    RýchlosťZhruba 10x rýchlejšie než fp8_sse
    Čas900,48s user 3,91s system 92% cpu 16:21,61 total*
    Kompresný pomer63MB / 445MB (13,984147%)
    Voľby-9e
    * pozor, poces chvíľu swapoval, odporúčam pozerať len user

    fp8_sse bude bežať dlho, idem dať notebook spať a zajtra pokračujem ak to prežije hibernáciu.
    LinuxOS.sk | USE="-fotak -zbytocnosti -farebne_lcd +vydrz +odolnost +java" emerge telefon
    mirec avatar 10.6.2012 11:42 mirec | skóre: 32 | blog: mirecove_dristy | Poprad
    Rozbalit Rozbalit vše Re: FastPAQ8 pre Linux
    Údaje pre fp8_sse

    Peak RES556 MB
    Čas10045,54s user 11,42s system 21% cpu 12:55:32,65 total
    Kompresný pomer43M / 445M (9,5370084%)
    Voľby-7

    Dekompresia:
    xz - 10,84s user 0,14s system 97% cpu 11,233 total, 66436kB RES
    fp8_sse - okolo 10 000s user (odhad podľa rýchlosti), > 500 MB RES
    
    Takže vzhľadom na rýchlosť dekompresie si viem zatiaľ ťažko predstaviť tento algoritmus ako reálne použiteľný pri distribúcii softvéru.
    LinuxOS.sk | USE="-fotak -zbytocnosti -farebne_lcd +vydrz +odolnost +java" emerge telefon
    9.6.2012 23:18 karel1910
    Rozbalit Rozbalit vše Re: FastPAQ8 pre Linux
    xz pouziva LZMA2 algoritmus ten je slabsi ako PAQ8
    File      Size (bytes)  
    ------    -------------
    enwik8    100,000,000  
    
    Version    Options  enwik8     
    --------   -------  ----------   
    xv 5.0.1   -9 -e    24,831,648
    fp8 v3       -8     18,438,169   
    
    Tabulka je z : Large Text Compression Benchmark

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.