abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 20:00 | Komunita

Spolek vpsFree.cz již potřetí zveřejnil statistiku linuxových distribucí běžících na jejich infrastruktuře. Nejpoužívanější je Debian s 50,4 %. Následuje Ubuntu s 25,6 % a CentOS s 13,6 %. Skokanem roku je Alpine Linux.

Ladislav Hagara | Komentářů: 0
dnes 18:33 | Zajímavý článek

Michal Špaček publikoval třetí číslo svého newsletteru věnovanému bezpečnosti, bezpečnému vývoji převážně webových aplikací a bezpečnosti uživatelů. Věnuje se v něm například také bezpečnostní chybě v ImageMagick.

Ladislav Hagara | Komentářů: 1
dnes 05:55 | Zajímavý projekt

V pátek byl představen projekt postmarketOS (GitHub). Cílem tohoto projektu je open source operační systém pro chytré telefony vycházející z optimalizovaného a nakonfigurovaného Alpine Linuxu s vlastními balíčky. Operační systém postmarketOS by měl podporovat 10letý životní cyklus chytrých telefonů.

Ladislav Hagara | Komentářů: 28
včera 23:44 | Nová verze

Byla vydána verze 0.4.5 svobodného operačního systému ReactOS. Z novinek lze zdůraznit podporu kancelářského balíku Microsoft Office 2010. Podrobnosti v ChangeLogu.

Ladislav Hagara | Komentářů: 8
včera 23:11 | Komunita

Linphone 4.0 pro desktop přichází. Vývojáři tohoto multiplatformního open source VoIP a SIP klienta postupně představují nové vlastnosti. Verze 4.0 bude postavena na Qt [reddit].

Ladislav Hagara | Komentářů: 0
27.5. 22:22 | Komunita

Dle plánu byl měl Debian 9 s kódovým názvem Stretch vyjít v sobotu 17. června. Po celém světě se začínají plánovat Release Parties. Oznámeno bylo vydání čtvrté RC (release candidate) verze instalátoru pro Debian 9 Stretch.

Ladislav Hagara | Komentářů: 5
26.5. 22:22 | Komunita

V Norimberku probíhá do neděle 28. května openSUSE Conference 2017. Na programu je celá řada zajímavých přednášek. Sledovat je lze online. K dispozici jsou také videozáznamy (YouTube) již proběhnuvších přednášek. Dění lze sledovat na Twitteru.

Ladislav Hagara | Komentářů: 0
26.5. 11:33 | IT novinky

Red Hat kupuje společnost Codenvy stojící za stejnojmenným webovým (cloudovým) integrovaným vývojovým prostředím (WIDE) postaveném na Eclipse Che.

Ladislav Hagara | Komentářů: 0
26.5. 08:55 | Nová verze

V listopadu 2014 byl představen fork Debianu bez systemd pojmenovaný Devuan. Po dva a půl roce jeho vývojáři oznámili vydání první stabilní verze 1.0. Jedná se o verzi s dlouhodobou podporou (LTS) a její kódové jméno je Jessie, podle planetky s katalogovým číslem 10 464.

Ladislav Hagara | Komentářů: 16
25.5. 20:22 | Zajímavý článek

Nadace Raspberry Pi vydala již osmapadesáté číslo (pdf) stostránkového anglicky psaného časopisu MagPi věnovanému Raspberry Pi a projektům postaveným na tomto jednodeskovém počítači a druhé číslo (pdf) časopisu Hello World primárně určeného pro učitele informatiky a výpočetní techniky.

Ladislav Hagara | Komentářů: 0
Chystáte se pořídit CPU AMD Ryzen?
 (6%)
 (32%)
 (1%)
 (8%)
 (44%)
 (8%)
Celkem 636 hlasů
 Komentářů: 62, poslední 19.5. 01:57
    Rozcestník

    Dotaz: optimalizace cteni ze souboru v BASHi

    14.10.2010 10:36 ext3fs
    optimalizace cteni ze souboru v BASHi
    Přečteno: 453×
    ahoj,

    resim jak zrychlit v BASHi prochazeni log souboru. V cyklu potrebuji nacitat po radcich coz resim pomoci:
    while read STR;
    do
       :
    done < file
    
    Pokud spustim takovy testovaci skrypt na soubor o cca 15 MB textu, tak jsou hodnoty nasledujici
    real    0m3.328s
    user    0m2.948s
    sys     0m0.380s
    
    ale cteni:
    cat file > /dev/null
    
    real    0m0.016s
    user    0m0.000s
    sys     0m0.016s
    
    
    - s pouzitim vystupu jde cas rapidne nahoru
    while read STR;
    do
       echo $STR > /dev/null
    done < file
    
    real    0m15.435s
    user    0m14.281s
    sys     0m1.060s
    
    Pridam-li do takoveho skryptu par grepu na filtrovani tak je prace s takovym souborem na nekolik minut. Je nejaka moznost urychleni?

    Diky.

    Řešení dotazu:


    Odpovědi

    14.10.2010 11:18 Semo | skóre: 44 | blog: Semo
    Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
    Pridat par grepov znamena sputat desattisice procesov. Spustenie externeho procesu je jedna z najdrahsich veci, ktora sa da v bashi spravit. Vzdy je lepsie pustit jeden grep na 1000 riadkov ako 1000 grepov na riadok.

    Takze bud sa lepsie naucis grep, aby si to s nim zvladol bez cyklu, alebo pouzijes sed (prip. awk) rovno na ten logfile. Alebo si pozries manual ku bashu a zistis, ze matchovanie podla regexpov sa da spravit aj v bashi cez [[ =~ ]] a pole bash_REMATCH, cim usetris spustanie externych procesov.
    If you hold a Unix shell up to your ear, you can you hear the C.
    14.10.2010 19:27 ext3fs
    Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
    Pouziti regexu primu v bashi a omezeni spousteni grepu je opradu vyraznym zrychlenim. Diky za radu.
    15.10.2010 05:56 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
    Další možností je, pokud nepracujete s nabodeníčky (utf8), používat pro nástroje typu grep, sed LANG=C.

    Např. soubor 500000 řádků kladných a záporných čísel:
    bash$ time grep "^-" soubor > soubor2
    
    real    0m13.343s
    user    0m13.322s
    sys     0m0.013s
    
    bash$ time LANG=C grep "^-" soubor > soubor2
    
    real    0m0.024s
    user    0m0.007s
    sys     0m0.010s
    Pro přístup k utf8 znakům (ke každému jednomu) se používá jiná rutina (mohou mít různou délku), takže to dost zpomaluje. Je to v zásadě chyba, možná to je už někde vyřešené/optimalizované, nevím.
    15.10.2010 06:01 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
    Nebo samozřejmě i pro Bash jako ve vašem příkladě. Pro všechno co čte znaky:
    bash$ time bash -c "while read STR; do :; done < soubor"
    
    real    0m6.095s
    user    0m5.660s
    sys     0m0.430s
    
    bash$ time LANG=C bash -c "while read STR; do :; done < soubor"
    
    real    0m3.180s
    user    0m2.723s
    sys     0m0.447s
    
    14.10.2010 11:33 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
    A napadlo Vás, že toto „- s použitim vystupu jde cas rapidne nahoru“ není problém čtení? :)
    A opravdu to potřebujete procházet po řádku rúčo?
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    14.10.2010 11:49 Vojtěch Horký | skóre: 39 | blog: Vojtův zápisník | Praha
    Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
    Je nejaka moznost urychleni?
    Jediný způsob, jak zrychlit shellovský skript je použít jiný programovací jazyk ;-).

    Ale vážně - pokud jde o nějaké složité manipulace s textem, zkuste PERL (pokud ho neumíte, tak základy, abyste zbastlil náhradu grepu v cyklu přes řádky, se naučíte za pár minut). Těch 15MB pro něj nebude příliš velký problém...

    Shellovské skripty se obvykle používají, pokud Vám jde o přenositelnost (mezi různými Unixovými systémy, kde jsou k dispozici pouze základní nástroje typu grep, sed, cut ...) a nepotřebujete výkon. Nebo pokud si potřebujete zautomatizovat spuštění několika programů po sobě (a tam zpoždění pár vteřin nevadí, protože to jde určitě rychleji, než kdybyste to pouštěl ručně).
    I am always ready to learn although I do not always like to be taught. (W. Churchill)
    14.10.2010 12:33 Semo | skóre: 44 | blog: Semo
    Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
    Kecy. Aj v bashi sa da programovat efektivne a da sa aj prasacky. Kubicko-zlozity algoritmus v C-kcu bude na netrivialnych vstupoch dalkeo pomalsi nez linearny v bashi. Navyse nastroje, ktore typicky robia namahavu pracu su pisane v C-cku (grep, sed ai.), takze staci dodrzat par pravidiel pri ich spustani (spustat malokrat na velke vstupy a nie velakrat na male vstupy) a nebude prakticky rozdiel pri pouzivani skriptov a kompilovaneho optimalizovaneho kodu.
    If you hold a Unix shell up to your ear, you can you hear the C.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.