abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 1
včera 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 6
včera 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 1
včera 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
včera 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 0
včera 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
1.12. 21:00 | Nová verze

Byla vydána beta verze Linux Mintu 18.1 s kódovým jménem Serena. Na blogu Linux Mintu jsou hned dvě oznámení. První o vydání Linux Mintu s prostředím MATE a druhé o vydání Linux Mintu s prostředím Cinnamon. Stejným způsobem jsou rozděleny také poznámky k vydání (MATE, Cinnamon) a přehled novinek s náhledy (MATE, Cinnamon). Linux Mint 18.1 bude podporován až do roku 2021.

Ladislav Hagara | Komentářů: 0
1.12. 16:42 | Nová verze

Byl vydán Devuan Jessie 1.0 Beta 2. Jedná se o druhou beta verzi forku Debianu bez systemd představeného v listopadu 2014 (zprávička). První beta verze byla vydána v dubnu letošního roku (zprávička). Jedna z posledních přednášek věnovaných Devuanu proběhla v listopadu na konferenci FSCONS 2016 (YouTube, pdf).

Ladislav Hagara | Komentářů: 0
1.12. 15:16 | Komunita

Na GOG.com začal zimní výprodej. Řada zlevněných her běží oficiálně také na Linuxu. Hru Neverwinter Nights Diamond lze dva dny získat zdarma. Hra dle stránek GOG.com na Linuxu neběží. Pomocí návodu ji lze ale rozběhnout také na Linuxu [Gaming On Linux].

Ladislav Hagara | Komentářů: 1
1.12. 13:14 | Bezpečnostní upozornění

Byla vydána verze 2.7.1 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Řešeno je několik bezpečnostních problémů. Aktualizován byl především Tor Browser na verzi 6.0.7. Tor Browser je postaven na Firefoxu ESR (Extended Support Release) a právě ve Firefoxu byla nalezena a opravena vážná bezpečnostní chyba MFSA 2016-92 (CVE-2016-9079, Firefox SVG Animation

… více »
Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 760 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: optimalizace cteni ze souboru v BASHi

14.10.2010 10:36 ext3fs
optimalizace cteni ze souboru v BASHi
Přečteno: 443×
ahoj,

resim jak zrychlit v BASHi prochazeni log souboru. V cyklu potrebuji nacitat po radcich coz resim pomoci:
while read STR;
do
   :
done < file
Pokud spustim takovy testovaci skrypt na soubor o cca 15 MB textu, tak jsou hodnoty nasledujici
real    0m3.328s
user    0m2.948s
sys     0m0.380s
ale cteni:
cat file > /dev/null

real    0m0.016s
user    0m0.000s
sys     0m0.016s

- s pouzitim vystupu jde cas rapidne nahoru
while read STR;
do
   echo $STR > /dev/null
done < file

real    0m15.435s
user    0m14.281s
sys     0m1.060s
Pridam-li do takoveho skryptu par grepu na filtrovani tak je prace s takovym souborem na nekolik minut. Je nejaka moznost urychleni?

Diky.

Řešení dotazu:


Odpovědi

14.10.2010 11:18 Semo | skóre: 44 | blog: Semo
Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
Pridat par grepov znamena sputat desattisice procesov. Spustenie externeho procesu je jedna z najdrahsich veci, ktora sa da v bashi spravit. Vzdy je lepsie pustit jeden grep na 1000 riadkov ako 1000 grepov na riadok.

Takze bud sa lepsie naucis grep, aby si to s nim zvladol bez cyklu, alebo pouzijes sed (prip. awk) rovno na ten logfile. Alebo si pozries manual ku bashu a zistis, ze matchovanie podla regexpov sa da spravit aj v bashi cez [[ =~ ]] a pole bash_REMATCH, cim usetris spustanie externych procesov.
If you hold a Unix shell up to your ear, you can you hear the C.
14.10.2010 19:27 ext3fs
Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
Pouziti regexu primu v bashi a omezeni spousteni grepu je opradu vyraznym zrychlenim. Diky za radu.
15.10.2010 05:56 Ash | skóre: 53
Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
Další možností je, pokud nepracujete s nabodeníčky (utf8), používat pro nástroje typu grep, sed LANG=C.

Např. soubor 500000 řádků kladných a záporných čísel:
bash$ time grep "^-" soubor > soubor2

real    0m13.343s
user    0m13.322s
sys     0m0.013s

bash$ time LANG=C grep "^-" soubor > soubor2

real    0m0.024s
user    0m0.007s
sys     0m0.010s
Pro přístup k utf8 znakům (ke každému jednomu) se používá jiná rutina (mohou mít různou délku), takže to dost zpomaluje. Je to v zásadě chyba, možná to je už někde vyřešené/optimalizované, nevím.
15.10.2010 06:01 Ash | skóre: 53
Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
Nebo samozřejmě i pro Bash jako ve vašem příkladě. Pro všechno co čte znaky:
bash$ time bash -c "while read STR; do :; done < soubor"

real    0m6.095s
user    0m5.660s
sys     0m0.430s

bash$ time LANG=C bash -c "while read STR; do :; done < soubor"

real    0m3.180s
user    0m2.723s
sys     0m0.447s
14.10.2010 11:33 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
A napadlo Vás, že toto „- s použitim vystupu jde cas rapidne nahoru“ není problém čtení? :)
A opravdu to potřebujete procházet po řádku rúčo?
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
14.10.2010 11:49 Vojtěch Horký | skóre: 39 | blog: Vojtův zápisník | Praha
Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
Je nejaka moznost urychleni?
Jediný způsob, jak zrychlit shellovský skript je použít jiný programovací jazyk ;-).

Ale vážně - pokud jde o nějaké složité manipulace s textem, zkuste PERL (pokud ho neumíte, tak základy, abyste zbastlil náhradu grepu v cyklu přes řádky, se naučíte za pár minut). Těch 15MB pro něj nebude příliš velký problém...

Shellovské skripty se obvykle používají, pokud Vám jde o přenositelnost (mezi různými Unixovými systémy, kde jsou k dispozici pouze základní nástroje typu grep, sed, cut ...) a nepotřebujete výkon. Nebo pokud si potřebujete zautomatizovat spuštění několika programů po sobě (a tam zpoždění pár vteřin nevadí, protože to jde určitě rychleji, než kdybyste to pouštěl ručně).
I am always ready to learn although I do not always like to be taught. (W. Churchill)
14.10.2010 12:33 Semo | skóre: 44 | blog: Semo
Rozbalit Rozbalit vše Re: optimalizace cteni ze souboru v BASHi
Kecy. Aj v bashi sa da programovat efektivne a da sa aj prasacky. Kubicko-zlozity algoritmus v C-kcu bude na netrivialnych vstupoch dalkeo pomalsi nez linearny v bashi. Navyse nastroje, ktore typicky robia namahavu pracu su pisane v C-cku (grep, sed ai.), takze staci dodrzat par pravidiel pri ich spustani (spustat malokrat na velke vstupy a nie velakrat na male vstupy) a nebude prakticky rozdiel pri pouzivani skriptov a kompilovaneho optimalizovaneho kodu.
If you hold a Unix shell up to your ear, you can you hear the C.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.