abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 13:00 | Komunita

MojeFedora.cz informuje, že Fedora 27 dostane podporu pro AAC. Podpora multimediálních formátů je ve výchozí instalaci Fedory tradičně limitovaná kvůli softwarovým patentům, ale desktopový tým Red Hatu se ji i tak snaží v poslední době co nejvíce rozšířit. Už nějaký čas obsahuje kodeky pro MP3, H.264, AC3 a nyní byl přidán také kodek pro další velmi rozšířený zvukový formát – AAC.

Ladislav Hagara | Komentářů: 0
včera 23:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 145. brněnský sraz, který proběhne v pátek 20. října od 18:00 hodin v restauraci Time Out na adrese Novoměstská 2 v Řečkovicích. Jedná se o poslední sraz před konferencí OpenAlt 2017, jež proběhne o víkendu 4. a 5. listopadu 2017 na FIT VUT v Brně. Běží registrace účastníků.

Ladislav Hagara | Komentářů: 0
včera 21:44 | Nová verze

Byla vydána verze 5.2.0 multiplatformního virtualizačního nástroje Oracle VM VirtualBox. Jedná se o první stabilní verzi z nové větve 5.2. Z novinek lze zmínit například možnost exportování VM do Oracle Cloudu, bezobslužnou instalaci hostovaného systému nebo vylepšené GUI. Podrobnosti v seznamu změn. Aktualizována byla také dokumentace.

Ladislav Hagara | Komentářů: 1
včera 14:00 | Zajímavý projekt

Byl spuštěn Humble Down Under Bundle. Za vlastní cenu lze koupit multiplatformní hry The Warlock of Firetop Mountain, Screencheat, Hand of Fate a Satellite Reign. Při nadprůměrné platbě (aktuálně 3,63 $) také Hacknet, Hacknet Labyrinths, Crawl a Hurtworld. Při platbě 12 $ a více lze získat navíc Armello.

Ladislav Hagara | Komentářů: 0
včera 13:00 | Nová verze

Google Chrome 62 byl prohlášen za stabilní (YouTube). Nejnovější stabilní verze 62.0.3202.62 tohoto webového prohlížeče přináší řadu oprav a vylepšení. Vylepšeny byly také nástroje pro vývojáře (YouTube). Opraveno bylo 35 bezpečnostních chyb.

Ladislav Hagara | Komentářů: 4
včera 11:00 | Zajímavý článek

Článek (en) na Mozilla.cz je věnován vykreslování stránek ve Firefoxu. V průběhu roku 2018 by se ve Firefoxu měl objevit WebRender, jenž by měl vykreslování stránek urychlit díky využití GPU.

Ladislav Hagara | Komentářů: 5
včera 08:22 | Bezpečnostní upozornění

NÚKIB (Národní úřad pro kybernetickou a informační bezpečnost) informuje o zranitelnosti ROCA v procesu generování RSA klíčů, který se odehrává v softwarové knihovně implementované například v kryptografických čipových kartách, bezpečnostních tokenech a dalších hardwarových čipech vyrobených společností Infineon Technologies AG. Zranitelnost umožňuje praktický faktorizační útok, při kterém útočník dokáže vypočítat

… více »
Ladislav Hagara | Komentářů: 3
včera 01:23 | Zajímavý software

Příspěvek na blogu otevřené certifikační autority Let's Encrypt informuje o začlenění podpory protokolu ACME (Automatic Certificate Management Environment) přímo do webového serveru Apache. Klienty ACME lze nahradit novým modulem Apache mod_md. Na vývoj tohoto modulu bylo uvolněno 70 tisíc dolarů z programu Mozilla Open Source Support (MOSS). K rozchození HTTPS na Apache stačí nově přidat do konfiguračního souboru řádek s ManagedDomain. Minutový videonávod na YouTube [reddit].

Ladislav Hagara | Komentářů: 3
17.10. 14:15 | Komunita

Daniel Stenberg, autor nástroje curl, na svém blogu oznámil, že obdržel letošní Polhemovu cenu, kterou uděluje Švédská inženýrská asociace za „technologickou inovaci nebo důvtipné řešení technického problému“.

marbu | Komentářů: 11
17.10. 13:40 | Pozvánky

Cílem Social Good Hackathonu, který se uskuteční 21. a 22. října v Brně, je vymyslet a zrealizovat projekty, které pomůžou zlepšit svět kolem nás. Je to unikátní příležitost, jak představit nejrůznější sociální projekty a zrealizovat je, propojit aktivní lidi, zástupce a zástupkyně nevládních organizací a lidi z prostředí IT a designu. Hackathon pořádá brněnská neziskovka Nesehnutí.

… více »
Barbora | Komentářů: 1
Jak se vás potenciálně dotkne trend odstraňování analogového audio konektoru typu 3,5mm jack z „chytrých telefonů“?
 (10%)
 (1%)
 (1%)
 (1%)
 (73%)
 (13%)
Celkem 89 hlasů
 Komentářů: 5, poslední dnes 07:28
    Rozcestník

    Dotaz: skript pro praci s davkou mnoha malych souboru

    12.2.2008 23:15 Tomáš Skočdopole | skóre: 13
    skript pro praci s davkou mnoha malych souboru
    Přečteno: 421×
    Ahoj,

    tvořím skritp pro zpracování mnoha (500 000) malých souborů, které jsou uloženy v různých sub-adresářích na disku. Celkem zabírají cca 30MB. Skript provádí operace cat, sed, tail, mv, rm, grep... Trvá celkem dlouho, než skript přechroustá všechny soubory.

    Napadlo mě vytvořit RAM disk, do kterého by se zkopírovaly vstupní soubory a pak by se všechny operace prováděly nad těmi soubory z RAM disku. Výsledné soubory by se pak pouze nakopírovaly na HDD a RAM disk by se zrušil.

    Chci se poradit jestli to tak je možné udělat, případně jakým způsobem se toto řeší.

    Děkuji za rady!

    Odpovědi

    12.2.2008 23:30 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    Vyprdni se na cat, sed, tail, mv, rm, grep... a naprogramuj to například v perlu nebo pythonu, pak se ti nebude spouštět tolik programů (předpokládám že na zpracování jednoho souboru si spustíš i několik programů najednou) a tím se to velmi znatelně zrychlí.
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    12.2.2008 23:43 Tomáš Skočdopole | skóre: 13
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    Ja jsem ten skript potreboval udelat behem kratke doby. Ted mam sice vice casu,tak ho chci vylepsit, doladit drobnosti a tak... Bohuzel nemam tolik casu na to, abych se ucil perl nebo python...
    13.2.2008 00:03 cronin | skóre: 48
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    Vyprdni se na cat, sed, tail, mv, rm, grep... a naprogramuj to například v perlu nebo pythonu,
    No ono sa to celkom lahko povie, ked ten perl/python/whatever ovladas. Sam robim s unixovskymi os uz dost dlho, ale nikdy som sa ziadny skriptovaci jazyk okrem shell-u nenaucil, pretoze som to jednoducho nepotreboval. Zaklady perlu, ktore mam, su tak male, ze by som sa ani jednoduchu ulohu nepustil riesit v perle. Naproti tomu, v shelli som uz naskriptoval toho vela, vcetne netrivialneho continuous integration systemu, samorozbalovacich instalatorov a pod.

    Ako sa vravi: ked mas len kladivo, vsetko vyzera ako klinec. :-)
    12.2.2008 23:55 cronin | skóre: 48
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    Ahoj,

    riesit performance problemy vzdy vyzaduje specificky pristup. Presne podmienky poznas len Ty a asi jedine Ty si schopny najst riesenie.

    Najprv odpoved na Tvoju otazku: ano, je to mozne, a ak je problemom pomaly pristup k suborom na disku pocas vykonavania skriptu a ak zrychlenie, ktore prinesie umiestnenie suborov na ramdisk, vyvazi potrebu ich kopirovania tam a nazad. Niekto by mohol argumentovat, ze aj bez pouzitia ramdisku sa pouziva diskova cache, ale ultimativnu odpoved ziskas, len ak to skusis. Ja som nieco podobne robil pre kompilovanie jedneho projektu. Namiesto pouzitia normalneho perzistentneho adresara sa urobil adresar v adresari /tmp a pouzil sa symlink na tento adresar. Bolo to pod Solarisom, kde /tmp je swap-backed fs, takze subory sa drzia v pamati, kym nejaka je, inak idu do swapu (no a kedze tam bolo 16GB RAM, tak pamate zvycajne bolo dost). Trochu to komplikovalo buildovacie skripty, ale zrychlenie bolo tak vyznamne, ze za to jednoznacne stalo. Rozdiel oproti Tvojmu pripadu je ten, ze v mojom pripade sa ziadne subory na disk nikdy nedostali (ibazeby sa pouzil swap backend toho /tmp); jednoducho sa checkoutli z VCS do RAM, tam sa zbuildovali, maximalne sa niekde perzistente umiestnil vysledok.

    Akokolvek, najprv by bolo dobre zistit, co sposobuje tak pomaly beh Tvojho skriptu. Mozno je to - ako predpokladas - pristup na disk, mozno je to spustanie velkeho mnozstva procesov (v skripte celkom bezne). Aj tu mozem ponuknut priklad: raz davno som potreboval zistit, ci sa v priblizne 200-300 riadkovom subore nejaky riadok neopakuje. Vtedy som nepoznal prikaz uniq(1) ani -u prepinac pre sort(1), tak som si urobil skript, ktory bral riadok po riadku zo suboru (a urcite to nerobil pomocou read, ale asi pomocou tail a head), a pre kazdy riadok presiel vsetky riadky za nim nasledujuce a zistoval, ci sa nerovnaju aktualnemu riadku. Tych 200-300 riadkov skontroloval za cca 30 sekund. S pouzitim sort -u je to samozrejme za "nemeratelne" kratky cas. Skus prepisat skript tak, aby sa spustalo menej procesov. Napr. namiesto pouzitia -exec v prikaze find sa da casto pouzit xargs, spracovavaj subory/zaznamy davkovo, kde je to mozne. Prestuduj si manualy pouzivanych nastrojov ako napr. grep, mozno objavis nieco uzitocne.

    Kazdopadne, akykolvek performance problem treba riesit identifikovanim najpomalsieho miesta.
    13.2.2008 10:07 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    ... sloučit víc procesů které (možná) jsou za sebou v pipeline, to je asi nejčastější "prohřešek", cat je potřeba velmi velmi zřídka, grep před sedem asi nikdy, uniq za sort jen ojediněle a pod. Co nejvíc využívat možnosti bashe foo=$(<file) foo=${boo%% *} atd.
    13.2.2008 10:09 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    A dosti podstatné -- pokud se hodně zpracovává text v ne-multibyte kódování, tak používat globálně nebo před příkazy LANG=C, ony ty mb_* rutiny mají takový háček takže je to s nimi často řádově pomalejší.
    13.2.2008 13:56 Tomáš Skočdopole | skóre: 13
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    dekuji za odpoved, zase jsem o neco chytrejsi :)

    Tak ja to zkusim zatim s tim RAM diskem a uvidim...
    13.2.2008 11:52 Baba Jaga
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    Hmmm, Linux Ramdisk mini-HOWTO je na http://www.vanemery.com/Linux/Ramdisk/ramdisk.html .

    Na openSUSE 10.2 /dev/ram* mam:
    > uname -r
    2.6.18.8-0.9-xen
    > dmesg | grep RAMDISK
    RAMDISK driver initialized: 16 RAM disks of 128000K size 1024 blocksize
    
    ale na openSUSE 10.3 s jadrem 2.6.22.17-0.1-default uz ne. Vi nekdo, jak se tam pracuje s ramdiskem?
    13.2.2008 15:06 happy barney | skóre: 34 | blog: dont_worry_be_happy
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    použi /dev/shm
    13.2.2008 15:51 Baba Jaga
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    Jak? V /dev/shm je na openSUSE spousta veci:
    > ls -laR /dev/shm
    /dev/shm:
    total 0
    drwxrwxrwt  3 root root   60 2008-02-13 09:05 .
    drwxr-xr-x 11 root root 7200 2008-02-13 09:05 ..
    drwxr-xr-x  3 root root  360 2008-02-13 09:05 sysconfig
    
    /dev/shm/sysconfig:
    total 48
    drwxr-xr-x 3 root root 360 2008-02-13 09:05 .
    drwxrwxrwt 3 root root  60 2008-02-13 09:05 ..
    -rw-r--r-- 1 root root   5 2008-02-13 09:05 config-eth0
    -rw-r--r-- 1 root root   5 2008-02-13 09:05 config-eth1
    -rw-r--r-- 1 root root   3 2008-02-13 09:05 config-lo
    -rw-r--r-- 1 root root  29 2008-02-13 09:05 if-eth0
    -rw-r--r-- 1 root root  29 2008-02-13 09:05 if-eth1
    -rw-r--r-- 1 root root  27 2008-02-13 09:05 if-lo
    -rw-r--r-- 1 root root   7 2008-02-13 09:05 ifup-eth0
    -rw-r--r-- 1 root root   7 2008-02-13 09:05 ifup-eth1
    -rw-r--r-- 1 root root   7 2008-02-13 09:05 ifup-lo
    -rw-r--r-- 1 root root  11 2008-02-13 09:05 network
    -rw-r--r-- 1 root root   8 2008-02-13 09:05 new-stamp-2
    -rw-r--r-- 1 root root   8 2008-02-13 09:05 new-stamp-3
    -rw-r--r-- 1 root root   0 2008-02-13 09:05 ready-eth0
    -rw-r--r-- 1 root root   0 2008-02-13 09:05 ready-eth1
    -rw-r--r-- 1 root root   0 2008-02-13 09:05 ready-lo
    drwxr-xr-x 2 root root  60 2008-02-13 09:05 tmp
    
    /dev/shm/sysconfig/tmp:
    total 0
    drwxr-xr-x 2 root root  60 2008-02-13 09:05 .
    drwxr-xr-x 3 root root 360 2008-02-13 09:05 ..
    -rw-r--r-- 1 root root   0 2008-02-13 09:05 test
    
    13.2.2008 16:11 happy barney | skóre: 34 | blog: dont_worry_be_happy
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    napr: mkdir /dev/shm/cache$$

    viac info: google

    13.2.2008 15:17 Tomáš Skočdopole | skóre: 13
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    No tak jsem to zkousel to mini-HOWTO... Na mém ubuntu se vytvoří ramdisk o velikosti cca 60 MB. Což pro mých 30MB souborů stačí.

    Chtěl jsem se zeptat, jakým způsobem lze specifikovat vlastní velikost ramdisku. Pokud bych někdy potřeboval větší prostor... Tam to bylo řešené pomocí parametru jádra v grubu + restart systému.

    Jiná možnost není?
    23.2.2008 13:00 jazz | skóre: 8 | blog: prostě... tak | třeba Praha
    Rozbalit Rozbalit vše Re: skript pro praci s davkou mnoha malych souboru
    Ja treba po vzoru Solarisu pozivam prostor /tmp jako souborovy system tmpfs (viz /dev/shm).

    V /etc/fstab mam:
    # fs   mountpoint  type   opts                     dump/pass
    tmpfs  /tmp        tmpfs  defaults,size=1G,noatime     0 0
    
    Samozrejme zmenou mountpointu muzete vytvorit jiny svazek. Vyhoda reseni je, ze pristup je rychly (v mem pripade /tmp je pouzivan pouze scripty pro zpracovani vetsiho mnozstvi dat - ulozeni opravdu docasnych souboru, ulozeni socketu), nepouziva se diskova cache a definovana velikost neni rezervace (v pameti zabira tolik mista, kolik je ulozeno dat). Jak jiz bylo napsano, pokud nemate dost pameti, bude se swapovat.
    To, že jsem paranoidní ještě neznamená, ze po mně nikdo nejde...

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.