abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    8.11. 00:33 | Nová verze

    Byla vydána OpenIndiana 2026.10. Unixový operační systém OpenIndiana (Wikipedie) vychází z OpenSolarisu (Wikipedie).

    Ladislav Hagara | Komentářů: 23
    8.11. 00:22 | IT novinky

    Americký výrobce polovodičů onsemi (ON Semiconductor) zrušil plány na rozšíření výroby v rožnovském závodě v Česku za dvě miliardy dolarů (podle aktuálního kurzu zhruba 43,5 mld. Kč). Důvodem je vývoj na trhu.

    Ladislav Hagara | Komentářů: 49
    7.11. 13:00 | Bezpečnostní upozornění
    Nové vydání zlib opravuje několik problémů při kompresi a dekompresi dat, přetečení bufferů, čtení mimo vyhrazenou paměť, únik neinicializovaných dat. Zvlášť významné jsou chyby v inflateGetDictionary(), inflateSync() a gzwrite(), které mohou způsobit poškození paměti. Vysoká relevance - zlib používá řada systémových i aplikačních komponent.
    vencour | Komentářů: 1
    7.11. 12:25 | Bezpečnostní upozornění
    Digicert hlásí neoprávněné čtení archivních zákaznických údajů. Došlo k němu po migraci z února 2025, po níž se interní systém, dříve dostupný jen přes VPN, stal přístupným z internetu. Chyba v oprávněních umožnila nově vytvořeným účtům číst archivní záznamy. K přístupu k datům mělo dojít mezi 27. červnem a 2. červencem 2026. DigiCert neoprávněné čtení potvrdil až 19. října 2026. Problém zpočátku vyhodnotil jako tvorbu účtů, ne jako … více »
    vencour | Komentářů: 1
    7.11. 04:44 | Pozvánky

    O víkendu probíhá na FIT VUT v Brně konference OpenAlt 2026 o otevřeném softwaru a datech, IT bezpečnosti, DIY a IoT. Na programu je spousta zajímavých přednášek. Pokud jste v Brně, stavte se. Vstup zdarma. Přednášky lze sledovat i online na VHSky a YouTube.

    Ladislav Hagara | Komentářů: 1
    7.11. 02:11 | IT novinky

    Qualcomm uzavřel víceletou dohodu se SpaceX. Bude dodávat rádiové technologie, baseband jednotky a software pro plánovanou pozemní 5G síť Starlink Mobile. Výstavba má zahrnovat desítky tisíc základnových stanic v USA. Zahájení nasazování se očekává v roce 2027. Qualcomm dohodu označuje za svůj dosud největší 5G kontrakt.

    vencour | Komentářů: 4
    7.11. 02:00 | IT novinky

    Google rozšířil Cloud Vulnerability Reward Program. Nově nabízí odměnu až 250 tisíc dolarů za vysoce závažné architektonické bezpečnostní chyby označované jako Root-in-Cloud.

    vencour | Komentářů: 4
    6.11. 12:22 | IT novinky

    V březnu byla oznámena spolupráce GrapheneOS s Motorolou. Nejnovější vlajka Motorola Signature 27 je první Motorola s oficiální podporou GrapheneOS. GrapheneOS (Wikpedie) je varianta Androidu zaměřující se na bezpečnost a soukromí.

    Ladislav Hagara | Komentářů: 10
    6.11. 04:55 | Nová verze

    Omarchy (Wikipedie) je linuxová distribuce s dlaždicovým správcem oken Hyprland. Založena je na Arch Linuxu. Vydána byla v nové verzi 4.5.0. Nově také pro Apple Silicon, konkrétně pro M1/M2/M3/Neo MacBooky.

    Ladislav Hagara | Komentářů: 5
    6.11. 03:22 | Nová verze

    Byla vydána nová stabilní verze 8.3 webového prohlížeče Vivaldi (Wikipedie). Postavena je na Chromiu 156 s bezpečnostními opravami z Chromia 157. Přehled novinek i s náhledy v příspěvku na blogu.

    Ladislav Hagara | Komentářů: 3
    Které desktopové prostředí na Linuxu používáte?
     (8%)
     (7%)
     (4%)
     (21%)
     (30%)
     (9%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 3065 hlasů
     Komentářů: 36, poslední 11.11. 22:38
    Rozcestník

    Dotaz: Jak zakcelerovat tento skript

    vasek125 avatar 2.2.2007 22:49 vasek125 | skóre: 30 | Mladá Boleslav
    Jak zakcelerovat tento skript
    Přečteno: 370×
    Tento skript se provádí 3 minuty. Jde o upravený log squidu access.log, kterej ještě není ani z poloviny naplněnej, což znaměná, že by doba provádění byla už neúnosná. Kámen úrazu je v cyklu:
    
    SOURCE="/var/www/www-block/events.txt"
    ciladresy=`cat /var/www-ssl/admin/access.log`
    
    for x in `grep -v ^# $SOURCE | awk '{print $1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"$10"|"$11"|"$12"|"$13"|"$14"|"$15"|"$16"|"$17"|"$18"|"$19}'`; do
    
    x=`echo $x | sed 's/|/ /g'`
    x1=`echo $x | awk '{ print $1 }'`
    x2=`echo $x | awk '{ print $2 }'`
    x3=`echo $x | awk '{ print $3 }'`
    x4=`echo $x | awk '{ print $4 }'`
    x5=`echo $x | awk '{ print $5 }'`
    x6=`echo $x | awk '{ print $6 }'`
    x7=`echo $x | awk '{ print $7 }'`
    x8=`echo $x | awk '{ print $8 }'`
    x9=`echo $x | awk '{ print $9 }'`
    x10=`echo $x | awk '{ print $10 }'`
    x11=`echo $x | awk '{ print $11 }'`
    x12=`echo $x | awk '{ print $12 }'`
    x13=`echo $x | awk '{ print $13 }'`
    x14=`echo $x | awk '{ print $14 }'`
    x15=`echo $x | awk '{ print $15 }'`
    x16=`echo $x | awk '{ print $16 }'`
    x17=`echo $x | awk '{ print $17 }'`
    x18=`echo $x | awk '{ print $18 }'`
    x19=`echo $x | awk '{ print $19 }'`
    
    
    ciladresykk=`echo "$ciladresy" | grep "$x1 $x2 $x3" | awk '{ print $4 }'` 
    
    
    echo "$x1 $x2 $x3 $x4 $x5 $x6 $x7 $x8 $x9 $x10 $x11 $x12 $x13 $x14 $x15 $x16 $x17 $x18 $x19 $ciladresykk" >> /var/www-ssl/admin/squid/squidblok.html
    
    done
    
    vzor /var/www-ssl/admin/access.log
    02/02/2007 11:55:37 192.168.1.180 http://www.sonnerie.net/js/xiti.js
    02/02/2007 11:55:38 192.168.1.180 http://logi6.xiti.com/hit.xiti?
    
    vzor /var/www/www-block/events.txt
    02/02/2007 11:42:16           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    02/02/2007 11:55:38           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    
    Celé řešení slouží k vypsání zablokovaných spojení a pomocí druhého logu se k těmto spojením hledají cílové adresy. Určitě by to šlo nějak urychlit. Nějaký nápad?

    Odpovědi

    Josef Kufner avatar 2.2.2007 23:17 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Napiš to celé v awk nebo perlu. Hezky jako jeden script. Případně to rozděl na pár částí, ale hlavně nepouštěj na každou ptákovinu několik nových procesů. Taky zbytečně neukládej data do proměnných, když je můžeš přímo číst ze souborů.

    Udělat něco jako:
    grep -v '^#' $SOURCE \
    | while read ln
    do
       arr=($ln)
       echo -n $ln
       grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    done >> /var/www-ssl/admin/squid/squidblok.html
    ps: nezkoušel jsem to.
    Hello world ! Segmentation fault (core dumped)
    Josef Kufner avatar 2.2.2007 23:18 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hm, koukám, že si trošku protiřečím :-D
    Hello world ! Segmentation fault (core dumped)
    vasek125 avatar 3.2.2007 00:49 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Supr, dík, skript proběhne už za 20 sekund, místo 2 minut.
    3.2.2007 00:58 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jestli správně chápu zadání, tak klíčem jsou vždy první tři položky oddělené mezerami a podle této trojice nalezené v jednom logu se hledá ekvivalent v druhém logu? Pokud ano, tak to jde napsat třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        access[k] = v
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            url = access[k]
        except KeyError:
            url = ''
        print ' '.join(k), v, url
    
    Dává to stejné výsledky jako ten skript v shellu,
    02/02/2007 11:42:16 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) 
    02/02/2007 11:55:38 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) http://logi6.xiti.com/hit.xiti?
    
    tak je to doufám správně. Testoval jsem zpracování dvou logů, z nichž každý měl 100000 položek. Za tři sekundy to bylo hotovo.
    vasek125 avatar 3.2.2007 01:27 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Vyzkouším. Pokud se to zpracuje tak rychle, tak je to bezva.
    vasek125 avatar 3.2.2007 10:52 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Je to velmi rychlé. Ale má to jeden háček. K tomu prvnímu by se mělo dát přiřadit víc položek z toho logu access.log. Ne jen jedna, jak je to v tomhle skriptu.
    3.2.2007 11:22 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    No, já tomu fakt totiž fakt nerozumím a ani moc nechápu, co ten log obsahuje :-) Ale to je teď jedno. Zkrátka když budu mít events.txt s tímto obsahem
    02/02/2007 11:42:16           192.168.1.180   prohlizec1
    02/02/2007 11:55:38           192.168.1.180   prohlizec2
    
    a access.log s tímto
    02/02/2007 11:55:37 192.168.1.180 url1
    02/02/2007 11:55:38 192.168.1.180 url2
    02/02/2007 11:55:38 192.168.1.180 url3
    
    Tak má být výsledek tohle?
    02/02/2007 11:42:16 192.168.1.180 prohlizec1 
    02/02/2007 11:55:38 192.168.1.180 prohlizec2 url2 url3
    
    Pokud ano, tak to lze vyřešit třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        try:
            access[k].append(v)
        except KeyError:
            access[k] = [v]
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            urls = access[k]
        except KeyError:
            urls = []
        print ' '.join(k), v, ' '.join(urls)
    
    Mohl bys udělat rychlostní test? Teda pokud je to vůbec správně ...
    David Watzke avatar 3.2.2007 01:02 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jen bych podotkl, že používat grep|awk je tzv. chujovina.
    awk "/$x1 $x2 $x3/ { print $4 }"
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:25 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Při použití grepu je to o dost rychlejší než všechno mít v awk.
    David Watzke avatar 3.2.2007 01:31 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Fakt? Tak je to rozbitý. Ještě něco, místo
    ciladresy=`cat /var/www-ssl/admin/access.log`
    bych dal
    ciladresy=$(</var/www-ssl/admin/access.log)
    a místo
    for x in `grep -v ^# $SOURCE | awk [...]`; do
    tohle
    awk '!/^#/ [...]' $SOURCE | while read x; do
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    David Watzke avatar 3.2.2007 01:33 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Btw
    root@amd64 ~ # time grep -v ALL /etc/hosts.deny | awk '{print$1}'
    sshd:
    
    real    0m2.667s
    user    0m2.566s
    sys     0m0.014s
    root@amd64 ~ # time awk '!/ALL/ {print$1}' /etc/hosts.deny
    sshd:
    
    real    0m0.006s
    user    0m0.004s
    sys     0m0.002s
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:41 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Ten původní skript při použití grep s awk běžel 2 minuty, jen s awk něco přes 3 minuty. Možná při použití awk vadí víc položel $x1 ..
    vasek125 avatar 3.2.2007 10:53 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    A jak bych měl pro awk nahradit tohle?:
    grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    
    Při použití awk mi to nefunguje vůbec. Nelíbí se mu ${arr[0]} ${arr[1]} ${arr[2]}. Při použití textu to funguje.
    David Watzke avatar 3.2.2007 10:56 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk "/${arr[0]} ${arr[1]} ${arr[2]}/ { print $4 }" "$ciladresy"
    Nešlo ti to patrně proto, žes zapomněl, že bash proměnný v apostrofech neexpanduje.
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:04 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk: line 1: syntax error at or near :
    
    Při použití ' se skript provede, ale nefunguje asi kvůli těm chybějícím mezerám.
    David Watzke avatar 3.2.2007 11:10 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hmm, asi vadí mu to, co je v těch proměnných. Docházejí mi nápady :-/
    kvůli těm chybějícím mezerám.
    Huh?
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:24 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Trochu jsem testoval. Vadí mu
    02/02/2007
    
    v ty první proměnný, přičemž 02\/02\/2007 bere v pohodě. Teď jak ho přimět, aby to ignoroval či jak to rychle nahradit.
    David Watzke avatar 3.2.2007 11:30 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Aha... tak teda třeba:
    hm="${arr[0]} ${arr[1]} ${arr[2]}"
    hm="${hm//\//\/}"
    awk "/$hm/ {print $1}" něco
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 12:05 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Teď to funguje, ale print vypíše celý řádek místo části.

    Založit nové vlákno • Nahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.