abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 08:00 | IT novinky

    Počítač NitroPC Pro 2 od společnosti Nitrokey s corebootem Dasharo byl oficiálně certifikován pro Qubes OS verze 4. Qubes OS (Wikipedie) je svobodný a otevřený operační systém zaměřený na bezpečnost desktopu.

    Ladislav Hagara | Komentářů: 0
    dnes 07:00 | Nová verze

    Mobilní operační systém /e/OS (Wikipedie) založený na Androidu / LineageOS, ale bez aplikací a služeb od Googlu, byl vydán ve verzi 1.20. Přehled novinek na GitLabu.

    Ladislav Hagara | Komentářů: 3
    včera 13:00 | IT novinky

    Jednodeskový počítač Raspberry Pi slaví 12 let. Prodej byl spuštěn 29. února 2012 (Wikipedie, 𝕏).

    Ladislav Hagara | Komentářů: 9
    včera 12:00 | Nová verze

    Byla vydána verze 3.2 multiplatformního integrovaného vývojového prostředí (IDE) pro rychlý vývoj aplikaci (RAD) ve Free Pascalu Lazarus (Wikipedie). Přehled novinek v poznámkách k vydání. Využíván je Free Pascal Compiler (FPC) 3.2.2.

    Ladislav Hagara | Komentářů: 0
    včera 11:44 | Nová verze

    Byla vydána nová verze 1.6.0 grafického správce diskových oddílů GParted (GNOME Partition Editor) a také verze 1.6.0 živé distribuce GParted Live, která obsahuje tohoto správce a další nástroje pro zálohování či obnovu dat. Linux byl povýšen na verzi 6.6.15-2.

    Ladislav Hagara | Komentářů: 3
    včera 06:00 | Nová verze Ladislav Hagara | Komentářů: 0
    28.2. 22:44 | Nová verze

    Byla vydána (𝕏) únorová aktualizace aneb nová verze 1.87 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a animovanými gify v poznámkách k vydání. Ve verzi 1.87 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 11
    28.2. 22:11 | Nová verze

    Byla vydána (Mastodon, 𝕏) nová verze 2024.1 linuxové distribuce navržené pro digitální forenzní analýzu a penetrační testování Kali Linux (Wikipedie). Přehled novinek se seznamem nových nástrojů v oficiálním oznámení.

    Ladislav Hagara | Komentářů: 0
    28.2. 18:44 | Zajímavý software

    Společnost Cloudflare pod licencí Apache 2.0 uvolnila zdrojové kódy svého frameworku Pingora napsaného v Rustu pro vytváření rychlých, spolehlivých a programovatelných síťových systémů.

    Ladislav Hagara | Komentářů: 0
    28.2. 16:55 | IT novinky

    Účet za cloudové služby může nepříjemně překvapit. Například místo obvyklých 0 dolarů se ve vyúčtování může objevit 104 500 dolarů. Uživatel si u Netlify hostoval jednoduchý web a 4 roky nemusel nic platit. Měsíčně se nikdy nepřeneslo více než 10 GB dat. V únoru se to ale změnilo. Během několika dnů to jenom na jedné písničce v mp3 udělalo 164 TB a za každých 100 GB navíc by měl uživatel platit 55 dolarů. V rámci reklamace byla cena snížena na 5 225

    … více »
    Ladislav Hagara | Komentářů: 4
    Kolik máte nálepek na víku notebooku?
     (18%)
     (60%)
     (5%)
     (3%)
     (5%)
     (9%)
    Celkem 430 hlasů
     Komentářů: 18, poslední 27.2. 20:10
    Rozcestník

    Dotaz: Jak zakcelerovat tento skript

    vasek125 avatar 2.2.2007 22:49 vasek125 | skóre: 30 | Mladá Boleslav
    Jak zakcelerovat tento skript
    Přečteno: 129×
    Tento skript se provádí 3 minuty. Jde o upravený log squidu access.log, kterej ještě není ani z poloviny naplněnej, což znaměná, že by doba provádění byla už neúnosná. Kámen úrazu je v cyklu:
    
    SOURCE="/var/www/www-block/events.txt"
    ciladresy=`cat /var/www-ssl/admin/access.log`
    
    for x in `grep -v ^# $SOURCE | awk '{print $1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"$10"|"$11"|"$12"|"$13"|"$14"|"$15"|"$16"|"$17"|"$18"|"$19}'`; do
    
    x=`echo $x | sed 's/|/ /g'`
    x1=`echo $x | awk '{ print $1 }'`
    x2=`echo $x | awk '{ print $2 }'`
    x3=`echo $x | awk '{ print $3 }'`
    x4=`echo $x | awk '{ print $4 }'`
    x5=`echo $x | awk '{ print $5 }'`
    x6=`echo $x | awk '{ print $6 }'`
    x7=`echo $x | awk '{ print $7 }'`
    x8=`echo $x | awk '{ print $8 }'`
    x9=`echo $x | awk '{ print $9 }'`
    x10=`echo $x | awk '{ print $10 }'`
    x11=`echo $x | awk '{ print $11 }'`
    x12=`echo $x | awk '{ print $12 }'`
    x13=`echo $x | awk '{ print $13 }'`
    x14=`echo $x | awk '{ print $14 }'`
    x15=`echo $x | awk '{ print $15 }'`
    x16=`echo $x | awk '{ print $16 }'`
    x17=`echo $x | awk '{ print $17 }'`
    x18=`echo $x | awk '{ print $18 }'`
    x19=`echo $x | awk '{ print $19 }'`
    
    
    ciladresykk=`echo "$ciladresy" | grep "$x1 $x2 $x3" | awk '{ print $4 }'` 
    
    
    echo "$x1 $x2 $x3 $x4 $x5 $x6 $x7 $x8 $x9 $x10 $x11 $x12 $x13 $x14 $x15 $x16 $x17 $x18 $x19 $ciladresykk" >> /var/www-ssl/admin/squid/squidblok.html
    
    done
    
    vzor /var/www-ssl/admin/access.log
    02/02/2007 11:55:37 192.168.1.180 http://www.sonnerie.net/js/xiti.js
    02/02/2007 11:55:38 192.168.1.180 http://logi6.xiti.com/hit.xiti?
    
    vzor /var/www/www-block/events.txt
    02/02/2007 11:42:16           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    02/02/2007 11:55:38           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    
    Celé řešení slouží k vypsání zablokovaných spojení a pomocí druhého logu se k těmto spojením hledají cílové adresy. Určitě by to šlo nějak urychlit. Nějaký nápad?

    Odpovědi

    Josef Kufner avatar 2.2.2007 23:17 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Napiš to celé v awk nebo perlu. Hezky jako jeden script. Případně to rozděl na pár částí, ale hlavně nepouštěj na každou ptákovinu několik nových procesů. Taky zbytečně neukládej data do proměnných, když je můžeš přímo číst ze souborů.

    Udělat něco jako:
    grep -v '^#' $SOURCE \
    | while read ln
    do
       arr=($ln)
       echo -n $ln
       grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    done >> /var/www-ssl/admin/squid/squidblok.html
    ps: nezkoušel jsem to.
    Hello world ! Segmentation fault (core dumped)
    Josef Kufner avatar 2.2.2007 23:18 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hm, koukám, že si trošku protiřečím :-D
    Hello world ! Segmentation fault (core dumped)
    vasek125 avatar 3.2.2007 00:49 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Supr, dík, skript proběhne už za 20 sekund, místo 2 minut.
    3.2.2007 00:58 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jestli správně chápu zadání, tak klíčem jsou vždy první tři položky oddělené mezerami a podle této trojice nalezené v jednom logu se hledá ekvivalent v druhém logu? Pokud ano, tak to jde napsat třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        access[k] = v
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            url = access[k]
        except KeyError:
            url = ''
        print ' '.join(k), v, url
    
    Dává to stejné výsledky jako ten skript v shellu,
    02/02/2007 11:42:16 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) 
    02/02/2007 11:55:38 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) http://logi6.xiti.com/hit.xiti?
    
    tak je to doufám správně. Testoval jsem zpracování dvou logů, z nichž každý měl 100000 položek. Za tři sekundy to bylo hotovo.
    vasek125 avatar 3.2.2007 01:27 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Vyzkouším. Pokud se to zpracuje tak rychle, tak je to bezva.
    vasek125 avatar 3.2.2007 10:52 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Je to velmi rychlé. Ale má to jeden háček. K tomu prvnímu by se mělo dát přiřadit víc položek z toho logu access.log. Ne jen jedna, jak je to v tomhle skriptu.
    3.2.2007 11:22 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    No, já tomu fakt totiž fakt nerozumím a ani moc nechápu, co ten log obsahuje :-) Ale to je teď jedno. Zkrátka když budu mít events.txt s tímto obsahem
    02/02/2007 11:42:16           192.168.1.180   prohlizec1
    02/02/2007 11:55:38           192.168.1.180   prohlizec2
    
    a access.log s tímto
    02/02/2007 11:55:37 192.168.1.180 url1
    02/02/2007 11:55:38 192.168.1.180 url2
    02/02/2007 11:55:38 192.168.1.180 url3
    
    Tak má být výsledek tohle?
    02/02/2007 11:42:16 192.168.1.180 prohlizec1 
    02/02/2007 11:55:38 192.168.1.180 prohlizec2 url2 url3
    
    Pokud ano, tak to lze vyřešit třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        try:
            access[k].append(v)
        except KeyError:
            access[k] = [v]
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            urls = access[k]
        except KeyError:
            urls = []
        print ' '.join(k), v, ' '.join(urls)
    
    Mohl bys udělat rychlostní test? Teda pokud je to vůbec správně ...
    David Watzke avatar 3.2.2007 01:02 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jen bych podotkl, že používat grep|awk je tzv. chujovina.
    awk "/$x1 $x2 $x3/ { print $4 }"
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:25 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Při použití grepu je to o dost rychlejší než všechno mít v awk.
    David Watzke avatar 3.2.2007 01:31 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Fakt? Tak je to rozbitý. Ještě něco, místo
    ciladresy=`cat /var/www-ssl/admin/access.log`
    bych dal
    ciladresy=$(</var/www-ssl/admin/access.log)
    a místo
    for x in `grep -v ^# $SOURCE | awk [...]`; do
    tohle
    awk '!/^#/ [...]' $SOURCE | while read x; do
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    David Watzke avatar 3.2.2007 01:33 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Btw
    root@amd64 ~ # time grep -v ALL /etc/hosts.deny | awk '{print$1}'
    sshd:
    
    real    0m2.667s
    user    0m2.566s
    sys     0m0.014s
    root@amd64 ~ # time awk '!/ALL/ {print$1}' /etc/hosts.deny
    sshd:
    
    real    0m0.006s
    user    0m0.004s
    sys     0m0.002s
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:41 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Ten původní skript při použití grep s awk běžel 2 minuty, jen s awk něco přes 3 minuty. Možná při použití awk vadí víc položel $x1 ..
    vasek125 avatar 3.2.2007 10:53 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    A jak bych měl pro awk nahradit tohle?:
    grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    
    Při použití awk mi to nefunguje vůbec. Nelíbí se mu ${arr[0]} ${arr[1]} ${arr[2]}. Při použití textu to funguje.
    David Watzke avatar 3.2.2007 10:56 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk "/${arr[0]} ${arr[1]} ${arr[2]}/ { print $4 }" "$ciladresy"
    Nešlo ti to patrně proto, žes zapomněl, že bash proměnný v apostrofech neexpanduje.
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:04 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk: line 1: syntax error at or near :
    
    Při použití ' se skript provede, ale nefunguje asi kvůli těm chybějícím mezerám.
    David Watzke avatar 3.2.2007 11:10 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hmm, asi vadí mu to, co je v těch proměnných. Docházejí mi nápady :-/
    kvůli těm chybějícím mezerám.
    Huh?
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:24 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Trochu jsem testoval. Vadí mu
    02/02/2007
    
    v ty první proměnný, přičemž 02\/02\/2007 bere v pohodě. Teď jak ho přimět, aby to ignoroval či jak to rychle nahradit.
    David Watzke avatar 3.2.2007 11:30 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Aha... tak teda třeba:
    hm="${arr[0]} ${arr[1]} ${arr[2]}"
    hm="${hm//\//\/}"
    awk "/$hm/ {print $1}" něco
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 12:05 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Teď to funguje, ale print vypíše celý řádek místo části.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.