abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 12:33 | Nová verze

Byla vydána verze 3.2.0 programu pro skicování, malování a úpravu obrázků Krita. Přehled novinek v poznámkách k vydání a na YouTube.

Ladislav Hagara | Komentářů: 0
dnes 11:44 | IT novinky

Minulý týden na šampionátu The International 2017 byl představen bot, který poráží profesionální hráče počítačové hry Dota 2. V nejnovějším příspěvku na blogu se organizace OpenAI o projektu více rozepsala a zveřejnila videozáznamy několika soubojů.

Ladislav Hagara | Komentářů: 2
včera 17:11 | Komunita

Byly zveřejněny videozáznamy přednášek z Fedora 26 Release Party konané 10. srpna v Praze.

Ladislav Hagara | Komentářů: 0
včera 15:33 | Komunita

Přesně před čtyřiadvaceti lety, 16. srpna 1993, oznámil Ian Murdock vydání "Debian Linux Release".

Ladislav Hagara | Komentářů: 4
včera 06:00 | Bezpečnostní upozornění

Ve virtualizačním softwaru Xen bylo nalezeno a opraveno 5 bezpečnostních chyb XSA-226 až XSA-230. Nejzávažnější z nich XSA-227 (CVE-2017-12137) umožňuje eskalaci privilegií a ovládnutí celého systému, tj. správce hostovaného systému se může stát správcem hostitelského systému.

Ladislav Hagara | Komentářů: 1
15.8. 22:00 | Zajímavý projekt

V roce 2013 proběhla na Kickstarteru úspěšná kampaň na podporu otevřeného Dobře temperovaného klavíru (Well-Tempered Clavier). Stejný tým s Kimiko Išizaka spustil před týdnem na Kickstarteru kampaň Libre Art of the Fugue na podporu svobodného Umění fugy.

Ladislav Hagara | Komentářů: 2
15.8. 13:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 143. brněnský sraz, který proběhne v pátek 18. srpna od 18:00 hodin ve sportovním areálu a restauraci BeachPub Sokolák u Brněnské přehrady aneb v hantecu u Prýglu.

Ladislav Hagara | Komentářů: 0
15.8. 10:55 | Nová verze

Byla vydána (pdf) verze 3 průběžně aktualizované (rolling release) linuxové distribuce Solus (Wikipedie). Ke stažení je v edicích Budgie, GNOME a MATE. Z novinek lze zmínit například podporu snapů. Solus 3 obsahuje Firefox 55.0.1, LibreOffice 5.4.0.3, Rhythmbox 3.4.1 nebo Thunderbird 52.2.1. Edice Budgie a GNOME přichází s GNOME MPV 0.12. Edice MATE s VLC 2.2.6.

Ladislav Hagara | Komentářů: 5
14.8. 21:44 | Nová verze

Po více než roce vývoje od vydání verze 1.0 Microsoft oznámil vydání verze 2.0 platformy .NET Core (GitHub). Přehled novinek v poznámkách k vydání a ve videu na Channel 9.

Ladislav Hagara | Komentářů: 0
14.8. 21:11 | Pozvánky

Před dvaceti lety, 15. srpna 1997, poslal Miguel de Icaza do diskusního listu GTK+ email, který je považován za zahájení projektu GNOME. Linux Desktop Meetup pořádá oslavu ve středu 16. srpna od 19:00 v brněnském Charlie's square.

Ladislav Hagara | Komentářů: 21
Těžíte nějakou kryptoměnu?
 (4%)
 (2%)
 (17%)
 (76%)
Celkem 343 hlasů
 Komentářů: 21, poslední 13.8. 09:57
    Rozcestník

    Dotaz: Jak zakcelerovat tento skript

    vasek125 avatar 2.2.2007 22:49 vasek125 | skóre: 30 | Mladá Boleslav
    Jak zakcelerovat tento skript
    Přečteno: 115×
    Tento skript se provádí 3 minuty. Jde o upravený log squidu access.log, kterej ještě není ani z poloviny naplněnej, což znaměná, že by doba provádění byla už neúnosná. Kámen úrazu je v cyklu:
    
    SOURCE="/var/www/www-block/events.txt"
    ciladresy=`cat /var/www-ssl/admin/access.log`
    
    for x in `grep -v ^# $SOURCE | awk '{print $1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"$10"|"$11"|"$12"|"$13"|"$14"|"$15"|"$16"|"$17"|"$18"|"$19}'`; do
    
    x=`echo $x | sed 's/|/ /g'`
    x1=`echo $x | awk '{ print $1 }'`
    x2=`echo $x | awk '{ print $2 }'`
    x3=`echo $x | awk '{ print $3 }'`
    x4=`echo $x | awk '{ print $4 }'`
    x5=`echo $x | awk '{ print $5 }'`
    x6=`echo $x | awk '{ print $6 }'`
    x7=`echo $x | awk '{ print $7 }'`
    x8=`echo $x | awk '{ print $8 }'`
    x9=`echo $x | awk '{ print $9 }'`
    x10=`echo $x | awk '{ print $10 }'`
    x11=`echo $x | awk '{ print $11 }'`
    x12=`echo $x | awk '{ print $12 }'`
    x13=`echo $x | awk '{ print $13 }'`
    x14=`echo $x | awk '{ print $14 }'`
    x15=`echo $x | awk '{ print $15 }'`
    x16=`echo $x | awk '{ print $16 }'`
    x17=`echo $x | awk '{ print $17 }'`
    x18=`echo $x | awk '{ print $18 }'`
    x19=`echo $x | awk '{ print $19 }'`
    
    
    ciladresykk=`echo "$ciladresy" | grep "$x1 $x2 $x3" | awk '{ print $4 }'` 
    
    
    echo "$x1 $x2 $x3 $x4 $x5 $x6 $x7 $x8 $x9 $x10 $x11 $x12 $x13 $x14 $x15 $x16 $x17 $x18 $x19 $ciladresykk" >> /var/www-ssl/admin/squid/squidblok.html
    
    done
    
    vzor /var/www-ssl/admin/access.log
    02/02/2007 11:55:37 192.168.1.180 http://www.sonnerie.net/js/xiti.js
    02/02/2007 11:55:38 192.168.1.180 http://logi6.xiti.com/hit.xiti?
    
    vzor /var/www/www-block/events.txt
    02/02/2007 11:42:16           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    02/02/2007 11:55:38           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    
    Celé řešení slouží k vypsání zablokovaných spojení a pomocí druhého logu se k těmto spojením hledají cílové adresy. Určitě by to šlo nějak urychlit. Nějaký nápad?

    Odpovědi

    Josef Kufner avatar 2.2.2007 23:17 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Napiš to celé v awk nebo perlu. Hezky jako jeden script. Případně to rozděl na pár částí, ale hlavně nepouštěj na každou ptákovinu několik nových procesů. Taky zbytečně neukládej data do proměnných, když je můžeš přímo číst ze souborů.

    Udělat něco jako:
    grep -v '^#' $SOURCE \
    | while read ln
    do
       arr=($ln)
       echo -n $ln
       grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    done >> /var/www-ssl/admin/squid/squidblok.html
    ps: nezkoušel jsem to.
    Hello world ! Segmentation fault (core dumped)
    Josef Kufner avatar 2.2.2007 23:18 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hm, koukám, že si trošku protiřečím :-D
    Hello world ! Segmentation fault (core dumped)
    vasek125 avatar 3.2.2007 00:49 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Supr, dík, skript proběhne už za 20 sekund, místo 2 minut.
    3.2.2007 00:58 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jestli správně chápu zadání, tak klíčem jsou vždy první tři položky oddělené mezerami a podle této trojice nalezené v jednom logu se hledá ekvivalent v druhém logu? Pokud ano, tak to jde napsat třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        access[k] = v
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            url = access[k]
        except KeyError:
            url = ''
        print ' '.join(k), v, url
    
    Dává to stejné výsledky jako ten skript v shellu,
    02/02/2007 11:42:16 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) 
    02/02/2007 11:55:38 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) http://logi6.xiti.com/hit.xiti?
    
    tak je to doufám správně. Testoval jsem zpracování dvou logů, z nichž každý měl 100000 položek. Za tři sekundy to bylo hotovo.
    vasek125 avatar 3.2.2007 01:27 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Vyzkouším. Pokud se to zpracuje tak rychle, tak je to bezva.
    vasek125 avatar 3.2.2007 10:52 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Je to velmi rychlé. Ale má to jeden háček. K tomu prvnímu by se mělo dát přiřadit víc položek z toho logu access.log. Ne jen jedna, jak je to v tomhle skriptu.
    3.2.2007 11:22 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    No, já tomu fakt totiž fakt nerozumím a ani moc nechápu, co ten log obsahuje :-) Ale to je teď jedno. Zkrátka když budu mít events.txt s tímto obsahem
    02/02/2007 11:42:16           192.168.1.180   prohlizec1
    02/02/2007 11:55:38           192.168.1.180   prohlizec2
    
    a access.log s tímto
    02/02/2007 11:55:37 192.168.1.180 url1
    02/02/2007 11:55:38 192.168.1.180 url2
    02/02/2007 11:55:38 192.168.1.180 url3
    
    Tak má být výsledek tohle?
    02/02/2007 11:42:16 192.168.1.180 prohlizec1 
    02/02/2007 11:55:38 192.168.1.180 prohlizec2 url2 url3
    
    Pokud ano, tak to lze vyřešit třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        try:
            access[k].append(v)
        except KeyError:
            access[k] = [v]
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            urls = access[k]
        except KeyError:
            urls = []
        print ' '.join(k), v, ' '.join(urls)
    
    Mohl bys udělat rychlostní test? Teda pokud je to vůbec správně ...
    David Watzke avatar 3.2.2007 01:02 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jen bych podotkl, že používat grep|awk je tzv. chujovina.
    awk "/$x1 $x2 $x3/ { print $4 }"
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:25 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Při použití grepu je to o dost rychlejší než všechno mít v awk.
    David Watzke avatar 3.2.2007 01:31 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Fakt? Tak je to rozbitý. Ještě něco, místo
    ciladresy=`cat /var/www-ssl/admin/access.log`
    bych dal
    ciladresy=$(</var/www-ssl/admin/access.log)
    a místo
    for x in `grep -v ^# $SOURCE | awk [...]`; do
    tohle
    awk '!/^#/ [...]' $SOURCE | while read x; do
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    David Watzke avatar 3.2.2007 01:33 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Btw
    root@amd64 ~ # time grep -v ALL /etc/hosts.deny | awk '{print$1}'
    sshd:
    
    real    0m2.667s
    user    0m2.566s
    sys     0m0.014s
    root@amd64 ~ # time awk '!/ALL/ {print$1}' /etc/hosts.deny
    sshd:
    
    real    0m0.006s
    user    0m0.004s
    sys     0m0.002s
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:41 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Ten původní skript při použití grep s awk běžel 2 minuty, jen s awk něco přes 3 minuty. Možná při použití awk vadí víc položel $x1 ..
    vasek125 avatar 3.2.2007 10:53 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    A jak bych měl pro awk nahradit tohle?:
    grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    
    Při použití awk mi to nefunguje vůbec. Nelíbí se mu ${arr[0]} ${arr[1]} ${arr[2]}. Při použití textu to funguje.
    David Watzke avatar 3.2.2007 10:56 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk "/${arr[0]} ${arr[1]} ${arr[2]}/ { print $4 }" "$ciladresy"
    Nešlo ti to patrně proto, žes zapomněl, že bash proměnný v apostrofech neexpanduje.
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:04 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk: line 1: syntax error at or near :
    
    Při použití ' se skript provede, ale nefunguje asi kvůli těm chybějícím mezerám.
    David Watzke avatar 3.2.2007 11:10 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hmm, asi vadí mu to, co je v těch proměnných. Docházejí mi nápady :-/
    kvůli těm chybějícím mezerám.
    Huh?
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:24 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Trochu jsem testoval. Vadí mu
    02/02/2007
    
    v ty první proměnný, přičemž 02\/02\/2007 bere v pohodě. Teď jak ho přimět, aby to ignoroval či jak to rychle nahradit.
    David Watzke avatar 3.2.2007 11:30 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Aha... tak teda třeba:
    hm="${arr[0]} ${arr[1]} ${arr[2]}"
    hm="${hm//\//\/}"
    awk "/$hm/ {print $1}" něco
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 12:05 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Teď to funguje, ale print vypíše celý řádek místo části.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.