abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 12:00 | Nová verze

Po cca 3 týdnech od vydání Linux Mintu 18.3 s kódovým jménem Sylvia a prostředími MATE a Cinnamon byla oznámena také vydání s prostředími KDE a Xfce. Podrobnosti v poznámkách k vydání (KDE, Xfce) a v přehledech novinek s náhledy (KDE, Xfce). Linux Mint 18.3 je podporován do roku 2021.

Ladislav Hagara | Komentářů: 0
včera 12:55 | Nová verze

Byla vydána verze 17.12.0 KDE Aplikací (KDE Applications). Přehled novinek v kompletním seznamu změn a na stránce s dalšími informacemi. Aplikace, které nebyly dosud portovány na KDE Frameworks 5, byly z KDE Aplikací odstraněny.

Ladislav Hagara | Komentářů: 28
včera 03:00 | Komunita

Na Humble Bundle lze získat počítačovou hru Company of Heroes 2 (Wikipedie, YouTube) běžící také v Linuxu zdarma. Speciální akce končí v sobotu v 19:00.

Ladislav Hagara | Komentářů: 0
včera 02:00 | Zajímavý software

Christian Kellner představil na svém blogu projekt Bolt řešící bezpečnost rozhraní Thunderbolt 3 na Linuxu. Pomocí příkazu boltctl nebo rozšíření GNOME Shellu lze komunikovat s démonem boltd a například zakázat neznámá zařízení a předejít tak útokům typu Thunderstrike nebo DMA.

Ladislav Hagara | Komentářů: 6
včera 01:00 | Nová verze

Po půl roce vývoje od vydání verze 11.0 byla vydána verze 11.1 svobodného softwaru pro vytváření datových úložišť na síti FreeNAS (Wikipedie). Nejnovější FreeNAS je postaven na FreeBSD 11.1. Přehled novinek v příspěvku na blogu. Zdůraznit lze zvýšení výkonu OpenZFS, počáteční podporu Dockeru nebo synchronizaci s cloudovými službami Amazon S3 (Simple Storage Services), Backblaze B2 Cloud, Google Cloud a Microsoft Azure

Ladislav Hagara | Komentářů: 0
14.12. 23:55 | Nová verze

Po dvou měsících vývoje od vydání verze 235 oznámil Lennart Poettering vydání verze 236 správce systému a služeb systemd (GitHub, NEWS).

Ladislav Hagara | Komentářů: 7
14.12. 20:00 | Nová verze Ladislav Hagara | Komentářů: 0
14.12. 19:33 | Pozvánky

Pražská Fedora 27 Release Party, oslava nedávného vydání Fedory 27, se uskuteční 19. prosince od 19:00 v prostorách společnosti Etnetera (Jankovcova 1037/49). Na programu budou přednášky o novinkách, diskuse, neřízený networking atd.

Ladislav Hagara | Komentářů: 0
14.12. 18:11 | Nová verze

Byla vydána verze 2.11.0 QEMU (Wikipedie). Přispělo 165 vývojářů. Provedeno bylo více než 2 000 commitů. Přehled úprav a nových vlastností v seznamu změn.

Ladislav Hagara | Komentářů: 0
14.12. 17:44 | Komunita

Canonical oznámil dostupnost kryptografických balíčků s certifikací FIPS 140-2 úrovně 1 pro Ubuntu 16.04 LTS pro předplatitele podpory Ubuntu Advantage Advanced. Certifikace FIPS (Federal Information Processing Standards) jsou vyžadovány (nejenom) vládními institucemi USA.

Ladislav Hagara | Komentářů: 3
Jak se vás potenciálně dotkne trend odstraňování analogového audio konektoru typu 3,5mm jack z „chytrých telefonů“?
 (8%)
 (1%)
 (1%)
 (1%)
 (76%)
 (14%)
Celkem 998 hlasů
 Komentářů: 45, poslední 1.12. 19:00
    Rozcestník

    Dotaz: Jak zakcelerovat tento skript

    vasek125 avatar 2.2.2007 22:49 vasek125 | skóre: 30 | Mladá Boleslav
    Jak zakcelerovat tento skript
    Přečteno: 116×
    Tento skript se provádí 3 minuty. Jde o upravený log squidu access.log, kterej ještě není ani z poloviny naplněnej, což znaměná, že by doba provádění byla už neúnosná. Kámen úrazu je v cyklu:
    
    SOURCE="/var/www/www-block/events.txt"
    ciladresy=`cat /var/www-ssl/admin/access.log`
    
    for x in `grep -v ^# $SOURCE | awk '{print $1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"$10"|"$11"|"$12"|"$13"|"$14"|"$15"|"$16"|"$17"|"$18"|"$19}'`; do
    
    x=`echo $x | sed 's/|/ /g'`
    x1=`echo $x | awk '{ print $1 }'`
    x2=`echo $x | awk '{ print $2 }'`
    x3=`echo $x | awk '{ print $3 }'`
    x4=`echo $x | awk '{ print $4 }'`
    x5=`echo $x | awk '{ print $5 }'`
    x6=`echo $x | awk '{ print $6 }'`
    x7=`echo $x | awk '{ print $7 }'`
    x8=`echo $x | awk '{ print $8 }'`
    x9=`echo $x | awk '{ print $9 }'`
    x10=`echo $x | awk '{ print $10 }'`
    x11=`echo $x | awk '{ print $11 }'`
    x12=`echo $x | awk '{ print $12 }'`
    x13=`echo $x | awk '{ print $13 }'`
    x14=`echo $x | awk '{ print $14 }'`
    x15=`echo $x | awk '{ print $15 }'`
    x16=`echo $x | awk '{ print $16 }'`
    x17=`echo $x | awk '{ print $17 }'`
    x18=`echo $x | awk '{ print $18 }'`
    x19=`echo $x | awk '{ print $19 }'`
    
    
    ciladresykk=`echo "$ciladresy" | grep "$x1 $x2 $x3" | awk '{ print $4 }'` 
    
    
    echo "$x1 $x2 $x3 $x4 $x5 $x6 $x7 $x8 $x9 $x10 $x11 $x12 $x13 $x14 $x15 $x16 $x17 $x18 $x19 $ciladresykk" >> /var/www-ssl/admin/squid/squidblok.html
    
    done
    
    vzor /var/www-ssl/admin/access.log
    02/02/2007 11:55:37 192.168.1.180 http://www.sonnerie.net/js/xiti.js
    02/02/2007 11:55:38 192.168.1.180 http://logi6.xiti.com/hit.xiti?
    
    vzor /var/www/www-block/events.txt
    02/02/2007 11:42:16           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    02/02/2007 11:55:38           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    
    Celé řešení slouží k vypsání zablokovaných spojení a pomocí druhého logu se k těmto spojením hledají cílové adresy. Určitě by to šlo nějak urychlit. Nějaký nápad?

    Odpovědi

    Josef Kufner avatar 2.2.2007 23:17 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Napiš to celé v awk nebo perlu. Hezky jako jeden script. Případně to rozděl na pár částí, ale hlavně nepouštěj na každou ptákovinu několik nových procesů. Taky zbytečně neukládej data do proměnných, když je můžeš přímo číst ze souborů.

    Udělat něco jako:
    grep -v '^#' $SOURCE \
    | while read ln
    do
       arr=($ln)
       echo -n $ln
       grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    done >> /var/www-ssl/admin/squid/squidblok.html
    ps: nezkoušel jsem to.
    Hello world ! Segmentation fault (core dumped)
    Josef Kufner avatar 2.2.2007 23:18 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hm, koukám, že si trošku protiřečím :-D
    Hello world ! Segmentation fault (core dumped)
    vasek125 avatar 3.2.2007 00:49 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Supr, dík, skript proběhne už za 20 sekund, místo 2 minut.
    3.2.2007 00:58 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jestli správně chápu zadání, tak klíčem jsou vždy první tři položky oddělené mezerami a podle této trojice nalezené v jednom logu se hledá ekvivalent v druhém logu? Pokud ano, tak to jde napsat třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        access[k] = v
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            url = access[k]
        except KeyError:
            url = ''
        print ' '.join(k), v, url
    
    Dává to stejné výsledky jako ten skript v shellu,
    02/02/2007 11:42:16 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) 
    02/02/2007 11:55:38 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) http://logi6.xiti.com/hit.xiti?
    
    tak je to doufám správně. Testoval jsem zpracování dvou logů, z nichž každý měl 100000 položek. Za tři sekundy to bylo hotovo.
    vasek125 avatar 3.2.2007 01:27 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Vyzkouším. Pokud se to zpracuje tak rychle, tak je to bezva.
    vasek125 avatar 3.2.2007 10:52 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Je to velmi rychlé. Ale má to jeden háček. K tomu prvnímu by se mělo dát přiřadit víc položek z toho logu access.log. Ne jen jedna, jak je to v tomhle skriptu.
    3.2.2007 11:22 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    No, já tomu fakt totiž fakt nerozumím a ani moc nechápu, co ten log obsahuje :-) Ale to je teď jedno. Zkrátka když budu mít events.txt s tímto obsahem
    02/02/2007 11:42:16           192.168.1.180   prohlizec1
    02/02/2007 11:55:38           192.168.1.180   prohlizec2
    
    a access.log s tímto
    02/02/2007 11:55:37 192.168.1.180 url1
    02/02/2007 11:55:38 192.168.1.180 url2
    02/02/2007 11:55:38 192.168.1.180 url3
    
    Tak má být výsledek tohle?
    02/02/2007 11:42:16 192.168.1.180 prohlizec1 
    02/02/2007 11:55:38 192.168.1.180 prohlizec2 url2 url3
    
    Pokud ano, tak to lze vyřešit třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        try:
            access[k].append(v)
        except KeyError:
            access[k] = [v]
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            urls = access[k]
        except KeyError:
            urls = []
        print ' '.join(k), v, ' '.join(urls)
    
    Mohl bys udělat rychlostní test? Teda pokud je to vůbec správně ...
    David Watzke avatar 3.2.2007 01:02 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jen bych podotkl, že používat grep|awk je tzv. chujovina.
    awk "/$x1 $x2 $x3/ { print $4 }"
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:25 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Při použití grepu je to o dost rychlejší než všechno mít v awk.
    David Watzke avatar 3.2.2007 01:31 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Fakt? Tak je to rozbitý. Ještě něco, místo
    ciladresy=`cat /var/www-ssl/admin/access.log`
    bych dal
    ciladresy=$(</var/www-ssl/admin/access.log)
    a místo
    for x in `grep -v ^# $SOURCE | awk [...]`; do
    tohle
    awk '!/^#/ [...]' $SOURCE | while read x; do
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    David Watzke avatar 3.2.2007 01:33 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Btw
    root@amd64 ~ # time grep -v ALL /etc/hosts.deny | awk '{print$1}'
    sshd:
    
    real    0m2.667s
    user    0m2.566s
    sys     0m0.014s
    root@amd64 ~ # time awk '!/ALL/ {print$1}' /etc/hosts.deny
    sshd:
    
    real    0m0.006s
    user    0m0.004s
    sys     0m0.002s
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:41 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Ten původní skript při použití grep s awk běžel 2 minuty, jen s awk něco přes 3 minuty. Možná při použití awk vadí víc položel $x1 ..
    vasek125 avatar 3.2.2007 10:53 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    A jak bych měl pro awk nahradit tohle?:
    grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    
    Při použití awk mi to nefunguje vůbec. Nelíbí se mu ${arr[0]} ${arr[1]} ${arr[2]}. Při použití textu to funguje.
    David Watzke avatar 3.2.2007 10:56 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk "/${arr[0]} ${arr[1]} ${arr[2]}/ { print $4 }" "$ciladresy"
    Nešlo ti to patrně proto, žes zapomněl, že bash proměnný v apostrofech neexpanduje.
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:04 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk: line 1: syntax error at or near :
    
    Při použití ' se skript provede, ale nefunguje asi kvůli těm chybějícím mezerám.
    David Watzke avatar 3.2.2007 11:10 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hmm, asi vadí mu to, co je v těch proměnných. Docházejí mi nápady :-/
    kvůli těm chybějícím mezerám.
    Huh?
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:24 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Trochu jsem testoval. Vadí mu
    02/02/2007
    
    v ty první proměnný, přičemž 02\/02\/2007 bere v pohodě. Teď jak ho přimět, aby to ignoroval či jak to rychle nahradit.
    David Watzke avatar 3.2.2007 11:30 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Aha... tak teda třeba:
    hm="${arr[0]} ${arr[1]} ${arr[2]}"
    hm="${hm//\//\/}"
    awk "/$hm/ {print $1}" něco
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 12:05 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Teď to funguje, ale print vypíše celý řádek místo části.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.