abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 17:33 | Komunita

Společnost Purism informuje o aktuálním vývoji chytrého telefonu Librem 5, jenž by měl respektovat bezpečnost, svobodu a soukromí uživatelů. Telefon už umí telefonovat. Librem 5 by měl být k dispozici v lednu 2019. Předobjednat jej lze za 599 dolarů.

Ladislav Hagara | Komentářů: 14
včera 09:00 | Bezpečnostní upozornění

Společnost Qualys zveřejnila výsledky bezpečnostního auditu procps-ng. Nalezeno bylo 7 bezpečnostních chyb (CVE-2018-1120, CVE-2018-1121, CVE-2018-1122, CVE-2018-1123, CVE-2018-1124, CVE-2018-1125 a CVE-2018-1126). Dvě z nich jsou zneužitelné k lokální eskalaci práv. Příslušné záplaty jsou již k dispozici v upstreamu.

Ladislav Hagara | Komentářů: 3
18.5. 06:44 | Nová verze

Byla vydána třiadvacátá alfa verze svobodné historické realtimové strategie 0 A.D. (Wikipedie). Kódový název této nejnovější verze je Ken Wood. Představení novinek v poznámkách k vydání a také na YouTube.

Ladislav Hagara | Komentářů: 3
18.5. 05:55 | Zajímavý článek

Tento týden se v Cambridge ve Velké Británii konal hackfest, který měl za cíl zlepšit výkon na GNOME postavených systémů na slabších počítačích. Hans de Goede například analyzoval spotřebu paměti jednotlivých komponent ve Fedora 28 Workstation na stroji s 2 GB RAM a pomocí kroků popsaných v článku Kde uspořit paměť ve Fedora Workstation na MojeFedora.cz snížil spotřebu paměti z 1,4 GB na 765 MB.

Ladislav Hagara | Komentářů: 8
17.5. 20:55 | Nová verze

Bram Moolenaar oznámil vydání verze 8.1 textového editoru Vim (Vi IMproved). Hlavní novinkou je integrovaný terminál.

Ladislav Hagara | Komentářů: 8
17.5. 16:55 | Nová verze

Bylo oznámeno vydání nové stabilní verze 1.27 a beta verze 1.28 open source textového editoru Atom (Wikipedie). Přehled novinek i s náhledy v příspěvku na blogu. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 6
17.5. 11:11 | Nová verze

Byla vydána verze 5.2 open source virtualizační platformy Proxmox VE (Proxmox Virtual Environment, Wikipedie) založené na Debianu. Přehled novinek v poznámkách k vydání a v informačním videu. Před měsícem slavil Proxmox VE 10 let (pdf).

Ladislav Hagara | Komentářů: 16
17.5. 10:22 | Nová verze

Byla vydána verze 4.8 a záhy na to opravná verze 4.8.1 svobodné náhrady proprietárních BIOSů coreboot (Wikipedie). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 10
16.5. 05:55 | Komunita

Správce souborů (Files, Soubory, Nautilus) v nejnovějším GNOME 3.28 již neumožňuje zobrazovat ikony na ploše. Dalším vylepšením bude pravděpodobně odstranění možnosti spouštění aplikací (commit) přímo ze správce souborů.

Ladislav Hagara | Komentářů: 126
16.5. 04:44 | IT novinky

Dnes končí crowdfundingová kampaň na podporu modulárního open source routeru Turris MOX od CZ.NIC. Cílová částka 250 tisíc dolarů byla vybrána. Z posledních novinek představených v rámci kampaně lze zmínit demo webového rozhraní, spolupráci s Nextcloudem a Turris MOX: Cloud nebo konfigurátor pro testování kompatibility jednotlivých modulů.

Ladislav Hagara | Komentářů: 19
Používáte pro některé služby inetd?
 (32%)
 (25%)
 (42%)
Celkem 130 hlasů
 Komentářů: 3, poslední 9.5. 08:05
    Rozcestník

    Dotaz: Jak zakcelerovat tento skript

    vasek125 avatar 2.2.2007 22:49 vasek125 | skóre: 30 | Mladá Boleslav
    Jak zakcelerovat tento skript
    Přečteno: 116×
    Tento skript se provádí 3 minuty. Jde o upravený log squidu access.log, kterej ještě není ani z poloviny naplněnej, což znaměná, že by doba provádění byla už neúnosná. Kámen úrazu je v cyklu:
    
    SOURCE="/var/www/www-block/events.txt"
    ciladresy=`cat /var/www-ssl/admin/access.log`
    
    for x in `grep -v ^# $SOURCE | awk '{print $1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"$10"|"$11"|"$12"|"$13"|"$14"|"$15"|"$16"|"$17"|"$18"|"$19}'`; do
    
    x=`echo $x | sed 's/|/ /g'`
    x1=`echo $x | awk '{ print $1 }'`
    x2=`echo $x | awk '{ print $2 }'`
    x3=`echo $x | awk '{ print $3 }'`
    x4=`echo $x | awk '{ print $4 }'`
    x5=`echo $x | awk '{ print $5 }'`
    x6=`echo $x | awk '{ print $6 }'`
    x7=`echo $x | awk '{ print $7 }'`
    x8=`echo $x | awk '{ print $8 }'`
    x9=`echo $x | awk '{ print $9 }'`
    x10=`echo $x | awk '{ print $10 }'`
    x11=`echo $x | awk '{ print $11 }'`
    x12=`echo $x | awk '{ print $12 }'`
    x13=`echo $x | awk '{ print $13 }'`
    x14=`echo $x | awk '{ print $14 }'`
    x15=`echo $x | awk '{ print $15 }'`
    x16=`echo $x | awk '{ print $16 }'`
    x17=`echo $x | awk '{ print $17 }'`
    x18=`echo $x | awk '{ print $18 }'`
    x19=`echo $x | awk '{ print $19 }'`
    
    
    ciladresykk=`echo "$ciladresy" | grep "$x1 $x2 $x3" | awk '{ print $4 }'` 
    
    
    echo "$x1 $x2 $x3 $x4 $x5 $x6 $x7 $x8 $x9 $x10 $x11 $x12 $x13 $x14 $x15 $x16 $x17 $x18 $x19 $ciladresykk" >> /var/www-ssl/admin/squid/squidblok.html
    
    done
    
    vzor /var/www-ssl/admin/access.log
    02/02/2007 11:55:37 192.168.1.180 http://www.sonnerie.net/js/xiti.js
    02/02/2007 11:55:38 192.168.1.180 http://logi6.xiti.com/hit.xiti?
    
    vzor /var/www/www-block/events.txt
    02/02/2007 11:42:16           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    02/02/2007 11:55:38           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
    
    Celé řešení slouží k vypsání zablokovaných spojení a pomocí druhého logu se k těmto spojením hledají cílové adresy. Určitě by to šlo nějak urychlit. Nějaký nápad?

    Odpovědi

    Josef Kufner avatar 2.2.2007 23:17 Josef Kufner | skóre: 68
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Napiš to celé v awk nebo perlu. Hezky jako jeden script. Případně to rozděl na pár částí, ale hlavně nepouštěj na každou ptákovinu několik nových procesů. Taky zbytečně neukládej data do proměnných, když je můžeš přímo číst ze souborů.

    Udělat něco jako:
    grep -v '^#' $SOURCE \
    | while read ln
    do
       arr=($ln)
       echo -n $ln
       grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    done >> /var/www-ssl/admin/squid/squidblok.html
    ps: nezkoušel jsem to.
    Hello world ! Segmentation fault (core dumped)
    Josef Kufner avatar 2.2.2007 23:18 Josef Kufner | skóre: 68
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hm, koukám, že si trošku protiřečím :-D
    Hello world ! Segmentation fault (core dumped)
    vasek125 avatar 3.2.2007 00:49 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Supr, dík, skript proběhne už za 20 sekund, místo 2 minut.
    3.2.2007 00:58 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jestli správně chápu zadání, tak klíčem jsou vždy první tři položky oddělené mezerami a podle této trojice nalezené v jednom logu se hledá ekvivalent v druhém logu? Pokud ano, tak to jde napsat třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        access[k] = v
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            url = access[k]
        except KeyError:
            url = ''
        print ' '.join(k), v, url
    
    Dává to stejné výsledky jako ten skript v shellu,
    02/02/2007 11:42:16 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) 
    02/02/2007 11:55:38 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) http://logi6.xiti.com/hit.xiti?
    
    tak je to doufám správně. Testoval jsem zpracování dvou logů, z nichž každý měl 100000 položek. Za tři sekundy to bylo hotovo.
    vasek125 avatar 3.2.2007 01:27 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Vyzkouším. Pokud se to zpracuje tak rychle, tak je to bezva.
    vasek125 avatar 3.2.2007 10:52 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Je to velmi rychlé. Ale má to jeden háček. K tomu prvnímu by se mělo dát přiřadit víc položek z toho logu access.log. Ne jen jedna, jak je to v tomhle skriptu.
    3.2.2007 11:22 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    No, já tomu fakt totiž fakt nerozumím a ani moc nechápu, co ten log obsahuje :-) Ale to je teď jedno. Zkrátka když budu mít events.txt s tímto obsahem
    02/02/2007 11:42:16           192.168.1.180   prohlizec1
    02/02/2007 11:55:38           192.168.1.180   prohlizec2
    
    a access.log s tímto
    02/02/2007 11:55:37 192.168.1.180 url1
    02/02/2007 11:55:38 192.168.1.180 url2
    02/02/2007 11:55:38 192.168.1.180 url3
    
    Tak má být výsledek tohle?
    02/02/2007 11:42:16 192.168.1.180 prohlizec1 
    02/02/2007 11:55:38 192.168.1.180 prohlizec2 url2 url3
    
    Pokud ano, tak to lze vyřešit třeba takto:
    #!/usr/bin/env python
    def splitter(filename):
        for line in file(filename):
            line = line.strip()
            if not line: continue
            splitted = line.split(None, 3)
            yield tuple(splitted[:3]), splitted[3]
    
    access = {}
    access_splitter = splitter('access.log')
    for k, v in access_splitter:
        try:
            access[k].append(v)
        except KeyError:
            access[k] = [v]
    
    events_splitter = splitter('events.txt')
    for k, v in events_splitter:
        try:
            urls = access[k]
        except KeyError:
            urls = []
        print ' '.join(k), v, ' '.join(urls)
    
    Mohl bys udělat rychlostní test? Teda pokud je to vůbec správně ...
    David Watzke avatar 3.2.2007 01:02 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Jen bych podotkl, že používat grep|awk je tzv. chujovina.
    awk "/$x1 $x2 $x3/ { print $4 }"
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:25 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Při použití grepu je to o dost rychlejší než všechno mít v awk.
    David Watzke avatar 3.2.2007 01:31 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Fakt? Tak je to rozbitý. Ještě něco, místo
    ciladresy=`cat /var/www-ssl/admin/access.log`
    bych dal
    ciladresy=$(</var/www-ssl/admin/access.log)
    a místo
    for x in `grep -v ^# $SOURCE | awk [...]`; do
    tohle
    awk '!/^#/ [...]' $SOURCE | while read x; do
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    David Watzke avatar 3.2.2007 01:33 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Btw
    root@amd64 ~ # time grep -v ALL /etc/hosts.deny | awk '{print$1}'
    sshd:
    
    real    0m2.667s
    user    0m2.566s
    sys     0m0.014s
    root@amd64 ~ # time awk '!/ALL/ {print$1}' /etc/hosts.deny
    sshd:
    
    real    0m0.006s
    user    0m0.004s
    sys     0m0.002s
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 01:41 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Ten původní skript při použití grep s awk běžel 2 minuty, jen s awk něco přes 3 minuty. Možná při použití awk vadí víc položel $x1 ..
    vasek125 avatar 3.2.2007 10:53 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    A jak bych měl pro awk nahradit tohle?:
    grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
    
    Při použití awk mi to nefunguje vůbec. Nelíbí se mu ${arr[0]} ${arr[1]} ${arr[2]}. Při použití textu to funguje.
    David Watzke avatar 3.2.2007 10:56 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk "/${arr[0]} ${arr[1]} ${arr[2]}/ { print $4 }" "$ciladresy"
    Nešlo ti to patrně proto, žes zapomněl, že bash proměnný v apostrofech neexpanduje.
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:04 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    awk: line 1: syntax error at or near :
    
    Při použití ' se skript provede, ale nefunguje asi kvůli těm chybějícím mezerám.
    David Watzke avatar 3.2.2007 11:10 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Hmm, asi vadí mu to, co je v těch proměnných. Docházejí mi nápady :-/
    kvůli těm chybějícím mezerám.
    Huh?
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 11:24 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Trochu jsem testoval. Vadí mu
    02/02/2007
    
    v ty první proměnný, přičemž 02\/02\/2007 bere v pohodě. Teď jak ho přimět, aby to ignoroval či jak to rychle nahradit.
    David Watzke avatar 3.2.2007 11:30 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Aha... tak teda třeba:
    hm="${arr[0]} ${arr[1]} ${arr[2]}"
    hm="${hm//\//\/}"
    awk "/$hm/ {print $1}" něco
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    vasek125 avatar 3.2.2007 12:05 vasek125 | skóre: 30 | Mladá Boleslav
    Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
    Teď to funguje, ale print vypíše celý řádek místo části.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.