abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 12:50 | Komunita

Mozilla.cz informuje, že dosud experimentální funkce Page Shot z programu Firefox Test Pilot (zprávička) se stane součástí Firefoxu. Page Shot je nástroj pro vytváření snímků webových stránek. Umí výběr oblasti, prvku stránky (např. odstavce), nebo uložení snímku celé stránky. Snímky lze ukládat na disk nebo nahrávat na server Mozilly. Nedávno bylo oznámeno, že se součástí Firefoxu stane Activity Stream.

Ladislav Hagara | Komentářů: 0
dnes 04:10 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 4.9 (zprávička) oznámil Linus Torvalds, mj. již 20 let žijící v USA, vydání Linuxu 4.10 (LKML). Přehled nových vlastností a vylepšení například na Kernel Newbies a v Jaderných novinách (1, 2 a 3). Kódové jméno Linuxu 4.10 je Fearless Coyote.

Ladislav Hagara | Komentářů: 1
včera 15:55 | Zajímavý projekt

Vyzkoušet si příkazy a vyřešit několik úkolů lze na stránkách Commandline Challenge (CMD Challenge). Úkoly lze řešit různými způsoby, důležitý je výsledek. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 15
18.2. 17:35 | Bezpečnostní upozornění

Německá Bundesnetzagentur (obdoba českého ČTU) zakázala na německém území prodej panenky Cayla kvůli „špionáži“ dětí. Tato elektronická hračka obsahuje mikrofon, reproduktor a kameru a bezdrátové komunikační rozhraní, pomocí kterého se hračka připojuje na servery výrobce. Takovýmto způsobem může hračka pomocí umělé inteligence „odpovídat“ na dotazy dítěte. Hlavní problém bude ale asi někde jinde, podle prvotních zpráv může

… více »
Petr Tomášek | Komentářů: 27
17.2. 15:30 | Bezpečnostní upozornění

CSIRT.CZ upozorňuje, že bezpečnostní experti objevili nový typ malwaru, jenž cílí na open source e-commerce platformu Magento. Malware je zajímavý tím, že se jedná o první svého druhu, jehož kód zůstává skrytý v SQL databázi zasaženého e-shopu. Škodlivý kód je volán pomocí tzv. SQL trigerru, který je spouštěn při každém vytvoření objednávky v systému.

Ladislav Hagara | Komentářů: 2
17.2. 09:00 | Nová verze

Bylo vydáno Ubuntu 16.04.2 LTS, tj. druhé opravné vydání Ubuntu 16.04 LTS s kódovým názvem Xenial Xerus. Přehled novinek v poznámkách k vydání a v přehledu změn.

Ladislav Hagara | Komentářů: 56
17.2. 06:00 | Zajímavý článek

Pavel Tišnovský se v dvoudílném článku na MojeFedora.cz věnuje tvorbě pluginů (modulů) pro bitmapový grafický editor GIMP. Pomocí pluginů lze GIMP rozšiřovat o další funkce. Implementovat lze například nové filtry nebo pomocné utility pro tvorbu animací či poloautomatickou retuš snímků.

Ladislav Hagara | Komentářů: 6
16.2. 23:32 | Komunita

Do 30. března se lze přihlásit do dalšího kola programu Outreachy, jehož cílem je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny. Za 3 měsíce práce, od 30. května do 30. srpna 2017, v participujících organizacích lze vydělat 5 500 USD. Jedná se již o 14. kolo tohoto programu.

Ladislav Hagara | Komentářů: 11
16.2. 23:13 | Nová verze

Byla vydána verze 0.92.1 svobodného multiplatformního vektorového grafického editoru Inkscape. Přehled novinek v poznámkách k vydání. Řešen je mimo jiné problém s verzí 0.92, jež rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Více v příspěvku na blogu Davida Revoye, autora open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu.

Ladislav Hagara | Komentářů: 0
16.2. 16:26 | Bezpečnostní upozornění

Byla vydána verze 1.1.0e kryptografické knihovny OpenSSL. Dle bezpečnostního upozornění 20170216 byla opravena závažná bezpečnostní chyba CVE-2017-3733.

Ladislav Hagara | Komentářů: 1
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (13%)
 (2%)
 (72%)
 (3%)
 (10%)
Celkem 666 hlasů
 Komentářů: 52, poslední 13.2. 12:45
Rozcestník
Reklama

Dotaz: Jak zakcelerovat tento skript

vasek125 avatar 2.2.2007 22:49 vasek125 | skóre: 30 | Mladá Boleslav
Jak zakcelerovat tento skript
Přečteno: 115×
Tento skript se provádí 3 minuty. Jde o upravený log squidu access.log, kterej ještě není ani z poloviny naplněnej, což znaměná, že by doba provádění byla už neúnosná. Kámen úrazu je v cyklu:

SOURCE="/var/www/www-block/events.txt"
ciladresy=`cat /var/www-ssl/admin/access.log`

for x in `grep -v ^# $SOURCE | awk '{print $1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"$10"|"$11"|"$12"|"$13"|"$14"|"$15"|"$16"|"$17"|"$18"|"$19}'`; do

x=`echo $x | sed 's/|/ /g'`
x1=`echo $x | awk '{ print $1 }'`
x2=`echo $x | awk '{ print $2 }'`
x3=`echo $x | awk '{ print $3 }'`
x4=`echo $x | awk '{ print $4 }'`
x5=`echo $x | awk '{ print $5 }'`
x6=`echo $x | awk '{ print $6 }'`
x7=`echo $x | awk '{ print $7 }'`
x8=`echo $x | awk '{ print $8 }'`
x9=`echo $x | awk '{ print $9 }'`
x10=`echo $x | awk '{ print $10 }'`
x11=`echo $x | awk '{ print $11 }'`
x12=`echo $x | awk '{ print $12 }'`
x13=`echo $x | awk '{ print $13 }'`
x14=`echo $x | awk '{ print $14 }'`
x15=`echo $x | awk '{ print $15 }'`
x16=`echo $x | awk '{ print $16 }'`
x17=`echo $x | awk '{ print $17 }'`
x18=`echo $x | awk '{ print $18 }'`
x19=`echo $x | awk '{ print $19 }'`


ciladresykk=`echo "$ciladresy" | grep "$x1 $x2 $x3" | awk '{ print $4 }'` 


echo "$x1 $x2 $x3 $x4 $x5 $x6 $x7 $x8 $x9 $x10 $x11 $x12 $x13 $x14 $x15 $x16 $x17 $x18 $x19 $ciladresykk" >> /var/www-ssl/admin/squid/squidblok.html

done
vzor /var/www-ssl/admin/access.log
02/02/2007 11:55:37 192.168.1.180 http://www.sonnerie.net/js/xiti.js
02/02/2007 11:55:38 192.168.1.180 http://logi6.xiti.com/hit.xiti?
vzor /var/www/www-block/events.txt
02/02/2007 11:42:16           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
02/02/2007 11:55:38           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
Celé řešení slouží k vypsání zablokovaných spojení a pomocí druhého logu se k těmto spojením hledají cílové adresy. Určitě by to šlo nějak urychlit. Nějaký nápad?

Odpovědi

Josef Kufner avatar 2.2.2007 23:17 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Napiš to celé v awk nebo perlu. Hezky jako jeden script. Případně to rozděl na pár částí, ale hlavně nepouštěj na každou ptákovinu několik nových procesů. Taky zbytečně neukládej data do proměnných, když je můžeš přímo číst ze souborů.

Udělat něco jako:
grep -v '^#' $SOURCE \
| while read ln
do
   arr=($ln)
   echo -n $ln
   grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
done >> /var/www-ssl/admin/squid/squidblok.html
ps: nezkoušel jsem to.
Hello world ! Segmentation fault (core dumped)
Josef Kufner avatar 2.2.2007 23:18 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Hm, koukám, že si trošku protiřečím :-D
Hello world ! Segmentation fault (core dumped)
vasek125 avatar 3.2.2007 00:49 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Supr, dík, skript proběhne už za 20 sekund, místo 2 minut.
3.2.2007 00:58 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Jestli správně chápu zadání, tak klíčem jsou vždy první tři položky oddělené mezerami a podle této trojice nalezené v jednom logu se hledá ekvivalent v druhém logu? Pokud ano, tak to jde napsat třeba takto:
#!/usr/bin/env python
def splitter(filename):
    for line in file(filename):
        line = line.strip()
        if not line: continue
        splitted = line.split(None, 3)
        yield tuple(splitted[:3]), splitted[3]

access = {}
access_splitter = splitter('access.log')
for k, v in access_splitter:
    access[k] = v

events_splitter = splitter('events.txt')
for k, v in events_splitter:
    try:
        url = access[k]
    except KeyError:
        url = ''
    print ' '.join(k), v, url
Dává to stejné výsledky jako ten skript v shellu,
02/02/2007 11:42:16 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) 
02/02/2007 11:55:38 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) http://logi6.xiti.com/hit.xiti?
tak je to doufám správně. Testoval jsem zpracování dvou logů, z nichž každý měl 100000 položek. Za tři sekundy to bylo hotovo.
vasek125 avatar 3.2.2007 01:27 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Vyzkouším. Pokud se to zpracuje tak rychle, tak je to bezva.
vasek125 avatar 3.2.2007 10:52 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Je to velmi rychlé. Ale má to jeden háček. K tomu prvnímu by se mělo dát přiřadit víc položek z toho logu access.log. Ne jen jedna, jak je to v tomhle skriptu.
3.2.2007 11:22 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
No, já tomu fakt totiž fakt nerozumím a ani moc nechápu, co ten log obsahuje :-) Ale to je teď jedno. Zkrátka když budu mít events.txt s tímto obsahem
02/02/2007 11:42:16           192.168.1.180   prohlizec1
02/02/2007 11:55:38           192.168.1.180   prohlizec2
a access.log s tímto
02/02/2007 11:55:37 192.168.1.180 url1
02/02/2007 11:55:38 192.168.1.180 url2
02/02/2007 11:55:38 192.168.1.180 url3
Tak má být výsledek tohle?
02/02/2007 11:42:16 192.168.1.180 prohlizec1 
02/02/2007 11:55:38 192.168.1.180 prohlizec2 url2 url3
Pokud ano, tak to lze vyřešit třeba takto:
#!/usr/bin/env python
def splitter(filename):
    for line in file(filename):
        line = line.strip()
        if not line: continue
        splitted = line.split(None, 3)
        yield tuple(splitted[:3]), splitted[3]

access = {}
access_splitter = splitter('access.log')
for k, v in access_splitter:
    try:
        access[k].append(v)
    except KeyError:
        access[k] = [v]

events_splitter = splitter('events.txt')
for k, v in events_splitter:
    try:
        urls = access[k]
    except KeyError:
        urls = []
    print ' '.join(k), v, ' '.join(urls)
Mohl bys udělat rychlostní test? Teda pokud je to vůbec správně ...
David Watzke avatar 3.2.2007 01:02 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Jen bych podotkl, že používat grep|awk je tzv. chujovina.
awk "/$x1 $x2 $x3/ { print $4 }"
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 01:25 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Při použití grepu je to o dost rychlejší než všechno mít v awk.
David Watzke avatar 3.2.2007 01:31 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Fakt? Tak je to rozbitý. Ještě něco, místo
ciladresy=`cat /var/www-ssl/admin/access.log`
bych dal
ciladresy=$(</var/www-ssl/admin/access.log)
a místo
for x in `grep -v ^# $SOURCE | awk [...]`; do
tohle
awk '!/^#/ [...]' $SOURCE | while read x; do
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
David Watzke avatar 3.2.2007 01:33 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Btw
root@amd64 ~ # time grep -v ALL /etc/hosts.deny | awk '{print$1}'
sshd:

real    0m2.667s
user    0m2.566s
sys     0m0.014s
root@amd64 ~ # time awk '!/ALL/ {print$1}' /etc/hosts.deny
sshd:

real    0m0.006s
user    0m0.004s
sys     0m0.002s
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 01:41 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Ten původní skript při použití grep s awk běžel 2 minuty, jen s awk něco přes 3 minuty. Možná při použití awk vadí víc položel $x1 ..
vasek125 avatar 3.2.2007 10:53 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
A jak bych měl pro awk nahradit tohle?:
grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
Při použití awk mi to nefunguje vůbec. Nelíbí se mu ${arr[0]} ${arr[1]} ${arr[2]}. Při použití textu to funguje.
David Watzke avatar 3.2.2007 10:56 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
awk "/${arr[0]} ${arr[1]} ${arr[2]}/ { print $4 }" "$ciladresy"
Nešlo ti to patrně proto, žes zapomněl, že bash proměnný v apostrofech neexpanduje.
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 11:04 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
awk: line 1: syntax error at or near :
Při použití ' se skript provede, ale nefunguje asi kvůli těm chybějícím mezerám.
David Watzke avatar 3.2.2007 11:10 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Hmm, asi vadí mu to, co je v těch proměnných. Docházejí mi nápady :-/
kvůli těm chybějícím mezerám.
Huh?
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 11:24 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Trochu jsem testoval. Vadí mu
02/02/2007
v ty první proměnný, přičemž 02\/02\/2007 bere v pohodě. Teď jak ho přimět, aby to ignoroval či jak to rychle nahradit.
David Watzke avatar 3.2.2007 11:30 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Aha... tak teda třeba:
hm="${arr[0]} ${arr[1]} ${arr[2]}"
hm="${hm//\//\/}"
awk "/$hm/ {print $1}" něco
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 12:05 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Teď to funguje, ale print vypíše celý řádek místo části.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.