abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 2
dnes 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 0
dnes 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 1
dnes 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 0
dnes 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
včera 21:00 | Nová verze

Byla vydána beta verze Linux Mintu 18.1 s kódovým jménem Serena. Na blogu Linux Mintu jsou hned dvě oznámení. První o vydání Linux Mintu s prostředím MATE a druhé o vydání Linux Mintu s prostředím Cinnamon. Stejným způsobem jsou rozděleny také poznámky k vydání (MATE, Cinnamon) a přehled novinek s náhledy (MATE, Cinnamon). Linux Mint 18.1 bude podporován až do roku 2021.

Ladislav Hagara | Komentářů: 0
včera 16:42 | Nová verze

Byl vydán Devuan Jessie 1.0 Beta 2. Jedná se o druhou beta verzi forku Debianu bez systemd představeného v listopadu 2014 (zprávička). První beta verze byla vydána v dubnu letošního roku (zprávička). Jedna z posledních přednášek věnovaných Devuanu proběhla v listopadu na konferenci FSCONS 2016 (YouTube, pdf).

Ladislav Hagara | Komentářů: 0
včera 15:16 | Komunita

Na GOG.com začal zimní výprodej. Řada zlevněných her běží oficiálně také na Linuxu. Hru Neverwinter Nights Diamond lze dva dny získat zdarma. Hra dle stránek GOG.com na Linuxu neběží. Pomocí návodu ji lze ale rozběhnout také na Linuxu [Gaming On Linux].

Ladislav Hagara | Komentářů: 1
včera 13:14 | Bezpečnostní upozornění

Byla vydána verze 2.7.1 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Řešeno je několik bezpečnostních problémů. Aktualizován byl především Tor Browser na verzi 6.0.7. Tor Browser je postaven na Firefoxu ESR (Extended Support Release) a právě ve Firefoxu byla nalezena a opravena vážná bezpečnostní chyba MFSA 2016-92 (CVE-2016-9079, Firefox SVG Animation

… více »
Ladislav Hagara | Komentářů: 0
30.11. 19:19 | Nová verze

Příspěvek na blogu nadace Raspberry Pi je věnován bezpečnostním vylepšením v nejnovější verzi Raspbianu s desktopovým prostředím PIXEL. V oficiálních obrazech je nově zakázán SSH přístup. Ten lze samozřejmě povolit po zavedení Raspbianu pomocí nástroje raspi-config. Nemá-li uživatel k Raspberry Pi připojený terminál, může SSH přístup povolit vytvořením souboru ssh v adresáři /boot. Raspbian nově upozorňuje uživatele na bezpečnostní riziko, je-li SSH přístup povolen a uživatel pi nemá změněno výchozí heslo.

Ladislav Hagara | Komentářů: 42
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 755 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Jak zakcelerovat tento skript

vasek125 avatar 2.2.2007 22:49 vasek125 | skóre: 30 | Mladá Boleslav
Jak zakcelerovat tento skript
Přečteno: 112×
Tento skript se provádí 3 minuty. Jde o upravený log squidu access.log, kterej ještě není ani z poloviny naplněnej, což znaměná, že by doba provádění byla už neúnosná. Kámen úrazu je v cyklu:

SOURCE="/var/www/www-block/events.txt"
ciladresy=`cat /var/www-ssl/admin/access.log`

for x in `grep -v ^# $SOURCE | awk '{print $1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"$10"|"$11"|"$12"|"$13"|"$14"|"$15"|"$16"|"$17"|"$18"|"$19}'`; do

x=`echo $x | sed 's/|/ /g'`
x1=`echo $x | awk '{ print $1 }'`
x2=`echo $x | awk '{ print $2 }'`
x3=`echo $x | awk '{ print $3 }'`
x4=`echo $x | awk '{ print $4 }'`
x5=`echo $x | awk '{ print $5 }'`
x6=`echo $x | awk '{ print $6 }'`
x7=`echo $x | awk '{ print $7 }'`
x8=`echo $x | awk '{ print $8 }'`
x9=`echo $x | awk '{ print $9 }'`
x10=`echo $x | awk '{ print $10 }'`
x11=`echo $x | awk '{ print $11 }'`
x12=`echo $x | awk '{ print $12 }'`
x13=`echo $x | awk '{ print $13 }'`
x14=`echo $x | awk '{ print $14 }'`
x15=`echo $x | awk '{ print $15 }'`
x16=`echo $x | awk '{ print $16 }'`
x17=`echo $x | awk '{ print $17 }'`
x18=`echo $x | awk '{ print $18 }'`
x19=`echo $x | awk '{ print $19 }'`


ciladresykk=`echo "$ciladresy" | grep "$x1 $x2 $x3" | awk '{ print $4 }'` 


echo "$x1 $x2 $x3 $x4 $x5 $x6 $x7 $x8 $x9 $x10 $x11 $x12 $x13 $x14 $x15 $x16 $x17 $x18 $x19 $ciladresykk" >> /var/www-ssl/admin/squid/squidblok.html

done
vzor /var/www-ssl/admin/access.log
02/02/2007 11:55:37 192.168.1.180 http://www.sonnerie.net/js/xiti.js
02/02/2007 11:55:38 192.168.1.180 http://logi6.xiti.com/hit.xiti?
vzor /var/www/www-block/events.txt
02/02/2007 11:42:16           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
02/02/2007 11:55:38           192.168.1.180           Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
Celé řešení slouží k vypsání zablokovaných spojení a pomocí druhého logu se k těmto spojením hledají cílové adresy. Určitě by to šlo nějak urychlit. Nějaký nápad?

Odpovědi

Josef Kufner avatar 2.2.2007 23:17 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Napiš to celé v awk nebo perlu. Hezky jako jeden script. Případně to rozděl na pár částí, ale hlavně nepouštěj na každou ptákovinu několik nových procesů. Taky zbytečně neukládej data do proměnných, když je můžeš přímo číst ze souborů.

Udělat něco jako:
grep -v '^#' $SOURCE \
| while read ln
do
   arr=($ln)
   echo -n $ln
   grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
done >> /var/www-ssl/admin/squid/squidblok.html
ps: nezkoušel jsem to.
Hello world ! Segmentation fault (core dumped)
Josef Kufner avatar 2.2.2007 23:18 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Hm, koukám, že si trošku protiřečím :-D
Hello world ! Segmentation fault (core dumped)
vasek125 avatar 3.2.2007 00:49 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Supr, dík, skript proběhne už za 20 sekund, místo 2 minut.
3.2.2007 00:58 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Jestli správně chápu zadání, tak klíčem jsou vždy první tři položky oddělené mezerami a podle této trojice nalezené v jednom logu se hledá ekvivalent v druhém logu? Pokud ano, tak to jde napsat třeba takto:
#!/usr/bin/env python
def splitter(filename):
    for line in file(filename):
        line = line.strip()
        if not line: continue
        splitted = line.split(None, 3)
        yield tuple(splitted[:3]), splitted[3]

access = {}
access_splitter = splitter('access.log')
for k, v in access_splitter:
    access[k] = v

events_splitter = splitter('events.txt')
for k, v in events_splitter:
    try:
        url = access[k]
    except KeyError:
        url = ''
    print ' '.join(k), v, url
Dává to stejné výsledky jako ten skript v shellu,
02/02/2007 11:42:16 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) 
02/02/2007 11:55:38 192.168.1.180 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) http://logi6.xiti.com/hit.xiti?
tak je to doufám správně. Testoval jsem zpracování dvou logů, z nichž každý měl 100000 položek. Za tři sekundy to bylo hotovo.
vasek125 avatar 3.2.2007 01:27 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Vyzkouším. Pokud se to zpracuje tak rychle, tak je to bezva.
vasek125 avatar 3.2.2007 10:52 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Je to velmi rychlé. Ale má to jeden háček. K tomu prvnímu by se mělo dát přiřadit víc položek z toho logu access.log. Ne jen jedna, jak je to v tomhle skriptu.
3.2.2007 11:22 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
No, já tomu fakt totiž fakt nerozumím a ani moc nechápu, co ten log obsahuje :-) Ale to je teď jedno. Zkrátka když budu mít events.txt s tímto obsahem
02/02/2007 11:42:16           192.168.1.180   prohlizec1
02/02/2007 11:55:38           192.168.1.180   prohlizec2
a access.log s tímto
02/02/2007 11:55:37 192.168.1.180 url1
02/02/2007 11:55:38 192.168.1.180 url2
02/02/2007 11:55:38 192.168.1.180 url3
Tak má být výsledek tohle?
02/02/2007 11:42:16 192.168.1.180 prohlizec1 
02/02/2007 11:55:38 192.168.1.180 prohlizec2 url2 url3
Pokud ano, tak to lze vyřešit třeba takto:
#!/usr/bin/env python
def splitter(filename):
    for line in file(filename):
        line = line.strip()
        if not line: continue
        splitted = line.split(None, 3)
        yield tuple(splitted[:3]), splitted[3]

access = {}
access_splitter = splitter('access.log')
for k, v in access_splitter:
    try:
        access[k].append(v)
    except KeyError:
        access[k] = [v]

events_splitter = splitter('events.txt')
for k, v in events_splitter:
    try:
        urls = access[k]
    except KeyError:
        urls = []
    print ' '.join(k), v, ' '.join(urls)
Mohl bys udělat rychlostní test? Teda pokud je to vůbec správně ...
David Watzke avatar 3.2.2007 01:02 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Jen bych podotkl, že používat grep|awk je tzv. chujovina.
awk "/$x1 $x2 $x3/ { print $4 }"
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 01:25 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Při použití grepu je to o dost rychlejší než všechno mít v awk.
David Watzke avatar 3.2.2007 01:31 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Fakt? Tak je to rozbitý. Ještě něco, místo
ciladresy=`cat /var/www-ssl/admin/access.log`
bych dal
ciladresy=$(</var/www-ssl/admin/access.log)
a místo
for x in `grep -v ^# $SOURCE | awk [...]`; do
tohle
awk '!/^#/ [...]' $SOURCE | while read x; do
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
David Watzke avatar 3.2.2007 01:33 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Btw
root@amd64 ~ # time grep -v ALL /etc/hosts.deny | awk '{print$1}'
sshd:

real    0m2.667s
user    0m2.566s
sys     0m0.014s
root@amd64 ~ # time awk '!/ALL/ {print$1}' /etc/hosts.deny
sshd:

real    0m0.006s
user    0m0.004s
sys     0m0.002s
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 01:41 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Ten původní skript při použití grep s awk běžel 2 minuty, jen s awk něco přes 3 minuty. Možná při použití awk vadí víc položel $x1 ..
vasek125 avatar 3.2.2007 10:53 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
A jak bych měl pro awk nahradit tohle?:
grep "${arr[0]} ${arr[1]} ${arr[2]}" "$ciladresy" | awk '{ print $4 }'
Při použití awk mi to nefunguje vůbec. Nelíbí se mu ${arr[0]} ${arr[1]} ${arr[2]}. Při použití textu to funguje.
David Watzke avatar 3.2.2007 10:56 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
awk "/${arr[0]} ${arr[1]} ${arr[2]}/ { print $4 }" "$ciladresy"
Nešlo ti to patrně proto, žes zapomněl, že bash proměnný v apostrofech neexpanduje.
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 11:04 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
awk: line 1: syntax error at or near :
Při použití ' se skript provede, ale nefunguje asi kvůli těm chybějícím mezerám.
David Watzke avatar 3.2.2007 11:10 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Hmm, asi vadí mu to, co je v těch proměnných. Docházejí mi nápady :-/
kvůli těm chybějícím mezerám.
Huh?
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 11:24 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Trochu jsem testoval. Vadí mu
02/02/2007
v ty první proměnný, přičemž 02\/02\/2007 bere v pohodě. Teď jak ho přimět, aby to ignoroval či jak to rychle nahradit.
David Watzke avatar 3.2.2007 11:30 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Aha... tak teda třeba:
hm="${arr[0]} ${arr[1]} ${arr[2]}"
hm="${hm//\//\/}"
awk "/$hm/ {print $1}" něco
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
vasek125 avatar 3.2.2007 12:05 vasek125 | skóre: 30 | Mladá Boleslav
Rozbalit Rozbalit vše Re: Jak zakcelerovat tento skript
Teď to funguje, ale print vypíše celý řádek místo části.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.