abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 17:55 | Komunita

V Berlíně probíhá do neděle linuxová konference All Systems Go! 2019. Na programu je řada zajímavých přednášek. Sledovat je lze online. Videozáznamy jsou k dispozici jak na media.ccc.de. Dění lze sledovat na Twitteru.

Ladislav Hagara | Komentářů: 0
včera 15:11 | Nová verze

Byla vydána nová stabilní verze 2.8 (2.8.1664.35) webového prohlížeče Vivaldi (Wikipedie). Přehled novinek v příspěvku na blogu. Z novinek vývojáři zdůrazňují synchronizaci s Vivaldi pro Android. Nejnovější Vivaldi je postaven na Chromiu 77.0.3865.78.

Ladislav Hagara | Komentářů: 7
19.9. 21:11 | Nová verze

Po půl roce vývoje od vydání verze 8.0.0 byla vydána verze 9.0.0 překladačové infrastruktury LLVM (Wikipedie). Přehled novinek v poznámkách k vydání: LLVM, Clang, Extra Clang Tools, LLD a Libc++. Vývojáři zdůrazňují podporu "asm goto", díky které lze pomocí Clangu přeložit například Linux pro x86_64 (CONFIG_JUMP_LABEL=y).

Ladislav Hagara | Komentářů: 8
19.9. 14:00 | Nová verze

Bylo vydáno Eclipse IDE 2019-09 aneb Eclipse 4.13. Představení novinek na YouTube. Vydána byla také nová verze 7 online IDE Eclipse Che.

Ladislav Hagara | Komentářů: 0
19.9. 11:11 | Nová verze

Byla vydána verze 24.0 svobodného softwaru OBS Studio (Open Broadcaster Software, Wikipedie) určeného pro streamování a nahrávání obrazovky počítače. Přehled novinek na GitHubu nebo pomocí krátkých videí na Twitteru.

Ladislav Hagara | Komentářů: 3
19.9. 11:00 | Komunita

Microsoft představil a pod licencí SIL Open Font License (OFL) na GitHubu zveřejnil font Cascadia Code. Font je určen především pro zobrazování textu v emulátorech terminálu a vývojových prostředích (Přehled fontů s pevnou šířkou).

Ladislav Hagara | Komentářů: 19
18.9. 21:11 | Zajímavý software

Souborový systém exFAT se běžně používá na paměťových médiích jako karty SDXC, ale z licenčních důvodů jej nebylo možné začlenit do Linuxu, ačkoliv v roce 2013 unikl ovladač od Samsungu, jak shrnuje článek na Linux Weekly News. Park Ju Hyung nedávno vzal novější verzi ovladače od Samsungu a založil na ní vlastní projekt exfat-linux, který je k dispozici uživatelům.

Fluttershy, yay! | Komentářů: 11
18.9. 05:55 | Pozvánky

Dnes a zítra pořádá Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) ve spolupráci se studentským portálem Security Outlines konferenci CyberCon Brno 2019. Sledovat ji lze také online.

Ladislav Hagara | Komentářů: 0
18.9. 04:44 | Nová verze

Byla vydána Java 13 / JDK 13. Nových vlastností (JEP - JDK Enhancement Proposal) je 5. Nová Java / JDK vychází každých 6 měsíců.

Ladislav Hagara | Komentářů: 2
18.9. 03:33 | Komunita

Mozilla.cz informuje (en), že Mozilla postupně zrychlí pravidelné vydávaní nových verzí Firefoxu na 4 týdny. Aktuálně jsou vydávány nové verze Firefoxu každých 6 až 8 týdnů.

Ladislav Hagara | Komentářů: 13
Kdy jste naposledy viděli počítač s připojeným běžícím CRT monitorem?
 (20%)
 (4%)
 (10%)
 (38%)
 (27%)
 (2%)
Celkem 188 hlasů
 Komentářů: 20, poslední včera 13:17
Rozcestník

fail2ban a apache

7.3.2015 18:26 | Přečteno: 952× | poslední úprava: 7.3.2015 21:00

Na mojom webe www.oma.sk sa občasne vyzurujú nejaký crawleri. Trošku mi uniká dôvod prečo si taliani sťahujú webstránku po Slovensku a po slovensky, ale čo už. Ako sa brániť?

Skúšal som merať koľko ktorá IP zaberie času (trošku problém ukladať dáta medzi sessions ale APC pomohlo). Ale neriešilo to problém.

Momentálne sa snažím použiť fail2ban a blokovať tých čo využívajú veľa procesorového času. Potreboval som tri kroky: ukladať dĺžku spracovania requestu, zrátať za posledných 5 minút a blokovať.

Ukladanie dĺžky

zmena konfiguráku apache aby ukladal dĺžku čo trvalo spracovanie (teda najmä PHP a postgres). Niektoré stránky sú rýchlo (bo sú v cache), ale niektoré sú dosť pomalé.
LogFormat "%h - - %t %s %D %V%U" testovaci
CustomLog /var/log/httpd/test-oma.sk.log testovaci 
Rátanie celkovej dĺžky

do cronu daný shell skript (pričom číslo 212605775 je moja magická konštanta ktorá ešte neblokuje slušných robotov, ale blokuje tých zlých).
#!/bin/sh
export LC_ALL=en_GB.utf8
dd="%d/%b/%Y:%H:%M"
d0=`date +$dd`
d1=`date -d '1 minute ago' +$dd`
d2=`date -d '2 minute ago' +$dd`
d3=`date -d '3 minute ago' +$dd`
d4=`date -d '4 minute ago' +$dd`

da="$d0\|$d1\|$d2\|$d3\|$d4";
#echo $d
IFS="
";
d=`date --rfc-3339='seconds'`
#echo "$d :: 194.187.168.25" > /var/log/httpd/dos-oma.log

for i in `cat /var/log/httpd/test-oma.sk.log |grep -v '.ico\|.png\|.jpg\|.js' | grep "$da" | awk 'BEGIN { FS=OFS=SUBSEP=" "}{arr[$1]+=$7 }END {for (i in arr) print arr[i],i}' |sort -g|tail`; do
        l=`echo $i | sed 's/ .*//'`
        if [ `echo "$l > 212605775" |bc` -eq 1 ]; then
                echo $i | sed "s/.* /$d :: /" >> /var/log/httpd/dos-oma.log
        fi
done
Fail2ban konfig

Naj problém bol dať dátum/čas do logu, aby to fail2ban zvládal (viď date --rfc-3339='seconds' hore), nie je to moc dokumentované. Potom to už šlo. Filter filter.d/apache-dos.filter :
[Definition]
failregex = ^.* <HOST>$
a jail (popri ostatných typu ssh a pod):
[oma-dos]
enabled = true
filter  = apache-dos
port     = http,https
logpath  = /var/log/httpd/dos-oma.log
maxretry = 1
findtime = 60
asi by to išlo aj elegantnejšie, teším sa na komentáre.        

Hodnocení: 67 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

Bystroushaak avatar 7.3.2015 22:30 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: fail2ban a apache
Na mojom webe www.oma.sk sa občasne vyzurujú nejaký crawleri. Trošku mi uniká dôvod prečo si taliani sťahujú webstránku po Slovensku a po slovensky, ale čo už. Ako sa brániť?
Spíš mi uniká důvod, proč se tomu bránit. Většina těhle crawlerů jsou vyhledávače a tímhle efektivně odřízneš ty italské.
7.3.2015 22:55 michal00 | skóre: 14 | blog: OpenStreetMap
Rozbalit Rozbalit vše Re: fail2ban a apache
lebo desiatky veľmi drahých requestov za sekundu?

rozumní roboti sú v ok, ale niektorí urobia 100x viac requestov ako googlebot/bingbot/... dokopy.
Bystroushaak avatar 7.3.2015 23:15 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: fail2ban a apache
Tak pokud jsou ty requesty tak drahé, tak ano, to potom chápu. Ale spíš bych se asi zamýšlel, jak je zlevnit.
8.3.2015 13:22 azurIt | skóre: 34 | blog: zatial_bez_mena
Rozbalit Rozbalit vše Re: fail2ban a apache
Len 'maly detail': %D nie je procesorovy cas.
8.3.2015 21:59 michal00 | skóre: 14 | blog: OpenStreetMap
Rozbalit Rozbalit vše Re: fail2ban a apache
malo by to byť The time taken to serve the request, in microseconds., teda koľko času stránka trvala (vrátane PHP a SQL). asi to dobre reprezentuje zaťaženie servera.
9.3.2015 15:53 azurIt | skóre: 34 | blog: zatial_bez_mena
Rozbalit Rozbalit vše Re: fail2ban a apache
NIE JE to procesorovy cas a vobec to nereprezentuje zatazenie serveru :) urob si PHP skript, kde bude len sleep(1000) a pochopis, o com hovorim (a taketo 'nicnerobenie' nemusi byt len umelo vyvolane).

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.