fail2ban a apache

7.3.2015 18:26 | Přečteno: 1192× | poslední úprava: 7.3.2015 21:00

Na mojom webe www.oma.sk sa občasne vyzurujú nejaký crawleri. Trošku mi uniká dôvod prečo si taliani sťahujú webstránku po Slovensku a po slovensky, ale čo už. Ako sa brániť?

Skúšal som merať koľko ktorá IP zaberie času (trošku problém ukladať dáta medzi sessions ale APC pomohlo). Ale neriešilo to problém.

Momentálne sa snažím použiť fail2ban a blokovať tých čo využívajú veľa procesorového času. Potreboval som tri kroky: ukladať dĺžku spracovania requestu, zrátať za posledných 5 minút a blokovať.

Ukladanie dĺžky

zmena konfiguráku apache aby ukladal dĺžku čo trvalo spracovanie (teda najmä PHP a postgres). Niektoré stránky sú rýchlo (bo sú v cache), ale niektoré sú dosť pomalé.

LogFormat "%h - - %t %s %D %V%U" testovaci
CustomLog /var/log/httpd/test-oma.sk.log testovaci 

Rátanie celkovej dĺžky

do cronu daný shell skript (pričom číslo 212605775 je moja magická konštanta ktorá ešte neblokuje slušných robotov, ale blokuje tých zlých).

#!/bin/sh
export LC_ALL=en_GB.utf8
dd="%d/%b/%Y:%H:%M"
d0=`date +$dd`
d1=`date -d '1 minute ago' +$dd`
d2=`date -d '2 minute ago' +$dd`
d3=`date -d '3 minute ago' +$dd`
d4=`date -d '4 minute ago' +$dd`

da="$d0\|$d1\|$d2\|$d3\|$d4";
#echo $d
IFS="
";
d=`date --rfc-3339='seconds'`
#echo "$d :: 194.187.168.25" > /var/log/httpd/dos-oma.log

for i in `cat /var/log/httpd/test-oma.sk.log |grep -v '.ico\|.png\|.jpg\|.js' | grep "$da" | awk 'BEGIN { FS=OFS=SUBSEP=" "}{arr[$1]+=$7 }END {for (i in arr) print arr[i],i}' |sort -g|tail`; do
        l=`echo $i | sed 's/ .*//'`
        if [ `echo "$l > 212605775" |bc` -eq 1 ]; then
                echo $i | sed "s/.* /$d :: /" >> /var/log/httpd/dos-oma.log
        fi
done

Fail2ban konfig

Naj problém bol dať dátum/čas do logu, aby to fail2ban zvládal (viď date --rfc-3339='seconds' hore), nie je to moc dokumentované. Potom to už šlo. Filter filter.d/apache-dos.filter :

[Definition]
failregex = ^.* <HOST>$

a jail (popri ostatných typu ssh a pod):

[oma-dos]
enabled = true
filter  = apache-dos
port     = http,https
logpath  = /var/log/httpd/dos-oma.log
maxretry = 1
findtime = 60

asi by to išlo aj elegantnejšie, teším sa na komentáre.        

Komentáře

[Bystroushaak]

Na mojom webe www.oma.sk sa občasne vyzurujú nejaký crawleri. Trošku mi uniká dôvod prečo si taliani sťahujú webstránku po Slovensku a po slovensky, ale čo už. Ako sa brániť?

Spíš mi uniká důvod, proč se tomu bránit. Většina těhle crawlerů jsou vyhledávače a tímhle efektivně odřízneš ty italské.

[michal00]

lebo desiatky veľmi drahých requestov za sekundu?

rozumní roboti sú v ok, ale niektorí urobia 100x viac requestov ako googlebot/bingbot/... dokopy.

[Bystroushaak]

Tak pokud jsou ty requesty tak drahé, tak ano, to potom chápu. Ale spíš bych se asi zamýšlel, jak je zlevnit.

[azurIt]

Len 'maly detail': %D nie je procesorovy cas.

[michal00]

malo by to byť The time taken to serve the request, in microseconds., teda koľko času stránka trvala (vrátane PHP a SQL). asi to dobre reprezentuje zaťaženie servera.

[azurIt]

NIE JE to procesorovy cas a vobec to nereprezentuje zatazenie serveru :) urob si PHP skript, kde bude len sleep(1000) a pochopis, o com hovorim (a taketo 'nicnerobenie' nemusi byt len umelo vyvolane).