abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 16:33 | IT novinky

    Společnost Framework Computer představila (YouTube) nový výkonnější Framework Laptop 16. Rozhodnou se lze například pro procesor Ryzen AI 9 HX 370 a grafickou kartu NVIDIA GeForce RTX 5070.

    Ladislav Hagara | Komentářů: 0
    dnes 14:22 | IT novinky

    Google oznamuje, že na „certifikovaných“ zařízeních s Androidech omezí instalaci aplikací (včetně „sideloadingu“) tak, že bude vyžadovat, aby aplikace byly podepsány centrálně registrovanými vývojáři s ověřenou identitou. Tato politika bude implementována během roku 2026 ve vybraných zemích (jihovýchodní Asie, Brazílie) a od roku 2027 celosvětově.

    Fluttershy, yay! | Komentářů: 2
    dnes 13:11 | Nová verze

    Byla vydána nová verze 21.1.0, tj. první stabilní verze z nové řady 21.1.x, překladačové infrastruktury LLVM (Wikipedie). Přehled novinek v poznámkách k vydání: LLVM, Clang, LLD, Extra Clang Tools a Libc++.

    Ladislav Hagara | Komentářů: 0
    dnes 05:11 | Komunita

    Alyssa Anne Rosenzweig v příspěvku na svém blogu oznámila, že opustila Asahi Linux a nastoupila do Intelu. Místo Apple M1 a M2 se bude věnovat architektuře Intel Xe-HPG.

    Ladislav Hagara | Komentářů: 47
    včera 12:55 | IT novinky

    EU chce (pořád) skenovat soukromé zprávy a fotografie. Návrh "Chat Control" by nařídil skenování všech soukromých digitálních komunikací, včetně šifrovaných zpráv a fotografií.

    Ladislav Hagara | Komentářů: 44
    včera 12:11 | Nová verze

    Byly publikovány fotografie a všechny videozáznamy z Python konference PyCon US 2025 proběhlé v květnu.

    Ladislav Hagara | Komentářů: 0
    včera 11:55 | IT novinky

    Společnost xAI a sociální síť X amerického miliardáře Elona Muska zažalovaly firmy Apple a OpenAI. Viní je z nezákonné konspirace s cílem potlačit konkurenci v oblasti umělé inteligence (AI).

    Ladislav Hagara | Komentářů: 3
    včera 05:44 | Nová verze

    Byla vydána nová verze 9.16 z Debianu vycházející linuxové distribuce DietPi pro (nejenom) jednodeskové počítače. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    včera 01:33 | IT novinky

    Americká vláda se po převzetí zhruba desetiprocentního podílu ve výrobci čipů Intel chystá na další investice do vybraných firem. Na sociální síti Truth Social to napsal prezident Donald Trump. Jeho ekonomický poradce Kevin Hassett v rozhovoru v televizi CNBC řekl, že nemusí jít pouze o firmy z technologického sektoru, ale i z jiných odvětví.

    Ladislav Hagara | Komentářů: 15
    25.8. 13:55 | Komunita

    V Amsterdamu probíhá Open Source Summit Europe. Organizace Linux Foundation představuje novinky. Pod svá křídla převzala open source dokumentovou databázi DocumentDB.

    Ladislav Hagara | Komentářů: 0
    Pro otevření více webových stránek ve webovém prohlížečí používám
     (78%)
     (9%)
     (3%)
     (4%)
     (5%)
     (1%)
    Celkem 94 hlasů
     Komentářů: 8, poslední včera 08:38
    Rozcestník

    fail2ban a apache

    7.3.2015 18:26 | Přečteno: 1129× | poslední úprava: 7.3.2015 21:00

    Na mojom webe www.oma.sk sa občasne vyzurujú nejaký crawleri. Trošku mi uniká dôvod prečo si taliani sťahujú webstránku po Slovensku a po slovensky, ale čo už. Ako sa brániť?

    Skúšal som merať koľko ktorá IP zaberie času (trošku problém ukladať dáta medzi sessions ale APC pomohlo). Ale neriešilo to problém.

    Momentálne sa snažím použiť fail2ban a blokovať tých čo využívajú veľa procesorového času. Potreboval som tri kroky: ukladať dĺžku spracovania requestu, zrátať za posledných 5 minút a blokovať.

    Ukladanie dĺžky

    zmena konfiguráku apache aby ukladal dĺžku čo trvalo spracovanie (teda najmä PHP a postgres). Niektoré stránky sú rýchlo (bo sú v cache), ale niektoré sú dosť pomalé.
    LogFormat "%h - - %t %s %D %V%U" testovaci
    CustomLog /var/log/httpd/test-oma.sk.log testovaci 
    
    Rátanie celkovej dĺžky

    do cronu daný shell skript (pričom číslo 212605775 je moja magická konštanta ktorá ešte neblokuje slušných robotov, ale blokuje tých zlých).
    #!/bin/sh
    export LC_ALL=en_GB.utf8
    dd="%d/%b/%Y:%H:%M"
    d0=`date +$dd`
    d1=`date -d '1 minute ago' +$dd`
    d2=`date -d '2 minute ago' +$dd`
    d3=`date -d '3 minute ago' +$dd`
    d4=`date -d '4 minute ago' +$dd`
    
    da="$d0\|$d1\|$d2\|$d3\|$d4";
    #echo $d
    IFS="
    ";
    d=`date --rfc-3339='seconds'`
    #echo "$d :: 194.187.168.25" > /var/log/httpd/dos-oma.log
    
    for i in `cat /var/log/httpd/test-oma.sk.log |grep -v '.ico\|.png\|.jpg\|.js' | grep "$da" | awk 'BEGIN { FS=OFS=SUBSEP=" "}{arr[$1]+=$7 }END {for (i in arr) print arr[i],i}' |sort -g|tail`; do
            l=`echo $i | sed 's/ .*//'`
            if [ `echo "$l > 212605775" |bc` -eq 1 ]; then
                    echo $i | sed "s/.* /$d :: /" >> /var/log/httpd/dos-oma.log
            fi
    done
    
    Fail2ban konfig

    Naj problém bol dať dátum/čas do logu, aby to fail2ban zvládal (viď date --rfc-3339='seconds' hore), nie je to moc dokumentované. Potom to už šlo. Filter filter.d/apache-dos.filter :
    [Definition]
    failregex = ^.* <HOST>$
    
    a jail (popri ostatných typu ssh a pod):
    [oma-dos]
    enabled = true
    filter  = apache-dos
    port     = http,https
    logpath  = /var/log/httpd/dos-oma.log
    maxretry = 1
    findtime = 60
    
    asi by to išlo aj elegantnejšie, teším sa na komentáre.        

    Hodnocení: 67 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    Bystroushaak avatar 7.3.2015 22:30 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
    Rozbalit Rozbalit vše Re: fail2ban a apache
    Na mojom webe www.oma.sk sa občasne vyzurujú nejaký crawleri. Trošku mi uniká dôvod prečo si taliani sťahujú webstránku po Slovensku a po slovensky, ale čo už. Ako sa brániť?
    Spíš mi uniká důvod, proč se tomu bránit. Většina těhle crawlerů jsou vyhledávače a tímhle efektivně odřízneš ty italské.
    7.3.2015 22:55 michal00 | skóre: 14 | blog: OpenStreetMap
    Rozbalit Rozbalit vše Re: fail2ban a apache
    lebo desiatky veľmi drahých requestov za sekundu?

    rozumní roboti sú v ok, ale niektorí urobia 100x viac requestov ako googlebot/bingbot/... dokopy.
    Bystroushaak avatar 7.3.2015 23:15 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
    Rozbalit Rozbalit vše Re: fail2ban a apache
    Tak pokud jsou ty requesty tak drahé, tak ano, to potom chápu. Ale spíš bych se asi zamýšlel, jak je zlevnit.
    8.3.2015 13:22 azurIt | skóre: 34 | blog: zatial_bez_mena
    Rozbalit Rozbalit vše Re: fail2ban a apache
    Len 'maly detail': %D nie je procesorovy cas.
    8.3.2015 21:59 michal00 | skóre: 14 | blog: OpenStreetMap
    Rozbalit Rozbalit vše Re: fail2ban a apache
    malo by to byť The time taken to serve the request, in microseconds., teda koľko času stránka trvala (vrátane PHP a SQL). asi to dobre reprezentuje zaťaženie servera.
    9.3.2015 15:53 azurIt | skóre: 34 | blog: zatial_bez_mena
    Rozbalit Rozbalit vše Re: fail2ban a apache
    NIE JE to procesorovy cas a vobec to nereprezentuje zatazenie serveru :) urob si PHP skript, kde bude len sleep(1000) a pochopis, o com hovorim (a taketo 'nicnerobenie' nemusi byt len umelo vyvolane).

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.