abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 23:55 | Humor

    V Coloradu unikla hesla k volebním počítačům. Více než 2 měsíce byla tabulka se stovkami hesel do BIOSu volně na webových stránkách. Dle úřadu je potřeba ještě druhé heslo, takže se o žádnou bezprostřední bezpečnostní hrozbu pro volby nejedná [Ars Technica].

    Ladislav Hagara | Komentářů: 0
    včera 18:33 | IT novinky Ladislav Hagara | Komentářů: 3
    31.10. 22:44 | IT novinky

    Apple představil nový MacBook Pro s čipy M4, M4 Pro a M4 Max.

    Ladislav Hagara | Komentářů: 41
    31.10. 22:00 | Zajímavý software

    Na GOG.com běží Halloween Sale 2024. Při té příležitosti lze získat zdarma počítačovou hru Return of the Phantom.

    Ladislav Hagara | Komentářů: 0
    31.10. 20:22 | IT novinky

    Společnost OpenAI spustila internetový vyhledávač ChatGPT search.

    Ladislav Hagara | Komentářů: 1
    31.10. 14:33 | Pozvánky

    Konference OpenAlt 2024 proběhne již tento víkend 2. a 3. listopadu v prostorách FIT VUT v Brně. Začíná ale už v pátek na warm-up party ve Studentském klubu u Kachničky v 17:00. Pokud jste ještě areál FITu nenavštívili, k dispozici jsou pokyny k orientaci. Na programu je 54 přednášek a workshopů. Témata jsou od silně technických témat jako je třeba GCC nebo PostgreSQL po méně technické témata jako eGovernment, nebo třeba detailní analýzu … více »

    Ladislav Hagara | Komentářů: 5
    31.10. 13:23 | Nová verze

    Byla vydána nová verze 6.9 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Přehled změn v příslušném seznamu. Tor Browser byl povýšen na verzi 14.0.1. Tor client na verzi 0.4.8.13. Thunderbird na verzi 115.16.0.

    Ladislav Hagara | Komentářů: 2
    31.10. 12:33 | Komunita

    Vývojáři free a open source synchronizačního nástroje (a p2p náhrady Dropboxu) Syncthing oznámili, že z důvodu odporu ze strany Google Play ukončují podporu OS Android. Bohužel v rámci toho zmizí i vydání Syncthing na F-Droid, který má slabší uživatelskou základnu. Syncthing je na Androidu implementován formou wrapper aplikace, která spustí Syncthing démon, vyžádá potřebná oprávnění a zpřístupní webové rozhraní démona. Ve srovnání se

    … více »
    Harvie.CZ | Komentářů: 5
    31.10. 01:11 | Nová verze

    V červnu 2022 bylo oznámeno, že z K-9 Mailu se stane Thunderbird pro Android. Trvalo to poněkud déle, než vývojáři předpokládali, ale včera byl první stabilní Thunderbird pro Android 8.0 vydán.

    Ladislav Hagara | Komentářů: 0
    30.10. 21:33 | Komunita

    Projekt microDMG Racer na Kickstarteru nevyšel, tak se autor rozhodl uvolnit na ESP32 postavené autíčko i ovladač jako open source.

    Ladislav Hagara | Komentářů: 6
    Rozcestník

    Dotaz: Jak na ochranu webu?

    22.3.2011 15:35 Michal
    Jak na ochranu webu?
    Přečteno: 293×
    Zdravím,

    chtěl bych se zeptat jak lze chránit server před hromadným stažením dat (máme cca 200 tisíc artiklů)? Něco na způsob sorry.google.com, kdy po necelých tisíci dotazech server vyhodí hlášku sorry a ban na několik hodin, a to dokonce i když to zkusím přes proxy a pak ji změním a nejde to dál (nechápu, ale moc se mi to líbí ;-)).

    Ať studuju jak studuju nikde jsem nic podobného nenašel.

    Díky za jakoukoliv radu.

    Michal

    Odpovědi

    Jendа avatar 22.3.2011 15:44 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Poznamenávej si IP (resp. spíš tak /48 subnety) návštěvníků a počty jejich požadavků a když se ti bude zdát, že je toho moc, tak je prostě uřízni. Řešil bych to asi na aplikační úrovni, tj. ne modulem do webserveru (pokud už tedy něco takového neexistuje).
    22.3.2011 15:51 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    To by bylo nutné buď nastavit limity moc vysoko (celá ochrana by pak byla k ničemu), jinak odříznete velké sítě za proxy nebo NATem – vysoké školy, velké firmy, klienty mobilních operátorů…

    Pokud to Google hlásí i při změně proxy serveru, je to řešené nejspíš přes cookies. To je ochrana spíš před neznalými uživateli – ale ochránit to před znalým uživatelem prakticky nejde.
    23.3.2011 09:59 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Google spíš ignoruje to co jste napsal o odříznutých sítích za proxy či NAT :)
    23.3.2011 10:31 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Tu domněnku máte něčím podloženou?
    23.3.2011 10:44 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Jen nepřímým pozorováním, občas mě ustřihne i když nic masivně nestahuji. Takže podle toho to asi nejsou ani cookies jak se domníváte vy, ani IP, ale něco jiného, co postihuje i nevinné uživatele.
    22.3.2011 15:47 Sten
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Přes proxy to jde, musí být anonymní a musíte si smazat cookies ;-)

    Jednoduše počítají počet přístupů podle IP adresy (buď přímo klienta nebo z X-Proxied-For) za určité časové období. Případně to spojují podle nějakých větších rozsahů (třeba pro IPv6).

    Pokud bych vám chtěl vystahovat web, tak s tím nic nenaděláte (při 200 000 stránkách je to jedna stránka za 3 sekundy a za týden to mám stažené) :-) Ta googlí ochrana není kvůli vystahování, ale ochrana proti DoS a DDoS útokům (limituje počet požadavků za časové období).
    23.3.2011 09:28 Michal
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Právě že Google to řeší asi nějak jinak, nevím. Protože jsem to zkoušel wgetem s hlavičkou Mozilly, samozřejmě s vypnutými cookies a různými proxy. Což mě právě překvapilo, že i tak to stále nešlo. Evidentně proxy, ať už transparentní nebo anonymní, někde něco o daném klientovi asi zasílá, jinak si to nedovedu vysvětlit. Každopádně mi to pak nešlo ani z mé IP napřímo, takže... ;-).

    Ale četl jsem někde, že google to má udělané tak, že po xtém dotazu vyhodí captchu a pokud neodpovím, tak to zabanuje. Což mi přijde taky zajímavý nápad.

    Zatím jsem zkusil nastavit fail2ban a omezení v iptables na jednu IP.

    Michal
    23.3.2011 09:51 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Normální proxy server může dál posílat IP adresu nebo jinou identifikaci klienta. Ale anonymní proxy by to dělat neměla, od toho je anonymní (správně česky by tedy spíš mělo být anonymizující)… Hlavička User-Agent prý identifikuje klienta docela přesně, ale pochybuju, že Google tuhle metodu používá pro omezení přístupu, přeci jen by tam bylo příliš mnoho falešných reakcí. Každopádně pokud to chcete zkoumat, nemá smysl to hádat, prostě si tu komunikaci pomocí Tcpdumpu nebo Wiresharku zachyťte a prohlédněte.
    23.3.2011 12:31 Sten
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Anonymní proxy nezasílá, kdo si stažení objednal, proto je anonymní. Na druhou stranu anonymní proxy už může vyžadovat captchu, protože ji mohly používat (a pokud to není vaše a s autorizací, tak velmi pravděpodobně používaly) nějací roboti.

    Transparentní a „obyčejná“ proxy posílají hlavičku „X-Forwarded-For“, kde je IP adresa toho, kdo si stažení objednal; Google pak počítá jeden hit pro IP adresu z té hlavičky a další pro IP adresu té proxy.

    Google to má udělané tak, že pokud máte příliš mnoho dotazů za určité časové období, vyhodí captchu a během toho časového období vám nedovolí další hledání, dokud na tu captchu neodpovíte (a že jste odpověděli se IMO uloží do cookies, takže to platí jenom vám a ne ostatním, co mají stejnou IP adresu).

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.