Dotaz: Jak na ochranu webu?

[Michal]

Zdravím,

chtěl bych se zeptat jak lze chránit server před hromadným stažením dat (máme cca 200 tisíc artiklů)? Něco na způsob sorry.google.com, kdy po necelých tisíci dotazech server vyhodí hlášku sorry a ban na několik hodin, a to dokonce i když to zkusím přes proxy a pak ji změním a nejde to dál (nechápu, ale moc se mi to líbí ).

Ať studuju jak studuju nikde jsem nic podobného nenašel.

Díky za jakoukoliv radu.

Michal

Odpovědi

[Jendа]

Poznamenávej si IP (resp. spíš tak /48 subnety) návštěvníků a počty jejich požadavků a když se ti bude zdát, že je toho moc, tak je prostě uřízni. Řešil bych to asi na aplikační úrovni, tj. ne modulem do webserveru (pokud už tedy něco takového neexistuje).

[Filip Jirsák]

To by bylo nutné buď nastavit limity moc vysoko (celá ochrana by pak byla k ničemu), jinak odříznete velké sítě za proxy nebo NATem – vysoké školy, velké firmy, klienty mobilních operátorů…

Pokud to Google hlásí i při změně proxy serveru, je to řešené nejspíš přes cookies. To je ochrana spíš před neznalými uživateli – ale ochránit to před znalým uživatelem prakticky nejde.

[Ash]

Google spíš ignoruje to co jste napsal o odříznutých sítích za proxy či NAT :)

[Filip Jirsák]

Tu domněnku máte něčím podloženou?

[Ash]

Jen nepřímým pozorováním, občas mě ustřihne i když nic masivně nestahuji. Takže podle toho to asi nejsou ani cookies jak se domníváte vy, ani IP, ale něco jiného, co postihuje i nevinné uživatele.

[Sten]

Přes proxy to jde, musí být anonymní a musíte si smazat cookies

Jednoduše počítají počet přístupů podle IP adresy (buď přímo klienta nebo z X-Proxied-For) za určité časové období. Případně to spojují podle nějakých větších rozsahů (třeba pro IPv6).

Pokud bych vám chtěl vystahovat web, tak s tím nic nenaděláte (při 200 000 stránkách je to jedna stránka za 3 sekundy a za týden to mám stažené) Ta googlí ochrana není kvůli vystahování, ale ochrana proti DoS a DDoS útokům (limituje počet požadavků za časové období).

[Michal]

Právě že Google to řeší asi nějak jinak, nevím. Protože jsem to zkoušel wgetem s hlavičkou Mozilly, samozřejmě s vypnutými cookies a různými proxy. Což mě právě překvapilo, že i tak to stále nešlo. Evidentně proxy, ať už transparentní nebo anonymní, někde něco o daném klientovi asi zasílá, jinak si to nedovedu vysvětlit. Každopádně mi to pak nešlo ani z mé IP napřímo, takže... .

Ale četl jsem někde, že google to má udělané tak, že po xtém dotazu vyhodí captchu a pokud neodpovím, tak to zabanuje. Což mi přijde taky zajímavý nápad.

Zatím jsem zkusil nastavit fail2ban a omezení v iptables na jednu IP.

Michal

[Filip Jirsák]

Normální proxy server může dál posílat IP adresu nebo jinou identifikaci klienta. Ale anonymní proxy by to dělat neměla, od toho je anonymní (správně česky by tedy spíš mělo být anonymizující)… Hlavička User-Agent prý identifikuje klienta docela přesně, ale pochybuju, že Google tuhle metodu používá pro omezení přístupu, přeci jen by tam bylo příliš mnoho falešných reakcí. Každopádně pokud to chcete zkoumat, nemá smysl to hádat, prostě si tu komunikaci pomocí Tcpdumpu nebo Wiresharku zachyťte a prohlédněte.

[Sten]

Anonymní proxy nezasílá, kdo si stažení objednal, proto je anonymní. Na druhou stranu anonymní proxy už může vyžadovat captchu, protože ji mohly používat (a pokud to není vaše a s autorizací, tak velmi pravděpodobně používaly) nějací roboti.

Transparentní a „obyčejná“ proxy posílají hlavičku „X-Forwarded-For“, kde je IP adresa toho, kdo si stažení objednal; Google pak počítá jeden hit pro IP adresu z té hlavičky a další pro IP adresu té proxy.

Google to má udělané tak, že pokud máte příliš mnoho dotazů za určité časové období, vyhodí captchu a během toho časového období vám nedovolí další hledání, dokud na tu captchu neodpovíte (a že jste odpověděli se IMO uloží do cookies, takže to platí jenom vám a ne ostatním, co mají stejnou IP adresu).