abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    včera 15:55 | Nová verze

    Byl vydán Mozilla Firefox 118.0. Přehled novinek v poznámkách k vydání, poznámkách k vydání pro firmy a na stránce věnované vývojářům. Vypíchnout je nutno automatický lokální strojový překlad webových stránek. Řešeny jsou rovněž bezpečnostní chyby. Nový Firefox 118 je již k dispozici také na Flathubu a Snapcraftu.

    Ladislav Hagara | Komentářů: 1
    včera 12:55 | Nová verze

    Byla vydána nová major verze 15.0.0 softwaru OCRmyPDF pro přidávání textové vrstvy k naskenovaným PDF dokumentům (PDF/A). Přehled novinek v poznámkách k vydání. OCRmyPDF využívá pro optické rozpoznávání znaků (OCR) engine Tesseract.

    Ladislav Hagara | Komentářů: 5
    včera 12:22 | Zajímavý software

    Karel Matějka zveřejnil druhé demo své chystané hry Bzzzt. Kromě verze pro Windows a macOS je dostupná i verze pro Linux. Plná verze hry má vyjít zanedlouho.

    Ondřej J | Komentářů: 3
    25.9. 20:33 | IT novinky

    Noví Bulánci byli oficiálně vydáni. V roce 2021 bylo na Startovači na podporu vývoje této hry vybráno 7,3 miliónů Kč. Hra je zatím určena jenom pro Windows, díky Protonu ale běží také na Linuxu.

    Ladislav Hagara | Komentářů: 8
    25.9. 14:55 | IT novinky

    ChatGPT může vidět, slyšet a mluvit.

    Ladislav Hagara | Komentářů: 4
    25.9. 14:33 | Zajímavý software

    Upscaler je open source nástroj pro zvýšení rozlišení a vylepšení obrázků pomocí AI. Vývoj probíhá na GitLabu. Instalovat lze také z Flathubu. Stejně jako Upscayl je Upscaler postaven nad Real-ESRGAN.

    Ladislav Hagara | Komentářů: 1
    25.9. 12:11 | Nová verze

    GNUnet (Wikipedie) byl vydán v nové major verzi 0.20.0. Jedná se o framework pro decentralizované peer-to-peer síťování, na kterém je postavena řada aplikací.

    Ladislav Hagara | Komentářů: 0
    25.9. 11:55 | Komunita

    V Dublinu o víkendu proběhla dvanáctá iterace multimediální konference Video Dev Days, kterou pravidelně pořádá nezisková organizace VideoLAN. Záznamy přednášek z prvního a druhého dne jsou dostupné na YouTube.

    elenril | Komentářů: 0
    24.9. 20:44 | Nová verze

    LibrePCB, tj. svobodný multiplatformní softwarový nástroj pro návrh desek plošných spojů (PCB), dospěl po pěti letech vývoje do verze 1.0.0. Přehled novinek v příspěvku na blogu a v aktualizované dokumentaci. Zdrojové kódy jsou k dispozici na GitHubu pod licencí GPLv3.

    Ladislav Hagara | Komentářů: 0
    23.9. 16:55 | IT novinky

    Facebook má nové logo. Poznáte rozdíl?

    Ladislav Hagara | Komentářů: 8
    Knihy s linuxovou tematikou
     (19%)
     (15%)
     (51%)
     (27%)
    Celkem 277 hlasů
     Komentářů: 11, poslední 17.9. 19:19
    Rozcestník

    Dotaz: Jak na ochranu webu?

    22.3.2011 15:35 Michal
    Jak na ochranu webu?
    Přečteno: 272×
    Zdravím,

    chtěl bych se zeptat jak lze chránit server před hromadným stažením dat (máme cca 200 tisíc artiklů)? Něco na způsob sorry.google.com, kdy po necelých tisíci dotazech server vyhodí hlášku sorry a ban na několik hodin, a to dokonce i když to zkusím přes proxy a pak ji změním a nejde to dál (nechápu, ale moc se mi to líbí ;-)).

    Ať studuju jak studuju nikde jsem nic podobného nenašel.

    Díky za jakoukoliv radu.

    Michal

    Odpovědi

    Jendа avatar 22.3.2011 15:44 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Poznamenávej si IP (resp. spíš tak /48 subnety) návštěvníků a počty jejich požadavků a když se ti bude zdát, že je toho moc, tak je prostě uřízni. Řešil bych to asi na aplikační úrovni, tj. ne modulem do webserveru (pokud už tedy něco takového neexistuje).
    22.3.2011 15:51 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    To by bylo nutné buď nastavit limity moc vysoko (celá ochrana by pak byla k ničemu), jinak odříznete velké sítě za proxy nebo NATem – vysoké školy, velké firmy, klienty mobilních operátorů…

    Pokud to Google hlásí i při změně proxy serveru, je to řešené nejspíš přes cookies. To je ochrana spíš před neznalými uživateli – ale ochránit to před znalým uživatelem prakticky nejde.
    23.3.2011 09:59 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Google spíš ignoruje to co jste napsal o odříznutých sítích za proxy či NAT :)
    23.3.2011 10:31 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Tu domněnku máte něčím podloženou?
    23.3.2011 10:44 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Jen nepřímým pozorováním, občas mě ustřihne i když nic masivně nestahuji. Takže podle toho to asi nejsou ani cookies jak se domníváte vy, ani IP, ale něco jiného, co postihuje i nevinné uživatele.
    22.3.2011 15:47 Sten
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Přes proxy to jde, musí být anonymní a musíte si smazat cookies ;-)

    Jednoduše počítají počet přístupů podle IP adresy (buď přímo klienta nebo z X-Proxied-For) za určité časové období. Případně to spojují podle nějakých větších rozsahů (třeba pro IPv6).

    Pokud bych vám chtěl vystahovat web, tak s tím nic nenaděláte (při 200 000 stránkách je to jedna stránka za 3 sekundy a za týden to mám stažené) :-) Ta googlí ochrana není kvůli vystahování, ale ochrana proti DoS a DDoS útokům (limituje počet požadavků za časové období).
    23.3.2011 09:28 Michal
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Právě že Google to řeší asi nějak jinak, nevím. Protože jsem to zkoušel wgetem s hlavičkou Mozilly, samozřejmě s vypnutými cookies a různými proxy. Což mě právě překvapilo, že i tak to stále nešlo. Evidentně proxy, ať už transparentní nebo anonymní, někde něco o daném klientovi asi zasílá, jinak si to nedovedu vysvětlit. Každopádně mi to pak nešlo ani z mé IP napřímo, takže... ;-).

    Ale četl jsem někde, že google to má udělané tak, že po xtém dotazu vyhodí captchu a pokud neodpovím, tak to zabanuje. Což mi přijde taky zajímavý nápad.

    Zatím jsem zkusil nastavit fail2ban a omezení v iptables na jednu IP.

    Michal
    23.3.2011 09:51 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Normální proxy server může dál posílat IP adresu nebo jinou identifikaci klienta. Ale anonymní proxy by to dělat neměla, od toho je anonymní (správně česky by tedy spíš mělo být anonymizující)… Hlavička User-Agent prý identifikuje klienta docela přesně, ale pochybuju, že Google tuhle metodu používá pro omezení přístupu, přeci jen by tam bylo příliš mnoho falešných reakcí. Každopádně pokud to chcete zkoumat, nemá smysl to hádat, prostě si tu komunikaci pomocí Tcpdumpu nebo Wiresharku zachyťte a prohlédněte.
    23.3.2011 12:31 Sten
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Anonymní proxy nezasílá, kdo si stažení objednal, proto je anonymní. Na druhou stranu anonymní proxy už může vyžadovat captchu, protože ji mohly používat (a pokud to není vaše a s autorizací, tak velmi pravděpodobně používaly) nějací roboti.

    Transparentní a „obyčejná“ proxy posílají hlavičku „X-Forwarded-For“, kde je IP adresa toho, kdo si stažení objednal; Google pak počítá jeden hit pro IP adresu z té hlavičky a další pro IP adresu té proxy.

    Google to má udělané tak, že pokud máte příliš mnoho dotazů za určité časové období, vyhodí captchu a během toho časového období vám nedovolí další hledání, dokud na tu captchu neodpovíte (a že jste odpověděli se IMO uloží do cookies, takže to platí jenom vám a ne ostatním, co mají stejnou IP adresu).

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.