abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    20.11. 23:36 | Nová verze
    Student kyberbezpečnosti na SSPŠ vydal verzi 1.0.1 distribuce LuxOS, která stojí na Arch Linuxu a pod povrchem používá Xfce upravené do podoby macOS. … více »
    Luxopes | Komentářů: 10
    20.11. 21:02 | Zajímavý software
    Open source projekt BUI zpřístupňuje legendární, bleskurychlé a optimalizované uživatelské rozhraní 3D editoru Blender coby samostatnou GUI knihovnu pro jazyky Python, Rust, JavaScript a C/C++, případně pro knihovnu Dear ImGui. … více »
    👻 | Komentářů: 1
    20.11. 20:31 | Zajímavý software
    Vývoj je pomalý, ale desktopové prostředí MATE je stále živé. Podľa správy z OSNews.com tu máme nový správca okien pre MATE. Viac informácií nájdeš na GitHub stránke Polo od autora KeremSoke. Je to naozaj skvelá správa pre používateľov MATE a aj vybrané meno Polo podľa Marca Pola je cool.
    lukve | Komentářů: 1
    20.11. 08:57 | Komunita

    Skotský vývojář Mike Lothian pozastavil vývoj svého otevřeného ovladače Vino (nedostupné) pro dokovací stanice DisplayLink poté, co mu Synaptics v reakci na žádost o pomoc pohrozil žalobou kvůli údajnému porušování patentů. Firma nejprve předložila seznam 125 patentů bez specifikace, které konkrétně měl ovladač porušovat, a následně požadovala 25 tisíc dolarů za náklady na jejich přiřazení ke kódu s hrozbou, že se tato částka bude

    … více »
    👻 | Komentářů: 10
    19.11. 20:14 | Zajímavý software
    RunWisp je jedna Go binárka, ktorá spúšťa crony aj udržiava dlho bežiace procesy z jedného TOML súboru. Pri každom behu si uloží logy, exit code, trvanie, využitie CPU a RAM a všetko sa dá pozrieť vo webovom rozhraní alebo v TUI už počas behu. Vie poslať notifikácie na Slack, Discord, Telegram, na telefón atď. Licencia GPL-3.0, funguje na Linuxe, macOS aj WSL.
    Riki | Komentářů: 5
    19.11. 20:12 | Zajímavý software
    BenchUp (původně KetchUp) je open-source alternativa k proprietárnímu software SketchUp, zaměřená především na 3D návrh nábytku a práci se dřevem. Tento editor funguje v prohlížeči i jako desktopová aplikace pro Linux, Windows a macOS. Zdrojový kód projektu (převážně Rust) je dostupný na GitHubu, pod licencí MIT.
    👻 | Komentářů: 11
    19.11. 20:09 | Pozvánky
    Pražský MobileLinux Hackday je zpět, tentokrát už s devátým pokračováním! Už tento pátek 20. listopadu od 10:00 se opět sejdeme v Praze v SUSE. Přijďte si popovídat o Linuxu na telefonech, poslechnout si pár krátkých přednášek a hlavně si společně něco rozběhat, opravit nebo naprogramovat.… více »
    lkocman | Komentářů: 1
    19.11. 20:04 | Humor
    Po serii zero-day zranitelností vyšla nejfatálnější zranitelnost všech dob s CVSS 10.0. Autoři nálezu jí pojmenovali sleep2shell a týká se všech systémů.
    Max | Komentářů: 16
    8.11. 00:33 | Nová verze

    Byla vydána OpenIndiana 2026.10. Unixový operační systém OpenIndiana (Wikipedie) vychází z OpenSolarisu (Wikipedie).

    Ladislav Hagara | Komentářů: 23
    8.11. 00:22 | IT novinky

    Americký výrobce polovodičů onsemi (ON Semiconductor) zrušil plány na rozšíření výroby v rožnovském závodě v Česku za dvě miliardy dolarů (podle aktuálního kurzu zhruba 43,5 mld. Kč). Důvodem je vývoj na trhu.

    Ladislav Hagara | Komentářů: 76
    Které desktopové prostředí na Linuxu používáte?
     (8%)
     (7%)
     (4%)
     (21%)
     (30%)
     (9%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 3082 hlasů
     Komentářů: 36, poslední 11.11. 22:38
    Rozcestník

    Dotaz: Jak na ochranu webu?

    22.3.2011 15:35 Michal
    Jak na ochranu webu?
    Přečteno: 611×
    Zdravím,

    chtěl bych se zeptat jak lze chránit server před hromadným stažením dat (máme cca 200 tisíc artiklů)? Něco na způsob sorry.google.com, kdy po necelých tisíci dotazech server vyhodí hlášku sorry a ban na několik hodin, a to dokonce i když to zkusím přes proxy a pak ji změním a nejde to dál (nechápu, ale moc se mi to líbí ;-)).

    Ať studuju jak studuju nikde jsem nic podobného nenašel.

    Díky za jakoukoliv radu.

    Michal

    Odpovědi

    Jendа avatar 22.3.2011 15:44 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Poznamenávej si IP (resp. spíš tak /48 subnety) návštěvníků a počty jejich požadavků a když se ti bude zdát, že je toho moc, tak je prostě uřízni. Řešil bych to asi na aplikační úrovni, tj. ne modulem do webserveru (pokud už tedy něco takového neexistuje).
    22.3.2011 15:51 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    To by bylo nutné buď nastavit limity moc vysoko (celá ochrana by pak byla k ničemu), jinak odříznete velké sítě za proxy nebo NATem – vysoké školy, velké firmy, klienty mobilních operátorů…

    Pokud to Google hlásí i při změně proxy serveru, je to řešené nejspíš přes cookies. To je ochrana spíš před neznalými uživateli – ale ochránit to před znalým uživatelem prakticky nejde.
    23.3.2011 09:59 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Google spíš ignoruje to co jste napsal o odříznutých sítích za proxy či NAT :)
    23.3.2011 10:31 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Tu domněnku máte něčím podloženou?
    23.3.2011 10:44 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Jen nepřímým pozorováním, občas mě ustřihne i když nic masivně nestahuji. Takže podle toho to asi nejsou ani cookies jak se domníváte vy, ani IP, ale něco jiného, co postihuje i nevinné uživatele.
    22.3.2011 15:47 Sten
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Přes proxy to jde, musí být anonymní a musíte si smazat cookies ;-)

    Jednoduše počítají počet přístupů podle IP adresy (buď přímo klienta nebo z X-Proxied-For) za určité časové období. Případně to spojují podle nějakých větších rozsahů (třeba pro IPv6).

    Pokud bych vám chtěl vystahovat web, tak s tím nic nenaděláte (při 200 000 stránkách je to jedna stránka za 3 sekundy a za týden to mám stažené) :-) Ta googlí ochrana není kvůli vystahování, ale ochrana proti DoS a DDoS útokům (limituje počet požadavků za časové období).
    23.3.2011 09:28 Michal
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Právě že Google to řeší asi nějak jinak, nevím. Protože jsem to zkoušel wgetem s hlavičkou Mozilly, samozřejmě s vypnutými cookies a různými proxy. Což mě právě překvapilo, že i tak to stále nešlo. Evidentně proxy, ať už transparentní nebo anonymní, někde něco o daném klientovi asi zasílá, jinak si to nedovedu vysvětlit. Každopádně mi to pak nešlo ani z mé IP napřímo, takže... ;-).

    Ale četl jsem někde, že google to má udělané tak, že po xtém dotazu vyhodí captchu a pokud neodpovím, tak to zabanuje. Což mi přijde taky zajímavý nápad.

    Zatím jsem zkusil nastavit fail2ban a omezení v iptables na jednu IP.

    Michal
    23.3.2011 09:51 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Normální proxy server může dál posílat IP adresu nebo jinou identifikaci klienta. Ale anonymní proxy by to dělat neměla, od toho je anonymní (správně česky by tedy spíš mělo být anonymizující)… Hlavička User-Agent prý identifikuje klienta docela přesně, ale pochybuju, že Google tuhle metodu používá pro omezení přístupu, přeci jen by tam bylo příliš mnoho falešných reakcí. Každopádně pokud to chcete zkoumat, nemá smysl to hádat, prostě si tu komunikaci pomocí Tcpdumpu nebo Wiresharku zachyťte a prohlédněte.
    23.3.2011 12:31 Sten
    Rozbalit Rozbalit vše Re: Jak na ochranu webu?
    Anonymní proxy nezasílá, kdo si stažení objednal, proto je anonymní. Na druhou stranu anonymní proxy už může vyžadovat captchu, protože ji mohly používat (a pokud to není vaše a s autorizací, tak velmi pravděpodobně používaly) nějací roboti.

    Transparentní a „obyčejná“ proxy posílají hlavičku „X-Forwarded-For“, kde je IP adresa toho, kdo si stažení objednal; Google pak počítá jeden hit pro IP adresu z té hlavičky a další pro IP adresu té proxy.

    Google to má udělané tak, že pokud máte příliš mnoho dotazů za určité časové období, vyhodí captchu a během toho časového období vám nedovolí další hledání, dokud na tu captchu neodpovíte (a že jste odpověděli se IMO uloží do cookies, takže to platí jenom vám a ne ostatním, co mají stejnou IP adresu).

    Založit nové vlákno • Nahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.