abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 15:33 | Nová verze

    Open source platforma Home Assistant (Demo, GitHub, Wikipedie) pro monitorování a řízení inteligentní domácnosti byla vydána v nové verzi 2025.8.

    Ladislav Hagara | Komentářů: 3
    včera 14:22 | IT novinky

    Herní studio Hangar 13 vydalo novou Mafii. Mafia: Domovina je zasazena do krutého sicilského podsvětí na začátku 20. století. Na ProtonDB je zatím bez záznamu.

    Ladislav Hagara | Komentářů: 0
    včera 13:22 | IT novinky

    Operátor O2 má opět problémy. Jako omluvu za pondělní zhoršenou dostupnost služeb dal všem zákazníkům poukaz v hodnotě 300 Kč na nákup telefonu nebo příslušenství.

    Ladislav Hagara | Komentářů: 7
    včera 05:55 | IT novinky

    Společnost OpenAI představila GPT-5 (YouTube).

    Ladislav Hagara | Komentářů: 1
    včera 05:00 | Nová verze

    Byla vydána (𝕏) červencová aktualizace aneb nová verze 1.103 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a videi v poznámkách k vydání. Ve verzi 1.103 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 0
    7.8. 17:33 | IT novinky

    Americký prezident Donald Trump vyzval nového generálního ředitele firmy na výrobu čipů Intel, aby odstoupil. Prezident to zdůvodnil vazbami nového šéfa Lip-Bu Tana na čínské firmy.

    Ladislav Hagara | Komentářů: 8
    7.8. 16:55 | Nová verze

    Bylo vydáno Ubuntu 24.04.3 LTS, tj. třetí opravné vydání Ubuntu 24.04 LTS s kódovým názvem Noble Numbat. Přehled novinek a oprav na Discourse.

    Ladislav Hagara | Komentářů: 0
    7.8. 16:44 | Nová verze

    Byla vydána verze 1.89.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

    Ladislav Hagara | Komentářů: 0
    7.8. 12:22 | IT novinky

    Americká technologická společnost Apple uskuteční v USA další investice ve výši sta miliard dolarů (2,1 bilionu korun). Oznámil to ve středu šéf firmy Tim Cook při setkání v Bílém domě s americkým prezidentem Donaldem Trumpem. Trump zároveň oznámil záměr zavést stoprocentní clo na polovodiče z dovozu.

    Ladislav Hagara | Komentářů: 5
    7.8. 04:55 | Nová verze

    Zálohovací server Proxmox Backup Server byl vydán v nové stabilní verzi 4.0. Založen je na Debianu 13 Trixie.

    Ladislav Hagara | Komentářů: 0
    Kolik tabů máte standardně otevřeno ve web prohlížeči?
     (47%)
     (21%)
     (4%)
     (5%)
     (3%)
     (1%)
     (1%)
     (18%)
    Celkem 315 hlasů
     Komentářů: 23, poslední 4.8. 13:01
    Rozcestník

    Dotaz: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browseru

    19.8.2007 22:05 Dan Maslowski
    Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browseru
    Přečteno: 535×
    Ahoj,

    potýkám se s jedním nepříjemným problémem při stahování webových stránek. Narazil jsem na stránky, které se jinak zobrazí v prohlížeči a jinak když je stáhnu pomocí nějakého jiného nástroje - například pomocí wget nebo modulů v perlu. Asi je to nějaká ochrana proti robotům, protože pokud stahuji stránku ze shellu, objeví se ve zdrojáku třeba tady tohle:

    The server was unable to verify whether you are using legitimate browser to access this web site.

    Jak mám zajistit, aby se mi stáhl stejný zdroják jako když stahuju normálně přes browser?

    Díky...

    Odpovědi

    19.8.2007 22:11 Michal Kubeček | skóre: 72 | Luštěnice
    Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse

    V shellu to půjde opravdu těžko…

    Pokud netrváte na shellovém řešení, pak zkuste nastavit hlavičky User-Agent, Referer a možná i nějaké cookies.

    19.8.2007 23:05 Petr Holík
    Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
    Nejjednodussi postup se mi jevi tento:

    1) Stahnete si nastroj NetCat

    2) Nechte ho poslouchat na portu 80(nebo jinem volnem a pripojte se na nej prohlizcem (do adresy dejte http://vase.ip:port)

    3) Uvidite pozadavek tak, jak ho posila prohlizec. Ulozte ho do souboru a upravete cast GET a cast HOST tak, aby odpovidala tomu, co chcete stahnout

    4) Tento pozadavek opet prez NetCat poslete na ip serveru a odpoved ulozte do souboru

    5) Odstrante ze soubouru prvnich par radek(HTTP hlavicku) (tail nebo head ci sed ...)

    Tento postup bude fungovat za predpokladu, ze server se nepokousi nastavit cookie. Pokud by se o to snazil a tuto cookie kontroloval sahnul bych po Perlu(nebo Pythonu ci necem podobnem) - v bashi zbytecne slozite.

    bazil avatar 19.8.2007 23:32 bazil | skóre: 33 | blog: sluje | Miroslav
    Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
    to tu nikdo nikdy neviděl manuál k wgetu ??? wteg umí jak cookies, tak user agenta ... --load-cookies --user-agent=agent-string ...
    20.8.2007 11:47 Dan Maslowski
    Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
    Podařilo se, stačilo nastavit --load-cookies a --save-cookies. Díky

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.