abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 14:22 | IT novinky

    VASA-1, výzkumný projekt Microsoftu. Na vstupu stačí jediná fotka a zvukový záznam. Na výstupu je dokonalá mluvící nebo zpívající hlava. Prý si technologii nechá jenom pro sebe. Žádné demo, API nebo placená služba. Zatím.

    Ladislav Hagara | Komentářů: 0
    dnes 04:44 | Nová verze

    Nová čísla časopisů od nakladatelství Raspberry Pi: MagPi 140 (pdf) a HackSpace 77 (pdf).

    Ladislav Hagara | Komentářů: 0
    dnes 01:00 | Nová verze

    ESPHome, tj. open source systém umožňující nastavovat zařízení s čipy ESP (i dalšími) pomocí konfiguračních souborů a připojit je do domácí automatizace, například do Home Assistantu, byl vydán ve verzi 2024.4.0.

    Ladislav Hagara | Komentářů: 0
    včera 22:11 | IT novinky Ladislav Hagara | Komentářů: 0
    včera 20:55 | Nová verze

    Neziskové průmyslové konsorcium Khronos Group vydalo verzi 1.1 specifikace OpenXR (Wikipedie), tj. standardu specifikujícího přístup k platformám a zařízením pro XR, tj. platformám a zařízením pro AR (rozšířenou realitu) a VR (virtuální realitu). Do základu se z rozšíření dostalo XR_EXT_local_floor. Společnost Collabora implementuje novou verzi specifikace do platformy Monado, tj. open source implementace OpenXR.

    Ladislav Hagara | Komentářů: 2
    včera 17:22 | Nová verze

    Byla vydána nová verze 0.38.0 multimediálního přehrávače mpv (Wikipedie) vycházejícího z přehrávačů MPlayer a mplayer2. Přehled novinek, změn a oprav na GitHubu. Požadován je FFmpeg 4.4 nebo novější a také libplacebo 6.338.2 nebo novější.

    Ladislav Hagara | Komentářů: 13
    včera 17:11 | Nová verze

    ClamAV (Wikipedie), tj. multiplatformní antivirový engine s otevřeným zdrojovým kódem pro detekci trojských koní, virů, malwaru a dalších škodlivých hrozeb, byl vydán ve verzích 1.3.1, 1.2.3 a 1.0.6. Ve verzi 1.3.1 je mimo jiné řešena bezpečnostní chyba CVE-2024-20380.

    Ladislav Hagara | Komentářů: 2
    včera 12:11 | IT novinky

    Digitální a informační agentura (DIA) oznámila (PDF, X a Facebook), že mobilní aplikace Portál občana je ode dneška oficiálně venku.

    Ladislav Hagara | Komentářů: 10
    včera 05:11 | Komunita

    #HACKUJBRNO 2024, byly zveřejněny výsledky a výstupy hackathonu města Brna nad otevřenými městskými daty, který se konal 13. a 14. dubna 2024.

    Ladislav Hagara | Komentářů: 2
    17.4. 17:55 | IT novinky

    Společnost Volla Systeme stojící za telefony Volla spustila na Kickstarteru kampaň na podporu tabletu Volla Tablet s Volla OS nebo Ubuntu Touch.

    Ladislav Hagara | Komentářů: 3
    KDE Plasma 6
     (68%)
     (10%)
     (2%)
     (20%)
    Celkem 563 hlasů
     Komentářů: 4, poslední 6.4. 15:51
    Rozcestník

    Dotaz: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browseru

    19.8.2007 22:05 Dan Maslowski
    Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browseru
    Přečteno: 516×
    Ahoj,

    potýkám se s jedním nepříjemným problémem při stahování webových stránek. Narazil jsem na stránky, které se jinak zobrazí v prohlížeči a jinak když je stáhnu pomocí nějakého jiného nástroje - například pomocí wget nebo modulů v perlu. Asi je to nějaká ochrana proti robotům, protože pokud stahuji stránku ze shellu, objeví se ve zdrojáku třeba tady tohle:

    The server was unable to verify whether you are using legitimate browser to access this web site.

    Jak mám zajistit, aby se mi stáhl stejný zdroják jako když stahuju normálně přes browser?

    Díky...

    Odpovědi

    19.8.2007 22:11 Michal Kubeček | skóre: 72 | Luštěnice
    Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse

    V shellu to půjde opravdu těžko…

    Pokud netrváte na shellovém řešení, pak zkuste nastavit hlavičky User-Agent, Referer a možná i nějaké cookies.

    19.8.2007 23:05 Petr Holík
    Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
    Nejjednodussi postup se mi jevi tento:

    1) Stahnete si nastroj NetCat

    2) Nechte ho poslouchat na portu 80(nebo jinem volnem a pripojte se na nej prohlizcem (do adresy dejte http://vase.ip:port)

    3) Uvidite pozadavek tak, jak ho posila prohlizec. Ulozte ho do souboru a upravete cast GET a cast HOST tak, aby odpovidala tomu, co chcete stahnout

    4) Tento pozadavek opet prez NetCat poslete na ip serveru a odpoved ulozte do souboru

    5) Odstrante ze soubouru prvnich par radek(HTTP hlavicku) (tail nebo head ci sed ...)

    Tento postup bude fungovat za predpokladu, ze server se nepokousi nastavit cookie. Pokud by se o to snazil a tuto cookie kontroloval sahnul bych po Perlu(nebo Pythonu ci necem podobnem) - v bashi zbytecne slozite.

    bazil avatar 19.8.2007 23:32 bazil | skóre: 33 | blog: sluje | Miroslav
    Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
    to tu nikdo nikdy neviděl manuál k wgetu ??? wteg umí jak cookies, tak user agenta ... --load-cookies --user-agent=agent-string ...
    20.8.2007 11:47 Dan Maslowski
    Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
    Podařilo se, stačilo nastavit --load-cookies a --save-cookies. Díky

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.