Dotaz: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browseru

[Dan Maslowski]

Ahoj,

potýkám se s jedním nepříjemným problémem při stahování webových stránek. Narazil jsem na stránky, které se jinak zobrazí v prohlížeči a jinak když je stáhnu pomocí nějakého jiného nástroje - například pomocí wget nebo modulů v perlu. Asi je to nějaká ochrana proti robotům, protože pokud stahuji stránku ze shellu, objeví se ve zdrojáku třeba tady tohle:

The server was unable to verify whether you are using legitimate browser to access this web site.

Jak mám zajistit, aby se mi stáhl stejný zdroják jako když stahuju normálně přes browser?

Díky...

Odpovědi

[Michal Kubeček]

V shellu to půjde opravdu těžko…

Pokud netrváte na shellovém řešení, pak zkuste nastavit hlavičky User-Agent, Referer a možná i nějaké cookies.

[Petr Holík]

Nejjednodussi postup se mi jevi tento:

1) Stahnete si nastroj NetCat

2) Nechte ho poslouchat na portu 80(nebo jinem volnem a pripojte se na nej prohlizcem (do adresy dejte http://vase.ip:port)

3) Uvidite pozadavek tak, jak ho posila prohlizec. Ulozte ho do souboru a upravete cast GET a cast HOST tak, aby odpovidala tomu, co chcete stahnout

4) Tento pozadavek opet prez NetCat poslete na ip serveru a odpoved ulozte do souboru

5) Odstrante ze soubouru prvnich par radek(HTTP hlavicku) (tail nebo head ci sed ...)

Tento postup bude fungovat za predpokladu, ze server se nepokousi nastavit cookie. Pokud by se o to snazil a tuto cookie kontroloval sahnul bych po Perlu(nebo Pythonu ci necem podobnem) - v bashi zbytecne slozite.

[bazil]

to tu nikdo nikdy neviděl manuál k wgetu ??? wteg umí jak cookies, tak user agenta ... --load-cookies --user-agent=agent-string ...

[Dan Maslowski]

Podařilo se, stačilo nastavit --load-cookies a --save-cookies. Díky