abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 02:20 | Zajímavý článek

David Revoy, autor open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu, upozorňuje na svém blogu, že nový Inkscape 0.92 rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Problém by měl být vyřešen v Inkscape 0.92.2 [reddit].

Ladislav Hagara | Komentářů: 0
dnes 02:02 | Komunita

Øyvind Kolås, hlavní vývojář grafických knihoven GEGL a babl, které využívá grafický program GIMP, žádá o podporu na Patreonu. Díky ní bude moci pracovat na vývoji na plný úvazek. Milník 1000 $, který by stačil na holé přežití, se již téměř podařilo vybrat, dalším cílem je dosažení 2500 $, které mu umožní běžně fungovat ve společnosti.

xkomczax | Komentářů: 12
včera 23:54 | Pozvánky

DevConf.cz 2017, již devátý ročník jedné z největších akcí zaměřených na Linux a open source ve střední Evropě, proběhne od pátku 27. ledna do neděle 29. ledna v prostorách Fakulty informačních technologií Vysokého učení technického v Brně. Na programu je celá řada zajímavých přednášek a workshopů. Letos je povinná registrace.

Ladislav Hagara | Komentářů: 0
včera 22:11 | Nová verze

Byla vydána verze 1.0.0 emulátoru terminálu Terminology postaveného nad EFL (Enlightenment Foundation Libraries). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
20.1. 17:00 | Nová verze

Byl vydán Docker 1.13. Přehled novinek na YouTube a v poznámkách k vydání na GitHubu. Docker umožňuje běh aplikací v softwarových kontejnerech (Wikipedia).

Ladislav Hagara | Komentářů: 4
20.1. 15:51 | Komunita

Mozilla.cz informuje, že nástroje pro webové vývojáře se možná oddělí od Firefoxu a stanou doplňkem. Nástroje pro webové vývojáře prošly velkým přepisem a tým, který se stará o jejich vývoj, by uvítal možnost jejich častějších aktualizacích nezávisle na vydávání nových verzí Firefoxu.

Ladislav Hagara | Komentářů: 9
20.1. 07:00 | Humor

Čtenářům AbcLinuxu vše nejlepší k dnešnímu Dni zvýšení povědomí o tučňácích (Penguin Awareness Day).

Ladislav Hagara | Komentářů: 0
20.1. 06:00 | Komunita

Bylo spuštěno hlasování o přednáškách a workshopech pro letošní InstallFest, jenž proběhne o víkendu 4. a 5. března v Praze. Současně byla oznámena změna místa. InstallFest se letos vrací zpět na Karlovo náměstí do budovy E.

Ladislav Hagara | Komentářů: 0
20.1. 02:48 | Komunita

Greg Kroah-Hartman potvrdil, že Linux 4.9 je jádrem s prodlouženou upstream podporou (LTS, Long Term Support). Podpora je plánována do ledna 2019. Aktuální jádra s prodlouženou podporou jsou tedy 3.2, 3.4, 3.10, 3.12, 3.16, 3.18, 4.1, 4.4 a 4.9.

Ladislav Hagara | Komentářů: 0
20.1. 00:11 | Zajímavý článek

Výrobce síťových prvků, společnost Netgear, spustila nový program, který slibuje vývojářům, expertům, ale i běžným uživatelům vyplacení finanční odměny za nalezení bezpečnostních chyby v jejich produktech. Za nalezení zranitelnosti v hardware, API nebo mobilní aplikaci nabízí odměnu od 150 do 15 tisíc dolarů (dle závažnosti).

Michal Makovec | Komentářů: 0
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (10%)
 (2%)
 (74%)
 (3%)
 (10%)
Celkem 360 hlasů
 Komentářů: 25, poslední včera 13:34
Rozcestník
Reklama

Dotaz: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browseru

19.8.2007 22:05 Dan Maslowski
Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browseru
Přečteno: 484×
Ahoj,

potýkám se s jedním nepříjemným problémem při stahování webových stránek. Narazil jsem na stránky, které se jinak zobrazí v prohlížeči a jinak když je stáhnu pomocí nějakého jiného nástroje - například pomocí wget nebo modulů v perlu. Asi je to nějaká ochrana proti robotům, protože pokud stahuji stránku ze shellu, objeví se ve zdrojáku třeba tady tohle:

The server was unable to verify whether you are using legitimate browser to access this web site.

Jak mám zajistit, aby se mi stáhl stejný zdroják jako když stahuju normálně přes browser?

Díky...

Odpovědi

19.8.2007 22:11 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse

V shellu to půjde opravdu těžko…

Pokud netrváte na shellovém řešení, pak zkuste nastavit hlavičky User-Agent, Referer a možná i nějaké cookies.

19.8.2007 23:05 Petr Holík
Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
Nejjednodussi postup se mi jevi tento:

1) Stahnete si nastroj NetCat

2) Nechte ho poslouchat na portu 80(nebo jinem volnem a pripojte se na nej prohlizcem (do adresy dejte http://vase.ip:port)

3) Uvidite pozadavek tak, jak ho posila prohlizec. Ulozte ho do souboru a upravete cast GET a cast HOST tak, aby odpovidala tomu, co chcete stahnout

4) Tento pozadavek opet prez NetCat poslete na ip serveru a odpoved ulozte do souboru

5) Odstrante ze soubouru prvnich par radek(HTTP hlavicku) (tail nebo head ci sed ...)

Tento postup bude fungovat za predpokladu, ze server se nepokousi nastavit cookie. Pokud by se o to snazil a tuto cookie kontroloval sahnul bych po Perlu(nebo Pythonu ci necem podobnem) - v bashi zbytecne slozite.

bazil avatar 19.8.2007 23:32 bazil | skóre: 33 | blog: sluje | Miroslav
Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
to tu nikdo nikdy neviděl manuál k wgetu ??? wteg umí jak cookies, tak user agenta ... --load-cookies --user-agent=agent-string ...
20.8.2007 11:47 Dan Maslowski
Rozbalit Rozbalit vše Re: Jak stahnout zdrojak web stranky v shellu a obejit kontrolu browse
Podařilo se, stačilo nastavit --load-cookies a --save-cookies. Díky

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.