Dotaz: WGET-mirroring

[pavel vachek]

Nevite nekdo o nejakem zpusobu jak mirriorovat cely web. Kdyz zkusim wget -m http://nejakyweb.cz tam mi to nestahne cely web wget -r -l 10 http://najakyweb.cz tak mi to taky nestahne cely web.

Problem je asi v tom ze na tom webu co chci stahnout je php, asp, nebo neco podobneho?

Nevite nekdo jak na to? Nebo poradte najaky jiny program. diky Karel

Odpovědi

[Tomáš Hála]

To se snazis jako pres http stahovat php aj. scripty? To samozrejme nejde. Stahni to stejnym zpusobem, jakym si ty scripty na ten server nahral (tzn. pravdepodobne pres FTP).

[kix]

Já myslím, že nechce zdrojáky skriptů, ale prostě stránky - i ty generované pomocí skriptů. S tím FTP jsem to nepochopil, přece nebude mirrorovat stránky, které sám vyvtvořil...

[unchallenger]

Nebo, pokud jsou to dynamické stránky, nepomůže nejen wget -l 10, ale ani wget -l 0, protože jich může být i potenciální nekonečno -- pak je jejich stahování obvykle zakázáno v robots.txt (který wget dodržuje).

[kix]

ano, a co se týče robots, stačí dát do domovského adreáře soubor .wgetrc a do něj robots = off Také jsem před tím divil, proč mi to z www.ftipky.cz stáhlo jen index.html

[unchallenger]

Řekl bych to takhle: neexistuje způsob, jak dostat z nějakého serveru .php, .asp, .shtml, etc., prostě zdrojové kódy těch stránek pomocí HTTP, pokud webmaster nechce (a nemá tam nějakou díru). Smiř se s tím. Pokud je to tvůj web, tak použij FTP, jak radí kolega.

[RWS]

No, ja bych se zeptal, co presne myslis tim, ze "nestahne cely web"? Osobne na mirror pouzivam
wget -r -l 0 -x -m -k -p URL
ten -k mozna, mozna bych taky jeste pouzil -D domena. Vysvetleni prepinacu ponecham na manovi:)

[unchallenger]

-m znamená mimo jiné -r -l 0 (alespoň v mém wgetu)

[RWS]

Jojo u me taky, to jen tak pro zmateni nepritele

[man]

nevite nekdo o najekm programu? nejaka moznost preci musi byt. alespon doufam. poradte.

[RWS]

Pockej, to chces jako fakt pres web stahovat zdrojaky ASP, PHP a CGI? Tak na to rychle zapomen. Tyhle skripty se provadi na strane serveru a kdyby ti admin web serveru priradil pro koncovky .html, ze jsou to PHP skripty a parsovaly se jako PHP, tak bys ani nevedel, ze tam nejaky PHP je! A je uplne jedno, jestli na tu stranku pristupujes web browserem, nejakym web stahovacem nebo cistym telnetem na port 80-v kazdym pripade se ti vrati uz jen vystup z toho PHP/ASP/CGI skriptu.

Jestli chces fakt kopirovat zdrojaky, tak jedine FTP pristup nebo to hacknout, nebo najit nejakou diru v nejakym PHP skriptu, kterej zobrazuje nejaky textovy soubory a pak si nechat zobrazit ty PHP soubory.

[Franta]

Kdysi se mi podařilo stáhnout PHP skript z nějakého serveru pomocí download acceleratoru. Tehdy jsem tomu nevěnoval žádnou pozornost (byl jsem příliš velký lama, aby mi to přišlo zajímavé). Časem jsem si na to vzpomněl, ale muselo to být nějakou chybou na serveru. Skripty skutečně jinak nejde přes http stahovat - server poskytne až html vygenerované skriptem.