Dotaz: jak mirrorovat ftp

[Leoš Literák]

chtel bych pravidelne mirrorovat ftp adresar, ale nemuzu najit vhodny nastroj. zacal jsem s wget, ale ten pri ftp skoncil s tim, ze chybi soubor .listing a u http rozhrani menil nazvy souboru (ukladal parametry: soubor.rpm?D=A).

pak jsem zkusil prozillu (zvlada jednotlive soubory, ne adresare) a pavuka, o nemz autor tvrdi, ze dokaze mirrovat ftp. jenze mi u podadresaru tvrdil, ze nemuze prenest soubor.

takze jak na to? potrebuju neco spolehliveho, co muzu dat do cronu a nebude tahat stejne soubory znovu. nejlepe zachova i casove znacky. pro zajimavost jedna se o URL

ftp://ftp.linux.cz/pub/linux/mandrake/updates/9.1/

diky

Odpovědi

[unchallenger]

Na mirrorování FTP existují stovky specializovaných programů: http://freshmeat.net/search/?q=ftp+mirror§ion=projects Snad si vybereš...

[Beda]

a neresil by todle rsync?
vzhledem k tomu, ze uz tam jede... po prihlaseni nekde uprostred uvitaci hlasky:

 The server is avaliable via rsync and HTTP protocols. Use the following URLs:
 rsync://ftp.fi.muni.cz/pub and http://ftp.fi.muni.cz/pub/.

jestli rsync umi synchronizovat jen podstrom, tak to bude asi nejschudnejsi reseni

[homer]

mozna by uplne stacil wget s parametrem "-m" (mirror) spousteny pres crontab, zadna velka veda

[unchallenger]

-m akorát zapne -l 0 (nekonečná rekurze), -nr (nemaže .listing soubory) a -N (time-stamping). FTP to asi zmiroruje dobře. Otázka je, co s HTTP rozhraním. Není mi jasné, co si představuješ, že to má dělat s URL obsahujícími otazníčky. Pokud máš jasnou představu, tak se její naplnění dá po nějakém programu vyžadovat. Ale obecně je to prostě převod dynamického obsahu na statický, a to není dobře definovaná operace.

[Leoš Literák]

homere, cti pozorne uvodni prispevek psal jsem, ze wget nefungoval.

[unchallenger]

Mno, to bych si netroufal jen tak tvrdit, na Debianu totiž wget -m uvedený FTP krásně zmiroruje, takže problém může být v wgetu z MDK (BTW, v RH to taky nefunguje).

[unchallenger]

jo, navíc kecám, že mi to nešlo, to bylo firewallem (aktivní/pasviní mód), v RH9 to funguje taky krásně co máš za wget?

[homer]

pravda necetl jsem uplne vse moje zkusenost s wget je takova, ze stahnul vzdy vse a v poradku. tu koncovku "soubor.rpm?D=A" tam napriklad dava http://ftp.linux.cz ale modri jiz vedi a pouzivaji "wget -m ftp://ftp.linux.cz/blabla" osobne delam pomoci skriptu automaticke updaty RH z ftp.linux.cz a NEMAM s tim zadny problem: wget -c -m -a wget.log ftp://ftp.linux.cz/blabla no ale tim nechci nikomu wget nutit na mirror ftp! urcite existuje neco spc. na tyto operace.

[Beda]

BTW: ftp.fi.muni.cz = ftp.linux.cz... kdyby nahodou nekdo neco namital proti tomu rsyncu ;)

[Drašar]

Ja pouzivam na mirrorovani webu pres ftp mirrordir a jsem spokojeny. Navic umi kopirovat pouze zmenene soubory, takze setri linku.

[Jiří Lisický]

Já zase momentálně používám ftpcopy. To že mirroruje pouze změny je podle mě u takových nástrojů nutnost (samozřejmost). Ale třeba u wget mi vadila nemožnost smazat na lokále soubory, které již na ftp serveru neexistují. Jenom pozor na to, že ftpcopy si uchovává čas u souboru zřejmě v GMT, takže pokud už máte část serveru zmirrorovanou jiným nástrojem, může to stáhnout znovu (lze si pomoct --ignore-time). Co si ale stáhne sám je už v pohodě.

[Petr Kucera]

Ja zase uz dost dlouho na mirror ftp pouzivam fmirror http://freshmeat.net/projects/fmirror/?topic_id=886 umi presne to co potrebuji.

[radouš]

Zkus rsync, funguje mi sqvele. v /etc/rc.d/mirror mam /usr/bin/rsync -rtlzv --delete --bwlimit=50 \ rsync://ftp.fi.muni.cz/pub/linux/mandrake/updates/ /work/ftp/pub/linux/mandrake/updates A pak to pustit pres crona.