Dotaz: Bash: rekurzivne ziskavanie linkov z webservera na stardantny vystup

[flashrobot]

Zdravim, potrebujem spravit skript, ktory na FTP a HTTP serveroch bude vyhladavat urcite typy suborov (napr. video a hudbu). Cize spustim skript s adresou ftp/http servera a ten mi vypise zelane subory.

Ako vidite v odkaze, FTP vyhladavanie som vyriesil tak, ze som si to mountol cez curlftps a tam som jednoducho findom prebehol adresar a pomocou file som zistil mime typ suboru.

Avsak ked som chcel tymto istym sposobom riesit aj HTTP, nastalo niekolko problemov: mountnut to viem iba ked na serveri bezi webdav, taktiez je treba dodatocne zadavat cestu k adresaru kde je webdav (napr /public/webdav) a najhorsie je to, ze pri spusteni FINDu to zamrzne pri vacsich .avi suboroch.

Potrebujem teda poradit, ako by som nejak rekurzivne ziskal vsetky priame linky k suborom, ktore su na webserveri, tym padom by som to nemusel ani mountovat a pouzivat webdav. Wget vie rekurzivne zistit linky, no zacne ich hned vsetky stahovat a to nemozem... Viac info komentare v skripte:)

http://pastebin.org/198379

Uvitam akekolvek napady vratane navrhov na vylepsenie uz fungujuceho FTP vyhladavaca, napr. aby nebolo potrebne pouzivat nadstardantne baliky ako curlftps. Vsetkym vopred dakujem.

---

---

Odpovědi

[Jendа]

Hledej, nedávno se na to jeden ptal na Rootu . wget -r --spidee rekurzivně potahá HTML soubory, najde v nich linky a zkouší je stáhnout; vždy vypisuje content-type zasílaný serverem → wget -r --spider http://blah -o log; grep … log

[flashrobot]

Diky moc, hlavny problem bol v tom, ze som mal stary wget a ten mal v rezime spider ovela skromnejsi vystup :)