Dotaz: bash a www

[mr.pohoda]

Mam vytvoreny skript, ktery zpracovava html stranku ulozenou na disku. Napadlo me, jestli nejak nejde, aby zpracovaval stranku primo z internetu. Proste misto: "grep neco index.html" by tam bylo "grep neco http://...../index.html". A primo s tim souvisi dalsi problem, a to, ze pro pristup na tu stranku musim nejdriv zadat jmeno a heslo.

Dokaze mi nekdo poradit? Hledal jsem, ale bez uspechu...

Odpovědi

[vlk]

skus wget s prislusnymi parametrami alebo este lepsie stary dobry lynx, ale uz neviem ake parametre ti to preposlu dalej aby si to mohol spravcovavat cez ruru ....

[Peter Golis]

No, ak dokaze grep otvarat subory z internetu (web,ftp,gopher,...) o com pochybujem, tak je to mozne. Inac by stalo za to pozriet na co su stvorene projekty curl alebo wget.

[mr.pohoda]

Tak jsem si trochu pohral s funkci wget. Precetl nejake ty manualy, s obycejnymi strankami funguje bez problemu, ale nedokazal jsem vyresit problem s autentizaci na serveru. Ta probiha zadanim jmena a hesla na prvni strance. Zkousel jsem wget s cookies, i odeslat jmeno a heslo v parametru --post-data, a pak cookies ulozit a v zapeti nacist, ale pokazde se objevila hlaska neplatne prihlaseni.

Pokus mate jeste nekdo napady, jak by to mohlo jit, budu vdecny za kazdou pomoc.

[vlk]

takto to je:

lynx -source http://...... | grep neco

[vlk]

a ked das namiesto source namiesto

-source

parameter

-dump

, tak ti to sformatuje a bez tagov

[unchallenger]

Přesměrovat z TCP lze

#!/bin/bash
exec 3<>/dev/tcp/neco.cz/80
cat >&3 <<EOF
GET / HTTP/1.1
Host: neco.cz
Connection: close

EOF
sed -n '0,/^[[:space:]]$/d;/neco/p' <&3
exec 3<> -
echo

ale normální člověk použije wget.

[unchallenger]

Přesměrovat z TCP lze

#!/bin/bash
exec 3<>/dev/tcp/neco.cz/80
cat >&3 <<EOF
GET / HTTP/1.1
Host: neco.cz
Connection: close

EOF
sed -n '0,/^[[:space:]]$/d;/neco/p' <&3
exec 3<> -
echo

ale normální člověk použije wget.

[unchallenger]

@#$%! Sorry za dvojitý příspěvek. Když to píše, že to nemůže uložit do databáze, tak to zřejmě kecá...