Dotaz: wget: co se vlastne stahlo?

[diverman]

Ahoj, stahuji wgetem soubor a potřebuji potom zjistit název souboru, který se stáhl. Příklad:

wget www.seznam.cz
--06:13:25--  http://www.seznam.cz/
           => `index.html'
Resolving www.seznam.cz... 194.228.32.3
Connecting to www.seznam.cz|194.228.32.3|:80... connected.
HTTP požadavek odeslán, program čeká na odpověď ... 200 OK
Délka: neudáno [text/html]

    [ <=>                                                                                            ] 31 595        --.--K/s

06:13:25 (5.98 MB/s) - `index.html' saved [31595]

Potřebuji získat to index.html. Pokud bych tento výstup poslal rourou, např. wget http://www.seznam.cz 2>&1|grep saved|sed -e 'blabla', tak sice získám název, ale přijdu tím o ostatní omáčku z wgetu. Potřeuji i tu omáčku i ten název... Dík za tip!

Odpovědi

[David Watzke]

wget http://www.seznam.cz 2>&1|tee /dev/stderr|grep saved

[diverman]

Super, to je přesně wono Ale fakt jsem nečekal, že mi poradíš zrovna ty... Ted jěště musím sesmolit ten sed, co mi z 07:00:11 (6.83 MB/s) - `index.html.31' saved [31612] dá to index.html

[David Watzke]

$ echo "07:00:11 (6.83 MB/s) - \`index.html.31' saved [31612]"
07:00:11 (6.83 MB/s) - `index.html.31' saved [31612]

$ echo "07:00:11 (6.83 MB/s) - \`index.html.31' saved [31612]" | \
sed -e "s:[[:print:]]*\`::" -e "s?' saved \[[[:digit:]]*\]??g"
index.html.31

[Kyosuke]

Mladá generace se má čile k světu, hmm, to abych už šel pověsit počítač na hřebík... (Nebo už konečně začal dělat na tom Informixu... )

[David Watzke]

LOL. Popravdě sám nevěřím tomu, že jsem tohle napsal

[rastos]

-O file
--output-document=file

[diverman]

S tím sedem to je takové krkolomné, nakonec jsem to vyřešil takhle:

wget $URL 2>&1 | tee /dev/stderr | grep saved | awk '{ print(substr($5, 2, length($5)-2)); }'

Dík všem a hlavně Davidovi

[Kadži]

krkolomné je i toto. Zkus:

wget $URL 2>&1 | tee /dev/stderr | awk '/saved/{ print(substr($5, 2, length($5)-2)); }'

[Tomáš]

A nestačilo by dát tomu souboru předem nějaký název, třeba index.html a nezalamovat se s tím, jestli je to index.htm nebo default.htm? Podívej se na volbu -o.

[diverman]

jj, o teto volbe vim, ale nechci se vazat na nejaky defaultni nazev, pac ten skript ve finale nebudu pouzivat ja.

[Michal Karas]

Zdar, nejjednodušší bude asi uložit ten soubor pod předem určeným jménem, jak říká rastos. Pokud to chceš dělat ale takhle, tak bych zkusil asi něco takového:

file=$(wget $url 2>&1 | sed -n "2{h;s/.*\`\(.*\)'$/\1/p;g};w /dev/stderr")

[Jan Martinek]

Mě se zdá, že wget ukládá vždy do 'index.html', jestliže nemá k dispozici název souboru. Takže

wget http://seznam.cz

stáhne něco jiného než

wget http://seznam.cz/index.html

Ale přitom název souboru bude v obou případech 'index.html'. Takže buď ten název souboru známe (je součástí URL) nebo ho neznáme a pak je to index.html. Nebo jsou nějaké výjimky?

[Jan Martinek]

Myslím, že podobně jako wget by se zachovalo tohle:

#!/usr/bin/env python
import sys,os,urlparse,urllib2

conn = urllib2.urlopen(sys.argv[1])
realurl = conn.geturl()
parsed = urlparse.urlsplit(realurl)
url_path = parsed[2] # Here is the path
filename = os.path.split(url_path)[1]
if not filename:
    print 'No filename available, using "index.html"'
    filename = 'index.html'
file(filename, 'w').write(conn.read())

Jestliže se pokusím stáhnout

http://kf.fyz.fce.vutbr.cz/pub/ble

tak to název souboru nenajde a stáhne to do "index.html". Zatímco

http://kf.fyz.fce.vutbr.cz/pub/bla

obsahuje konkrétní název souboru, ačkoli to z pouhé adresy nelze poznat. No a v tomto případě se použije název "bla". Zrovna tak to udělá i wget.

[diverman]

Dík všem, vyzkouším vaše nápady. Je to semestrálka do unixu. Tento předmět je o skriptování v bashi. Program stáhne soubor z webu, vypreparuje html entity a vypočítá statistiky, kolikrát se to které slovo vyskytuje v textu. Takže např:

ahoj   2
slunce 3
moře   1
člověk 5
atd...

[diverman]

Takže wget, ziskam soubor, cat soubor | sed {delete html} | awk { jeste musim vymyslet }. Ale to uz si chci vymyslet sam nejsem lamka Ahoj všem a užijte si sluníčka!

[Michal Kubeček]

Proč ne rovnou

  wget -q -O- ... | sed ... | ...

Případně pokud by se jednalo o slušný web, mohl byste k vyčištění použít xsltproc.

[Jan Martinek]

Nebo to prostě stáhnout, prohnat XML parserem, rekurzivně projít všechny elementy, vybrat z nich text, ten rozložit na slova a zjistit jejich četnost:

#!/usr/bin/env python
import os,sys,elementtree.ElementTree, urllib2

words = {}

def add_to_words(text):
    for word in text.split():
        try:
            words[word] += 1
        except KeyError:
            words[word] = 1

def find_text(elem):
    text = elem.text
    if text:
        add_to_words(text)
    for e in elem: find_text(e)

conn = urllib2.urlopen(sys.argv[1])
doc = elementtree.ElementTree.parse(conn).getroot()
conn.close()
find_text(doc)
for k in words:
    print "%d: %s" %(words[k], k)

Kéž by všechny stránky byly v XHTML strict...
Testovat se to dá třeba na tomhle XML:
http://www.w3schools.com/xml/plant_catalog.xml
Je to nějaký seznam kytek nebo tak něco. Nejčastější slovo je "Shade" s osmnácti výskyty.

[Jan Martinek]

Nerad se k tomu ještě vracím, ale program, který jsem napsal, je nepoužitelný pro "běžné" HTML, protože XML parser to nezchroustá. Je jasné, že HTML není XML, ale bylo by fajn, kdyby alespoň HTML 4.0 Transitional šlo nějak zkonvertovat. Zkoušel jsem stránku abclinuxu.cz. Validátorem prošla úspěšně, ale XML z toho vyrobit nedokážu - tidy zařve nějakou chybu:

chorchoj:14:22:02 ~$ wget -q abclinuxu.cz
chorchoj:14:22:26 ~$ tidy -xml index.html
line 18 column 1 - Error: unexpected </head> in <meta>
line 56 column 98 - Error: unexpected </a> in <img>
line 57 column 6 - Error: unexpected </div> in <img>
line 77 column 1 - Error: unexpected </div> in <img>
line 77 column 7 - Error: unexpected </div> in <img>
line 96 column 25 - Error: unexpected </form> in <input>
0 warnings, 51 errors were found! Not all warnings/errors were shown.

This document has errors that must be fixed before
using HTML Tidy to generate a tidied up version.

To learn more about HTML Tidy see http://tidy.sourceforge.net
Please send bug reports to html-tidy@w3.org
HTML and CSS specifications are available from http://www.w3.org/
Lobby your company to join W3C, see http://www.w3.org/Consortium

Zkoušel jsem i víc stránek - na každé je nějaký problém. Neznáte někdo nějaký jiný způsob, jak z HTML udělat well-formed XML?

Když už jsem to načal, tak posílám i druhou variantu toho programu - je trochu stručnější a nalezená slova seřadí podle četnosti:

#!/usr/bin/env python
import os,sys,elementtree.ElementTree, urllib2

words = {}
def find_text(elem):
    for word in elem.text.split():
        words[word] = words.get(word, 0) + 1
    for e in elem: find_text(e)

url = 'http://www.w3schools.com/xml/plant_catalog.xml'
conn = urllib2.urlopen(url)
doc = elementtree.ElementTree.parse(conn).getroot()
conn.close()
find_text(doc)
w = [(y,x) for x,y in words.items()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)

... ale jinak to trpí tím samým neduhem co předchozí verze.

[Hynek (Pichi) Vychodil]

Celou tu opičárnu:

w = [(y,x) for x,y in words.items()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)

jde v Python 2.4 nahradit

for word, num in sorted(
            words.iteritems(),
            key=lambda x: x[::-1],
            reverse=True
        ):
    print "%d: %s" %(num, word)

Principiálně je to totéž jako

w = [(y,x) for x,y in words.iteritems()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)

Ale vypadá to víc perlish :) (jinak to použití iteritems místo items by mělo ušetřit trochu paměti, ještě trošku paměti by mělo ušetřit

for word in sorted(
            words.iterkeys(),
            key=lambda x: (words[x], x),
            reverse=True
        ):
    print "%d: %s" %(words[word], word)

ale tam už bude kulhat rychlost) Aneb správný perlista dokáže napsat perlový kód v jakémkoli jazyku

Pichi varuje: Tento příspěvek není kritika, jen má sloužit jako studijní materiál.

[Jan Martinek]

Hohó, dík! Na iteritems() jsem úplně zapomněl, to je samozřejmě lepší. Takže můj favorit je prozatím tohle:

w = [(y,x) for x,y in words.iteritems()]
del words #šetříme pamětí
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)

Z těch dalších návrhů ten Perl úplně vidím, a coby studijní materiál se to určitě hodí
Kritika mi nevadí - co mi vadí je prohánění HTML přes regulární výrazy.

[Josef Kufner]

Proc to delat jednoduse, kdyz to jde slozite...

lynx -dump www.abclinuxu.cz \
| sed -e 's/[^a-z0-9]\+/ /g' -e 's/[ \t]\+/\n/g' \
| sort \
| uniq -c \
| sort -n

[Josef Kufner]

...samozrejme to chce trosku doladit vyber zadanych znaku v tom sedu.