abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 16:00 | Nová verze

Byl vydán Mozilla Firefox 51.0. Z novinek lze upozornit například na upozorňování na přihlašování přes nešifrované spojení (HTTP), podporu pro přehrávání bezeztrátového formátu FLAC nebo podporu WebGL 2. Podrobné informace v poznámkách k vydání a na stránce věnované vývojářům. Řešeny jsou také bezpečnostní chyby.

Ladislav Hagara | Komentářů: 1
23.1. 17:25 | IT novinky

Do prodeje (Farnell) se dostal jednodeskový počítač Tinker Board (unboxing). Jedná se o konkurenci Raspberry Pi 3 od společnosti Asus. Porovnání (jpg) těchto počítačů například na CNXSoft. Cena Tinker Boardu je 55 £.

Ladislav Hagara | Komentářů: 15
23.1. 14:44 | Zajímavý projekt

Byla zveřejněna pravidla hackerské soutěže Pwn2Own 2017, jež proběhne od 15. do 17. března v rámci bezpečnostní konference CanSecWes ve Vancouveru. Soutěžit se bude o více než milion dolarů v pěti kategoriích. Letos se bude útočit i na Ubuntu. Jedná se již o 10. ročník této soutěže.

Ladislav Hagara | Komentářů: 2
23.1. 13:33 | Nová verze

Po sedmi měsících vývoje od vydání verze 5.7 byla vydána verze 5.8 (YouTube) toolkitu Qt. Z novinek lze zmínit například Qt Lite pro vestavěná zařízení. Nově jsou plně podporovány moduly Qt Wayland Compositor (YouTube) a Qt SCXML (YouTube). Současně byla vydána verze 4.2.1 integrovaného vývojového prostředí (IDE) Qt Creator.

Ladislav Hagara | Komentářů: 1
23.1. 11:52 | Pozvánky

Lednový Prague Containers Meetup se koná ve čtvrtek 26. ledna 2017 od 18:00 v Apiary, Pernerova 49, Praha 8. Přijďte se podívat na přednášky o Enterprise Kubernetes a Jenkins as a code.

little-drunk-jesus | Komentářů: 0
23.1. 11:40 | Pozvánky

Program letošního ročníku konference Prague PostgreSQL Developer Days, která se koná již 15. a 16. února 2017 na ČVUT FIT, Thákurova 9, Praha 6, byl dnes zveřejněn. Najdete ho na stránkách konference včetně anotací přednášek a školení. Registrace na konferenci bude otevřena zítra (24. ledna) v brzkých odpoledních hodinách.

TomasVondra | Komentářů: 0
22.1. 02:20 | Zajímavý článek

David Revoy, autor open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu, upozorňuje na svém blogu, že nový Inkscape 0.92 rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Problém by měl být vyřešen v Inkscape 0.92.2 [reddit].

Ladislav Hagara | Komentářů: 0
22.1. 02:02 | Komunita

Øyvind Kolås, hlavní vývojář grafických knihoven GEGL a babl, které využívá grafický program GIMP, žádá o podporu na Patreonu. Díky ní bude moci pracovat na vývoji na plný úvazek. Milník 1000 $, který by stačil na holé přežití, se již téměř podařilo vybrat, dalším cílem je dosažení 2500 $, které mu umožní běžně fungovat ve společnosti.

xkomczax | Komentářů: 12
21.1. 23:54 | Pozvánky

DevConf.cz 2017, již devátý ročník jedné z největších akcí zaměřených na Linux a open source ve střední Evropě, proběhne od pátku 27. ledna do neděle 29. ledna v prostorách Fakulty informačních technologií Vysokého učení technického v Brně. Na programu je celá řada zajímavých přednášek a workshopů. Letos je povinná registrace.

Ladislav Hagara | Komentářů: 0
21.1. 22:11 | Nová verze

Byla vydána verze 1.0.0 emulátoru terminálu Terminology postaveného nad EFL (Enlightenment Foundation Libraries). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (12%)
 (2%)
 (72%)
 (3%)
 (11%)
Celkem 395 hlasů
 Komentářů: 39, poslední včera 19:30
Rozcestník
Reklama

Dotaz: wget: co se vlastne stahlo?

20.6.2006 06:18 diverman | skóre: 32 | blog: život s tučňáčkem
wget: co se vlastne stahlo?
Přečteno: 171×
Ahoj, stahuji wgetem soubor a potřebuji potom zjistit název souboru, který se stáhl. Příklad:
wget www.seznam.cz
--06:13:25--  http://www.seznam.cz/
           => `index.html'
Resolving www.seznam.cz... 194.228.32.3
Connecting to www.seznam.cz|194.228.32.3|:80... connected.
HTTP požadavek odeslán, program čeká na odpověď ... 200 OK
Délka: neudáno [text/html]

    [ <=>                                                                                            ] 31 595        --.--K/s

06:13:25 (5.98 MB/s) - `index.html' saved [31595]
Potřebuji získat to index.html. Pokud bych tento výstup poslal rourou, např. wget http://www.seznam.cz 2>&1|grep saved|sed -e 'blabla', tak sice získám název, ale přijdu tím o ostatní omáčku z wgetu. Potřeuji i tu omáčku i ten název... Dík za tip!
deb http://ftp.cz.debian.org/debian jessie main contrib non-free

Odpovědi

David Watzke avatar 20.6.2006 06:57 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
wget http://www.seznam.cz 2>&1|tee /dev/stderr|grep saved
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
20.6.2006 07:03 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Super, to je přesně wono ;-) Ale fakt jsem nečekal, že mi poradíš zrovna ty... :-) Ted jěště musím sesmolit ten sed, co mi z 07:00:11 (6.83 MB/s) - `index.html.31' saved [31612] dá to index.html :-(
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
David Watzke avatar 20.6.2006 07:13 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
$ echo "07:00:11 (6.83 MB/s) - \`index.html.31' saved [31612]"
07:00:11 (6.83 MB/s) - `index.html.31' saved [31612]

$ echo "07:00:11 (6.83 MB/s) - \`index.html.31' saved [31612]" | \
sed -e "s:[[:print:]]*\`::" -e "s?' saved \[[[:digit:]]*\]??g"
index.html.31
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
20.6.2006 07:17 Kyosuke | skóre: 28 | blog: nalady_v_modre
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Mladá generace se má čile k světu, hmm, to abych už šel pověsit počítač na hřebík... :-D (Nebo už konečně začal dělat na tom Informixu... :-D)
David Watzke avatar 20.6.2006 07:21 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
LOL. Popravdě sám nevěřím tomu, že jsem tohle napsal :-D
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
20.6.2006 07:14 rastos | skóre: 60 | blog: rastos
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
-O file
--output-document=file
20.6.2006 09:00 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
S tím sedem to je takové krkolomné, nakonec jsem to vyřešil takhle:
wget $URL 2>&1 | tee /dev/stderr | grep saved | awk '{ print(substr($5, 2, length($5)-2)); }'
Dík všem a hlavně Davidovi :-)
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
20.6.2006 09:53 Kadži | skóre: 14
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
krkolomné je i toto. Zkus:
wget $URL 2>&1 | tee /dev/stderr | awk '/saved/{ print(substr($5, 2, length($5)-2)); }'
20.6.2006 09:44 Tomáš | skóre: 29 | blog: Tomik
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
A nestačilo by dát tomu souboru předem nějaký název, třeba index.html a nezalamovat se s tím, jestli je to index.htm nebo default.htm? Podívej se na volbu -o.
20.6.2006 10:12 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
jj, o teto volbe vim, ale nechci se vazat na nejaky defaultni nazev, pac ten skript ve finale nebudu pouzivat ja.
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
20.6.2006 10:32 Michal Karas | skóre: 45 | blog: /dev/random | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Zdar, nejjednodušší bude asi uložit ten soubor pod předem určeným jménem, jak říká rastos. Pokud to chceš dělat ale takhle, tak bych zkusil asi něco takového:
file=$(wget $url 2>&1 | sed -n "2{h;s/.*\`\(.*\)'$/\1/p;g};w /dev/stderr")
20.6.2006 11:20 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Mě se zdá, že wget ukládá vždy do 'index.html', jestliže nemá k dispozici název souboru. Takže
wget http://seznam.cz
stáhne něco jiného než
wget http://seznam.cz/index.html
Ale přitom název souboru bude v obou případech 'index.html'. Takže buď ten název souboru známe (je součástí URL) nebo ho neznáme a pak je to index.html. Nebo jsou nějaké výjimky?
20.6.2006 12:04 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Myslím, že podobně jako wget by se zachovalo tohle:
#!/usr/bin/env python
import sys,os,urlparse,urllib2

conn = urllib2.urlopen(sys.argv[1])
realurl = conn.geturl()
parsed = urlparse.urlsplit(realurl)
url_path = parsed[2] # Here is the path
filename = os.path.split(url_path)[1]
if not filename:
    print 'No filename available, using "index.html"'
    filename = 'index.html'
file(filename, 'w').write(conn.read())
Jestliže se pokusím stáhnout
http://kf.fyz.fce.vutbr.cz/pub/ble
tak to název souboru nenajde a stáhne to do "index.html". Zatímco
http://kf.fyz.fce.vutbr.cz/pub/bla
obsahuje konkrétní název souboru, ačkoli to z pouhé adresy nelze poznat. No a v tomto případě se použije název "bla". Zrovna tak to udělá i wget.
20.6.2006 12:52 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Dík všem, vyzkouším vaše nápady. Je to semestrálka do unixu. Tento předmět je o skriptování v bashi. Program stáhne soubor z webu, vypreparuje html entity a vypočítá statistiky, kolikrát se to které slovo vyskytuje v textu. Takže např:
ahoj   2
slunce 3
moře   1
člověk 5
atd...
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
20.6.2006 12:58 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Takže wget, ziskam soubor, cat soubor | sed {delete html} | awk { jeste musim vymyslet }. Ale to uz si chci vymyslet sam :-) nejsem lamka :-) Ahoj všem a užijte si sluníčka!
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
20.6.2006 13:14 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Proč ne rovnou
  wget -q -O- ... | sed ... | ...
Případně pokud by se jednalo o slušný web, mohl byste k vyčištění použít xsltproc.
20.6.2006 16:50 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Nebo to prostě stáhnout, prohnat XML parserem, rekurzivně projít všechny elementy, vybrat z nich text, ten rozložit na slova a zjistit jejich četnost:
#!/usr/bin/env python
import os,sys,elementtree.ElementTree, urllib2

words = {}

def add_to_words(text):
    for word in text.split():
        try:
            words[word] += 1
        except KeyError:
            words[word] = 1

def find_text(elem):
    text = elem.text
    if text:
        add_to_words(text)
    for e in elem: find_text(e)

conn = urllib2.urlopen(sys.argv[1])
doc = elementtree.ElementTree.parse(conn).getroot()
conn.close()
find_text(doc)
for k in words:
    print "%d: %s" %(words[k], k)
Kéž by všechny stránky byly v XHTML strict...
Testovat se to dá třeba na tomhle XML:
http://www.w3schools.com/xml/plant_catalog.xml
Je to nějaký seznam kytek nebo tak něco. Nejčastější slovo je "Shade" s osmnácti výskyty.
21.6.2006 14:36 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Nerad se k tomu ještě vracím, ale program, který jsem napsal, je nepoužitelný pro "běžné" HTML, protože XML parser to nezchroustá. Je jasné, že HTML není XML, ale bylo by fajn, kdyby alespoň HTML 4.0 Transitional šlo nějak zkonvertovat. Zkoušel jsem stránku abclinuxu.cz. Validátorem prošla úspěšně, ale XML z toho vyrobit nedokážu - tidy zařve nějakou chybu:
chorchoj:14:22:02 ~$ wget -q abclinuxu.cz
chorchoj:14:22:26 ~$ tidy -xml index.html
line 18 column 1 - Error: unexpected </head> in <meta>
line 56 column 98 - Error: unexpected </a> in <img>
line 57 column 6 - Error: unexpected </div> in <img>
line 77 column 1 - Error: unexpected </div> in <img>
line 77 column 7 - Error: unexpected </div> in <img>
line 96 column 25 - Error: unexpected </form> in <input>
0 warnings, 51 errors were found! Not all warnings/errors were shown.

This document has errors that must be fixed before
using HTML Tidy to generate a tidied up version.

To learn more about HTML Tidy see http://tidy.sourceforge.net
Please send bug reports to html-tidy@w3.org
HTML and CSS specifications are available from http://www.w3.org/
Lobby your company to join W3C, see http://www.w3.org/Consortium
Zkoušel jsem i víc stránek - na každé je nějaký problém. Neznáte někdo nějaký jiný způsob, jak z HTML udělat well-formed XML?

Když už jsem to načal, tak posílám i druhou variantu toho programu - je trochu stručnější a nalezená slova seřadí podle četnosti:
#!/usr/bin/env python
import os,sys,elementtree.ElementTree, urllib2

words = {}
def find_text(elem):
    for word in elem.text.split():
        words[word] = words.get(word, 0) + 1
    for e in elem: find_text(e)

url = 'http://www.w3schools.com/xml/plant_catalog.xml'
conn = urllib2.urlopen(url)
doc = elementtree.ElementTree.parse(conn).getroot()
conn.close()
find_text(doc)
w = [(y,x) for x,y in words.items()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)
... ale jinak to trpí tím samým neduhem co předchozí verze.
21.6.2006 15:37 Hynek (Pichi) Vychodil | skóre: 43 | blog: Pichi | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Celou tu opičárnu:
w = [(y,x) for x,y in words.items()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)
jde v Python 2.4 nahradit
for word, num in sorted(
            words.iteritems(),
            key=lambda x: x[::-1],
            reverse=True
        ):
    print "%d: %s" %(num, word)
Principiálně je to totéž jako
w = [(y,x) for x,y in words.iteritems()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)
Ale vypadá to víc perlish :) (jinak to použití iteritems místo items by mělo ušetřit trochu paměti, ještě trošku paměti by mělo ušetřit
for word in sorted(
            words.iterkeys(),
            key=lambda x: (words[x], x),
            reverse=True
        ):
    print "%d: %s" %(words[word], word)
ale tam už bude kulhat rychlost) Aneb správný perlista dokáže napsat perlový kód v jakémkoli jazyku :-D

Pichi varuje: Tento příspěvek není kritika, jen má sloužit jako studijní materiál.

XML je zbytečný, pomalý, nešikovný balast, znovu vynalézané kolo a ještě ke všemu šišaté, těžké a kýčovitě pomalované.
21.6.2006 16:01 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Hohó, dík! Na iteritems() jsem úplně zapomněl, to je samozřejmě lepší. Takže můj favorit je prozatím tohle:
w = [(y,x) for x,y in words.iteritems()]
del words #šetříme pamětí
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)

Z těch dalších návrhů ten Perl úplně vidím, a coby studijní materiál se to určitě hodí ;-)
Kritika mi nevadí - co mi vadí je prohánění HTML přes regulární výrazy.
Josef Kufner avatar 21.6.2006 15:08 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Proc to delat jednoduse, kdyz to jde slozite...
lynx -dump www.abclinuxu.cz \
| sed -e 's/[^a-z0-9]\+/ /g' -e 's/[ \t]\+/\n/g' \
| sort \
| uniq -c \
| sort -n
Hello world ! Segmentation fault (core dumped)
Josef Kufner avatar 21.6.2006 15:10 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
...samozrejme to chce trosku doladit vyber zadanych znaku v tom sedu.
Hello world ! Segmentation fault (core dumped)

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.