abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 0
dnes 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 1
včera 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
včera 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 0
včera 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 4
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 27
6.12. 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 2
5.12. 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 6
5.12. 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 50
5.12. 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 10
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (23%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 792 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: wget: co se vlastne stahlo?

20.6.2006 06:18 diverman | skóre: 32 | blog: život s tučňáčkem
wget: co se vlastne stahlo?
Přečteno: 169×
Ahoj, stahuji wgetem soubor a potřebuji potom zjistit název souboru, který se stáhl. Příklad:
wget www.seznam.cz
--06:13:25--  http://www.seznam.cz/
           => `index.html'
Resolving www.seznam.cz... 194.228.32.3
Connecting to www.seznam.cz|194.228.32.3|:80... connected.
HTTP požadavek odeslán, program čeká na odpověď ... 200 OK
Délka: neudáno [text/html]

    [ <=>                                                                                            ] 31 595        --.--K/s

06:13:25 (5.98 MB/s) - `index.html' saved [31595]
Potřebuji získat to index.html. Pokud bych tento výstup poslal rourou, např. wget http://www.seznam.cz 2>&1|grep saved|sed -e 'blabla', tak sice získám název, ale přijdu tím o ostatní omáčku z wgetu. Potřeuji i tu omáčku i ten název... Dík za tip!
deb http://ftp.cz.debian.org/debian jessie main contrib non-free

Odpovědi

David Watzke avatar 20.6.2006 06:57 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
wget http://www.seznam.cz 2>&1|tee /dev/stderr|grep saved
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
20.6.2006 07:03 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Super, to je přesně wono ;-) Ale fakt jsem nečekal, že mi poradíš zrovna ty... :-) Ted jěště musím sesmolit ten sed, co mi z 07:00:11 (6.83 MB/s) - `index.html.31' saved [31612] dá to index.html :-(
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
David Watzke avatar 20.6.2006 07:13 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
$ echo "07:00:11 (6.83 MB/s) - \`index.html.31' saved [31612]"
07:00:11 (6.83 MB/s) - `index.html.31' saved [31612]

$ echo "07:00:11 (6.83 MB/s) - \`index.html.31' saved [31612]" | \
sed -e "s:[[:print:]]*\`::" -e "s?' saved \[[[:digit:]]*\]??g"
index.html.31
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
20.6.2006 07:17 Kyosuke | skóre: 28 | blog: nalady_v_modre
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Mladá generace se má čile k světu, hmm, to abych už šel pověsit počítač na hřebík... :-D (Nebo už konečně začal dělat na tom Informixu... :-D)
David Watzke avatar 20.6.2006 07:21 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
LOL. Popravdě sám nevěřím tomu, že jsem tohle napsal :-D
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
20.6.2006 07:14 rastos | skóre: 60 | blog: rastos
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
-O file
--output-document=file
20.6.2006 09:00 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
S tím sedem to je takové krkolomné, nakonec jsem to vyřešil takhle:
wget $URL 2>&1 | tee /dev/stderr | grep saved | awk '{ print(substr($5, 2, length($5)-2)); }'
Dík všem a hlavně Davidovi :-)
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
20.6.2006 09:53 Kadži | skóre: 14
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
krkolomné je i toto. Zkus:
wget $URL 2>&1 | tee /dev/stderr | awk '/saved/{ print(substr($5, 2, length($5)-2)); }'
20.6.2006 09:44 Tomáš | skóre: 29 | blog: Tomik
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
A nestačilo by dát tomu souboru předem nějaký název, třeba index.html a nezalamovat se s tím, jestli je to index.htm nebo default.htm? Podívej se na volbu -o.
20.6.2006 10:12 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
jj, o teto volbe vim, ale nechci se vazat na nejaky defaultni nazev, pac ten skript ve finale nebudu pouzivat ja.
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
20.6.2006 10:32 Michal Karas | skóre: 44 | blog: /dev/random | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Zdar, nejjednodušší bude asi uložit ten soubor pod předem určeným jménem, jak říká rastos. Pokud to chceš dělat ale takhle, tak bych zkusil asi něco takového:
file=$(wget $url 2>&1 | sed -n "2{h;s/.*\`\(.*\)'$/\1/p;g};w /dev/stderr")
20.6.2006 11:20 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Mě se zdá, že wget ukládá vždy do 'index.html', jestliže nemá k dispozici název souboru. Takže
wget http://seznam.cz
stáhne něco jiného než
wget http://seznam.cz/index.html
Ale přitom název souboru bude v obou případech 'index.html'. Takže buď ten název souboru známe (je součástí URL) nebo ho neznáme a pak je to index.html. Nebo jsou nějaké výjimky?
20.6.2006 12:04 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Myslím, že podobně jako wget by se zachovalo tohle:
#!/usr/bin/env python
import sys,os,urlparse,urllib2

conn = urllib2.urlopen(sys.argv[1])
realurl = conn.geturl()
parsed = urlparse.urlsplit(realurl)
url_path = parsed[2] # Here is the path
filename = os.path.split(url_path)[1]
if not filename:
    print 'No filename available, using "index.html"'
    filename = 'index.html'
file(filename, 'w').write(conn.read())
Jestliže se pokusím stáhnout
http://kf.fyz.fce.vutbr.cz/pub/ble
tak to název souboru nenajde a stáhne to do "index.html". Zatímco
http://kf.fyz.fce.vutbr.cz/pub/bla
obsahuje konkrétní název souboru, ačkoli to z pouhé adresy nelze poznat. No a v tomto případě se použije název "bla". Zrovna tak to udělá i wget.
20.6.2006 12:52 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Dík všem, vyzkouším vaše nápady. Je to semestrálka do unixu. Tento předmět je o skriptování v bashi. Program stáhne soubor z webu, vypreparuje html entity a vypočítá statistiky, kolikrát se to které slovo vyskytuje v textu. Takže např:
ahoj   2
slunce 3
moře   1
člověk 5
atd...
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
20.6.2006 12:58 diverman | skóre: 32 | blog: život s tučňáčkem
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Takže wget, ziskam soubor, cat soubor | sed {delete html} | awk { jeste musim vymyslet }. Ale to uz si chci vymyslet sam :-) nejsem lamka :-) Ahoj všem a užijte si sluníčka!
deb http://ftp.cz.debian.org/debian jessie main contrib non-free
20.6.2006 13:14 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Proč ne rovnou
  wget -q -O- ... | sed ... | ...
Případně pokud by se jednalo o slušný web, mohl byste k vyčištění použít xsltproc.
20.6.2006 16:50 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Nebo to prostě stáhnout, prohnat XML parserem, rekurzivně projít všechny elementy, vybrat z nich text, ten rozložit na slova a zjistit jejich četnost:
#!/usr/bin/env python
import os,sys,elementtree.ElementTree, urllib2

words = {}

def add_to_words(text):
    for word in text.split():
        try:
            words[word] += 1
        except KeyError:
            words[word] = 1

def find_text(elem):
    text = elem.text
    if text:
        add_to_words(text)
    for e in elem: find_text(e)

conn = urllib2.urlopen(sys.argv[1])
doc = elementtree.ElementTree.parse(conn).getroot()
conn.close()
find_text(doc)
for k in words:
    print "%d: %s" %(words[k], k)
Kéž by všechny stránky byly v XHTML strict...
Testovat se to dá třeba na tomhle XML:
http://www.w3schools.com/xml/plant_catalog.xml
Je to nějaký seznam kytek nebo tak něco. Nejčastější slovo je "Shade" s osmnácti výskyty.
21.6.2006 14:36 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Nerad se k tomu ještě vracím, ale program, který jsem napsal, je nepoužitelný pro "běžné" HTML, protože XML parser to nezchroustá. Je jasné, že HTML není XML, ale bylo by fajn, kdyby alespoň HTML 4.0 Transitional šlo nějak zkonvertovat. Zkoušel jsem stránku abclinuxu.cz. Validátorem prošla úspěšně, ale XML z toho vyrobit nedokážu - tidy zařve nějakou chybu:
chorchoj:14:22:02 ~$ wget -q abclinuxu.cz
chorchoj:14:22:26 ~$ tidy -xml index.html
line 18 column 1 - Error: unexpected </head> in <meta>
line 56 column 98 - Error: unexpected </a> in <img>
line 57 column 6 - Error: unexpected </div> in <img>
line 77 column 1 - Error: unexpected </div> in <img>
line 77 column 7 - Error: unexpected </div> in <img>
line 96 column 25 - Error: unexpected </form> in <input>
0 warnings, 51 errors were found! Not all warnings/errors were shown.

This document has errors that must be fixed before
using HTML Tidy to generate a tidied up version.

To learn more about HTML Tidy see http://tidy.sourceforge.net
Please send bug reports to html-tidy@w3.org
HTML and CSS specifications are available from http://www.w3.org/
Lobby your company to join W3C, see http://www.w3.org/Consortium
Zkoušel jsem i víc stránek - na každé je nějaký problém. Neznáte někdo nějaký jiný způsob, jak z HTML udělat well-formed XML?

Když už jsem to načal, tak posílám i druhou variantu toho programu - je trochu stručnější a nalezená slova seřadí podle četnosti:
#!/usr/bin/env python
import os,sys,elementtree.ElementTree, urllib2

words = {}
def find_text(elem):
    for word in elem.text.split():
        words[word] = words.get(word, 0) + 1
    for e in elem: find_text(e)

url = 'http://www.w3schools.com/xml/plant_catalog.xml'
conn = urllib2.urlopen(url)
doc = elementtree.ElementTree.parse(conn).getroot()
conn.close()
find_text(doc)
w = [(y,x) for x,y in words.items()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)
... ale jinak to trpí tím samým neduhem co předchozí verze.
21.6.2006 15:37 Hynek (Pichi) Vychodil | skóre: 43 | blog: Pichi | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Celou tu opičárnu:
w = [(y,x) for x,y in words.items()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)
jde v Python 2.4 nahradit
for word, num in sorted(
            words.iteritems(),
            key=lambda x: x[::-1],
            reverse=True
        ):
    print "%d: %s" %(num, word)
Principiálně je to totéž jako
w = [(y,x) for x,y in words.iteritems()]
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)
Ale vypadá to víc perlish :) (jinak to použití iteritems místo items by mělo ušetřit trochu paměti, ještě trošku paměti by mělo ušetřit
for word in sorted(
            words.iterkeys(),
            key=lambda x: (words[x], x),
            reverse=True
        ):
    print "%d: %s" %(words[word], word)
ale tam už bude kulhat rychlost) Aneb správný perlista dokáže napsat perlový kód v jakémkoli jazyku :-D

Pichi varuje: Tento příspěvek není kritika, jen má sloužit jako studijní materiál.

XML je zbytečný, pomalý, nešikovný balast, znovu vynalézané kolo a ještě ke všemu šišaté, těžké a kýčovitě pomalované.
21.6.2006 16:01 Jan Martinek | skóre: 43 | blog: johny | Brno
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Hohó, dík! Na iteritems() jsem úplně zapomněl, to je samozřejmě lepší. Takže můj favorit je prozatím tohle:
w = [(y,x) for x,y in words.iteritems()]
del words #šetříme pamětí
w.sort()
for num, word in w:
    print "%d: %s" %(num, word)

Z těch dalších návrhů ten Perl úplně vidím, a coby studijní materiál se to určitě hodí ;-)
Kritika mi nevadí - co mi vadí je prohánění HTML přes regulární výrazy.
Josef Kufner avatar 21.6.2006 15:08 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
Proc to delat jednoduse, kdyz to jde slozite...
lynx -dump www.abclinuxu.cz \
| sed -e 's/[^a-z0-9]\+/ /g' -e 's/[ \t]\+/\n/g' \
| sort \
| uniq -c \
| sort -n
Hello world ! Segmentation fault (core dumped)
Josef Kufner avatar 21.6.2006 15:10 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
...samozrejme to chce trosku doladit vyber zadanych znaku v tom sedu.
Hello world ! Segmentation fault (core dumped)

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.