abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 14:44 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 151. brněnský sraz, který proběhne v pátek 20. 4. od 18:00 hodin v restauraci Benjamin na Drobného 46.

Ladislav Hagara | Komentářů: 0
včera 13:33 | Nová verze

Byla vydána verze 18.04.0 KDE Aplikací (KDE Applications). Přehled novinek v kompletním seznamu změn a na stránce s dalšími informacemi.

Ladislav Hagara | Komentářů: 0
včera 13:11 | Nová verze

Bylo oznámeno vydání nové stabilní verze 1.26 a beta verze 1.27 open source textového editoru Atom (Wikipedie). Přehled novinek i s náhledy v příspěvku na blogu. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
včera 12:55 | Komunita

Dle plánu byla dnes vydána hra Rise of the Tomb Raider (Wikipedie) pro Linux. Koupit ji lze za 49,99 €.

Ladislav Hagara | Komentářů: 2
včera 09:55 | Bezpečnostní upozornění

Společnost Oracle vydala čtvrtletní bezpečnostní aktualizaci svých softwarových produktů (CPU, Critical Patch Update). Opraveno bylo celkově 254 bezpečnostních chyb. V Oracle Java SE je například opraveno 14 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 12 z nich. V Oracle MySQL je opraveno 33 bezpečnostních chyb. Vzdáleně zneužitelné bez autentizace jsou 2 z nich.

Ladislav Hagara | Komentářů: 3
18.4. 23:11 | Nová verze

Byla vydána verze 8.0 linuxové distribuce Trisquel GNU/Linux. Nejnovější verze Trisquel nese kódové jméno Flidas a bude podporována do roku 2021. Výchozím prostředím je nově MATE 1.12. Trisquel patří mezi svobodné distribuce doporučované Nadací pro svobodný software (FSF).

Ladislav Hagara | Komentářů: 0
18.4. 16:00 | Nová verze

Byla vydána nová verze 27.9.0 webového prohlížeče Pale Moon (Wikipedie) vycházejícího z Firefoxu. Přehled novinek v poznámkách k vydání. Jedná se o poslední větší aktualizaci verze 27. Vývojáři se zaměří na novou verzi 28.

Ladislav Hagara | Komentářů: 0
18.4. 12:00 | Nová verze

Google Chrome 66 byl prohlášen za stabilní (YouTube). Nejnovější stabilní verze 66.0.3359.117 tohoto webového prohlížeče přináší řadu oprav a vylepšení. Vylepšeny byly také nástroje pro vývojáře (YouTube). Opraveno bylo 62 bezpečnostních chyb.

Ladislav Hagara | Komentářů: 0
18.4. 06:00 | Nová verze

Byla vydána druhá RC verze nové řady 2.10 svobodné aplikace pro úpravu a vytváření rastrové grafiky GIMP. Přehled novinek i s náhledy v oznámení o vydání.

Ladislav Hagara | Komentářů: 0
17.4. 23:39 | Pozvánky

Již tento čtvrtek (19. 4.) se v posluchárně 107 na Fakultě informačních technologií ČVUT v Praze Dejvicích odehraje večer s Turrisem, tentokrát zaměřený na nový modulární router MOX. Mluvit o něm budou Patrick Zandl a Ondřej Filip, ale bude i prostor pro dotazy a diskuzi s vývojáři. Akce začíná v 18:00 a plánovaný konec je v 19:45. Mapka, kde se nachází daná posluchárna, a možnost registrace je k dispozici na webu CZ.NIC.

Miška | Komentářů: 0
Používáte na serverech port knocking?
 (2%)
 (7%)
 (47%)
 (26%)
 (17%)
Celkem 327 hlasů
 Komentářů: 29, poslední 5.4. 12:25
    Rozcestník

    Dotaz: wget: co se vlastne stahlo?

    20.6.2006 06:18 diverman | skóre: 32 | blog: život s tučňáčkem
    wget: co se vlastne stahlo?
    Přečteno: 187×
    Ahoj, stahuji wgetem soubor a potřebuji potom zjistit název souboru, který se stáhl. Příklad:
    wget www.seznam.cz
    --06:13:25--  http://www.seznam.cz/
               => `index.html'
    Resolving www.seznam.cz... 194.228.32.3
    Connecting to www.seznam.cz|194.228.32.3|:80... connected.
    HTTP požadavek odeslán, program čeká na odpověď ... 200 OK
    Délka: neudáno [text/html]
    
        [ <=>                                                                                            ] 31 595        --.--K/s
    
    06:13:25 (5.98 MB/s) - `index.html' saved [31595]
    
    Potřebuji získat to index.html. Pokud bych tento výstup poslal rourou, např. wget http://www.seznam.cz 2>&1|grep saved|sed -e 'blabla', tak sice získám název, ale přijdu tím o ostatní omáčku z wgetu. Potřeuji i tu omáčku i ten název... Dík za tip!
    deb http://ftp.cz.debian.org/debian jessie main contrib non-free

    Odpovědi

    David Watzke avatar 20.6.2006 06:57 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    wget http://www.seznam.cz 2>&1|tee /dev/stderr|grep saved
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    20.6.2006 07:03 diverman | skóre: 32 | blog: život s tučňáčkem
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Super, to je přesně wono ;-) Ale fakt jsem nečekal, že mi poradíš zrovna ty... :-) Ted jěště musím sesmolit ten sed, co mi z 07:00:11 (6.83 MB/s) - `index.html.31' saved [31612] dá to index.html :-(
    deb http://ftp.cz.debian.org/debian jessie main contrib non-free
    David Watzke avatar 20.6.2006 07:13 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    $ echo "07:00:11 (6.83 MB/s) - \`index.html.31' saved [31612]"
    07:00:11 (6.83 MB/s) - `index.html.31' saved [31612]
    
    $ echo "07:00:11 (6.83 MB/s) - \`index.html.31' saved [31612]" | \
    sed -e "s:[[:print:]]*\`::" -e "s?' saved \[[[:digit:]]*\]??g"
    index.html.31
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    20.6.2006 07:17 Kyosuke | skóre: 28 | blog: nalady_v_modre
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Mladá generace se má čile k světu, hmm, to abych už šel pověsit počítač na hřebík... :-D (Nebo už konečně začal dělat na tom Informixu... :-D)
    David Watzke avatar 20.6.2006 07:21 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    LOL. Popravdě sám nevěřím tomu, že jsem tohle napsal :-D
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
    20.6.2006 07:14 rastos | skóre: 61 | blog: rastos
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    -O file
    --output-document=file
    20.6.2006 09:00 diverman | skóre: 32 | blog: život s tučňáčkem
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    S tím sedem to je takové krkolomné, nakonec jsem to vyřešil takhle:
    wget $URL 2>&1 | tee /dev/stderr | grep saved | awk '{ print(substr($5, 2, length($5)-2)); }'
    
    Dík všem a hlavně Davidovi :-)
    deb http://ftp.cz.debian.org/debian jessie main contrib non-free
    20.6.2006 09:53 Kadži | skóre: 14
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    krkolomné je i toto. Zkus:
    wget $URL 2>&1 | tee /dev/stderr | awk '/saved/{ print(substr($5, 2, length($5)-2)); }'
    20.6.2006 09:44 Tomáš | skóre: 30 | blog: Tomik
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    A nestačilo by dát tomu souboru předem nějaký název, třeba index.html a nezalamovat se s tím, jestli je to index.htm nebo default.htm? Podívej se na volbu -o.
    20.6.2006 10:12 diverman | skóre: 32 | blog: život s tučňáčkem
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    jj, o teto volbe vim, ale nechci se vazat na nejaky defaultni nazev, pac ten skript ve finale nebudu pouzivat ja.
    deb http://ftp.cz.debian.org/debian jessie main contrib non-free
    20.6.2006 10:32 Michal Karas | skóre: 45 | blog: /dev/random
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Zdar, nejjednodušší bude asi uložit ten soubor pod předem určeným jménem, jak říká rastos. Pokud to chceš dělat ale takhle, tak bych zkusil asi něco takového:
    file=$(wget $url 2>&1 | sed -n "2{h;s/.*\`\(.*\)'$/\1/p;g};w /dev/stderr")
    20.6.2006 11:20 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Mě se zdá, že wget ukládá vždy do 'index.html', jestliže nemá k dispozici název souboru. Takže
    wget http://seznam.cz
    
    stáhne něco jiného než
    wget http://seznam.cz/index.html
    
    Ale přitom název souboru bude v obou případech 'index.html'. Takže buď ten název souboru známe (je součástí URL) nebo ho neznáme a pak je to index.html. Nebo jsou nějaké výjimky?
    20.6.2006 12:04 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Myslím, že podobně jako wget by se zachovalo tohle:
    #!/usr/bin/env python
    import sys,os,urlparse,urllib2
    
    conn = urllib2.urlopen(sys.argv[1])
    realurl = conn.geturl()
    parsed = urlparse.urlsplit(realurl)
    url_path = parsed[2] # Here is the path
    filename = os.path.split(url_path)[1]
    if not filename:
        print 'No filename available, using "index.html"'
        filename = 'index.html'
    file(filename, 'w').write(conn.read())
    
    Jestliže se pokusím stáhnout
    http://kf.fyz.fce.vutbr.cz/pub/ble
    
    tak to název souboru nenajde a stáhne to do "index.html". Zatímco
    http://kf.fyz.fce.vutbr.cz/pub/bla
    
    obsahuje konkrétní název souboru, ačkoli to z pouhé adresy nelze poznat. No a v tomto případě se použije název "bla". Zrovna tak to udělá i wget.
    20.6.2006 12:52 diverman | skóre: 32 | blog: život s tučňáčkem
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Dík všem, vyzkouším vaše nápady. Je to semestrálka do unixu. Tento předmět je o skriptování v bashi. Program stáhne soubor z webu, vypreparuje html entity a vypočítá statistiky, kolikrát se to které slovo vyskytuje v textu. Takže např:
    ahoj   2
    slunce 3
    moře   1
    člověk 5
    atd...
    
    deb http://ftp.cz.debian.org/debian jessie main contrib non-free
    20.6.2006 12:58 diverman | skóre: 32 | blog: život s tučňáčkem
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Takže wget, ziskam soubor, cat soubor | sed {delete html} | awk { jeste musim vymyslet }. Ale to uz si chci vymyslet sam :-) nejsem lamka :-) Ahoj všem a užijte si sluníčka!
    deb http://ftp.cz.debian.org/debian jessie main contrib non-free
    20.6.2006 13:14 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Proč ne rovnou
      wget -q -O- ... | sed ... | ...
    
    Případně pokud by se jednalo o slušný web, mohl byste k vyčištění použít xsltproc.
    20.6.2006 16:50 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Nebo to prostě stáhnout, prohnat XML parserem, rekurzivně projít všechny elementy, vybrat z nich text, ten rozložit na slova a zjistit jejich četnost:
    #!/usr/bin/env python
    import os,sys,elementtree.ElementTree, urllib2
    
    words = {}
    
    def add_to_words(text):
        for word in text.split():
            try:
                words[word] += 1
            except KeyError:
                words[word] = 1
    
    def find_text(elem):
        text = elem.text
        if text:
            add_to_words(text)
        for e in elem: find_text(e)
    
    conn = urllib2.urlopen(sys.argv[1])
    doc = elementtree.ElementTree.parse(conn).getroot()
    conn.close()
    find_text(doc)
    for k in words:
        print "%d: %s" %(words[k], k)
    
    Kéž by všechny stránky byly v XHTML strict...
    Testovat se to dá třeba na tomhle XML:
    http://www.w3schools.com/xml/plant_catalog.xml
    Je to nějaký seznam kytek nebo tak něco. Nejčastější slovo je "Shade" s osmnácti výskyty.
    21.6.2006 14:36 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Nerad se k tomu ještě vracím, ale program, který jsem napsal, je nepoužitelný pro "běžné" HTML, protože XML parser to nezchroustá. Je jasné, že HTML není XML, ale bylo by fajn, kdyby alespoň HTML 4.0 Transitional šlo nějak zkonvertovat. Zkoušel jsem stránku abclinuxu.cz. Validátorem prošla úspěšně, ale XML z toho vyrobit nedokážu - tidy zařve nějakou chybu:
    chorchoj:14:22:02 ~$ wget -q abclinuxu.cz
    chorchoj:14:22:26 ~$ tidy -xml index.html
    line 18 column 1 - Error: unexpected </head> in <meta>
    line 56 column 98 - Error: unexpected </a> in <img>
    line 57 column 6 - Error: unexpected </div> in <img>
    line 77 column 1 - Error: unexpected </div> in <img>
    line 77 column 7 - Error: unexpected </div> in <img>
    line 96 column 25 - Error: unexpected </form> in <input>
    0 warnings, 51 errors were found! Not all warnings/errors were shown.
    
    This document has errors that must be fixed before
    using HTML Tidy to generate a tidied up version.
    
    To learn more about HTML Tidy see http://tidy.sourceforge.net
    Please send bug reports to html-tidy@w3.org
    HTML and CSS specifications are available from http://www.w3.org/
    Lobby your company to join W3C, see http://www.w3.org/Consortium
    
    Zkoušel jsem i víc stránek - na každé je nějaký problém. Neznáte někdo nějaký jiný způsob, jak z HTML udělat well-formed XML?

    Když už jsem to načal, tak posílám i druhou variantu toho programu - je trochu stručnější a nalezená slova seřadí podle četnosti:
    #!/usr/bin/env python
    import os,sys,elementtree.ElementTree, urllib2
    
    words = {}
    def find_text(elem):
        for word in elem.text.split():
            words[word] = words.get(word, 0) + 1
        for e in elem: find_text(e)
    
    url = 'http://www.w3schools.com/xml/plant_catalog.xml'
    conn = urllib2.urlopen(url)
    doc = elementtree.ElementTree.parse(conn).getroot()
    conn.close()
    find_text(doc)
    w = [(y,x) for x,y in words.items()]
    w.sort()
    for num, word in w:
        print "%d: %s" %(num, word)
    
    ... ale jinak to trpí tím samým neduhem co předchozí verze.
    21.6.2006 15:37 Hynek (Pichi) Vychodil | skóre: 43 | blog: Pichi | Brno
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Celou tu opičárnu:
    w = [(y,x) for x,y in words.items()]
    w.sort()
    for num, word in w:
        print "%d: %s" %(num, word)
    jde v Python 2.4 nahradit
    for word, num in sorted(
                words.iteritems(),
                key=lambda x: x[::-1],
                reverse=True
            ):
        print "%d: %s" %(num, word)
    Principiálně je to totéž jako
    w = [(y,x) for x,y in words.iteritems()]
    w.sort()
    for num, word in w:
        print "%d: %s" %(num, word)
    Ale vypadá to víc perlish :) (jinak to použití iteritems místo items by mělo ušetřit trochu paměti, ještě trošku paměti by mělo ušetřit
    for word in sorted(
                words.iterkeys(),
                key=lambda x: (words[x], x),
                reverse=True
            ):
        print "%d: %s" %(words[word], word)
    ale tam už bude kulhat rychlost) Aneb správný perlista dokáže napsat perlový kód v jakémkoli jazyku :-D

    Pichi varuje: Tento příspěvek není kritika, jen má sloužit jako studijní materiál.

    XML je zbytečný, pomalý, nešikovný balast, znovu vynalézané kolo a ještě ke všemu šišaté, těžké a kýčovitě pomalované.
    21.6.2006 16:01 Jan Martinek | skóre: 43 | blog: johny | Brno
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Hohó, dík! Na iteritems() jsem úplně zapomněl, to je samozřejmě lepší. Takže můj favorit je prozatím tohle:
    w = [(y,x) for x,y in words.iteritems()]
    del words #šetříme pamětí
    w.sort()
    for num, word in w:
        print "%d: %s" %(num, word)
    

    Z těch dalších návrhů ten Perl úplně vidím, a coby studijní materiál se to určitě hodí ;-)
    Kritika mi nevadí - co mi vadí je prohánění HTML přes regulární výrazy.
    Josef Kufner avatar 21.6.2006 15:08 Josef Kufner | skóre: 68
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    Proc to delat jednoduse, kdyz to jde slozite...
    lynx -dump www.abclinuxu.cz \
    | sed -e 's/[^a-z0-9]\+/ /g' -e 's/[ \t]\+/\n/g' \
    | sort \
    | uniq -c \
    | sort -n
    
    Hello world ! Segmentation fault (core dumped)
    Josef Kufner avatar 21.6.2006 15:10 Josef Kufner | skóre: 68
    Rozbalit Rozbalit vše Re: wget: co se vlastne stahlo?
    ...samozrejme to chce trosku doladit vyber zadanych znaku v tom sedu.
    Hello world ! Segmentation fault (core dumped)

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.