abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 02:22 | Zajímavý projekt

Na Humble Bundle lze v rámci akce Humble Book Bundle: Linux Geek by No Starch Press zakoupit elektronické knihy věnované operačnímu systému Linux a open source softwaru od nakladatelství No Starch Press a navíc podpořit charitu. Za 1 dolar a více lze zakoupit 6 elektronických knih, za 8 dolarů a více dalších 6 elektronických knih, za 15 dolarů a více dalších 5 elektronických knih a za 30 dolarů a více další elektronickou knihu navíc.

Ladislav Hagara | Komentářů: 0
dnes 01:33 | Komunita

Patrick Volkerding oznámil před pětadvaceti lety vydání Slackware Linuxu 1.00. Slackware Linux byl tenkrát k dispozici na 3,5 palcových disketách. Základní systém byl na 13 disketách. Kdo chtěl grafiku, potřeboval dalších 11 disket. Slackware Linux 1.00 byl postaven na Linuxu .99pl11 Alpha, libc 4.4.1, g++ 2.4.5 a XFree86 1.3.

Ladislav Hagara | Komentářů: 15
včera 17:33 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na jednodeskový počítač Renegade Elite. Měl by být 4x výkonnější než Raspberry Pi 3 Model B+. Vlastnit jej lze již v září. Aktuální cena je 99 dolarů.

Ladislav Hagara | Komentářů: 14
včera 12:44 | Komunita

Od 7. do 10. června proběhla v Berlíně Linux Audio Conference 2018. Na programu byla řada zajímavých přednášek, seminářů a vystoupení. Videozáznamy lze zhlédnout na media.ccc.de.

Ladislav Hagara | Komentářů: 0
včera 09:44 | Pozvánky

Červencový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 19. 7. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát bude přednáška na téma: automatizační nástroj Ansible, kterou si připravil Martin Vicián.

xkucf03 | Komentářů: 0
14.7. 22:44 | Nová verze

Bylo oznámeno vydání KDE Frameworks 5.48.0, tj. nové verze aktuálně 72 knihoven rozšířujících multiplatformní framework Qt. Řešena je mimo jiné bezpečnostní chyba CVE-2018-10361 v KTextEditoru zneužitelná k lokální eskalaci práv. Knihovny KDE Frameworks jsou dnes využívány nejenom KDE Plasmou a KDE Aplikacemi.

Ladislav Hagara | Komentářů: 6
14.7. 20:11 | Nová verze

Byl vydán Debian 9.5, tj. pátá opravná verze Debianu 9 s kódovým názvem Stretch. Řešeny jsou především bezpečnostní problémy, ale také několik vážných chyb. Předchozí instalační média Debianu 9 Stretch lze samozřejmě nadále k instalaci používat. Po instalaci stačí systém aktualizovat.

Ladislav Hagara | Komentářů: 15
13.7. 23:55 | Komunita

V Národní technické knihovně (NTK) je 150 nových počítačů s operačním systémem Linux, konkrétně s linuxovou distribucí Fedora. Do konce prázdnin si na nich lze zahrát počítačovou hru Factorio (Wikipedie). V pondělí 23. 7. proběhne LAN party s vývojáři této hry.

Ladislav Hagara | Komentářů: 0
13.7. 17:33 | Zajímavý software

Fanatical (Wikipedie) má ve slevě řadu počítačových her běžících také na Linuxu. Balíček her Fanatical Strategy Bundle lze koupit za 1,99 eur.

Ladislav Hagara | Komentářů: 1
13.7. 11:44 | Zajímavý software

Byla vydána počítačová hra Warhammer 40,000: Gladius - Relics of War běžící také na Linuxu. Koupit ji lze na GOG, Humble Store i na Steamu. Videoukázka na YouTube.

Ladislav Hagara | Komentářů: 0
Jak čtete delší texty z webových stránek?
 (78%)
 (20%)
 (4%)
 (7%)
 (2%)
 (10%)
Celkem 359 hlasů
 Komentářů: 40, poslední 29.6. 10:21
    Rozcestník

    Unixové nástroje – 7 (tr, cut, sort a uniq)

    6. 1. 2010 | David Watzke | Návody | 88994×

    V tomto díle si představíme pár nástrojů pro jednoduchou manipulaci s textem: tr pro nahrazování znaků, cut pro získání požadované části textu, sort pro řazení řádků a uniq pro odstranění opakujících se řádků.

    Obsah

    tr

    link

    tr je program sloužící k nahrazování skupiny znaků na vstupu jinými znaky na výstupu. Název vychází z anglického slova translate nebo transliterate, což znamená přeložit nebo přepsat. První systém, se kterým byl program dodán, je AT&T UNIX verze .

    Jelikož příkaz pracuje se standardním vstupem, tak mu na něj musíme něco předat, jinak se jen zdánlivě zasekne a bude čekat až do ukončení. Podívejme se na základní použití:

    # načte soubor.txt, nahradí všechny výskyty znaku „a“ za „b“
    # a upravený text vypíše na std. výstup
    tr a b < soubor.txt
    
    # provede následující nahrazení:
    # a -> b
    # b -> c
    # c -> a
    echo abccab | tr 'abc' 'bca'
    
    # výstup bude: bcaabc
    

    Užitečná je možnost nahrazování skupiny znaků.

    # nahradí malá písmena za velká (vypíše „ABCDEF“)
    echo abcdef | tr '[:lower:]' '[:upper:]'
    
    # odstraní z textu v souboru všechny číslice
    tr -d '[:digit:]' < "soubor.txt"
    

    Nyní si popíšeme standardní přepínače programu, které rozšiřují jeho možnosti.

    PřepínačVýznam
    -c Doplní skupinu hodnot danou prvním zadaným řetězcem.
    -C Doplní skupinu znaků danou prvním zadaným řetězcem.
    -d Odstraní všechny výskyty dané skupiny znaků.
    -s Nahradí skupinu stejných, po sobě jdoucích znaků.

    Takový popis je sám o sobě docela matoucí a jsou zde ještě další pravidla, takže si to celé předvedeme na příkladech.

    # odstraní všechny výskyty znaku „p“ (tj. vypíše „lama“)
    echo lampa | tr -d 'p'
    # totéž (funguje v bashi >=3, méně přenosné)
    tr -d 'p' <<< "lampa"
    
    # nahradí více mezer za sebou za jednu
    tr -s '[:space:]' < soubor.txt
    
    # po každém „slovu“ odřádkuje
    tr -cs "[:graph:]" "[\n*]" < ../seznam.txt
    
    # odstraní všechny znaky, kromě zadaných („a“, „b“, „c“, odřádkování a mezera)
    tr -dc 'abc\n ' < ~/x.log
    
    # odstraní všechny znaky, které nejsou v abecedě (kromě odřádkování)
    tr -dc '[:alpha:]\n' < soubor
    

    cut

    link

    cut je program sloužící k vytažení určitých částí z textu. Název vychází z anglického výrazu cut out, což znamená vyříznout.

    Program zpracovává každý řádek daných souborů a umí provádět následující tři operace:

    1. Přepínač -b (bytes) umožňuje vybrat z každého řádku rozsah bytů. Například 1-10. Zadáte-li jej spolu s přepínačem -n, rozsah se zarovná směrem dolů tak, aby se žádný znak nerozdělil. Nezadáte-li rozsah, ale jen počátek, např. 50-, znamená to od 50. bytu až na konec řádku.
    2. Přepínač -c (chars) dělá totéž jako -b, ale se znaky místo bytů.
    3. Přepínač -f (fields) udává, které sloupce jednotlivých řádků se vypíší. Výchozí oddělovač sloupců je (znak) tab. Změnit lze pomocí přepínače -d, kterému zadáte jiný znak.

    Předvedeme si to na ukázkách.

    # vypíše ze souboru každý řádek od jeho 50. bytu
    cut -b 50- soubor
    
    # vypíše ze souboru 3. až 10. znak každého řádku
    cut -c 3-10 soubor
    
    # vypíše 2. a 4. sloupec ze seznamu ve formátu CSV oddělovaném středníky
    cut -d ';' -f 2,4 seznamu.csv
    

    sort

    link

    sort je program, jehož účelem je seřadit řádky daných souborů. Název programu znamená česky seřadit, takže zde není třeba nic vysvětlovat.

    Základní použití je jednoduché:

    # seřadí řádky v souboru 1.txt na std. výstup
    sort 1.txt
    
    # spojí soubory 1.txt a 2.txt a seřadí řádky
    sort 1.txt 2.txt
    
    # samozřejmě umí pracovat i se std. vstupem;
    # sort dostane na vstup prvních 500 řádků ze souboru
    # „soubor.txt“ a seřadí je na výstup.
    head -n 500 soubor.txt | sort
    

    sort má docela velké množství přepínačů a jejich kompletní popis by vydal spolehlivě na samostatný článek, proto vyberu jen několik (subjektivně) zajímavých.

    Může se hodit přepínač -o (output, výstup), který slouží k určení umístění, kam se uloží výstup (místo standardního výstupu). Má jednu výhodu oproti přesměrování výstupu, a sice tu, že umožňuje zadat stejný soubor jako vstupní i výstupní.

    # tento příkaz si smaže soubor „pod rukama“ (!)
    sort soubor > soubor
    
    # toto je funkční a bezpečné (seřadí řádky v souboru)
    sort soubor -o soubor
    

    Jsou-li jednotlivé vstupní soubory již seřazené a vy je chcete pouze spojit (a výsledek mít seřazený), můžete přidat přepínač -m (merge, spojit). Výsledek bude stejný, ale ušetříte nějaký čas (přímo úměrně k velikosti souboru).

    # jsou-li vstupní soubory („A.txt“, „B.txt“, „C.txt“) seřazené,
    # spojí (a celkově seřadí) se do souboru „ABC.txt“
    sort -m A.txt B.txt C.txt -o ABC.txt
    

    Chcete-li soubor seřadit obráceně, poslouží vám přepínač -r (reverse, obráceně).

    sort -r "/mnt/storage5/soubor.txt" > vystup.txt
    

    Pokud se chcete zbavit opakujících se řádků, poslouží přepínač -u (unique, jedinečný), který vlastně dělá totéž, co níže popisovaný program uniq.

    # seřadí seznam a zbaví jej duplicitních záznamů
    sort "seznam.txt" | uniq > "serazeny-seznam.txt"
    
    # totéž bez použití uniq
    sort -uo "serazeny-seznam.txt" "seznam.txt"
    

    Potřebujeme-li seřadit výpis podle jiného sloupce, než je ten první, použijeme přepínač -k. Zadáme-li pouze jedno číslo, bude řadit od n-tého sloupce až do posledního (v případě potřeby, tj. pokud budou hodnoty na n-tém sloupci stejné). Proto je někdy vhodné za čárku dopsat číslo sloupce, u kterého se má s řazením přestat. Toto druhé číslo může být stejné jako první. Zadáme-li za číslo tečku a za ni jiné číslo (m), sort bude řadit podle m-tého znaku n-tého sloupce.

    # seřadí vstup podle druhého sloupce
    sort -k 2,2 << EOF
    1 b
    2 a
    EOF
    
    # seřadí řádky souboru podle druhého znaku řetězce
    # ve třetím sloupci
    sort -k 3.2,3.2 "soubor"
    

    Sloupce jsou v tomto případě oddělovány vždy prázdným místem (mezerami) mezi jednotlivými slovy. Ke změně oddělovače sloupců lze použít přepínač -t.

    sort -t ';' -k 3 "seznam.csv"
    

    Užitečný je často přepínač -n (numeric sort, numerické řazení), který aktivuje řazení dle číselné hodnoty. Lze samozřejmě kombinovat s ostatními přepínači.

    sort -n "soubor.txt"
    

    Tento program má skutečně široké možnosti, co se týče řazení řádků, proto potřebujete-li něco ještě konkrétnějšího, než jsem zde popsal, podívejte se do specifikace SUS (anglicky) nebo se zeptejte v diskuzi.


    uniq

    link

    uniq slouží primárně k filtrování stejných, po sobě jdoucích řádků tak, aby se opakovaný řádek vypsal pouze jednou. Příkaz se poprvé objevil v AT&T UNIXu verze 3. Název vychází patrně z anglického slova unique (jedinečný), protože to souvisí s jeho účelem – každý řádek je totiž po zpracování programem jedinečný (neopakuje se).

    Jelikož se duplicitní řádky odstraní jen tehdy, když spolu sousedí, často je žádoucí řádky nejdřív seřadit pomocí výše popisovaného programu sort. Ovšem použijete-li sort, pak už vám nic nebrání rovnou využít jeho přepínač -u a použití uniq se tak úplně vyhnout.

    # seřadí seznam a zbaví jej duplicitních záznamů
    sort "seznam.txt" | uniq > "serazeny-seznam.txt"
    
    # totéž bez použití uniq
    sort -uo "seznam.txt" "seznam.txt"
    

    Chování programu lze ovlivnit přepínači. Popíšeme si zde ty, které byly standardizovány.

    Přepínač Význam
    -c Před každý řádek vypíše číslo, signalizující po kolikáté se daný řádek opakuje. Tzn. neodstraňuje duplicity.
    -d Vypíše pouze opakující se řádky.
    -f n Ignoruje maximálně prvních n znaků, které odpovídají regulárnímu výrazu [[:blank:]]*[^[:blank:]]*. Pokud je n větší než skutečný počet těchto znaků, použije se pro porovnání prázdný řetězec.
    -s n Ignoruje prvních n znaků při porovnávání řádků.
    -u Řádky, které se opakují, nevypíše ani jednou.

    Jako vždy si přepínače předvedeme na ukázkách.

    # vypíše řádky, které se v souboru „x“ opakují
    sort "x" | uniq -d
    
    # vypíše před každý řádek číslo, kolikrát se opakoval
    uniq -c "seznam"
    
    # vypíše pouze řádky „1111“ a „3211“, protože první znak je ignorován a
    # tím pádem jsou první tři řádky považovány za stejné
    uniq -s 1 << EOS
    1111
    2111
    3111
    3211
    EOS
    
           

    Hodnocení: 100 %

            špatnédobré        

    Nástroje: Tisk bez diskuse

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    6.1.2010 00:35 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    IMHO by bylo vhodnější u přepínačů -c, -C příkazu tr napsat spíš neguje než doplní. Přestože vím, co ty přepínače dělají, chvíli mi trvalo, než jsem pochopil, že "doplní" má znamenat "vezme doplněk".
    6.1.2010 11:08 Jirka P
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    Přesně tak, o "doplňování množiny" slyším dnes poprvé. Možná, kdyby autor skutečně trval na echt českých slovech, by se dalo říct "první množina je dopněk zadaných znaků".
    menphis avatar 6.1.2010 02:14 menphis | skóre: 22 | blog: menphis_blog
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    Super serial.
    6.1.2010 09:34 Uran | skóre: 9 | blog: uranit
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    Perfektni hlavne to trideni podle sloupcu/znaku u sort jsem dlouho hledal.
    Fill avatar 6.1.2010 09:55 Fill | skóre: 19 | blog: Fill | Třebíč
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    Moc pěkný.

    Např. jsem si léta (cca 10 :)) nevšiml přepínače -f u cut a pokaždé to lámal přes awk :).

    Dík.
    6.1.2010 15:00 Robo
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    hehe, no ja som to lamal este asi pred rokom cez sed, kym som objavil cut, ktory je daleko rychlejsi ;-)
    6.1.2010 10:11 vencas | skóre: 32
    Rozbalit Rozbalit vše cut delimiter \s+
    S cutem mám trochu problém, protože se mnu nedá říct, aby bral "libovolný počet whitespace" jako oddělovač; text zarovnaný ve sloupcích ho rozbije.
    6.1.2010 11:43 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: cut delimiter \s+
    To sice ne, ale dá se to obejít pomocí 'tr -s'.
    6.1.2010 17:55 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    Pozor na sort -u, v kombinaci s --key to není totéž jako uniq! A neodstraňuje to duplicitní řádky:
    bash$ sort --key 2 -u <<EOF
    > a a
    > b a
    > c a
    > EOF
    a a
    neboli uniq se týká jen klíče (popř klíčů), ne celé řádky. Někdy toho lze s výhodou využít.
    Amarok avatar 9.1.2010 15:08 Amarok | skóre: 33 | blog: blogoblog
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    Tenhle dil uz je hodne zajimavy, dik za nej.
    Vloudila se drobna chyba (oznacim tucne):
    # seřadí seznam a zbaví jej duplicitních záznamů
    sort "seznam.txt" | uniq > "serazeny-seznam.txt"
    
    # totéž bez použití uniq
    sort -uo "serazeny-seznam.txt" "seznam.txt"
    
    GNUniverse - May the source be with you...
    David Watzke avatar 9.1.2010 19:32 David Watzke | skóre: 74 | blog: Blog... | Praha
    Rozbalit Rozbalit vše Re: Unixové nástroje – 7 (tr, cut, sort a uniq)
    Jo, to je pravda. Abych mohl tvrdit, že je to totéž, mělo by to být tak, jak píšeš. To, co jsem napsal já, seřadí soubor in-place.
    “Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.