BASH - V

21. 11. 2003 | Jan Fuchs | Návody | 40819×

V předposlední části seriálu si ukážeme, jak pracovat s dokumenty here, metaznaky shellu, regulárními výrazy, filtry a proudovými editory.

Obsah jednotlivých dílů

1. Úvod, editace příkazové řádky
2. Základní příkazy, roury a přesměrování
3. Proměnné, podmínky a cykly
4. Funkce a příkazy
5. Dokumenty here, regulární výrazy
6. Ladění skriptů, odchytávání signálů a příklady

Dokumenty here

Umožňují předat vstup příkazu ze samotného skriptu. Ukážeme si to na skriptu here.sh.

#!/bin/bash cat <<EOF \$USER=$USER \$HOME=$HOME \$SHELL=$SHELL EOF cat <<"EOF" | egrep 'J|u' Jestliže nechceme expandovat proměnné, uzavřeme příznak určující konec vstupu do uvozovek ($USER, $HOME, $SHELL). EOF exit 0

Ještě si skript spustíme.

# ./here.sh $USER=root $HOME=/root $SHELL=/bin/bash Jestliže nechceme expandovat proměnné, uzavřeme příznak určující konec vstupu do uvozovek ($USER, $HOME, $SHELL).

Metaznaky shellu

Lze je použít k neúplnému zadání jména souboru.

POZOR neztotožňujte metaznaky shellu s regulárními výrazy, jsou to dvě různé věci. Metaznaky expanduje přímo shell. A proto když chceme nějakému programu předat regulární výraz, musíme ho uzavřít například do apostrofů.

• * - libovolný řetězec (může být i nulové délky)
• ? - libovolný jeden znak
• ~ - domovský adresář ($HOME)
• ~UJ - domovský adresář uživatele UJ
• ~+ - aktuální pracovní adresář ($PWD)
• ~- - předchozí pracovní adresář ($OLDPWD)
• [abc...] - jakýkoliv znak uvedený v [], lze použít - k zápisu intervalu znaků např a-z, 0-9
• [!abc...] - opak předchozího (tj. jakýkoliv znak mimo uvedených znaků v [])

První příkaz smaže zálohy souborů (soubory končící na ~). Znak ~ nebude v tomto případě expandován.

$ rm *~ $ ls dil*.html dil2.html  dil3.html  dil4.html  dil5.html  dil6.html $ ls [di]*.html dil2.html  dil3.html  dil4.html  dil5.html  dil6.html  index.html

Regulární výrazy

Jsou (mými slovy, přesná definice je "trochu" složitější ) vzory, s jejichž pomocí lze definovat společné rysy několika různých řádků a tím pádem je reprezentovat jako jeden regulární výraz. Níže uvedené speciální znaky jsou použitelné např. v grep, egrep, sed, ed, ex, awk.

• . - jakýkoliv znak (mimo znaku nového řádku)
• * - libovolný počet (i nulový) opakování předchozího znaku (lze použít i regulární výraz)
• ^ - následující výraz musí odpovídat začátku řádku
• $ - předchozí výraz musí odpovídat konci řádku
• \ - vypíná speciální význam následujícího znaku
• [] - jakýkoliv znak uvedený v hranatých závorkách, speciální znaky zde mají normální význam, mimo - tu lze použít pro zápis intervalů (a-z atd.) a znak ^ uvedený jako první způsobí negaci (tj. jakýkoliv znak neuvedený v ...)

Použijeme programy cat, grep a všechno si poctivě vyzkoušíme.

$ cat << END > ./retezce.txt > abclinuxu > alfa > aaa > abcabcabc > znak $ > a1a > aAa > END $ cat ./retezce.txt | grep '.*' abclinuxu alfa aaa abcabcabc znak $ a1a aAa $ cat ./retezce.txt | grep '.* \$' znak $ $ cat ./retezce.txt | grep '^a[a-z]*a$' alfa aaa $ cat ./retezce.txt | grep '^a[a-z0-9]*a$' alfa aaa a1a

Filtry

Jsou programy, které ze vstupu podle zadaného vzoru odfiltrují jen námi požadovaná data a pošlou je na výstup. Jsou jimi např. grep, egrep (grep -E) a fgrep (grep -F), jsou to vlastně stejné programy. Pro nás je důležité, že grep používá pro zápis regulárních výrazů starší notaci a egrep naopak novější notaci. Níže uvedené speciální znaky patří do novější notace a chceme-li je použít ve filtru grep, musíme před ně zapsat znak \.

• + - jeden a více výskytů předchozího výrazu.
• ? - jeden nebo žádný výskyt předchozího výrazu.
• | - předcházející nebo následující výraz.
• () - text odpovídající výrazu mezi závorkami se uloží do paměti a lze ho použít pomocí \1 až \9, čísluje se od vnějších závorek směrem dovnitř (např. ((abc)linuxu) \1 = "abclinuxu") a \2 = "abc". Nebo lze použít závorky k definování priority vyhodnocení.
• {n,m} - interval opakování předchozího výrazu, {n} - opakuje se n-krát, {n,} n-krát a více, {n,m} n-krát až m-krát

Pro lepší pochopení uvedu opět několik příkladů.

$ cat ./retezce.txt | grep '^a\+$' aaa $ cat ./retezce.txt | egrep '^a+$' aaa $ cat ./retezce.txt | egrep '^abcl?' abclinuxu abcabcabc $ cat ./retezce.txt | egrep '^c|z' znak $ $ cat ./retezce.txt | egrep '(abc)+' abclinuxu abcabcabc $ cat ./retezce.txt | egrep '^(.*)\1\1$' aaa abcabcabc $ cat ./retezce.txt | egrep '^a{3}$' aaa $ cat ./retezce.txt | egrep '^a{2,}$' aaa $ cat ./retezce.txt | egrep '^a{1,3}$' aaa

Proudové editory

Z názvu je zřejmé, že slouží k proudové editaci dat. O načítání vstupu se starají sami. Mají k dispozici sadu příkazů, pomocí které data upravují (obvykle pracují s jedním řádkem), např. sed a nebo na složitější věci awk.

Sed

Syntaxe příkazu:

Začátek,Konec!InstrukceArgumenty

• Začátek - číslo řádku ($ značí poslední řádek) nebo /regulární výraz/
• Konec - číslo řádku nebo /regulární výraz/
• ! - neguje předchozí body
• Instrukce - mají jedno písmeno
• Argumenty - k některým instrukcím

Není-li uveden Začátek a Konec, aplikuje se instrukce na každý vstupní řádek. Je-li uveden pouze Začátek, aplikuje se instrukce pouze na odpovídající řádek (či řádky) a je-li uvedeno obojí, tak od řádku odpovídajícímu Začátek se budou aplikovat instrukce a od řádku odpovídajícímu Konec se aplikovat přestanou. Níže jsou uvedeny některé Instrukce a jejich Argumenty.

• s/vzorek/náhrada/příznaky - nahradí první nalezený vzorek náhradou. Příznaky: n - nahradí n-tý výskyt vzorku (1 až 512), g - nahradí všechny výskyty vzorku.
• w soubor - do souboru uloží vstupní řádek (řádky)
• r soubor - soubor načte do vstupu
• p - vypíše vstupní řádek na výstup
• n - přesune se na další vstupní řádek
• d - vstupní řádek je smazán
• y/původní znaky/nové znaky/ - přeloží znaky (man tr)
• : - označí řádek skriptu pro odskok Instrukcí t nebo b
• t - byla-li provedena substituce, skočí na následující značku :, není-li uvedena, skočí na konec skriptu
• {} - zajistí aplikaci více příkazů na jednu adresu

$ cat ./retezce.txt | sed '2,$s/a/?/g' abclinuxu ?lf? ??? ?bc?bc?bc zn?k $ ?1? ?A? $ cat ./retezce.txt | sed -n '2p' alfa $ cat ./retezce.txt | sed -n '1{ > n > p > }' alfa $ cat ./retezce.txt | sed '2p > d' alfa $ cat ./retezce.txt | sed '4y/a/?/ > 4!d' ?bc?bc?bc

Na závěr uvedu ještě jeden příklad ve formě skriptu sed.sh.

#!/bin/bash spojka="je bydliště" cat <<EOF | sed \ "s/^\(.\+j\) \(.\+\)o:\(.\+\)\$/\3 $s \1e \2a/ t s/^\(.\+j\) \(.\+\):\(.\+\)\$/\3 $s \1e \2a/ t s/^\(.\+\) \(.\+\)o:\(.\+\)\$/\3 $s \1a \2a/ t s/^\(.\+\) \(.\+\):\(.\+\)\$/\3 $s \1a \2a/" Petr Novák:Praha Viktor Igo:Brno Blažej Vodník:Plzeň Jan Hugo:Hradec Králové Metoděj Sporák:Ostrava EOF exit 0

Výstup skriptu vypadá následovně.

$ ./sed.sh Praha je bydliště Petra Nováka Brno je bydliště Viktora Iga Plzeň je bydliště Blažeje Vodníka Hradec Králové je bydliště Jana Huga Ostrava je bydliště Metoděje Sporáka

V případě, že bychom chtěli zajistit správné skloňování úplně pro všechny jména a přijmení, určitě by výše uvedené řešení nebylo to nejkratší a nejvhodnější, berte ho pouze jako ukázku.

       

Komentáře

Diskuse byla administrátory uzamčena

[me]

Domnivam se, ze by bylo pro zacatecniky uzitecnejsi, kdyby jim byl nabidnut priklad, ktery budou moci pouzit v beznem zivote. Priklad u prikazu sed je sice zajimavy ale neprosto neuzitecny. Radsi by jsem se naucil jak vypreparovat prvni radek souboru, jak ziskat radek posledni, jak ziskat vse krome prvniho radku, ... Proste par jednoduchych prikazu, ktere se obcas hodi a pritom demonstruji moznosti a pouziti sed editoru. A az potom treba nejaky absurdni priklad, demonstrujici rozsirene moznosti...

[Fuky]

$ sed -n '1p' < ./soubor
První řádek
$ sed -n '$p' < ./soubor
Poslední řádek
$ sed -n '1!p' < ./soubor
Druhý řádek
Třetí řádek
Poslední řádek


Chce ještě někdo zodpovědět nějaký konkrétní příklad?

[Jaroslav Novak]

Zajimalo by me, jak projit nekolik souboru v adresari a v kazdem nahradit dane slovo nejakym jinym. To je takovy priklad ze zivota.

[Fuky]

#!/bin/bash

mv $1 $1.old
sed 's/ahoj/nazdar/' $1.old > $1
#rm $1.old
exit 0

$ find -type f | xargs -i ../skript.sh {}

[Jaroslav Novak]

Dekuji, a dalo by se pred kazde nalezene "ahoj" vlozit odradkovani? Nebo nahradit "ahoj" znakem pro odradkovani a opet "ahoj". Jenom me nenapada jak napsat ten znak pro odradkovani. Nebo i jine znaky, jako treba tabulator.

[Fuky]

$ cat soubor
nazdarahojnazdarahojnazdarahojnazdar

$ sed 's/ahoj/\n/g' < ./soubor
nazdar
nazdar
nazdar
nazdar

$ sed 's/\(ahoj\)/\n\1\n/g' < ./soubor
nazdar
ahoj
nazdar
ahoj
nazdar
ahoj
nazdar

[conf]

zdravim, chtel bych se zeptat jestli je nejaka moznost jak si v sedu ulozit nalezeny vzorek a pak ho pouzit napr: mám nejakou vetu: testovaci věta je toto. a nad kazdym radkem souboru mam posloupnost prikazu sed -e "s/blabla/" a v jednu chvili potrebuju najit vzorek věta a nahradit ho napr. světak ...takze světak

je tedy nejak mozne uprostred sedu si vzorek ulozit do promene nb ho primo prenest do prostred vkladane substituce? děkuji

[JaSel]

Nejak to nemuzu rozlousknout: Potrebuju vymazat vsechny radky, na kterych je slovo 'Error'. Predem dik za radu.

[Fuky]

$ cat soubor
Řádek 1
Error 2
Řádek 3
Error 4
$ egrep -v '^Error.+$' < ./soubor
Řádek 1
Řádek 3

[Jan Perich]

Každopádně díky za váš seriál. Je super.

Vícekrát jsem řešil problém, že potřebuju získat ze souboru nějakou konkrétní informaci a tu pak předat do nějaké proměnné.

napr: Někde v souboru (o více řádcích) by se mělo vyskytovat "Access Point: MAC adresa"

řešil jsem to takhle:

APMAC=`cat soubor | \/bin/sed -e \ "/Access Point/!d /Access Point/s/.*Access Point: \([0-9A-F:]\{17\}\) */\1/ "`

ale zdá se mi to hrozně krkolomné. Šlo by to zjednodušit (nebo dělat nějak úplně jinak?)

[Fuky]

sed -n 's/.*Access Point: \([0-9A-F:]\{17\}\).*/\1/p' soubor

[J. Krajkář]

Dobrý den, jsem začátečník v Bashi i v Linuxu jako takovém a řeším teď takový skriptík, který načte své argumenty a potom s nimi operuje jako s čísly (přesněji řečeno - snaží se je seřadit), ale pokud zadám do argumentů nečíselnou hodnotu (třeba ahoj), tak ostatní čísla sice seřadí, ale vypíše hodně chybových hlášek a to ahoj mezi čísly zůstane. Nešlo by přes grep zařídit, aby nečíselné argumenty ignoroval? Jestli ano, tak jak?

[Fuky]

Můžeš např. všechno kromě čísel a mezer smazat.

$ echo "1234 ahoj 4321" | sed -n 's/[^0-9 ]//gp'
1234  4321

Ale podle mě bude lepší zkontrolovat všechny argumenty a v případě, že uživatel v některém z nich zadá cokoliv jiného než číslo, zakřičí se na něj a program se ukončí.

for argument in $@; do
  if [ $(echo $argument | grep '[^0-9]' | wc -l) -ne 0 ]; then
    echo "Argument '$argument' není číslo!!!"
    exit 1
  fi
done

[J. Krajkář]

Výborně, všecho funguje tak, jak má. Mnohokrát děkuji...

[poraďte prosím]

potřebuju poradit jak mám udělat abych do proměnné dostal počet nějakých řetězcu které jsou v souboru

[Fuky]

Rádi Ti pomůžeme, ale specifikuj prosím Tvůj problém jednoznačně, nejlepší bude když uvedeš konkrétní příklad, co máš a co z toho chceš dostat.

[poraďte prosím]

No mám adresář ahoj a uvnitř mám soubory. Mam vybrat soubory s příponou xml, které obsahujou takové značky jako v html kodu no a já chci spočítat kolik je těch značek v každém souboru a zapsat do souboru který se bude jmenovat jako orinalni_nazev_souboru.statistika.txt

[Fuky]

$ cat pocet_tagu.sh
#!/bin/bash

if [ $# -ne 1 ]; then
  echo "Usage: $0 file.xml"
  exit
fi

echo -e "\n$1:"

tags_all=$(cat $1 |sed -n 's/[^>]*\(<[^ >]\+[ >]\)/\1\n/gp' |grep "^<[^\/]" |sort)
tags_uniq=$(echo $tags_all |sed 'y/ /\n/' |uniq)

for tag in $tags_uniq; do
  count=$(echo $tags_all |sed 'y/ /\n/' |grep $tag |wc -l)
  printf "  %-20s %10i\n" $tag $count
done

$ find -type f -regex ".*\.xml" |xargs -i ./pocet_tagu.sh {}

./soubor02.xml:
  <accelerator                  2
  <!DOCTYPE                     1
  <glade-interface>             1
  <child>                     236
  <child                      250
  <packing>                   206
  <placeholder/>                2
  <property                  2521
  <signal                      36
  <widget                     258
  <?xml                         1

./soubor01.xml:
  <kocka>                       2
  <pes>                         2
  <xml>                         1
  <zvire>                       2

[pez]

IFS="<";
set -- $(cat "$1");
for tag in "$@" ; do
        IFS=" >";
        set -- $tag;
        echo "$1";
done | sort | uniq -c

[pez]

nebo jeste kratsi:

IFS="<";
set -- $(cat "$1");
for tag in "$@" ; do echo "${tag%%[ >]*}"; done | sort | uniq -c

[Jozef Behrán]

V článku chybí, že metaznak "~" se vyhodnocuje pouze pokud je na začátku argumentu:

$ echo ~
/home/jozef
$ echo a~
a~
$ echo a\ ~
a ~

[Jozef Behrán]

Což může mít význam třeba při kompilaci:

$ ./configure --prefix=~/myprogs
configure: error: expected an absolute directory name for --prefix: ~/myprogs
$ ./configure --prefix=$HOME/myprogs
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
... atd. (takhle mi to už funguje) ...

P.S. Takhle kompiluju software pokud nechci spouštět make install jako root. Prostě jsem si do .bash_profile přidal příkaz který přidal ~/myprogs/bin do PATH a můžu takhle zkompilovaný a nainstalovaný programy normálně spouštět jako kdyby byli kompilované instalované "normálním způsobem". Zatím mi všechny takhle kompilované a instalované programy fungovali bez problémů (mezi nimi jsou i takové fajnové vychytávky jako třeba mplayer). Dělám to tak, protože jsem poněkud paranoidní co se týče poskytování ROOT oprávnění neznámým skriptům a programům (čti: normální sysadmin).

[pomo]

potreboval by som zo stringu ktory vyyera nejak tak, ze vsetko je jeden riadok " ****** 2010 ahoj = 2010 ahoj = afhdufh "atd ze mi zoberie vsetko co zacina 4 cislom a konci = a vzpice mi to na konzulu a vzdy na novy riadok