Unixové nástroje – 9 (sed – nahrazování textu)

17. 2. 2010 | David Watzke

Články - Unixové nástroje – 9 (sed – nahrazování textu)  

V tomto díle se naučíme základy pokročilé editace textu (se zaměřením na nahrazování, tedy příkaz „s“) pomocí editoru sed.

sed slouží k parsování a neinteraktivní úpravě textových souborů. Název je zkratkou stream editor, což znamená editor (textových) proudů.

Existuje více implementací sedu. Nejdříve si popíšeme standardní sed, jak je popsán v SUS a potom si povíme o některých rozšířeních GNU implementace.

Sed implementuje celý programovací jazyk sloužící k automatizaci úpravy textu. Pochopitelně zde nebudu rozebírat veškeré možnosti, protože to by vydalo na pěkně dlouhý specializovaný seriál. Zabývat se budu pouze možnostmi nahrazování textu.

Nejčastější použití vypadá následovně:

sed -e "s/původní výraz/nahrazující řetězec/" soubor.txt > upraveny_soubor.txt

Tento příkaz projde soubor.txt řádek po řádku a první výskyt (na každém řádku) řetězce „původní výraz“ nahradí za „nahrazující řetězec“ a upravené řádky vypíše. Pokud „původní výraz“ nenajde, řádek je vypsán přesně tak, jak je v původním souboru. Jak vidíte, přepínač -e bere jako argument tzv. skript sedu (přímo jeho kód, ne soubor). Přepínačů -e můžete zadat více najednou. Nezadáte-li soubor, který má být upraven, program bude čekat na standardní vstup. To znamená, že mu lze předat výstup jiného programu:

# vypíše „pes“
echo koc | sed -e s/c/cka/ -e s/kocka/pes/

Jdu na to rychle? Vysvětlím. Ve výrazu „koc“ se dle prvního předpisu nahradí „c“ za „cka“, vznikne tedy „kocka“. Podle druhého předpisu se pak nahradí "kocka" za „pes“. To už se ovšem opakuji, takže si ukážeme něco nového. Zkusme toto:

sed -e "/and/ s/||/or/g" soubor.cpp

Výraz /and/ je podmínka, která zapříčiní, že nahrazení „||“ za „or“ se provede pouze na řádcích, které obsahují výraz „and“. Písmeno „g“ za posledním lomítkem znamená, že se nenahradí pouze první výskyt „||“ na daném řádku, ale všechny výskyty. Těmto písmenům se říká „modifikátory“ (modifiers).

Nyní si představíme přepínač -n, modifikátor „p“ a negaci podmínky (!).

sed -n -e '/treti/!s/prvni/druhy/gp' soubor.txt

Přepínač -n potlačí výpis řádků, které pro výpis nebyly explicitně označeny. Znegovaná podmínka se chová tak, jak by člověk očekával, takže se bude nahrazovat pouze na řádcích, které neobsahují výraz „treti“. Na takových řádcích se nahradí všechny výskyty řetězce „prvni“ za „druhy“ (modifikátor „g“) a také se pouze tyto odpovídající změněné řádky vypíšou, a to díky modifikátoru „p“, který k tomuto účelu (explicitní označení řádků pro výpis) slouží.

Poslední standardní přepínač je -f, který se používá místo -e tehdy, máme-li sedový skript uložený v souboru. Mějme soubor html.sed, který mimochodem v praxi skutečně používám (např. při psaní článků pro AbcLinuxu), s následujícím obsahem:

s/&/\&/g
s/</\&lt;/g
s/>/\&gt;/g

Jednotlivé řádky zde obsahují to, co bych jinak musel předávat sedu přes přepínač -e. Konkrétně jde o nahrazení znaků nacházejících se v kódu C++ patřičnými HTML entitami. Nyní mi stačí, abych spustil:

sed -f html.sed zdrojak.cpp >> clanek.html

Upravený obsah souboru zdrojak.cpp se tímto připíše na konec souboru clanek.html.

Sluší se ještě dodat, že přepínače -e a -f lze libovolně kombinovat a opakovat a jimi dané skripty se interpretují postupně v pořadí, ve kterém byly zadány.

GNU verze sedu se liší v mnoha ohledech. Dodržuje standard, ale implementuje další věci, z nichž mezi nejdůležitější patří přepínač -i (editace „na místě“) a podpora rozšířených regulárních výrazů pomocí -r.

sed -i -r -e "/^[[:alpha:]]/ s/[0-9]+/cisla/g" soubor.txt

Co provádí tento záhadný příkaz? Přepínač -i zajistí, že změny se provedou přímo v daném souboru soubor.txt, a nic se nebude vypisovat. Přepínač -r povolí rozšířené regulární výrazy, což umožní např. zápis ([0-9]+){3,} bez nutnosti escapovat výraz, tj. přidávat před všechny složené/kulaté závorky, otazníky a plusy zpětné lomítko; \([0-9]\+\)\{3,\}. Samotný skript nahradí všechny libovolně dlouhé sekvence číslic ([0-9]+) za řetězec „cisla“ na řádcích, které začínají (^) nějakým znakem abecedy ([[:alpha:]]). Další (jednodušší) příklad:

# na konec každého řádku přidá tečku
sed s/$/./

Další zajímavou věcí jsou reference. Ty se používají v kombinaci s regulárními výrazy. Reference je vlastně něco jako proměnná. Váš regulární výraz označí nějaký text, ten se uloží do zvláštní proměnné a vy ji pak můžete použít v nahrazujícím výrazu. Hodí se to, například když chcete udělat nějakou změnu před a zároveň za nalezeným výrazem. Na příkladu to bude zřejmější. Zkusíme všechna čísla ve výrazu ohraničit hranatými závorkami. Místo 1 bude po provedení [1].

sed -r -e "s/([0-9]+)/[\1]/g" << EOF
text, číslo: 500, jiný text, 200, 50x
abc100xyz
EOF

Jen pro úplnost nejdříve dodám, že zelená část je přesměrování shellu a s programem nijak nesouvisí. Je to jen způsob, jak programu předat nějaký text na vstup. K věci: Červená část je regulární výraz, který označí to, co potřebujeme – sekvenci číslic. Normálně by nemusel být v závorce, jenže chceme-li použít referenci, tak je to třeba. Samotná reference se vloží pomocí zpětného lomítka a pořadového čísla reference. Referencí může být více. Číslování začíná od 1. Ukážeme si ještě jeden příklad s více referencemi.

sed -r -e "s/([0-9]+)[[:space:]]+([[:alpha:]]+)/\2 \1/g"

Kdekoliv se v textu vyskytne číslo před slovem, tento příkaz je prohodí tak, že ve výsledku bude nejdříve slovo a potom číslo. Tzn. třeba 100 brambor se změní na brambor 100.

Užitečný je také modifikátor „n“, přičemž n je celé číslo, které programu řekne, kolikátý výskyt daného původního řetězce se má na každém řádku změnit. Předvedeme si to na tom, co už známe:

sed -r -e "s/([0-9]+)/[\1]/2" << EOF
123 456 789
1 2 3
EOF

Výstupem je toto:

123 [456] 789
1 [2] 3

Nestandardním modifikátorem, který je dostupný v GNU sedu, je „i“. Zapne tzv. case insensitive režim. To znamená, že v původním výrazu nezáleží na velikosti písmen. Ještě se sluší dodat, že modifikátory, které si významově neprotiřečí, je možné kombinovat.

echo abAba | sed s/a/C/gi

Chcete-li ve výrazu použít lomítko (/), tak máte dvě možnosti. Buď jej escapujte pomocí zpětného lomítka (\/) nebo použijte jiný oddělovač. Zvolit si můžete libovolný znak.

# odstraní všechna lomítka
sed s/\///g
# totéž, ale přehledněji (oddělovač je zde „:“, a ne „/“)
sed s:/::g

Ještě dva tipy na závěr: 1) Pokud používáte GNU sed a chcete si ověřit, zda váš příkaz bude fungovat i s nerozšířenou verzí sedu, pak se vám bude hodit přepínač --posix. 2) Když přepínači -i zadáte argument (např.) „bak“, před samotnou úpravou souboru se vytvoří jeho záloha s příponou „.bak“.

Závěr

Tolik k úvodu do upravování textu pomocí sedu. Máte-li zájem o více (česky komentovaných) ukázek použití, navštivte web sed.sourceforge.net.

Seriál Unixové nástroje (dílů: 27)

První díl: Unixové nástroje – 1 (úvod, cat, head, tail), poslední díl: Unixové nástroje – 26 (triky pro práci v Bashi).
Předchozí díl: Unixové nástroje – 8 (diff a patch)
Následující díl: Unixové nástroje – 10 (echo, grep)