Awk

13.8.2005 16:29 | Přečteno: 4082× | Linux

Tento je zápis pro především mě, až mě zase popadne nutkání programovat awk v shellu.

Awk je mocný program pro zpracování textu. Jeho název pochází z počátečních jmen autorů Alfred V. Aho, Peter J. Weinberger a Brian W. Kernighan. Použití je následující (viz man awk):

gawk [ argumenty ] -f soubor-s-programem [ -- ] soubor(y)
gawk [ argumenty ] [ -- ] text-programu soubor(y) ...

Struktura awk programu

BEGIN          {inicializace}
               {program}
vzorek
vzorek2        {program1}
/reg. výr./    {program2}
/start/,/stop/ {program3 1}
END            {dokončení}

• inicializace se provede před prvním čtení, je nutné, aby vzorek BEGIN byl v programu jako první.
• program se provede pro každý řádek vstupu
• vzorek bude zkopírován na výstup, protože nemá přiřazenu žádnou akci
• program1 se provede jen pro řádky, obsahující vzorek2
• program2 se provede pro řádky, které vyhovují regulárnímu výrazu, awk používá stejné regulární výrazy, jako egrep.
• program tři se začne provádět od řádku odpovídajícímu vzorku start po řádek, který odpovídá vzorku stop
• dokončení se provede po zpracování posledního vzorku, je nutné, aby byl v programu na posledním místě.

Jak awk pracuje?

Z předchozí části plyne, že awk je řádkově orientovaný. Není to úplná pravda. Vstup, který awk čte, je dělen do záznamů a implicitním oddělovačem záznamu je znak nového řádku. Záznam (řádek) se dále dělí na jednotlivé položky (fields). Implicitně tvoří oddělovač záznamů znaky mezera, tabulátor a nový řádek.

K jednotlivým položkám se dostaneme pomocí proměnných $1, $2, ... . V proměnné $0 je uložen celý záznam.

Některé vnitřní proměnné awk

proměnná	význam
CONVFMT	formát pro konverzi čísel (viz část proměnné)
FILENAME	jméno právě zpracovávaného souboru (- značí stdin)
FS	oddělovač položek v záznamu
IGNORECASE	nastavena na nenulovou hodnotu určuje, že se bude ignorovat velikost znaků (GNU awk rozšíření)
NF	počet položek aktuálního záznamu
NR	počet záznamů (většinou odpovídá číslu řádku)
RS	oddělovač záznamů

Proměnné v awk

Co by to bylo za programovací jazyk, kdyby neměl proměnné. Awk umí pouze dva druhy proměnných, čísla a řetězce a typ se rozlišuje podle kontextu. Konverze mezi typy zajišťují C funkce atof (řetězec na číslo) a sprintf (číslo na řetězec, podle obsahu proměnné CONVFMT). Numerická hodnota se přiřadí příkazem foo = 1, řetězec bar = "123". Awk nemá explicitní funkce pro přetypování, takže číslo na řetězec převedeme přiřazením prázdného řetězce - foo "". Řetezec na číslo převedeme přičtením nuly - bar + 0.

Narozdíl od vnitřních proměnných awk, které jsou vyplňovány automaticky, ty ostatní mají implicitně hodnotu nula. Dokud jim není přiřazena hodnota jiná.

Výstup

Awk obsahuje příkaz print, který vytiskne svůj argument na výstup. Například náhrada příkazu cat soubor v awk vypadá takto: awk '{print}' soubor. Program cat -n soubor by vypadal awk '{print NR" "$0}' soubor. Dále můžeme, podobně jako v shellu, přesměrovat výstup napsáním print > soubor, případně print >> soubor. Nebo dokonce předat jinému programu pomocí roury print | "wall" .

Stejně jako v C můžeme používat formátovaný výstup pomocí příkazu printf. Formátovací znaky jsou shodné s C verzí, takže vás odkáži na man 3 printf, nebo jiný zdroj dokumentace o C.

Ostatní

Awk toho umí daleko více, má příkazy pro kontrolu toku programu (podmínky, cykly), podporu pro pole, možnost deklarovat vlastní funkce (rozšíření GNU awk), vnitřní funkce (vstupní a výstupní, aritmetické, pro práci s řetězci, časové). Dále umožňuje GNU awk práci s některými dev soubory ( print "chyba" > /dev/stderr). Více je v dokumentaci man awk a info awk a na internetu - skvělý manuál Michala Brandejse z muni, oficiální příručku FSF a FAQ z comp.lang.awk.

---

^[1]Tento interval může rovněž označovat řádky v souboru. Program awk 'NR == 10, NR == 30 { print }' vybere řádky 10 až 30.

       

Komentáře

[Leoš Literák]

trochu to rozvest a muze to vyjit i na hlavni strance jako clanek

[Michal Karas]

Zrovna ctu knihu od Helmuta Herolda Awk & sed: Prirucka datoveho zpracovani textu, na kterou napsal Vlastimil Ott recenzi . Neda se jinak nez souhlasit, ze ta knizka je opravdu poradne hutna.

Pises, ze BEGIN musi byt na zacatku a END na konci programu. Naopak pan Herold v knize tvrdi, ze tomu tak byt nemusi. Nevim, nezkousel jsem a dokud se nedostanu ke stroji s Linuxem, tak ani nezkusim.

V tuto chvili me napadaji dve otazky, tykajici se Awku:

• Ma cenu se ho dnes jeste vubec ucit, kdyz treba podle Raymonda uz je dnes v podstate mrtvy a existuji lepsi alternativy?
• Jak se Awk vyslovuje? Vzhledem k tomu, ze nazev vznikl z pocatecnich pismen jmen autoru bych rekl, ze by se to melo asi proste vyspelovat. To se mi zda ale takove tezkopadne a vubec se mi to nelibi... Druha moznost co me napada je, ze by se to vyslovilo stejne jako anglicke slovicko "hawk", jen by se vynechalo "h". To si ale zase vzdycky vzpomenu na Knihovnika ze Zemeplochy.

[unchallenger]

1. Zhruba od roku 1987 (a podle POSIXu) může být BEGIN a END kdekoli a několikrát.

2. Perl neumí record separator jako regulární výraz ;-) Awk se podle mne stále má smysl učit, ale ne do hloubky -- zhruba jen na úroveň těch skriptů, které lze v awk formulovat srozumitelněji a přehledněji než třeba v perlu.

3. ook!

[Michal Marek (twofish)]

afko

[Michal Vyskočil]

Neřekl bych. Samozřejmě, že cokoliv složitějšího je lepší napsat v Pythonu, nebo v Perlu. Ale pokud píšeš nějaký skript v shellu, tak se ti awk častokrát moc hodí. Je kratší napsat

awk '/regexp/{udelej neco}'

než ručně v shellu procházet každý řádek a grepem ho ověřovat, zda odpovídá onomu regulárnímu výrazu. Mimo to je awk rychlejší.

[Michal Kubeček]

Taky si myslím. Kdybych měl kvůli každé konstrukci typu

  for u in `awk -F: '{ if ($3>=1000 && $3<60000) print $1; }' /etc/passwd`; do
    ...
  done

používat perl nebo na to psát program v céčku, asi bych se z toho zbláznil.

[me]

Je pravda, ze co udelate v AWK, udelate v PERLU take. Presto si myslim, ze se smysl AWK naucit, uz jen proto, ze proti PERLU je velmi jednoduchy a rychle se jej clovek nauci. Pochopi jak se pouzivaji regularni vyrazy a jak se zpracovava text a pokud zjisti, ze mu AWK nestaci, muze prejit na PERL. AWK je velmi efektivni jazyk na zpracovani textovych souboru (logy, vystupy, hledani chyb, kontola reportu, analyza textu, atd). V nejake studii vysel AWK jako jeden z nejsnadnejsich programovacich jazyku s velmi rychlymi vysledky. AWK je jednoduchy jazyk, ale umi regularni i vyrazy a asociativni pole a je velmi podobny C. Umim trochu PERL i AWK, pokud nemam duvod (napriklad zpracovani binarnich dat ktere AWK neumi), radsi pisi v AWK.