Dotaz: gawk - OFS někdy nefunguje

[Tom]

Ahoj, mám problém s awk. Asi přesně nechápu, jak awk funguje.

printf "%b" "takhle:to:funguje:jak:chci\ntakhle:už:mi:nefunguje" | gawk  -F":" '{sub(/to/,"TO",$2);OFS=" ";print $0}'

Prosím vysvětlete.

---

---

Odpovědi

[Kit]

Náhrada OFS funguje jen na modifikované řádky.

printf "%b" "takhle:to:funguje:jak:chci\ntakhle:už:mi:nefunguje" |
    gawk  -F":" '{sub(/to/, "TO", $2); OFS=" "; $1=$1; print $0}'

[Tom]

Přidám tedy všude tuhle obezličku, díky! A nevíte náhodou, proč to funguje právě a jen při nějaké té změně prvku. Samozřejmě si to můžu zapamatovat jako vlastnost, ale smysl mi to moc nedává.

[Kit]

Rozborka a sborka každého řádku zabere nějaký čas. Tvůrci AWK zřejmě obětovali tuto nepřesnost ve prospěch rychlosti, která bývá zpravidla mnohem žádanější než uvedený případ. Obejít se to dá.

AWK musíme brát jako jednoduchý a výkonný nástroj pro zpracování obrovských dat, například logů. Co na tom, že neumí kloudně zpracovat ani CSV? Chceme rychlost nejen vývoje aplikace, ale i zpracování dat.

[standa]

Rozborka se musi udelat vzdycky, aby bylo mozne pouzivat $1-N. Jen ta sborka je zbytecna, pokud se do toho nehrabne. V tom pripade staci vyflusnout zas jen ten buffer.

[Odin]

Neni to nepresnost, je to zdokumentovane chovani troubo. Pokud neumis parsovat v awk ani obycejne csv, tak ho nepouzivej a patlej sve skripty treba v php. Csv v awk je na par radek.

[Kit]

To bych chtěl vidět, jak si AWK poradí s tím, když bude jeden záznam se stringem v UTF-8, na více řádcích a s escapovanými uvozovkami, troubo.

[Odin]

Tak ok, ja ti to napisu troubo. Cim chces oddelit jednotlive zaznamy? \r\n? \n? Cim chces oddelit jednotliva pole? Carka strednik? Muze byt pole v uzovkach a nasledne obsahovat viceradkovou hodnotu a \"? Kdyztak mi zadefinuj vlastni format troubo.

[Kit]

To si raději vygooglím, troubo.

[Tom]

Já jsem si to zkusil a dopadlo to takhle:

for i in `seq 1 100`; do printf '\\\"\xd0\n\xb5\\\"\n,'; done | tr -d "\n" | awk -F"," '{OFS=";"; $1="nic";printf $0}'

Možná jste to ale myslel jinak.

[.]

Protože jen při změně prvku je potřeba přepočítat $0 a provede se to s aktuálním OFS.

[karlik]

Jen bych doplnil, že pro rychlejší zpracování dat se mi osvědčil mawk. Rychlost zpracování byla zkrácena z cca deseti sekund na dvě, což už je snesitelné u interaktivního zadávání výběru dat pro (m)awk -> zobrazení grafu.

A taky jsem si "naběhl" při zpracování číslic s českou desetinnou čárkou (--use-lc-numeric).

[standa]

A nebyl tak velky rozdil v case zpusoben tim, ze awk bezel v multibyte modu.