Dotaz: cteni souboru v bashi

[johnyBeGood]

Zdar, potreboval bych poradit. Mam log, ktery obsahuje ruzne informace ve sloupcich. Ten log potrebuju jednou za cas zpracovat a to tak, ze vezmu radek, podle prvniho sloupce vytvorim soubor kam potom nasypu obsah dalsich radku, ktere maji stejny prvni sloupec.

Stvoril jsem toto:

#/bin/bash
while read line
do
AWK=`awk {'print $1 "\n"'}`
echo -e "$line" >> "$AWK"
done < access.20120506.log

Podari se mi vypsat obsah prvniho sloupce na vystup, ale soubor se nevytvori, coz by podle me mel. Budu rad za kazdou radu, diky.

---

---

Odpovědi

[Kit]

awk '{print $0 >>$1}' < access.20120506.log

[Ash]

Dobré řešení, a asi první praktický příklad kdy mne nenapadá, jak to bez nějakých obskurností udělat sed-em :D

[pavlix]

Na práci s tabulkama je sed naprosto nevhodný mimo základních věcí jako search&replace.

AWK funguje v podstatě jako běžný imperativní programovací jazyk. Psát v sedu komplikovanější zpracování textu je zvrácenost.

[Ash]

Není to zvrácenost, stačí to umět... A protože sed ovládám docela dobře (i když ne 100%, to ani nejde), tak jsem za svůj život zatím nenarazil na problém tohoto typu "potřebuji trochu zpracovat data", který bych musel řešít pomocí awk, vždy mi stačil sed, nebo kombinace třeba sed a bc a podobně. Ale víc bych to nerozebíral, je to jen konstatování faktu.

[pavlix]

Není to zvrácenost, stačí to umět...

Stojím si za tím, že je to zvrácenost, z pohledu člověka který umí AWK i sed. Jediný důvod, proč takové věci dělat v sedu vidím v tom, že se člověk nechce učit AWK.

A protože sed ovládám docela dobře (i když ne 100%, to ani nejde), tak jsem za svůj život zatím nenarazil na problém tohoto typu "potřebuji trochu zpracovat data", který bych musel řešít pomocí awk, vždy mi stačil sed, nebo kombinace třeba sed a bc a podobně.

Tak to pozor, já jsem nezpochybňoval úplnost jazyka sed.

Ale víc bych to nerozebíral, je to jen konstatování faktu.

„Není to zvrácenost“ rozhodně není konstatování faktu. Je to subjektivní hodnocení.

[Ash]

„Není to zvrácenost“ rozhodně není konstatování faktu. Je to subjektivní hodnocení.

Konstatování se týkalo toho, že jsem zatím awk nepotřeboval a stačil mi sed.

[martin-ux]

suhlas. su veci, kde je vhodne pouzit sed, niekde awk. jednoduchy priklad v tomto threde sa da riesit aj sedom.

[Ash]

No, dá... přijde na to, já měl tím "řešení sedem" na mysli řešení čistě sedem ve smyslu jednoho streamu, ne kombinaci čtení bashem a zpracovávání po řádkách sedem která je samozřejmě pomalá už při poměrně malém počtu řádků a při větším počtu je to lameřina.

[Semo]

Pretoze si awk-cku nedal $line ako vstup. Ale ked uz mas bash, tak naco awk.

while read file line; do
    echo "$file $line" >>"$file"
done < access.20120506.log

[Kit]

Naco awk? Asi na to, že v awk je to cca 80× rychlejší.

[David Watzke]

To možná je (nezkoušel jsem), ale určitě ne při tom hrůzostrašném použití, které popisuje tazatel

[Kit]

Samozřejmě jsem měl na mysli to své řešení. Změřil jsem si to na 14MB logu svého Apache. Fungovala obě řešení, ale awk bylo 80× rychlejší a pro praktické použití výhodnější.

[pavlix]

To nepomůže někomu, kdo volá awk na data v cyklu z bashe :).

[Kit]

Číst v bashi delší soubor a pro každý řádek volat nějaký další program, to je zvěrstvo. Zejména pokud ten volaný program sám umí zpracovat celý soubor a zpracování té jedné řádky mu zabere výrazně méně času, než je režie spojená s jeho spouštěním.

Vždycky se 4× rozmýšlím, než v bashi nějaký cyklus udělám, protože pro požadovaný účel zpravidla už nějaký vhodný nástroj existuje.

[Josef Kufner]

Myslím, že na takovéhle věci je lepší se na Bash vykašlat a použít něco rozumnějšího, jako třeba to AWK, Python a podobné. Ono Bash je na takovéhle věci trošku neohrabaný a pomalý.