Dotaz: Rozddělit soubor pomocí sed/awk/grep

[jeleniste]

Je to asi snadná věc, měl bych bejt schopnej to vylaborovat sám. Ale ani s awkem, ani se sedem sem za tim nedělal, no, za optání nic nedám.
M8m soubor (kterej reprezentuje obsah databáze, jsou to vypsaný řádky tabulek). Formát je následující:

&nazev_tabulky;prvni_polozka;druha_polozka;..;.....;.......;nta_plozka

pricemz textovy polozky muzou obsahovat konec radky, pak ale nasledujici radek nezacina ampresandem a ten radek predtim konci paznakem "¤". No a ja potrebuju vytahat radky, ktery patreji k jedne tabulce. Delal sem to pomoc grep ^\&tbl; ale to prave zahodilo pokracovani zaznamu po \n. No vim, ye to je trivka, ale neumim ten sed temer pouzivat, awk vubec. Byl bych vdecnej za nejaky nakopnuti do zacatku (myslim to obrazne).
No, byl bysem schopnej na to napsat jednoduchej mlejnek v pajtnu, ale rad bych to udelal tim sedem/awkem, ktery sou na tohle asi mysleny.
Dikec Je.

---

---

Odpovědi

[Ondřej Kopka]

Na tohle bude asi nejlepší awk, hledej v manuálu FS a RS.

[Ondřej Kubečka]

Doufám, že to není domácí úkol. Pokud ano, tak nečtěte dále. ;)

Jinak stručně awk, bez kontroly čekohokoliv (mimochodem třeba výskytu ampersantu na začátku řádku, i když se nejedná o pokračování předchozího záznamu... což samozřejmě také lze ;), taky to neřeší předchozí existenci souborů a já nevím co, prostě jenom kousek v awk, co to rozseká), pokud správně chápu Váš vstup a to, co chcete, aby z toho vypadlo, třeba takto:

/usr/bin/awk -F';' '
/^&/ {
   filename=$1
   sub(/^&/,"",filename)
}
{
   print >> filename
}
' /cesta/k/vasemu/souboru

Prostě při každém průchodu, když řádek začne &, tak se položka do prvního středníku bez & uloží do proměnné filename. Každý řádek se přidá do souboru s aktuálním jménem filename.

[jeleniste]

Hehe, domácí úkol to není (respektive je to domácí úkol, kterej jsem dal sám sobě). Já to potřebuju do jednoho kšeftu, dělal jsem tyhle věci v pajtnu a zjistil jsem, že je možný je dělat rychlejc a elegantnějc. Dospěl sem k tomuto

grep ^\B 3212.vfk | sed 's/^\&[BD]\([A-Z]*\).*/grep ^\\\&[BD]\1\\\; 3212.vfk > ..\/parts\/\1_3212.vfk/' | bash

Ale to ten soubor prochází hodněkrát a navíc neumim udělat, aby to vzalo celej záznam i pokud obsahuje konec řádky. např:

&nejaka_tabulka;polozka;polozka;polozka¤
na¤
hodne¤
radku;polozka;polozka

z takovýho záznamu mě to veme jen ten první řádek. Řešení, který bych použil já by asi zahrnovalo \n¤ v regexp, protože regexp sem zvyklej používat, ale mam za to, že to musí jít udělat nějak jednodušejc a potřeboval bych nakopnout správným směrem. Nepotřebuju, aby za mě někdo dělal domácí úkoly...
Je.
btw: v čelákovicích 2* denně přesedam.

[chochi]

awk by to mel zvladnout celkem s prehledem. Napr.:

$ cat s
&jina_tabulka;polozka;polozka;polozka3;polozka;polozka¤
polozka
&nejaka_tabulka;polozka;polozka;polozka¤
na¤
hodne¤
radku;polozka;polozka
&nejaka_tabulka;polozka;polozka;polozka¤
2;polozka;polozka
&jina_tabulka;polozka;polozka;polozka3;polozka;polozka
&nejaka_tabulka;polozka;polozka;polozka3;polozka;polozka
$ rm -f nejaka_tabulka jina_tabulka 
$ gawk 'BEGIN {RS = "[^¤]\n"; ORS = ""; FS = ";"} /^&/{file=$1; sub(/^&/,"",file); print $0 RT >> file}' < s
$ cat nejaka_tabulka 
&nejaka_tabulka;polozka;polozka;polozka¤
na¤
hodne¤
radku;polozka;polozka
&nejaka_tabulka;polozka;polozka;polozka¤
2;polozka;polozka
&nejaka_tabulka;polozka;polozka;polozka3;polozka;polozka
$ cat jina_tabulka 
&jina_tabulka;polozka;polozka;polozka3;polozka;polozka¤
polozka
&jina_tabulka;polozka;polozka;polozka3;polozka;polozka

[jeleniste]

Díky, to je přesně vono. Když koukám co ten awk umí, si řikam, že sem s pythonem celkem chodil s kanónem na vrabce. Díky moc.

[jeleniste]

Ještě jeden dotaz. Je mi celkem jasný co to dělá, až na dvě věci, to ORS, jakej má v tutom skriptu smysl??

[jeleniste]

Když to zrušim, přidá mě to prázdný řádky. Aha. asi chápu.

[jeleniste]

Když zrušim to RT na konci, tak to blbne, co má dělat to RT??

[chochi]

Viz man awk .
ORS je "Output Record Separator" - ten se zapisuje mezi jednotli zaznamy na vystupu.
RS je "Input Record Separator" - zjednodusene je to regularni vyraz podle ktereho se vstup rozklada na jednotlive zaznamy.
RT je "Record terminator" - do tehle promene se nastavi ten text co matchuje RS.

Pri parsovani vstupu awk v $0 vraci jen zaznam, bez tech casti ktere je oddeluji (RS). Takhle, jelikoz se matchuji dva znaky, by je ten vystup neobsahovl (jejich hodnota je ulozena v RT).
Kdyz vypustis to RT tak zaznami by neobsohovaly posledni znak a novy radek.
Defaultni hodnota je RS = ORS = new line.

[jeleniste]

Aha, musel jsem si to zkusit, takže to RT vlastně awk nevnímá jako součást záznamu, ale jako oddělovač, tudíž ORS = "" a RT dávám proto, že kdybych nedal ORS a RT, tak mi to místo posledního znaku a konce řádu ustříhne poslední dva znaky a přidá konec řádku. Jasný. Díky.