Dotaz: AWK a csv- třídění do několika souborů

[Fibi86]

Zdravím, snažím se naučiti v AWK a řeším následující problém. Mám jeden csv soubor, který obsahuje mnoho řádků které se neustále plní. Já bych potřeboval řádky podle pole id překopírovat do nového souboru, přes který následně data nahraji do databáze.
Příklad:
Online.csv
--------------- Karel,on,123456,id35,aaa
Marek,off,12345,id27,bbb
Karel,off,1232,id35,aaa

Karel.csv
----------------
on,123456,aaa
off,1232,aaa

Marek.csv
----------------
off,12345,bbb
V souboru Online.csv bych potřeboval zda by awk mohl překopírovaný řádek smazat, aby při dalším spuštění nedošlo k dupicitě. Děkuji všem GURU za radu. Fibi

Odpovědi

[Kit]

Jednodušší by bylo nestrkat data místo do souboru Online.csv, ale přímo do AWK. Nebudeš pak muset řešit žádné duplicity.

[Fibi86]

To by byla mozna nejlepsi cesta.

V soucasne dobe pouzivam netcat ktery data nasloucha na udp portu:

nc -l -p 10000 -u >/Onlene.csv
Jak ho mohu prinutit do AWK?
Diky

[Josef Kufner]

Jak moc chceš mít záznam dat spolehlivý?

Jinak AWK můžeš napojit na netcat obyčejnou rourou: nc ... | awk ...

[Kit]

nc -l -p 10000 -u | awk -F\, '{print $0 > $1}'

[Fibi86]

Díky, otestuji. Spolehlivost musí být bohužel 100%. Fibi

[GeorgeWH]

... ale pouzivas netcat...

[Fibi86]

Je teda něco lepšího?

[GeorgeWH]

napr. napisat si vlastny skript (v ktorom sa daju osetrit rozne vzniknute stavy) a pouzit sofistikovane nastroje, ktore zaistia jeho spustanie/vypinanie (ako bolo spomenute nizsie)...

[Kit]

Na dekorace má času dost.

[marek]

Dobry den.

100% spolehlivost na UDP je protimluv!

Pokud to ma byt spolehlive (je mozne alespon detekovat chybu), pak pouzijte TCP.

Marek

[pavlix]

Myslím, že jak u UDP, tak u TCP především záleží na tom, jak se použije.

[marek]

V kontextu dotazu je podle me UDP zle, TCP hodne.

Marek

[pavlix]

Jo, to rozhodně a při použití netcatu o to víc.

[Josef Kufner]

No, když se podívám na XMPP a jak vesele ztrácí zprávy (a XEP-0198 se dodnes používá jen málo). Ani to TCP to nezachrání.

[pavlix]

Myslím, že už jsme se o tom bavili a že za za ztrácení zpráv TCP nemůže.

[Josef Kufner]

To netvrdím. To byla jen ukázka, že i "spolehlivý" protokol lze použít špatně.

[Josef Kufner]

Mazání není nijak jednoduché. Radši změň způsob práce s těmi daty.

Předpokládám, že pokud by bylo snadné upravit generující program, aby rovnou zapisoval do databáze, netrápil by jsi se s CSV.

Mimochodem, AWK neumí správně parsovat CSV, neboť tento formát je na něj příliš složitý a rozbije se to, jakmile se objeví složitější řetězce. CSV není jen o čárce jako oddělovači, ale i o uvozovkách.

Pokud je soubor plněn způsobem "otevřít-připsat-zavřít", můžeš použít logrotate. Jednou za čas (např. 10 minut) nechat provést rotaci, tím se nová data odloží stranou a vyrobí se prázdný soubor pro budoucí data. Odložená data pak můžeš v klidu zpracovat na jeden průchod, aniž by se ti měnila pod rukama.

Druhá možnost je nechat Online.csv sledovat pomocí tail -F a jeho výstup předat ke zpracování. Zde však hrozí, že se občas nějaký záznam ztratí, pokud se se souborem budou dít ošklivé věci, nebo bude jakkoliv narušen plynulý běh obou aplikací.

[Fibi86]

Děkuji za reakci. Přes nc bude na server chodit každých 5s řetězec, který naštěstí neobsahuje žádné příšernosti, max. Tečku, čísla a pár znaků. Následné zpracováni mám v plánu řešit přes mysqlimport, který data nahraje a poté by se soubor vyprázdnil např. z 1/3 aby nedošlo k nějakému úniku a znovuspuštění mysqlimport by duplicitu v databázi přeskočil. Bohužel není možné riskovat že se tam např. Jeden řádek nedostane. AWK zatím s exportem do databáze (přeformátováním cca 30ti sloupců) nemá problém. Zařízení které data posílá na server se bohužel nedá modifikovat. Fibi

[Josef Kufner]

A proč nespustíš mysqlimport už na tom vzdáleném stroji? Nebo rovnou spouštět jen mysql s voláním uložené procedury, která to bude třídit dle potřeby.

[Fibi86]

Vzdálené zařízení je "blackbox" který pouze posílá daný řetězec na určitou ip.. Myslíš ten mysql spouštět tady na tom lokálním stroji? Díky Fibi

[Josef Kufner]

Aha, tak to je pak jiná.

Namísto netcat bych použil inetd a nechal ho spouštět jednoduchý script, který rovnou předá data do mysql. Data se nebudou ztrácet, pokud script s nc zrovna upadne nebo se na něčem zdrží. Inetd bude držet posluchací socket trvale otevřený a obslouží toho tak daleko více a paralelně než nc, které je v tomhle spíš na jednorázové přenosy.

[Fibi86]

A je možné mě "nakopnout" jak xinetd donutit spouštět onen script? Pátrám pátrám a zatím v tom plavu. Děkuji za radu.

[Josef Kufner]

inetd a xinetd fungují tak, že poslouchají na socketu a jakmile přijde spojení, spustí obslužný script a data mu předají na stdin, odpověď pak předávají zpět z stdout. Je to tedy v podstatě velmi podobné klasickému CGI.

Ty potřebuješ jen nastavit port, protokol a obslužný script. V klasickém inetd bude tvoje konfigurace vypadat asi nějak takto:

10000 dgram udp nowait nobody /usr/local/bin/tvuj-script

Pro xinetd to bude podobné, jen syntaxe se liší:

service tvuj-script
{
  port = 10000
  socket_type = dgram
  protocol = udp
  wait = no
  user = nobody
  server = /usr/local/bin/tvuj-script
  instances = 10
}

(Nezkoušel jsem, zda to funguje, ani to nepoužívám nijak často, takže tam asi bude třeba pár úprav.)

[Fibi86]

Tak zatim se mi dari sloucit par prikazu a chtel bych preci jen vyuzit AWK a tridit radky dle id pole do ruznych souboru. Ve finale vse otestuji pomoci inetd... Nekdo nejake tipy jak na to trideni? Dekuji

[Kit]

Však v tom mém příkladu máš i třídění.

[Fibi86]

No ja bych spise potreboval syntaxi: pokud v poli c.4 bude id35, zapis radek do souboru Karel.csv... Diky za radu.

[Kit]

To už nevypadá tak elegantně, ale budiž:

awk -F\,  'BEGIN { OFS = ","; }
    $4 ~ /id35/ { print $2, $3, $5 >> "Karel.csv"; next; }
    $4 ~ /id27/ { print $2, $3, $5 >> "Marek.csv"; next; }' < Online.csv

[Fibi86]

Super, funguje perfektne. Byla by jeste rada jak ten zkopirovany radek z prvniho souboru smazat? Soubor se stale plni a zbytecne zabira misto. Stacilo by teda radek "presunout". Diky

[Kit]

Však to pošli rovnou z trubky.

[Fibi86]

To se mi právě nedaří