Dotaz: Skript na "prerozdelenie dát" v CSV

[Peter]

Dobrý deň prajem.

Mám jeden veľký CSV súbor (cca 1.000.000 záznamov) ktorý vyzerá takto:

"poradove_cislo","Priezvisko Meno","Titul","PSČ","Mesto","Ulica","číslo_domu","Telefón"

a ja ho potrebujem mať takto:

"Titul","Meno","Priezvisko","Telefón","Ulica číslo_domu","Mesto","PSČ"

Ide hlavne o to, že hlavne potrebujem "rozdeliť" sĺpec ("Priezvisko Meno") na ("Meno","Priezvisko") a "spojiť" sĺpce ("Ulica","číslo_domu") na ("Ulica číslo_domu").

Absolútne ale nemám potuchy, že kde začať a aké CLI nástroje na to použíť. Preto od vás drzo prosím ilustračný príklad.

Vopred veľmi pekne ďakujem.

---

---

Odpovědi

[Petr Šobáň]

A to je nějakej problém si v cyklu načíst ty proměnné a zapsat je do druhého souboru a pak ten starý smazat a nový přejmenovat?

Nebo kde je problém ?

[Šangala]

Pokud je CSV generováno a je striktně dodrženo, že mezi čárkou a uvozovkami není mezera a jedná se jen o jeden převod, tak přes editor vi(m) (soubor bude tak do 200MiB a to se zvládne na běžném PC):

cp muj.csv out.csv
vim out.csv

a ve víčku zadat (zapsat znak ':' a pak zkopírovat zbytek):

:%s/^"\([^",]*\)","\([^",]*\)\ \([^",]*\)","\([^",]*\)","\([^",]*\)","\([^",]*\)","\([^",]*\)","\([^",]*\)","\([^",]*\)"$/"\4","\3","\2","\9","\7 \8","\6","\5"/g

asi chvilku počkat
a pak třeba:

:wq

Samozřejně RegExpr se dá použít kdekoliv a jakkoliv je upravit.:)

[Šangala]

Sorry, nevím na co myslím, opravička:

:%s/^"\(.*\)","\(.*\)\ \(.*\)","\(.*\)","\(.*\)","\(.*\)","\(.*\)","\(.*\)","\(.*\)"$/"\4","\3","\2","\9","\7 \8","\6","\5"/g

Bude rozhodně lepší :)
CSV může mít uvozovky mezi uvozovkami (zapsány zdvojeně) a samozřejmě může být mezi uvozovkami čárka.

[Tarmaq]

Proc to psat ve vimu? Neni lepsi na to pouzit sed? Vzdyt to je uplne stejne..

$ cat foo 
"poradove_cislo","Priezvisko Meno","Titul","PSC","Mesto","Ulica","cislo_domu","Telefon"
$ sed 's/^"\(.*\)","\(.*\)\ \(.*\)","\(.*\)","\(.*\)","\(.*\)","\(.*\)","\(.*\)","\(.*\)"$/"\4","\3","\2","\9","\7 \8","\6","\5"/g' foo 
"Titul","Meno","Priezvisko","Telefon","Ulica cislo_domu","Mesto","PSC"

[Peter]

Samozrejme, že aj toto funguje perfektne. Chlapci - vrelá vďaka, aspoň som si rozšíril obzory s regexp.

[Šangala]

No čekal jsem, že to někdo stihne napsat dřív… :)

Odpověď na Vaše otázky je jednoduchá, v obráceném pořadí:
Za daných okolností „není“ :)
a tady je odpověď na to „proč“ :):
Důležité je to RegExp a je jedno kde jej použijete a ve víčku si to můžete opakovaně zkoušet a ladit a okamžitě vidět výsledek (třeba jen na jednom řádku). Takže mi přijde pro přípravu a první naladění víčko lepší.
Pokud to tam už naladím, tak to sjedu na celý text a uložím to a je to.
Pokud by se to mělo často opakovat, je to jiné téma.

[dustin]

Souhlasím, také to raději ladím ve vimu se zapnutým zvýrazňováním nalezeného textu, s pomocí undo a historie příkazů je to mnohem rychlejší

[Peter]

Ty si môj hrdina. Vrelá, vrelá vrelá vďaka.