Dotaz: Odstraneni duplicit v txt souboru

[ZS-Man]

Ahoj, mam txt soubor ve kterem jsou 2 sloupce 6-ti mistnych cisel.(asi 3000 radku)

201002 008678  
201003 013470  
201004 008016  
201005 004090  
201005 004090  
201006 008015

Potreboval bych si udelat nejaky script, ktery ten soubor projde a odstrani duplicitni radky, ale jeden tam necha.(v teto ukazce 4 a 5 radek, jeden odstrani)

s bashem teprve zacinam, ale tento problem potrebuju vyresi akutne, pokud mozno hned takze se obracim rovnou na abicko. Pomuze s tim nekdo? Dekuju

---

---

Odpovědi

[Zdeněk Burda]

co treba man uniq?

[ZS-Man]

tak skousim ten uniq -u in.txt out.txt Funguje, ale vyhodi vsechny duplicity. Potrebuju, aby tam ten jeden radek nechal..

[Zdeněk Burda]

tak nepouzivej ten parametr -u ten zobrazi pouze unikatni radky, staci pouzit uniq bez parametru

[Michal Marek (twofish)]

To je vtip? Co třeba bez -u?

[ZS-Man]

jj omlouvam se. Bez -u jsem to skusil hned, ale omylem jsem zadal spatny vstupni soubor, takze vysledek nic moc. Tak jsem zacal laborovat s parametrama. nakonec jsem to udelal nejdriv s -u, potom s -d a ty dva vysledky spojil.......... A co cert nechtel, muj ISP mel vypadek, takze sem nestihl napsat, ze uz to mam. Ale moc dekuju

[User682]

sort -u .
pokud vam nevadi, ze to jeste navic prvky setridi.
gf

[Petr]

Zdravim, nechci zakladat nove vlakno mam podobny dotaz tak to hodim sem. Mam podobny problem, textovy doubor a potrebuju odstranit duplicitni radky s vyjimkou jednoho. Problem u uniq je ten ze odstrani jen duplicity za sebou jdouci, idelani je to po sort ale ten nemohu pouzit protoze by mi pak v tom textaku zbyl mishmash udaju, proste je to nejka prepsana korespondence a neni ji podle ceho radit. Jak na to, mate nejaky napad? :)

[Michal Wirth]

nevim co presne potrebujete, takze mozna odpovim spatne a na neco jineho ... pokud vam vadi, ze pri sort -u se ztrati puvodni poradi radku, tak to muzete resit treba takovou obezlickou ... kratce nastinim, nejprve si pridate cisla radku pres cat -n, pomoci sort -u -k si vyhazite duplicitni radky (s tim, ze nebudete brat v uvahu uvodni cisla radek - zaridite prave pres prepinac -k) a pote uz jen setridite opet pres sort -n -k jen podle uvodnich cisel radek (muzete je pripadne i vyhazet treba pouzitim sed)

urcite k tomuto postupu pomuze precteni man sort, man cat, man sed

[rADOn]

A nebylo by jednodussi proste pouzit awk? Kazdy radek strcit do pole a pokud uz v nem je vynechat ho z vystupu. By woko pet radku skriptu.

[Michal Wirth]

jasne, taky moznost, oboji se IMHO rychle a jednoduse napise ... ale mate pravdu, pres awk to bude ve vysledku pracovat asi rychleji

[Ash]

Kdysi jsem to dělal nějak takto, možná je to ono:

nl filename | sort -k 2 | uniq -f 8 | sort -n | sed 's/^ *[0-9]\+  //'

[Michal Wirth]

a priste si zalozte novy dotaz