abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 00:33 | Zajímavý článek

Správce nástroje curl Daniel Stenberg na GitHubu průběžně vytváří svou novou knihu Uncurled, v níž shrnuje své dlouhodobé zkušenosti s údržbou open-source projektu: od odpozorovaných pouček po vtipné a ne až tak vtipné příklady e-mailů od uživatelů.

Fluttershy, yay! | Komentářů: 1
včera 00:22 | Nová verze

Byla vydána nová major verze 25.0 programovacího jazyka Erlang (Wikipedie) a související platformy OTP (Open Telecom Platform, Wikipedie). Přehled novinek v příspěvku na blogu.

Ladislav Hagara | Komentářů: 1
včera 00:11 | Nová verze

Deno (Wikipedie), běhové prostředí (runtime) pro JavaScript a TypeScript, bylo vydáno ve verzi 1.22. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
18.5. 18:22 | Nová verze

Společnost Red Hat oznámila vydání Red Hat Enterprise Linuxu (RHEL) 9.0. Vedle nových vlastností a oprav chyb přináší také aktualizaci ovladačů a předběžné ukázky budoucích technologií. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 6
18.5. 14:00 | Komunita

Lars Knoll oznámil, že po 25 letech v ekosystému Qt, z toho 22 let pracující pro různé společnosti vlastnící Qt, odchází ze společnosti The Qt Company do malého norského startupu.

Ladislav Hagara | Komentářů: 3
18.5. 13:22 | Zajímavý projekt

Na Kickstarteru běží kampaň na podporu mini ITX desky Turing Pi 2 Cluster Computer. Vložením 4 výpočetních modulů, podporovány jsou Raspberry Pi 4, Turing RK1 a Nvidia Jetson, lze získat 4uzlový cluster. Cena desky je 219 dolarů.

Ladislav Hagara | Komentářů: 2
18.5. 10:00 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 198. brněnský sraz, který proběhne v pátek 20. května tradičně od 18 hodin v Pivovarské restauraci Moravia.

Ladislav Hagara | Komentářů: 2
18.5. 07:00 | Zajímavý software

Byla vydána nová verze 0.25 herního enginu Fyrox, původně rg3d. Přehled novinek s kódy, náhledy i videi v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
18.5. 00:11 | Nová verze

Multiplatformní audio přehrávač Qmmp (Wikipedie) byl vydán ve verzi 2.1.0. Z novinek lze zmínit například podporu XDG Base Directory Specification.

Ladislav Hagara | Komentářů: 0
17.5. 23:22 | Komunita

Letošní konference LibreOffice proběhne 28. září až 1. října v Bolzanu. The Document Foundation hledá přednášející.

Zdeněk Crhonek | Komentářů: 0
Na sociálních sítích nebo jiných webových diskuzích vystupuji pod
 (59%)
 (16%)
 (25%)
Celkem 279 hlasů
 Komentářů: 23, poslední 18.5. 16:14
Rozcestník
Štítky: není přiřazen žádný štítek


Dotaz: Odstraneni duplicit v txt souboru

30.12.2004 14:02 ZS-Man | skóre: 31 | blog: B26
Odstraneni duplicit v txt souboru
Přečteno: 877×
Ahoj, mam txt soubor ve kterem jsou 2 sloupce 6-ti mistnych cisel.(asi 3000 radku)
201002 008678  
201003 013470  
201004 008016  
201005 004090  
201005 004090  
201006 008015
Potreboval bych si udelat nejaky script, ktery ten soubor projde a odstrani duplicitni radky, ale jeden tam necha.(v teto ukazce 4 a 5 radek, jeden odstrani)

s bashem teprve zacinam, ale tento problem potrebuju vyresi akutne, pokud mozno hned :-( takze se obracim rovnou na abicko. Pomuze s tim nekdo? Dekuju

Řešení dotazu:


Odpovědi

30.12.2004 14:04 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
co treba man uniq?
-- Nezdar není hanbou, hanbou je strach z pokusu.
30.12.2004 15:00 ZS-Man | skóre: 31 | blog: B26
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
tak skousim ten uniq -u in.txt out.txt Funguje, ale vyhodi vsechny duplicity. Potrebuju, aby tam ten jeden radek nechal..
30.12.2004 15:04 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
tak nepouzivej ten parametr -u ten zobrazi pouze unikatni radky, staci pouzit uniq bez parametru
-- Nezdar není hanbou, hanbou je strach z pokusu.
30.12.2004 15:04 Michal Marek (twofish) | skóre: 55 | blog: { display: blog; } | Praha
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
To je vtip? Co třeba bez -u?
30.12.2004 16:58 ZS-Man | skóre: 31 | blog: B26
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
jj omlouvam se. Bez -u jsem to skusil hned, ale omylem jsem zadal spatny vstupni soubor, takze vysledek nic moc. Tak jsem zacal laborovat s parametrama. nakonec jsem to udelal nejdriv s -u, potom s -d a ty dva vysledky spojil.......... A co cert nechtel, muj ISP mel vypadek, takze sem nestihl napsat, ze uz to mam. Ale moc dekuju
30.12.2004 14:47 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
sort -u .
pokud vam nevadi, ze to jeste navic prvky setridi.
gf
19.5.2010 15:39 Petr | skóre: 29
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
Zdravim, nechci zakladat nove vlakno mam podobny dotaz tak to hodim sem. Mam podobny problem, textovy doubor a potrebuju odstranit duplicitni radky s vyjimkou jednoho. Problem u uniq je ten ze odstrani jen duplicity za sebou jdouci, idelani je to po sort ale ten nemohu pouzit protoze by mi pak v tom textaku zbyl mishmash udaju, proste je to nejka prepsana korespondence a neni ji podle ceho radit. Jak na to, mate nejaky napad? :)
Michal Wirth avatar 19.5.2010 16:47 Michal Wirth | skóre: 26
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
nevim co presne potrebujete, takze mozna odpovim spatne a na neco jineho ... pokud vam vadi, ze pri sort -u se ztrati puvodni poradi radku, tak to muzete resit treba takovou obezlickou ... kratce nastinim, nejprve si pridate cisla radku pres cat -n, pomoci sort -u -k si vyhazite duplicitni radky (s tim, ze nebudete brat v uvahu uvodni cisla radek - zaridite prave pres prepinac -k) a pote uz jen setridite opet pres sort -n -k jen podle uvodnich cisel radek (muzete je pripadne i vyhazet treba pouzitim sed)

urcite k tomuto postupu pomuze precteni man sort, man cat, man sed
Důležité se časem stává absurdním, absurdní se časem mění v důležité.
rADOn avatar 19.5.2010 17:54 rADOn | skóre: 44 | blog: bloK | Praha
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
A nebylo by jednodussi proste pouzit awk? Kazdy radek strcit do pole a pokud uz v nem je vynechat ho z vystupu. By woko pet radku skriptu.
"2^24 comments ought to be enough for anyone" -- CmdrTaco
Michal Wirth avatar 19.5.2010 18:52 Michal Wirth | skóre: 26
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
jasne, taky moznost, oboji se IMHO rychle a jednoduse napise ... ale mate pravdu, pres awk to bude ve vysledku pracovat asi rychleji :-)
Důležité se časem stává absurdním, absurdní se časem mění v důležité.
19.5.2010 19:31 Ash | skóre: 53
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
Kdysi jsem to dělal nějak takto, možná je to ono:
nl filename | sort -k 2 | uniq -f 8 | sort -n | sed 's/^ *[0-9]\+  //'
Michal Wirth avatar 19.5.2010 16:48 Michal Wirth | skóre: 26
Rozbalit Rozbalit vše Re: Odstraneni duplicit v txt souboru
a priste si zalozte novy dotaz ;-)
Důležité se časem stává absurdním, absurdní se časem mění v důležité.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.