Dotaz: Čím najít duplikátní řádky?

[Mirek]

Rád bych nástroj k nalezení duplikátních řádků, který mi dá možnost vybrat duplikátní řádek ke smazání. Jako test soubor mám

! flora
jetel
len
! fauna
jelen
lev
! nebe
letadlo jelen
tupolev
! dalsi
lentilka
jelenice
jitrnice
jetel
lev

---

---

Odpovědi

[Kit]

uniq seznam.txt

[pavlix]

Obávám se, že uniq seznam.txt dá úplně stejný výsledek jako cat seznam.txt.

[Mirek]

On ten uniq mi stejně nějak divně funguje, když dle tohohle příkladu.

$ cat duplitest.txt 
! flora
jetel
len
! fauna
jelen
lev
! nebe
letadlo jelen
tupolev
! dalsi
lentilka
jelenice
jitrnice
jetel
lev

mi vypíše po

$ uniq -c -w 3 duplitest.txt
      1 ! flora
      1 jetel
      1 len
      1 ! fauna
      1 jelen
      1 lev
      1 ! nebe
      1 letadlo jelen
      1 tupolev
      1 ! dalsi
      1 lentilka
      1 jelenice
      1 jitrnice
      1 jetel
      1 lev

přitom by měl vypsat

$ uniq -c -w 3 duplitest.txt
      2 jet
      2 len
      2 jel
      2 lev

alespoň to tak chápu z toho externího příkladu.

[pavlix]

Chová se to přesně podle dokumentace.

[Fuky]

Vzhledem k tomu, že to chceš dělat interaktivně, tak to lze udělat např. následovně. Uložíš si všechny duplicitní řádky do souboru duplicate.lines:

$ sort input.txt |uniq -d >duplicate.lines

V oblíbeném textovém editoru smažeš ze souboru duplicate.lines řádky, které nechceš odstranit:

$ vim duplicate.lines

Z původního vstupního souboru odfiltruješ všechny řádky, které jsou v souboru duplicate.lines a výstup uložíš do nového souboru new_input.txt:

$ fgrep -vxf duplicate.lines input.txt >new_input.txt

[Mirek]

Nechci to nijak třídit, zapomněl jsem to uvést. Díky všem za nápady, zatím..

[Fuky]

Však ve výstupním souboru je zachováno stejné pořadí řádků jako ve vstupním souboru. Jen jsou v něm odstraněny řádky které chceš.

[Mirek]

Našlo mi to řádky

jetel
lev

ty jsem odstranil, protože jsem je nechtěl smazat dokud mi nedá výběr který duplikátní řádek se mi smaže, nechci smazat vždy jen první nebo vždy jen druhý, chci vědět který se smaže.

Poslední krok mi vrátil původní soubor.

[Jendа]

Hm, to zní komplikovaně, a asi na to bude potřeba něco naprogramovat… Osobně bych to dělal tak, že bych v Pythonu načetl řádky do dictionary a u každého si pamatoval, kolikrát tam byl, pak bych soubor znova prošel a před každý řádek vypsal číslo z toho dictionary, pak bych to v textovém editoru promazal a pak bych odstranil první sloupec (cut -d " " -f 2-).

[Mirek]

Nu dobrá, tak využij získaný soubor duplicate.lines a ulož si do souboru remove.lines všechny řádky s duplicitami a prefixem, který charakteruzuje číslo řádku ve vstupním souboru.

Co když budu mít soubor s tisíci řádky a navíc já se ty duplicity snažím mezi těmi tisíci najít, kdybch věděl které to jsou nepokládal bych zde dotaz. Vážím si ale tvé snahy, jen chybí uvažování jak moc to bude efektivní v souboru s těmi tisíci položkami. Chci říct, že na takový malý soubor je až příliš mnoho interakce

[Mirek]

http://www.abclinuxu.cz/poradna/linux/show/414063#12

[Fuky]

Nu dobrá, tak využij získaný soubor duplicate.lines a ulož si do souboru remove.lines všechny řádky s duplicitami a prefixem, který charakteruzuje číslo řádku ve vstupním souboru.

$ fgrep -nxf duplicate.lines input.txt >remove.lines

Pak si opět v oblíbeném textovém editoru smaž ze souboru remove.lines řádky, které nechceš odstranit a následně využij tento soubor pro smazání konkrétních řádků ze vstupního souboru:

$ sed -e $(cut -f 1 -d ":" remove.list |sed -e 's/$/d;/' |tr -d "\n") input.txt >new_input.txt

Soubor new_input.txt bude obsahovat výsledek.

[Josef Kufner]

Pokud chceš zachovat pořadí řádků, nahrej to do SQL databáze, přidej sloupec, který bude značit duplicity a pak můžeš interaktivně mazat libovolným GUI klientem.

[Mirek]

nahrej to do SQL databáze

S datábazemi nemám zkušenosti, ale předpokládám, že mám k tomu použít LibreOffice Base a pak ale nevím co dál. Co bych měl hledat v nápovědě abych dosáhl toho co mi radíš.

přidej sloupec, který bude značit duplicity

Dobře nějak vytvořím sloupec ale jak porozumět, že má značit duplicity?

[Jendа]

Base by asi šlo použít, ale osobně bych k tomu použil SQLite nebo MySQL. K MySQL používám klikátor Adminer.

Duplicity nevím jak označit, tohle by možná mohlo fungovat.

[Mirek]

Srandovní na tom je, že v PSPadu (freeware) pro Windows to jde na pár kroků i bez vytváření nějaké databáze, editor to najde s možností interakce bez vytváření nějakých dočasných souborů. On sice funguje i jakžtakž ve Wine ale mám problém s jeho výkonem, proto používám Bluefish ale zdaleka nemá funkčnost PSPadu včetně tohoto.

[Jendа]

Not my problem.

V tom případě stačilo dát do Googlu "vim find duplicate lines" a kliknout na první odkaz.

[Mirek]

A že jsi to neudělal dříve? Dobrá budu se muset naučit s Vimem když to jinak jednoduše nejde.

[Jindřich Makovička]

Frantové uživatelé tyhle věci zpravidla řeší v Excelu a spol...

[Mirek]

Taky řešení, ale pro moje účely moc komplikované a zdlouhavé na více položek. Díky

[Josef Kufner]

Na takový úkol je celkem jedno, která databáze to bude. Pointa je v tom, že si v jednom sloupečku uchová původní data a do dalšího si nechá spočítat, zda stejný řádek už tam je. A pokud použitá databáze nezachovává pořadí řádků, tak si tam přidá i číslo řádku.

[pavlix]

Pokud chceš zachovat pořadí řádků, nahrej to do SQL databáze

Pobavilo.

[wamba]

můžeš si napsat script který ti vypíše text řádků a k nim indexy řádků, kde se nachází, pak vyfiltruješ ty, kde jsou 2 a více indexy, v Perlu 6 třeba takhle:

perl6 -e 'my %rows .= push: lines.pairs.invert; %rows.grep( *.value.elems > 1 )>>.say'

:)

[Mirek]

Budu muset teda počkat na verzi 6, mám jen 5, moc ale díky.

[RM]

awk '{print a[$0]++":"$0}' file.txt | tac | awk -v FS=':' '{b[$2]=$1} a[$2]++{b[$2]++} b[$2]==0{b[$2]=""} b[$2]{b[$2]=">:"} {print b[$2]$2}' | tac | awk -v FS=':' '$1==">" && !a[$2]{a[$2]=">"++i">>"} {print $1a[$2]$2}'

Je to trochu delší. Bez požadavku na číslování se dá odstranit poslední Awk.

[1john2]

Ještě k tomu terminálové omalovátko (max deset barev):

| sed 's#>>\([0-9]\)>>\(.*\)#"\\033[1m\\033[4\1m\2\\033[0m"#' | xargs -I {} printf "{}\\n"

[Mirek]

WoW, to se mi moc líbí Pro mě solušn #1

[Mirek]

I to bez těch barviček, ale to s tím perlem, mě přijde nepřehlednější, jinak se pokusím porozumět co ty řeťezce v těch vašich příkazech vlastně dělají

[RM]

Tak jsem to zkoušel na svém .vimrc a koukam, že to havaruje na uvozovkách, které se tam vyskytují jako komentáře. Tož jsem to ještě opravil:

| sed '/^>>[0-9]>>/{ s#>>#\\033[1m\\033[4# ; s#>>#m# ; s#$#\\033[0m#} ' | xargs -0 -I {} printf '%b' "{}"

No, a ze sedu jsem vyházel ty proměnné \1 a \2, bez nich to bude rychlejší. Také printf jsem udělal blbuvzdornější, aby měl jardík klidné spaní.

[Mirek]

Příloha:

• duplitestX.txt (149230 bytů)

Bohužel to havaruje i na tomto, kdežto ten perl funguje stále-

[RM]

| xargs -d '\n' -I {} printf '%b' "{}\\n"

[Mirek]

Lepší, jen mi tam něco žere znaky dole a zůstane tam jen torzo "http". Mimochodem to >>XX>> značí pořadí duplikátů po vyčerpání barev nebo to bere i s těma barevnýma, předtím jsem myslel, že odkazuje na řádky. Je mi jasný, že až smažu barevný a provedu kontrolu znovu, místo >>XX>> budou zase jen barevný. Poslední věc bych si přál, jestli by mohl být soubor uvedený jako poslední argument nikoliv uprostřed těch několika přesměrovaných příkazů (aby to šlo použít v Bluefishi nebo i jako alias)?

[RM]

žere znaky dole

změň oddělovače IFS z : na jiné -- navrhuji ^X (CTRL-V CTRL-X)

[RM]

jako poslední argument....aby...použít alias

manuál bashe říká -- používejte raději "funkce" než aliasy, Pak můžeš použít parametr $1, který ti makro-procesor krásně expanduje tam kde žádáš

[RM]

předtím jsem myslel, že odkazuje na řádky

právě v tom je celé know-how mého řešení, že na řádky neodkazuje, což by bylo o něco jednodušší. Jedná se o pořadí duplicit, z čehož se nechají pak také lehce obarvit (jen prvních 9). Myslel jsem, že je to jasný od začátku.

[Mirek]

Dobrá nějak se s tím poperu.

(jen prvních 9)

Pokud těch prvních devět už nebude mít svůj duplikát, bude obarveno zase dalších devět, je to tak, zkrátka dokud nesmažu alespoň jeden duplikát?

[RM]

přesně tak

[wamba]

Perl 6 a Perl jsou dva různé jazyky. Perl 6 můžeš někde nainstalovat pomocí balíčku rakudo. Použil jsem ho jen proto, že v něm experimentuji a napadlo hezké řešení. Napsat to jde v spoustě věcí v Perlu např.

perl -nE 'BEGIN{ my %line; }; chomp; push @{$line{$_}}, $.; END{ for (keys %line) { say $_ . q{: } . join q{, }, @{$line{$_}} if @{$line{$_}} > 1;}; };'

ale nevypadá to, tak elegantně jak v Perlu 6 :)

[Mirek]

Wow, tak tohle stejně efektivní Líbí se mě obě stejně takže dvě první místa Mohl bys dát i výstup toho perl6, jsem jenom zvedavý, i když tam třeba neuvidím barvy?

[wamba]

Input:

perl6 -e 'my %rows .= push: lines.pairs.invert; %rows.grep( *.value.elems > 1 )>>.say' <<EOF
! flora
jetel
len
! fauna
jelen
lev
! nebe
letadlo jelen
tupolev
! dalsi
lentilka
jelenice
jitrnice
jetel
lev
EOF

Output:

jetel => [1 13]
lev => [5 14]

Převádí se to do pole tak jsou řádky číslovány od 0. U Perlu 6 zatím drhne rychlost, ale tisíce by ještě měli být v pohodě.

[Mirek]

Taky hezký, tamto je naprosto dostatečné a přehledné. Sice musím otvírat stejný soubor 2x ale to nic neubírá na efektivitě.

[pepe_]

To je nějaké divné ...

pepe@PC-PEPE-LINUX:~$ perl -nE 'BEGIN{ my %line; }; chomp; push @{$line{$_}}, $.; END{ for (keys %line) { say $_ . q{: } . join q{, }, @{$line{$_}} if @{$line{$_}} > 1;}; };' < file.txt 

lev: 6, 15
jetel: 2, 14

pepe@PC-PEPE-LINUX:~$ perl6 -e 'my %rows .= push: lines.pairs.invert; %rows.grep( *.value.elems > 1 )>>.say' < file.txt

jetel => [1 13]
lev => [5 14]

pepe@PC-PEPE-LINUX:~$ cat file.txt 

! flora
jetel
len
! fauna
jelen
lev
! nebe
letadlo jelen
tupolev
! dalsi
lentilka
jelenice
jitrnice
jetel
lev

  Jakto že to označuje pokaždé něco jiného ?

[wamba]

Co se ti nezdá, že jednou je 2, 14 a podruhé 1, 13? To protože jednou to čísluje řádky od 1 a podruhé od 0. Jak už jsem psal, ten příklad v Perlu 6 přistupuje k tomu souboru jako k seznamu řádků a první index v seznamu je 0.

[Mirek]

Navíc to lze použít jako externí filtr v Bluefishi.