Dotaz: opak prikazu uniq

[chinook]

kdyz zadam prikaz uniq vypise mne pouze radky jednou i kdyz tam jsou vicekrat. priklad: mam seznam md5sum

07a5b83a20f5d4002fff208e8180eba1
07a5b83a20f5d4002fff208e8180eba1
07a5b83a20f5d4002fff208e8180eba1
07a5b83a20f5d4002fff208e8180eba1
7555bf7259c046c651fa4253059ca4a7
8b8a8b353298f798e3eb8628661617b6
8b8a8b353298f798e3eb8628661617b6
8b8a8b353298f798e3eb8628661617b6
8ead78f99561b4c8e2757e588ff8891a

uniq vypise:

07a5b83a20f5d4002fff208e8180eba1
7555bf7259c046c651fa4253059ca4a7
8b8a8b353298f798e3eb8628661617b6
8ead78f99561b4c8e2757e588ff8891a

A ja potrebuju vypsat vse krome toho co vypsal

07a5b83a20f5d4002fff208e8180eba1
07a5b83a20f5d4002fff208e8180eba1
07a5b83a20f5d4002fff208e8180eba1
8b8a8b353298f798e3eb8628661617b6
8b8a8b353298f798e3eb8628661617b6
8b8a8b353298f798e3eb8628661617b6

tzn pokud se tam opakuje neco 4x, tak aby to vypsal jen 3x. Za tema md5sum jsou pak cesty k souborum, ktere budu pak potrebovat smazat, aby nebyly na disku 2x, ale jen pouze 1x

Jak vyresit tento problem?

---

---

Odpovědi

[ams]

perl -ne '$_{$_}++&&print' soubor_se_seznamem_md5sum

[NeoV]

presne tak... kratke a rychle

v pripade, ze chces subory rovno mazat, mozes to spravit napr takto:

perl -ne '$_{$_}++&&/(\S+)\s+(.*)/&&print("rm $2\n")&&`rm $2`' soubor_se_seznamem_md5sum

[pht]

`rm $2`

unlink $2

[NeoV]

jasneee vacsinou na prvy krat to nie je to co by malo byt

perl -ne '$_{$_}++&&/\S+\s+(.*)/&&print("rm $1\n")&&unlink($1)' SUBOR

...takto je to uz lepsie

[NeoV]

no musim sa priznat, ze aj druhy pohlad klamal... a cele je to zle :-\

pretoze porovnavat sa musi iba md5 hodnota !!! nie cely riadok (subor resp cesta sa moze/ma lisit !!!

takze tu je spravny cmd, abe chyb :

perl -ne '/(\S+)\s+(.*)/&&$h{$1}++&&print("rm $2\n")&&unlink($2)' SUBOR

Suma sumarum -> prvy vyskey MD5 hodnoty je ignorovany... ostatne vyskyty su odchytene a subory vymazane...

[chinook]

V pohode uz to neres. Stacilo me navest. Spis jsem cekal, ze bude nejaka funkce jako uniq.

[Michal Kubeček]

#!/bin/bash

sum0='x'
name0='x'
nt=0
nr=0

while read sum name; do
  : $[nt++]
  if [ $sum = $sum0 ]; then
    echo "'$name' = '$name0'"
    rm "$name"
    : $[nr++]
  else
    sum0="$sum"
    name0="$name"
  fi
done

echo "total: $nt"
echo "removed: $nr"

[Michal Kubeček]

Z toho skriptu by to asi mělo být jasné, ale jen pro jistotu: výstup sha1sum je samozřejmě potřeba nejdřív prohnat sortem.

[cronin]

Co plati aj pre uniq, ktory odstrani duplicity sam o sebe iba ak su "dostatocne blizko". No a v tom pripade je uz lepsie pouzit rovno sort -u.

[Semo]

md5sum * | sort | uniq -w 32 -d

[Semo]

No, to by ti vypisalo iba opakujuce sa sumy a ich pocty, ale prisiel by si o cesty. Takze aj s cestami podobne ako minule, ale sed-om vyhodit sumy, ktore sa lisia od sumy na predchadzajucom riadku:

md5sum * | sort | sed -rn 'x;G; s/([^ ]*)  (.*)\n\1  //p'

(Vstup sedu je zotriedeny zoznam sum. Sed si odlozi aktualny riadok do hold-space a pozrie, ci sa retazec zlepeny z predosleho a aktualneho riadku (oddeleny \n) obsahuje "suma1 cesta1\nsuma1 ". Ak ano, tak akt. riadok ma rovnaku sumu ako predosly, vypise iba cestu aktualneho riadku a ide na dalsi riadok. Ak neobsahuje, tak rovno ide na dalsi riadok.)

Nastroj, ktory robi presne opak uniqu (bez logiky so sumami a cestami) sa da spravit 2 sposobmi, ktore sa lisia len cesto, ako zo zlepeneho retazca zase vyrobit jeho druhy komponent:

sed -rn 'x; G; s/^(.*)\n\1$/\1/p'
sed -rn 'x; G; /^(.*)\n\1$/{g;p}'

[NN]

Jenom technicka k dotazu jak poznam ktera hash ze 4 stejnych je ta ktera ma zustat?:

07a5b83a20f5d4002fff208e8180eba1 cesta1
07a5b83a20f5d4002fff208e8180eba1 cesta2
07a5b83a20f5d4002fff208e8180eba1 cesta3
07a5b83a20f5d4002fff208e8180eba1 cesta4

Rspektive ktera cesta je ta "prava" 1, 2,3 nebo 4?

Neni pozadavek nesmysl?

NN

[chinook]

Potreboval jsem promazat v jedne schrance duplicitni emaily, takze pro muj ucel to staci. V jedne schrance se namnozil email asi 50x....

[ms]

A co tak

grep -v `uniq zoznam.txt` zoznam.txt

?

[triak]

to je strasne neefektivni, pouzij radeji

sort | uniq -c | sed 's/ */ /g' | grep -v "^ 1 "

(seřadíš, spočítáš výskyty jednotlivých řádek, odstraníš zbytečné mezery, a vynecháš řádky, co mají výskyt 1)

[chinook]

pokud tam neco bude 4x tak to zmizi uplne a nezustane jen jednou nebo ne?

[Semo]

Ked uz tak,

sort | uniq -c -w32 | grep -v "^ *1 "

ale neriesi to problem, ze sice budes vediet, ktore sumy mas mazat, ale stratis cesty k suborom (pretoze uniq necha iba jeden z nich).

[chinook]

cesty k souborum neztratis ty ti zustanou, pokud si je vytahnes: napr.

sort | uniq -c -w 32 | grep -v '^ *1' | awk '{print $3}'

spis je problem, ze to smaze pouze 1 soubor ze 4 vyskytu toho stejneho, takze ti tam dal zustane 3x.

[Ash]

spis je problem, ze to smaze pouze 1 soubor ze 4

= stratis (omg, to je od stratum či co:D) cesty k souborum

Tudy cesta prostě nevede.

[Ash]

Přehlédl jsem slovenštinu, pardon :)

[Semo]

je problem, ze to smaze pouze 1 soubor ze 4 vyskytu toho stejneho

Co je to, co som nazval stratou ciest ku suborom, ktore treba zmazat. Takze to nie je dobry postup.

[vencas]

#!/usr/bin/python
import sys,os
seen=set()
for l in sys.stdin:
	md5,name=l[:-1].split()
	if md5 in seen: os.remove(name)
	seen.add(md5)

a seznam souborů poslat rourou