Dotaz: existuje nastroj pro zjisteni duplicitniho obsahu v souborech?

[j3nda]

zdravim,

chci se zeptat znalejsich, zda:
- existuje nastroj na odhaleni souboru, ktere maji 100% anebo castecny napr 95% duplicitni obsah?

jde mi o to, ze mam spoustu dat (asi 200GB) a chtel bych odhalit duplicitni soubory. nejedna se o 100% shodu. spis nejake vymezeni, napr +/- 20% treba s moznosti znazorneni, kde je tato shoda v souboru 100% a kde napr 80% (zacatek, stred, konec, ...)

je mi jasne, ze si na to muzu napsat nastroj, ktery by fungoval podle mych predstav - ale mozna neco existuje a vy o podobnem nastroji vite. poradite?

j3.

Odpovědi

[Jakub Lucký]

no, takové utilitky existují... Na 100% shodu by stačil nějaký skriptík, ale:

fdupes - identifies duplicate files within given directories
findimagedupes - Finds visually similar or duplicate images
perforate - Utilities to save disk space
simhash - generate similarity hashes to find nearly duplicate files

[j3nda]

dik. fdupes: funguje nejak podivne.

kdyz jsem si zkusil do testdiru (ze ktereho by melo byt jasne, co je duplicita a co ne) dat .mp3

tak vypsal, ze je tam ulozena duplicitne (*x=stejny soubor jako .mp3) - coz je spravne.

3403976 bytes each:
./testdir.x/v.Mr. Oizo - Monday Massacre.mp3
./testdir.x/*x

ale kdyz jsem nakonec "*x" pridal znaky "xxxxxxxxxxxxxxxx", cimz jsem vynutil castecnou shodu, tak ve vypise soubory nefigurovaly - i kdyz by mely.

takze se v tom chvili budu vrtat...

[j3nda]

jeste jsem nasel toto:
http://freshmeat.net/projects/fdupe/

ale taky to resi bud 100% anebo 0% (mezitim nic). viz
soubory: .mp3 a *x

[Matlák]

Ono sledovat "podobnost" dvou souborů libovolného typu je obecně nepříliš triviální problém. Je to velmi závislé na tom, co chce člověk sledovat - u obrázků například konkrétní tvary či barvy, u hudby/zvuků melodie a rytmy, to vše naprosto nezávisle na použitém bitrate/rozlišení apod.. takže standardní porovnávání pomocí kontrolních součtů je přitom k ničemu. Je podstatné co chcete porovnávat, v jakém rozsahu apod.. K porovnávání obrázků a zvuků je asi nejvhodnější nějaký druh spektrální analýzy...

[j3nda]

jedna se jen o hudebni soubory. takze myslenka spektralni analyzy je dobry smer.

zkusim si procist to, co mi p. Kasprzak zaslal (mj. prikladam), cituji:

  Tak tohle je dost slozita problematika uz v pripade, kdy drzite dva soubory a jen chcete zjistit kde presne se prekryvaji. Neco k tomuto tematu je popsano treba tady:

http://theses.cz/id/kjlbf0

A to jak vybrat vhodne kandidaty abyste nemusel zkoumat vsechny dvojice souboru je taky kapitola sama pro sebe. V textovych souborech se to dela napriklad pomoci rozkouskovani a hledani techto kousku (clanek Sergeje Brina a dalsich "Copy detection mechanisms for digital documents" z roku 1995, napriklad).

a nejak se rozhodnout, jak to budu resit.