Dotaz: porovnání souborů ve dvou složkách

[Tomasko]

Ahoj. Hledal jsem tady na foru, a nic jsem si neodnesl :/ Uz jsem v koncich, nevim jak na to. Potřebuji ze dvou adresaru (treba adresar "a" a adresar "b") projit soubory a slozky a porovnat je. Pokud je v nejakem souboru zmena, ci nejaky chybi vypsat jej. Zkousel jsem diff s grepem a sedem, ale nedari se.(kdyz ma slozka a soubor stejny nazev) a jeste se mi nedari sedem oklestit cestu k souboru, ktere jsou rozdilne.

Odpovědi

[Sten]

diff --brief -r a b

[Tomasko]

diff --brief -r /test/temp/a /test/temp/b > vystupni_soubor jsem zacatecnik, ale tohle mi nevypise nic

[l4m4]

Tak se asi neliší obsahem.

diff -r -N --brief ...

[Tomasko]

pardon, měl jsem tam chybu, vypisuje. Ale vynecha mi to soubory v slozce, ktera se jmenuje stejne jako soubor.

Soubor /test/temp/a/ahoj/readme je obyčejný soubor pokud soubor /test/temp/b/ahoj/readme je adresář a soubory v adresáři readme už to neporovnava

[Sten]

diff --brief vypíše, které soubory se liší, a s -r to udělá i v podadresářích

[Tomasko]

jo ale pokud najde v adresáři "a" složku read a v adresari "b" soubor read, tak vypise, ze je rozdil, ale pak by měl vypsat cely obsah slozky read v adresari "a", protože v adresari "b" tahle slozka neni, tzn. ze se lisi, a ja to nedovedu napsat do programu :/

[Sten]

Pokud zjistíte, že někde chybí adresář, můžete příkazem file zjistit všechny soubory v něm

[l4m4]

Asi spíš příkazem find. Tj. porovnání adresářových stromů - vypsat findem jeden i druhý do souboru, na ty soubory pak spustit diff.

[Tomasko]

find /temp/a -type f >/temp/adresarovy_list_a #zjistime strom adresare find /temp/c -type f >/temp/adresarovy_list_c diff /temp/adresarovy_list_a /temp/adresarovy_list_c >vystupni_soubor

do vystupniho souboru mi to nevypise, ktere soubory jsou rozdilne, jen mi to sjednoti jakoby vystup ze dvou findu

[Ash]

Oni řeší případ kdy v jednom adresáři je soubor a v druhém adresář téhož jména, a diff ho nevypíše, přestože všechny soubory v něm logicky neexistují v opačném stromě. Tedy k vypsání findem je k mání jen jeden adresář.

[Ash]

Asi takto:

bash$ diff -r --brief a b
Files a/a and b/a differ
File a/b is a regular empty file while file b/b is a directory
Only in b: c

bash$ find b/b
b/b
b/b/g
b/b/h

To že diff jen oznámí že to je adresář ale soubory v něm nevypíše je trochu zákeřné :(

[l4m4]

No však ano. Jedním standardním příkazem to neuděláš.

1) Zjištění odlišností v adresářové struktuře: find v a, find v b (s -printf %P), výsledky porovnám diffem.

2) Zjištění odlišností ve stejnomenných souborech: find -r --brief.

[Tomasko]

možná, jsem to špatně napsal, nechci vypsat přímo změny v soborech, ale jen jestli je soubor jinaci v jedne slozce nez ve druhe a pokud je jinaci např(obsah ahoj.txt je ve složce a jinačí než ve složce b), tak vypsat /temp/bla/ahoj.txt

[dustin]

Pokud nepotřebuješ textový výstup, pak např. Xkový dirdiff. Jinak by to jednostranně uměl rsync, nebo http://evp-dirdiff.sourceforge.net ?

[Tomasko]

textovy vystup myslite do *.txt? potrebuju to na stdout. Jinak stale nevim jak na to diff mi teda nevypise jake soubory jsou rozdilne. Nechci vypsat v čem, jen jaké to jsou.

[dustin]

Nepsal jsem diff, ale dirdiff :)

[Tomasko]

už mám vyřešeno. nejdřív jsem si vypsal find-y, pak jsem to upravil sed-em pak sort -uo(seřadil a vymazal duplikaty) a pak jsem to radek po radku prohnal pres while s cmp-s a vypsal, co se neporovnalo resp. cmp-s || echo

[Kit]

Na hledání duplicit se dá s výhodou využít program md5sum nebo sha1sum. Hash se porovná mnohem rychleji než kompletní obsah souboru. S pomocí např. sortu se dají najít shodné soubory s různým názvem mezi tisícovkami jiných souborů během velmi krátké doby.

[Ash]

Na mp3 používám třeba tohle (stejně velké soubory se stejnou md5sum mažu a linkuji pod původním názvem na první z nich), kolize md5 ingoruji :D

mp2=""
ls -S -- *.mp3 | while read; do
  mp3="$REPLY"
  if [[ -n "$mp2" ]]; then
    size2="$(stat --format "%s" -- "$mp2")"
    size3="$(stat --format "%s" -- "$mp3")"
    if [[ "$size3" == "$size2" ]]; then
      md5sum2="$(md5sum -- "$mp2" | cut -d\  -f 1)"
      md5sum3="$(md5sum -- "$mp3" | cut -d\  -f 1)"
      if [[ "$md5sum3" == "$md5sum2" ]]; then
        echo "ln -s -- \"$mp2\" \"$mp3\""
        rm -- "$mp3" && ln -s -- "$mp2" "$mp3"
        continue
      fi
    fi
  fi
  mp2="$mp3"
done

Samozřejmě hodně záleží na účelu použití, poškozené (tedy jinak velké) soubory se stejným názvem by se hledaly zase jinak, že, ale princip je podobný.

[Ash]

Samozřejmě je to neoptimální, věci se počítají dvakrát, procesy se spouští v každém cyklu apod., ale o to mi nešlo, spíš o ilustraci jednoduchého postupu (porovnat velikosti, pak případně md5sum).

[Kit]

Pro hledání a odstraňování duplicit používám tento několik let starý skript. Dnes bych ho napsal jinak, ale nechce se mi ho předělávat. Každá MD5 se počítá pouze 1x. Kolizemi se netrápím. Kdo chce, použije místo md5sum třeba sha1sum nebo sha512sum.

Bez parametru pouze vyhledává duplicity, s parametrem -rm je i smaže.

#!/bin/sh
#
old=xxxxxxxxxxxxxxxxxxxxxxxxxx
oldn=xxxxxxxxxxxxxxxxxxxxxxxxxx
stav=0

find . -type f -iname "*" -exec md5sum '{}' ';' |
   sort |
        while read md5 nazev; do
                if test "$old" = "$md5"; then
                        if test $stav -eq 0; then
                                echo "=== $oldn";
                                stav=1;
                        fi
                        if test "$1" = "-rm"; then
                                echo "rm  $nazev"
                                rm "$nazev"
                        else
                                echo "    $nazev"
                        fi
                else
                        stav=0
                fi
                old="$md5"
                oldn="$nazev"
        done

[2]

0.75TB nepouzitelne. prilis mnoho falesnych duplicit.

[Kit]

Ukaž nám prosím alespoň jednu jedinou falešnou duplicitu, tedy dva soubory se stejným MD5 a rozdílným obsahem.

Uznávám, že SHA-1 je lepší, ale na běžné použití musí MD5 stačit.

[Ash]

Tím myslíte příliš mnoho stejně velkých souborů se stejnou md5?

[lejo]

jak pisu niz, souboru nulove delky maji obvykle stejnou md5.

[Ash]

Tak tomu bych spíš věřil (že si toho nevšiml), než že má opravdu hafo mp3 stejné délky, stejné md5sum a různého obsahu :D

[lejo]

prilis mnoho prazdnych souboru, ze ano!

[2]

krusader - synchronize directories.

[moira]

Taky by možná pomohl rsync, něco ve stylu rsync -rvcn a b, tj. nedělat nic ve skutečnosti, jen vypisovat co by udělal.