Dotaz: rsync a bitova kopie

[D]

Ahoj, kopiruje rsync cele editovane soubory nebo jenom zmenene bity? Dejme tomu, ze mam 2 100MB soubory. Ten jeden zedituju a dam synchronizaci rsyncem. Prepise mi to ten druhy soubor cely nebo zmeni jen tu editovanou cast?

Odpovědi

[l4m4]

rsync přenáší pouze změny, ovšem ne na úrovni jednotlivých bitů.

Otázka

Prepise mi to ten druhy soubor cely nebo zmeni jen tu editovanou cast?

mi nedává smysl; rsync prostě zařídí, aby soubory byly identické. Pokud ti vadí vytváření dočasného souboru (tj. dočasně bude na cílovém souborovém systému koexistovat stará i nová verze, a tedy i zabírat místo), použij --inplace, nicméně to brání některým optimalizací přenosu změn (viz man).

[D]

No jde mi o to, ze synchronizaci chci provadet po siti na pomale lince.. takze potrebuju prenest co nejmin dat.. proto me zajima, zda se ten soubor prekopiruje cely, nebo jen ty jeho zmenene casti..

[lukas]

Ak ma subor 200MB a zmenis co i len jeden bit tak sa zalohuje a ostane aj ten povodny.

[Filip Jirsák]

Výhoda rsync je právě v tom, že se soubor nekopíruje celý. Nebudou se ale přenášet jenom změněné bity, ale celý blok kolem nich – rsync spočítá hash bloků na obou stranách a přenese změněné bloky.

[D]

diky za informaci, hlavne, ze se nekopiruji cele soubory (jestli jsem to teda pochopil dobre )

[Filip Jirsák]

Pokud si opravdu jen změní některé bajty, neměl by se kopírovat celý soubor. Pokud byste ale třeba vymazal první bajt a pozice všech ostatních bajtů by se tedy posunula, s tím už by si algoritmus porovnávající jednotlivé bloky neporadil, resp. by to chápal jako změnu všech bloků.

[rastos]

Pokud byste ale třeba vymazal první bajt a pozice všech ostatních bajtů by se tedy posunula, s tím už by si algoritmus porovnávající jednotlivé bloky neporadil, resp. by to chápal jako změnu všech bloků.

Pevne verím, že to tak nie je. Vyskúšaj. Použi nejaké prepínače, ktoré zariadia vypísania nejakej štatistiky. Pomerne často prenášam zip veľký cez 300MB. Pochopiteľne aj malá zmena vo vstupe do toho zip-u znamená rozsiahle zmenu a presuny vo výslednom zip-e. Napriek tomu sa rsyncom prenáša o tretinu menej, ako pri prenose celého objemu.

[Filip Jirsák]

Tak podle The rsync algorithm se v cílovém souboru nehledá blok na stejné pozici, jako ve výchozím, ale projíždí se celý soubor, zda se tam blok s tímto kontrolním součtem nevyskytuje. Používá se tam speciální typ kontrolního součtu, který je optimalizován právě pro to „projíždění“ souboru – asi když se porovnávaný blok posune o bajt doprava, dá se z kontrolního součtu snadno odečíst bajt, který z bloku vypadl, a snadno se tam přičte bajt, který do bloku přibyl – a posun bajtů uvnitř bloku checksum neovlivní. To jsem nevěděl, myslel jsem si, že se používá nějaký klasický hash, třeba MD5. Takže nezměněné bloky se opravdu nemusí po síti přenášet znova, pouze se v cílovém souboru přesunou. To je taky asi důvod, proč --inplace přenáší víc dat – protože se může stát, že si na cílové straně přepíšu část, kterou by stačilo přesunout jinam.

[lukas]

podla mojich skusenosti sa zalohuje cely subor.

[Filip Jirsák]

Tady ale nikdo nepíše o zálohování, ale o synchronizaci souborů pomocí rsync.

[iji]

Jak uz zde padlo, prenasi se pouze zmenene bloky (nikoliv bity). Tohle vsak plati pouze v pripade, ze se na cili pouzije rsync daemon a nikoliv ssh. Pak se prenasi cely soubor.

[dustin]

Myslel jsem, že si jen přes ssh spustí rsync na druhé straně a je to ekvivalent toho démona.

[Zdenek]

To neni pravda. I pres ssh se prenasi pouze zmenene bloky.