Dotaz: Refresh na místě + 100% ověření, že kopie je stejná (Linux backup)

[palardd]

Ahoj konfero,

prosím o radu, zkoumám to už na Google několik hodin a motám se mezi dd, rsync, cp, apod. a zatím nevím, jak z toho ven Cílem je udělat refresh souborů na serverovém disku a také kopii těchto souborů na externí disk na USB rozhraní (disky jsou cca stejné) ověřeně, že jsou 100% stejné

1 - chci si ověřit, že na serveru je soubor v pořádku k přečtení a znova jej tam zapsat, takže něco ve stylu copy do nového jména a smazat starý, obnovit původní jméno. Důvod: aby se záznam na plotně obnovil 2 - chci stejný soubor zkopírovat na externí disk (záloha) tak, abych měl 100% jistotu, že jsou stejné. Důvod: jen pro jistotu ( pro tento úkol jsem zatím používat rsync ale jen -av --progress /source /dest, takže se přenášely jen změněné soubory

Prosím poradíte mi někdo zkušený, kdo to řešil? Děkuji

Odpovědi

[Pavel 'TIGER' Růžička]

Podle toho co požaduješ bude potřeba u rsync i parametr --checksum. A parametr -a nahradit -b (--backup).

[palardd]

Podle toho co požaduješ bude potřeba u rsync i parametr --checksum. A parametr -a nahradit -b (--backup).

Děkuji, podívám se, a ten refresh na místě? Tedy přečíst soubory (všechny) na disku a znova je tam zapsat? Nějaké dd s find?

[Pavel 'TIGER' Růžička]

I tohle bych řešil pomocí rsync. Pokud je prostor, tak bych to rsyncnul do jiného adresáře, po rsyncnutí původní smazal a nový přejmenoval na ten původní. Pokud prostor není, tak bych to asi řešil zapsáním souboru po souboru do /tmp a zpět. U dd neověříš, že soubor je nezměněn a funkční. Jinak, k čemu ti to přepisování bude sloužit?

[palardd]

U dd neověříš, že soubor je nezměněn a funkční. Jinak, k čemu ti to přepisování bude sloužit?

Důvod je ten, že chci obnovit magnetický záznam na plotně

[lertimir]

To mě připadá jako nějaká podivuhodná "urban legend". To že by moderní materiály měly problémy s oslabováním sily magnetického pole jsem nikde nečetl. To co se občerstvovalo byly tak magnetické pásky, kde díky tomu že vyrstvy ležely těsně na sobě tak bylo nebezpečí že magnetický vliv z jedné vrsty se projeví ve vedlejší při dlouhodobém skladování bez přemotání, ale u dísků?

[bibri]

No, vzhledem k velikosti (spíš malosti) a hustotě záznamových částic na plotnách je bit flip/bit rot celkem běžná událost. Asi by dalo diskutovat i o tom, jaký vliv má u tak slabého záznamu okolní prostředí. U novějších disků s hustotou > 1Tb/in se objevuje strašák jménem superparamagnetismus. Tolik k "urban legend".

Teď z praxe - loni jsem ověřoval 10 4TB disků, které ležely zhruba rok ve skříni (vypnuté) a 7 z nich mělo podle md5sumu vadné soubory (1-2 kusy). Těsně po zápisu přitom byly podle md5sum v pořádku, to jsme samozřejmě kontrolovali. Letos mne to čeká zas, tak jsem zvědavý na výsledky.

[lertimir]

Ok. nikdy jsem nepracoval s disky, které leží ve skříni. Disky se kterými jsem kdy pracoval, tak se točily, a vzhledem k malosti plochy pro jeden bit (v současných hustotá jsme nekde na ploše 20x20nm pro bit což je tak stejně jako struktura v polovodičích), jsou ve hře už asi 6-7 let kvantové jevy, zvláště to, že není možné změřit stav systému bez toho, aby se jeho stav ovlivnil a proto se při čtení stav zapisuje zpět a tím je aktualizován. Ale ve vašem případě je ještě otázka o kvalitě provedení současných disků. už jsem potkal disk, který byl uložen do rezervy (nový nikdy nepoužitý) a pokusili se ho použít po 3 letech a neroztočil se, takže jestli disky jsou vhodné pro neprovozní dlouhodobé uložení dat je také otázka.

[Josef Kufner]

rsync to všechno udělá za tebe. Pokud si chceš být opravdu jistý, tak použij program md5sum nebo shasum pro výpočet hashů souborů a porovnej je s předlohou (to ten nástroj umí).

[palardd]

Díky

[pavele]

Hash na GB soubory? Dnes začít, za týden skončit...

[bibri]

Kdepak, jste od několik řádů vedle.

Podle mých měření má md5sum na našem hardwaru maximální propustnost nějakých 400-500 MB/s (na velkých souborech).Dá se říct, že do cca 200 MB/s ho zdržuje čtení z disku - když je jen jeden. Pak ho zdržuje jedno vlákno, protože nemá nativní multi threading.

Občas počítám md5 pro desítky TB a ano, to trvá třeba den.

[pavele]

Skutečně zdržuje čtení disku, pokud mám sparse soubor 500 GB, je pro mne docela problém ověření kopie souboru. Snad ten btrfs.

[bibri]

Nejsem si jist, že zrovna tomuto brtfs pomůže - místo díry díře ve sparse file by měl chodit NULL, ale ne z disku (protože tam ta data fyzicky nejsou).

[tom]

Pokud chcete obnovit zaznam na plotne, staci soubor precist a o zbytek se postara disk sam.

[source]

Nestačilo by to dát na BTRFS a sledovat checksum tam? V případě, že se shodovat nebude a BTRFS záznam nedokáže opravit, nahrát záložní kopii z USB disku.