RSync při domácím zálohování dat a jejich synchronizaci

19.3.2008 22:32 | Přečteno: 5212× | Linux

Jako více méně běžný uživatel řeším problém, jak rozumně zálohovat svá data a chránit se před jejich ztrátou, a zároveň, protože pracuji na třech počítačích a občas na nějaké stanici ve škole, jak mít vždy dostupnou nejaktuálnější verzi svých dat.

Už nějakou dobu používám k tomuto účelu flashdisk a rsync. Vzhledem k mým požadavkům jde o velmi dobrý způsob, jak data do určité (pro mě dostatečně velké míry) chránit, přenášet mezi počítači a zároveň je mít v nejnovější verzi dostupná i na školní stanici.

Základem všeho jsou dva jednoduché scripty využívající rsync k vlastnímu přenosu dat. Script zálohuj se stará o přenos dat ze zálohovaného PC na flashdisk:

#!/bin/sh
#
# Zálohuje dokumenty a logy na flashku, průběh zálohování loguje do souboru
#


# Proměnné obsahující cesty k výchozím adresářům a logu
path_Dokumenty="/home/nik/Dokumenty/Dokumenty"
path_flashka="/media/CORSAIR/nik/záloha/"
log="zaloha_log.txt"

# Zálohování pomocí rsync na flashku s přesměrovaným výstupem do logu
"ZÁLOHA" > $log
echo "Zálohuji $path_Dokumenty na $path_flashka" >> $log
rsync -avu --delete $path_Dokumenty $path_flashka >> $log

exit 0

Kromě dokumentů zálohuji například i logy rozhovorů z IM klientů, workspace Eclipse, atd.

Script synchronizuj se pak stará o obrácený proces:

#!/bin/sh
#
# Synchronizuje dokumenty a logy z flashky, průběh synchronizace loguje do souboru
#


# Proměnné obsahující cesty k výchozím adresářům a logu
path_Dokumenty="/home/nik/Dokumenty/"
path_flashka="/media/CORSAIR/nik/záloha/Dokumenty"
log="synchronizace_log.txt"

# Synchronizace pomocí rsync z flashky s přesměrovaným výstupem do logu
"SYNCHRONIZACE" > $log
echo "Synchronizuji $path_flashka na $path_Dokumenty" >> $log
rsync -avu --delete $path_flashka $path_Dokumenty >> $log

exit 0

U rsyncu je důležité povšimnout si následujících parametrů: --delete vymaže z cílového adresáře všechno, co nenajde ve zdrojovém. Tato volba může být v některých případech nežádoucí, na druhou stranu její absence dělá smazání souboru opravdu těžké.

Druhým důležitým parametrem je -u, které nedovolí přepsat soubor, který je v cílovém adresáři novější než ve zdrojovém. Toto je velmi výhodné, protože se občas stane, že člověk zapomene pustit synchronizaci jako první věc po spuštění počítače, a pokud před jejím spuštěním nějaký soubor změní, přišel by o změny.

Také je dobré občas zkontrolovat log a přenesené soubory, protože už se mi párkrát stalo, že se flaska po několika přenesených MB přepla do read-only módu a část zálohy se neuskutečnila. Nevím, jak moc je tento problém závislý na konkrétní flasce, podařilo se mi ho vyvolat přes Krusader, a jediným uspokojivým řešením byl formát flashdisku. (Problém se po remountu vracel).

Scripty v mém případě ještě doplňují dva zástupci na ploše, což redukuje případy, kdy před odjezdem na kolej / z koleje zapomenu zazálohovat data.

       

Komentáře

[Honza Jaroš]

Pro podobné zálohování doporučuji pozornosti utilitu rdiff-backup, která oproti rsyncu umí i návrat k předchozím verzím záloh.

[atan]

A nebo rovnou pouzit subversion.

[Josef Kufner]

To radši git. Je výrazně rychlejší.

[junckritter]

Na toto mi pride vhodnejsi distribuovany system verzii ako bazaar, mercurial. Z kazdeho bodu (pocitac, flashka) sa da okrem ineho ziskat nova plnohodnotna kopia s celou historiou, aj jednoduchym skopirovanim adresara.

[Honza Jaroš]

Použití Subversion mi přijde pro tento účel už poněkud překombinované. Minimálně by nastal problém v okamžiku, kdy by bylo potřeba smazat starší verze záloh (což u běžného zálohování dřív nebo později nastane).

[disorder]

a verzie zaloh je mozne browsovat cez virtual fs

[Nicky726]

Prozkoumám, jakmile se to trochu uklidní ve škole. Možný problém vidím v nárůstu místa potřebného k uchování záloh. V současné chvíli je můj 2GB flashdisk zaplněný z 80% (jen zálohou). Ano, je pomalu čas na nějaký ten upgrade...

[Honza Jaroš]

Co se týče flashky, tu přece (pokud jsem to dobře pochopil) používáte jen pro přenos dat mezi domovem a školou, takže na ní historii nepotřebujete. Osobně bych to - pokud nejde kopírovat přímo z domova po síti přes SSH - řešil tak, že bych přes rsync synchronizoval flashku s diskem doma a ve škole přes rdiff-backup z dělal flashky inkrementální zálohy.

Starší verze záloh pak můžete průběžně mazat (viz parametr --remove-older-than).

[Nicky726]

Ano, to zní použitelně... Flashdisk využívám v zásadě jen k té synchronizaci + ve škole... bohužel přes SSH to nejde, jednak celkový objem dat, kterých se synchronizace týká je v současnosti 1,6 GB (linka doma je uFUP ADSL) a další problémy by nastaly s neveřejnou IP doma (nevím, zda a jak protunelovat) a pc nejsou zapnuté ve stejný čas... čili SSH by způsobilo dost problémů a vzhledem k tomu, že mám funkční systém, tak se mi zas nechce do toho až tak šťourat.

[Honza Jaroš]

K tomu objemu dat - rdiff-backup, stejně jako rsync, při zálohování přenáší jen to, co se změnilo, takže by to s množstvím přenesených dat němělo být tak horké. Na druhou stranu pokud tam máte FUP, je asi skutečně každý kilobajt dobrý...

[Nicky726]

Ano, všimnul jsem si... uFUP zatím je... uvidíme, jak to bude s O2 proklamovaným zrušením uFUP u všech tarifů od dubna, ale pořád zůstane nevýhoda ADSL čili nízký upload, což je znát i na odesílání mailů s větší přílohou.

[iji]

Uvazovat se da o iFoler nebo jsem jeste nasel Powerfolder Hledani na netu jsem moc casu dat nemohl, ale snad se bude hodit a pripadne nekdo zna i jine reseni:

iFolder muj favorit, moznost pouziti vlastniho serveru jako distribucni bod, zkoncil jsem na tom, ze se jedna o Mono (na Etch nelze zkompilovat, zname issue)

Pwerfolder pro mne neprekonatelny problem je pouziti uloziste u tvurce programu (kdyby alespon klient podporoval online kryptovani dat odchazejicich, aby u nehoho na serveru byly necitelne)

Takze jsem nakonec zkoncil u rsyncu proti vlastnimu serveru spousteneho cronem.