Zálohování pomocí rdiff-backup (diskuse)

[RapMan]

ani jsem to necet, ale me stacilo nainstalovat grsync, klik klik, Simulate abych si overil, ze jsem neudelal nejakou blbost, pak OK a zalohovani mam pripravene....

[Messa]

ani jsem tvůj komentář nečetl, ale grsync neumí inkrementální zálohování.

[RapMan]

Kopiruje jen nove nebo zmenene soubory.

[Jendа]

IMHO myslel inkrementální v tom smyslu, že se inkrementy zachovávají, takže se můžeš vrátit do minulosti.

[Michal Fecko]

Ak milujete navraty do zalohovanej minulosti tak jednoznacne BackInTime

[Heron]

Klasické gui nad rsync, diff, cp. Už to fakt chce pořádný FS s podporou snapshotů, cow a deduplikace.

Blog je skoro dobrý, hodil by se i na článek z praxe (jak na to). To "skoro" proto, že mi tam chybí dost podstatná věc: obnovení zálohy.

rdiff-backup je užitečný, ale v otevřeném stavu je pouze poslední záloha. Na starší zálohy je potřeba už použít příkazy (nebo ale zálohu připojit pomocí ArchFS). Ale zase je velmi úsporný (co se místa na disku týče). Já používal rsnapshot. Ten uchovával data v otevřeném stavu z každé zálohy (úspora místa se řešila pomocí hardlinků). Tam stačilo vykopírovat soubory z daného data, bez nějakých dalších příkazů. Velice praktické. Jenže problém (a dokládá to i mnoho dotazů na mailling listech FS), představují právě ty hardlinky (100mil linků pro 1mil souborů už představuje výkonnostní problém).

[kubik]

Ta obnova mi tam skutečně chybí, ale je tohlavně proto, že jsem ji zatím nepotřeboval a doufám, že co nejdéle potřebovat nebudu. Nicméně až se tak stane, tak bych text rád doplnil. Teď tam nebudu psát něco, co jsem nezkoušel, ani tam zatím nemám několik verzí souborů, na kterých bych to vyzkoušel.

[Nicky726]

IMO je potřeba mít vyřešenou a vyzkoušenou obnovu (resp. celý zálohovací proces) ještě před tím, než bude ostré použití zálohy potřeba.

[kubik]

Naprosto souhlasím, před tím jsem se vyjádřil trochu nepřesně. Obnovu dat jsem si pochopitelně zkusil, především kopírování posledních verzí. Zatím však nemám možnost provádět obnovu třeba z desítek verzí. A v takovém počtu verzí a vlastně i množství souborů přichází na přetřes spolehlivost, přehlednost a rychlost. A to bez skutečného použití asi nikdo neposoudí.

[Nicky726]

Rdiff-backup je šikovná věc, používal jsem ho na hodinové zálohování dokumentů ve skriptu přes cron.

IMO není moc dobrý nápad vzdáleně zálohovat pod rootem, spíš si vytvoř speciálního uživatele s omezenými právy.

[kubik]

S tím rootem je to určitě pravda a jsem rád, že to tu zaznělo. V té naší domácí síti to zatím neřeším. Vzhledem k době běhu je pravděpodobnost rizika pro mě přijatelná. Jako řešení pro plné nasazení by se to určitě muselo dotáhnout.

[Nicky726]

Nu dělej, jak myslíš, proč ale používat roota na něco, na co není potřeba. Nemluvě o tom, že můžeš udělat chybku ty, nebo může být v programu.

[kubik]

Asi jsi mě nahlodal.

[kavol]

shodou okolností jsem rdiff-backup nasazoval asi před třemi týdny ...

IMO není moc dobrý nápad vzdáleně zálohovat pod rootem, spíš si vytvoř speciálního uživatele s omezenými právy.

... na cílovém stroji jsem vytvořil uživatele "zalohator", na zálohovaných strojích jsem pod každým uživatelem vytvořil ssh klíče (pokud neměli), dal veřejné zálohátorovi do authorized_keys, a každému zálohovanému uživateli vytvořil zálohovací cronjob

bezpečnostní chybkou tohoto řešení je, že kterýkoliv zálohovaný uživatel může vidět (a modifikovat) všechny zálohy, ale dokud mám ty účty pod palcem, tak mě to netrápí - jinak by to samozřejmě chtělo zvláštního zálohovacího uživatele pro každý zálohovaný účet

[Non_E]

Na něco podobného se chystám také. Budu muset ale vyřešit ještě jednoduché obnovy, mazání starých záloh (ideálně pro různé soubory volitelně) a fungování s windows.

[kubik]

Obnova posledních verzí souborů je prosté kopírování z identické adresářové struktury.

Na mazání starých verzí je tam spousta parametrů, viz ty odkazy. Myslím, že lze odmazávat nejen podle data, ale i podle počtu verzí. Selekce na vybraný adresář je tam taky. Ty seznamy adresářů lze mít v externím souboru.

V mém případě je většina souborů fotky a muzika, které prostě žádné verze nebudou mít. A jak budou narůstat inkrementace zbývajících souborů ukáže až čas.

Verze pro Windows existuje, mě však zatím moc nezajímá. Nicméně ocenil bych, kdyby sem někdo připsal nějaké zkušenosti.

[Nicky726]

V mém případě je většina souborů fotky a muzika, které prostě žádné verze nebudou mít.

No také jsem v to doufal, ale ono stačí opravit špatné ID3 u hudby, přidat tagy k fotkám a hned je nová verze souboru na světě. Je ale fakt, že to není kritické, jako u některých konfiguráků, které se mění každou chvilku (třeba v .kde).

[VSi]

Používám rdiff-backup taky, má některé dobré, až unikátní vlastnosti, ale i problémy.

Co se mi líbí: poslední záloha je obnovitelná prostou kopií; lze si snadno nechat vylistovat verze konkrétního souboru / adresáře, takže člověk vidí, že z 50 záloh se ten soubor změnil třeba dvakrát, a kdy; zálohuje metadata (práva, ACL, rozšířené atributy) zvlášť, takže se tyhle věci neztratí třeba při zálohování na FAT32 disk nebo něco takového.

Co je "horší": starší zálohy jsou v nějakém speciálním formátu a jsou inkrementální mezi jednotlivými zálohami, takže při obnově hodně starého stavu se musí projít všechny inkrementy - trvá to dlouho a při jednom poškozeném souboru jsou všechny starší zálohy taky nečitelné. Vytváření těch inkrementů u velkých souborů na pomalejším stroji taky může trvat dlouho, je pak lepší vypnout kompresi.

Zálohuju tím i Windows stroje - přes mount.cifs si na linuxovém serveru připojím sdílený adresář z Windows. Je dobré si na to ve Windows založit speciálního uživatele, kterému dáme ACL jen pro čtení na celou zálohovanou oblast. Záloha z Windows stroje s 10000 soubory a 2.5 GB trvá 3-5 minut. Teoreticky lze Windows zálohovat i přes ssh a nativní rdiff (ano, na Win lze pustit ssh server), ale jsou problémy s češtinou v názvech a nepřišlo mi to nějak výhodné.

Pokud zálohujete linuxový systém, kde má data víc uživatelů, stejně bude muset zálohování běžet pod rootem. Jiná možnost by byla dát speciálnímu uživateli právo čtení na zálohované soubory, ale to lze ve složitějších případech jen pomocí ACL, a stejně to není jistota (uživatel může i nechtěně ACL odebrat). Naštěstí lze s využitím ssh klíčů zajistit, že rdiff-backup sice poběží pod rootem, ale nebude moct dělat nic jiného, než číst z daného adresáře (za předpokladu, že v rdiff-backup není bug):

command="rdiff-backup --server --restrict-read-only /",from="nejakystroj",no-port-forwarding,no-
X11-forwarding,no-pty ssh-rsa AAAAB3NzaC1 ...

Tím se dosáhne toho, že při kompromitaci zálohovacího stroje není ohrožen stroj zálohovaný. Samozřejmě útočník získá data, s tím nejde dělat nic (leda je zálohovat šifrovaná).

Nakonec dělám zálohy radši pomocí nástroje dirvish (totožná funkce s rsnapshot, ale líbí se mi víc, má dobře ošetřené i chybové stavy, kdy se během zálohování stroj vypne; pochopit konfiguraci ale nebylo vůbec snadné). Výhoda je snadná "viditelnost" všech záloh. Tam zase člověk narazí na problémy s množstvím hardlinků, jak už tu bylo zmíněno. Jen mazání jedné staré zálohy trvá desítky minut. Zálohuju 1 milion souborů, 90 GB, a smazání jedné zálohy + udělání nové je na 2 hodiny i když se skoro nic nezmění. Ale je to slabý stroj (Celeron 1.7 GHz, 256 MB RAM) a zálohuje se na obyčejný SATA disk.

Všechny tyhle zálohovací programy typu rsnapshot a rdiff vypadají hezky, ale pro větší nasazení můžou přijít problémy, na to pozor! Pak je často nejlepší volba klasický inkrementální TAR nebo něco obdobného. Skutečně by to chtělo pořádný filesystem typu ZFS, a tohle řešit na jeho úrovni.

[iki]

Pouzivam dlouhodobe na zalohovani objemu cca 100GB Disk ARchive. Umi diferencialni i inkrementalni zalohy, resp. v prikazu se urcuje, oproti cemu probiha rozdilova zaloha, takze muzete vybrat jak posledni full archiv, tak posledni inkrementalni archiv. Neni to klient-server - zalohovaci medium/server je nutne primountovat na zalohovanem stroji. Je portovany i na Windows (nutnost zadavat cesty v Cygwin formatu).

[iki]

Obnova OK ;)

[David Šmíd]

Doporučuji logovací file system nilfs2 + rsync.

Udržuje historii zápisů, FS dá se namountovat tak, jak vypadal v určitém bodě v čase (readonly). Staré logy (starší než tzv. protection period) se automaticky mažou, aby se uvolňovalo místo.

 

---

[bender]

rdiff-backup má ještě jednu výhodu - výborně se popere s různýmy souborovými systémy. Takže můžeš klidně zálohovat z ext3 na fat32 a nepřijdeš o správné názvy souborů a ani třeba o rozšířené atributy atd.

[Cohen]

Další nespornou výhodou je, že máte „zadarmo“ ošetřenou kontrolu integrity dat (i v historických snapshotech) – v rámci metadat se ukládají SHA-1 součty souborů, takže se dá ověřit, že data na záložním médiu tiše nedegradují. Dokud nebude počítání kontrolních součtů všech dat běžnou funkcí filesystémů (jako to dělá Btrfs či ZFS), tak je to k nezaplacení.

Tichá degradace dat totiž dle mého bude v budoucnu asi docela závažný problém a je dobře, že nadcházející filesystémy už to řeší. Zajistit bezchybnost dat na 2/4/8... TB disku je totiž podstatně obtížnější úkol, než zajisti bezchybnost dat na 40 GB disku, i když disky sami mají nejrůznější mechanismy pro kontrolu předávaných dat.