ZFS jako backup, drobné detaily

12.7.2013 13:10 | Přečteno: 1211× | Software | poslední úprava: 12.7.2013 13:07

Jsem stále nespokojený s mým řešením záloh. Rád bych ho změnil a postavil na ZFS (nejspíš nativní na linuxu nebo nějaké illumos distribuci). Záloha by pak probíhala tak, že bych změněná data tlačil na server (přes SFTP, FTP...), odmazaná odmazával a na serveru by probíhalo snapshotování.

Řeším jak nejlépe jít na tu "tlačící" (řekněme jednosměrně synchronizační) část. Používám hlavně Win7 (na VPS samozřejmě Linux) a kamarádi, kteří si na můj server taky tlačí nějaká data mají taky Win.

Na Linuxech bysme šli samozřejmě cestou rsync (unison), ale ve windows by se to nejspíš zkoplikovalo - shodné verze, spojení na SFTP atd. Windows nástroje jako Robocopy neumí FTP a připojovat backup jako síťový disk se mi moc nezdá - nelíbí se mi, že by byl připojen při běžném používání.

Dále se mi líbí představa, že server bude co možná "nejhloupější".

Ot. 1: Máte nějaký tip, kudy do toho?

"Vymyslel jsem" (asi ovlivněn četbou zkompiloval různé cizí myšlenky) tento postup fiktivného kusu software, který dokáže dobře tlačit na server:

1. sestavím seznam souborů k zálohování
2. připojím se na úložiště a stáhnu archiv hashů z minula (viz. níže)
3. vezmu první soubor ze seznamu, vygeneruji hash, pokud sedí na stažený, pokračuju dále, pokud nesedí nahraju nový soubor a upravím hash
4. Projedu stažené hashe, které jsem nekontroloval a pokud na lokále není soubor, smažu ho i na serveru
5. Nakonec nahraji na server archiv nových hashů, doplněný o informace jako kdy byly soubory naposled měněny, jaké množství dat bylo nahráno a tak.

Hashování probíhá jen na lokále a není problém před nahráním na server dat zašifrovat.

Výhody:

• Stačí "hloupý server"
• Soubory jsou na serveru umístěné rozumně, je možné je stáhnout i bez toho sw a rozšifrovat růčo.

Nevýhody:

• Archiv hashů se nahrává až po ukončení uploadu, pokud by ten byl přerušen, musí se soubory nahrávat znovu. šlo by řešit nějakým dělením archivu na menší díly.
• Mnoho malých souborů by asi byl porod, bylo by možné je předem zabalit - což je pruda. Mám namysli např. můj katalog Lightroomu kde je několik GB malých souborů.
• Vymýšlím kolo?

Myslíte že vymejšlím blbosti a něco takového už dávno existuje? Nebo to neexistuje, protože to má základní vadu? Rád se nechám poučit...

Možná cítíte inspiraci programem duplicity/duplicati - ten používám teď, ale prudí mě když mám dělat plné zálohy a jestli jsem něco zásadního nepřehlédl, tak pro ZFS (brtfs) snapshoty moc vhodný není.        

Komentáře

[Josef Kufner]

rsync na cygwinu ?

Asi bude potřeba pořešit různá oprávnění a další Windows-spcific věci ve filesystému.

[Dreit]

Zase pokud to dokáže klikací Grsync...

[Honza Jaroš]

Práva se kdyžtak nechají nazálohovat do samostatného souboru pomocí subinacl.exe (a pomocí téhož programu zase na existujícím filesystemu obnovit). Spíš nevím, jak se chová pod Windows rsync k symlinkům a hardlinkům, od Vist výše jsou ve Windows celkem běžně využívané a třeba rdiff-backup s nimi měl problémy.

Každopádně pokud by se to obešlo bez symlinků, tak mi jako cesta nejmenšího odporu přijde nainstalovat cygwin s rsyncem a pak při zálohování nejdřív spustit synchronizaci, pak přes subinacl nazálohovat do souboru přístupová práva a výsledek přidat k záloze a nakonec vytvořit na zálohovacím stroji snapshot. Instalace cygwinu má navíc tu výhodu, že to jde sepsat jako skript pro bash, takže se člověk nemusí patlat s batchi nebo s PowerShellem.

Ideální by bylo si před zálohou vytvořit přes shadow copy nad NTFS snapshot (někde u Microsoftů se povaloval řádkový program vshadow.exe, kterým šlo s trochou úsilí snapshoty spravovat z příkazového řádku; teď mi Google vyhodil ještě vscsc, který by podle popisu měl dělat totéž jednodušeji), ten si připojit přes dosdev.exe jako další diskovou jednotku (koukám, že odkaz na dosdev je na výše uvedeném webu vscsc) a zálohu si dělat ze snapshotu místo z živých dat. Mám vyzkoušeno, že pak jde zálohovat i věci jako jsou soubory registrů nebo SAM databáze, které jsou normálně zamčené pro přístup a tudíž nečitelné.

[snajpa]

ZFS urcite muzu doporucit, nakonec i ZFSonLinux se ukazuje jako pouzitelny projekt. S Illumosem je to takove... mno. Vyvoj kernelu se hybe dopredu, illumos-gate je vyvijeny. Problem je s distribucemi - je tu SmartOS, ale to je spis na virtualizaci, je to uzpusobene na stateless hypervisor instance. OpenIndiana je ted tak trochu mrtvy projekt, i kdyz "behind the scenes" se neco deje, vypada to, ze nejspis znova ozije, ale ted je to primrtvene a nove verze baliku nejak nejsou a Illumos build v OI je zastaraly, ma par nepeknych bugu. Pak je to OmniOS, ktery je vic maintainovany, nez OpenIndiana, v podstate se snazi o podobne, co OpenIndiana, akorat uplne od podlahy a delaji jenom baliky, ktere oni potrebuji = vyber tam neni buhvijaky, na backup server by to ale melo stacit (gnu utility tam jsou, rsync taky). Illumian jsem nezkousel. Jinak Solaris/Illumos prostredi je okouzlujici, urcite doporucuju si to osahat. Osobne, pokud nejde o system vystaveny do internetu, bych tam klidne dal tu OpenIndianu.

[snajpa]

Jo a jinak, potom na ZFS pokud rsyncem, tak s --inplace, k tomu urcite doporucuju zapnout transparentni kompresi. Takhle mame resene zalohy ve vpsFree. Uz druhy tyden nam bezi testovaci node se ZFS on Linux, kde mame kontajnery OpenVZ nad ZFS a musim rict, ze kluci teda udelali docela pokrok, protoze to zatim drzi, jako zidovska vira. Jestli to projde jeste narocnejsim testovanim, tak po lete prechazime na ZFS uplne vsude a zalohovani budeme resit pres zfs send/recv, what a bliss...

[Dreit]

Ohledně snapshotování - co takhle (pokud nesouhlasí hash) nahrát soubor na server, porovnat se starší verzí a použít diff? Potom by neměl být problém mít na serveru nejnovější verzi + aplikováním patch souborů se vracet v čase.

[Dreit]

ad mnoho malých souborů - co pustit rsync v simulačním módu s verbose? Nemám teď možnost to vyzkoušet, ale pokud se nepletu, tak by měl svým algoritmem (a že je to fofr!) porovnávat soubory a na standardní výstup vypsat, jestli souhlasí, nebo se liší

[Halis]

Velice podobným způsobem funguje BackupPC. Namísto snapshotů ale používá hardlinky. Osobně používám ve dvou sítích, jedna je čistě GNU/Linux, druhá je mix s Win.

Pro zvědavce ve zkratce: rsync/ssh/samba, plánování záloh, deduplikace napříč zálohami a stroji na úrovni souborů, komprese jednotlivých souborů, ...

[Bedňa]

Mne príde najlepšia možnosť pred rsync snapshot, pretože keď sa niečo v sobotu večer po estráde zo serveru odmaže, to by mohlo bolieť.

[Halis]

Teď nechápu o jaké fázi zálohování je řeč?

[Josef Kufner]

rsync umí hardlinkovat z předchozí zálohy. Takže pak máš adresáře se zálohama po dnech a pokud se nic nezmění, zabírají místa jako jedna (pokud nepočítám inody, ale těch je dost). Už se na to dlouho chystám přejít z rdiff-backup.

[pol128]

a to je celkom entrprajs toto, zlozite a nahovno

[AsciiWolf]