Dotaz: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks

[Deryl]

Ahoj,

mám různé množství starých HDD, které bych rád využil na duplicitní zálohy počítačů v domácí LAN.

Tedy: připojím 1 až 4 disky na SATA řadič (+ externí napájení), pustím skript, který podle UUID identifikuje příslušný zálohovací profil (velikost pole, seznam počítačů k zalohování), zeptá se mne na heslo či klíč ke cryptsetup a dál už to jede samo:

* pomocí WoL vzbudí ostatní počítače

* pustí případné pre-backup skripty (dump SQL, definice exclude a include dirs, podporuje-li to fs, tak vytvoří dočasný snapshot pro lepší konzistenci dat)

* inkrementálně zazálohuje (stačí rsync s hard links)

* pustí případný post-backup skript (smazání SQL dumo, fs snapshotu)

Asi bych to zvládl naskriptovat v Bashi, ale nerad bych vynalézal kolo. Počítače jsou jen linuxové.

Neexistuje něco podobného, co bych mohl přiohnout?

Odpovědi

[Rr]

Koukni na "dirvish" umi rsync inkrementalni zalohy s hardlinky. Je to jedna cast toho co ocekavas.

[Re]

https://redbrick.readthedocs.io/en/master/legacy/procedures/dirvish_tutorial/

[Deryl]

Ano, vypadá to použitelně, lze mít samostatné konfigurace pro jednotlivé klienty, pomocné skripty a přitom na klienty není třeba nic extra instalovat. Jen dodělat doskriptovat připojení úložiště pro zálohy.

Jen ještě řeším, jak na sparse files (diskové img):

* Rsync si s nimi rozumí (tedy nealokuje nulové bajty), ale to je k ničemu v případě --link-dest. Jakákoliv změna souboru povede k nové kopii celého souboru.

* Z toho mi vychází, že oproti původnímu předpokladu s hard-links by bylo lepší použít rsync jen na synchronizaci a dělat snapshoty na úrovni fs (bloků) - takže buď univerzální LVM (tedy disky -> cryptsetup -> LVM raid0 -> nějaký fs) nebo zfs či brtfs.

Takže zkusím pohledat nějakou automatizaci v tomto směru

[MP]

borg

[Deryl]

nakonec jsem se rozhodl pro borg, tu automatizaci stejně musím naskriptovat.

jednoduché ovládání, jak zfs. škoda, že ještě přímo nepodporují "pull mode" backup, jen push.

[Deryl]

Tak částečně beru zpět: rsync sice podporuje sparse files, ale to se vylučuje s volbou --inplace.

Tedy i na blokové úrovni to budou nová data a soubor se s každou synchronizací bude duplikovat i po změně jednoho bajtu...

Z toho tedy plyne nějaká z možností:

* Mít na všech klientech úložiště podporující zálohování snapshotů na úrovni bloků (lvm + běžný fs; zfs; btrfs). To je neflexibilní, takže asi slepá cesta.

* Zůstat u rsyncu, ale jen pro synchronizaci bez snapshotů (hardlinks) s volbou --inplace (mění se jen změněné bloky) a oželet volbu --sparse. Zbytečně zabrané místo neefektivně uloženými sparse soubory částečně vyřešit kompresí na úrovni fs (xfs, btrfs). Snapshoty řešit na úrovni fs či LVM.

ZFS by byla na správu volba nejjednodušší, ale je potíž s nedostatečnou podporou napříč distribucemi (dodatečná kompilace spl, zfs modulů). Takže pro případ obnovy ze záloh nic moc.

Z toho asi plyne nejjednodušší řešení: disky -> cryptsetup -> btrfs non-striped raid0 s kompresí a podporou snapshotů.

Alternativně použít třeba xfs (komprese) + navíc práce s LVM (raid0, snapshots).

Trochu jsem googlil a našel patche pro dirvish + btrfs. Tak se na to zkusím podívat.

[pavele]

rsnapshot, rdiff-backup.

Pokud půjdeš do btrfs, měl bys použít co nejnovější linuxovou distribuci,protože tento progresivní fs je v bouřlivém vývoji. Myslím, že pěkně zpracované to má Heron, hledej heron btrfs. Ovšem jestli se nepletu, btrfs se nehodí pro snapshoty img disků.

[k3dAR]

sem za rdiff-backup a k tomu rdiff-backup-fs, udelal sem fork kde sou aplikovane najake patche z ubuntu, pro fungovani nad samba, opravene casove pasmo atd..