abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 09:00 | Komunita

V Brně na FIT VUT probíhá DevConf.CZ 2020, již dvanáctý ročník jedné z největších akcí zaměřených na Linux a open source ve střední Evropě. Na programu je celá řada zajímavých přednášek a workshopů. Aktuální dění lze sledovat například na Twitteru.

Ladislav Hagara | Komentářů: 0
včera 23:44 | Komunita

Společnost Psyonix, v květnu 2019 koupena společností Epic Games, oznámila konec podpory počítačové hry Rocket League na Linuxu a macOS. Poslední aktualizace pro tyto operační systémy vyjde v březnu a odstraní možnost hrát tento automobilový fotbal online.

Ladislav Hagara | Komentářů: 2
včera 14:33 | Zajímavý článek

Nová čísla časopisů od nakladatelství Raspberry Pi: MagPi 89 (pdf), HackSpace 26 (pdf) a 27 (pdf) a Wireframe 28 (pdf), 29 (pdf) a 30 (pdf).

Ladislav Hagara | Komentářů: 0
včera 14:11 | Nová verze

Byla vydána nová verze 12.7 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
včera 11:44 | Zajímavý článek

Michael Stapelberg na svém blogu popisuje projekt minitrd, který je součástí linuxové distribuce distri. Jedná se o implementaci initramfs v programovacím jazyce Go. V článku popisuje jak funguje a srovnává časy sestavení pomocí dracutu a dobu bootování. Pro zrychlení používá různé triky jako například pigz místo gzipu.

joejoe | Komentářů: 9
22.1. 21:33 | Nová verze

Sway, dlaždicový (tiling) správce oken pro Wayland kompatibilní s i3, byl vydán ve verzi 1.4. Do vývoje se zapojilo 52 vývojářů. Přehled novinek na GitHubu. Zdůraznit lze podporu VNC (wayvnc) nebo částečnou podporu Mate panelu.

Ladislav Hagara | Komentářů: 8
22.1. 19:55 | Nová verze

Dokumentační tým LibreOffice vydává aktualizovanou příručku pro LibreOffice Math pro verzi LibreOffice 6.4. Update příručky provedl ruský dobrovolník Roman Kuzněcov. Český překladatelský tým hledá další překladatele pro překlad příruček, detaily na wiki.

Zdeněk Crhonek | Komentářů: 0
22.1. 19:00 | Zajímavý projekt

CutiePi Shell (GitHub) je nové open source uživatelské rozhraní pro mobilní zařízení vytvořené pro tablet CutiePi postavený na Raspberry Pi.

joejoe | Komentářů: 1
22.1. 11:44 | Nová verze

Vyšla nová verze nástroje pro správu diskových oddílů GParted a distribuce GParted Live, která obsahuje tento a další nástroje pro zálohování či obnovu dat. GParted 1.1.0 aktualizuje překlady a opravuje chyby včetně v např. přesunu uzamknutých šifrovaných oddílů LUKS, výpočtu velikosti souborového systému JFS či rozpoznávání členů ATARAID a jejich stavu. GParted Live 1.1.0-1 pak obsahuje novou verzi GParted, Linux 5.4.13 a vůbec novější balíčky z Debianu Sid.

Fluttershy, yay! | Komentářů: 1
22.1. 09:55 | Zajímavý článek

Jiří Eischmann se v příspěvku /e/: Android bez Googlu na starém telefonu na svém blogu podělil o zkušenosti s mobilním operačním systémem /e/ (Wikipedie) na telefonu Samsung Galaxy S4 Mini: Pokud hledáte pro svůj androidí telefon systém bez závislosti na Googlu, je to asi ta nejlepší volba.

Ladislav Hagara | Komentářů: 16
Zdají se vám sny s IT tématikou?
 (9%)
 (1%)
 (13%)
 (17%)
 (53%)
 (7%)
Celkem 258 hlasů
 Komentářů: 10, poslední 18.1. 16:18
Rozcestník

www.AutoDoc.Cz

Dotaz: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks

31.12.2017 08:25 Deryl | skóre: 8
Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
Přečteno: 250×
Ahoj,

mám různé množství starých HDD, které bych rád využil na duplicitní zálohy počítačů v domácí LAN.

Tedy: připojím 1 až 4 disky na SATA řadič (+ externí napájení), pustím skript, který podle UUID identifikuje příslušný zálohovací profil (velikost pole, seznam počítačů k zalohování), zeptá se mne na heslo či klíč ke cryptsetup a dál už to jede samo:

* pomocí WoL vzbudí ostatní počítače

* pustí případné pre-backup skripty (dump SQL, definice exclude a include dirs, podporuje-li to fs, tak vytvoří dočasný snapshot pro lepší konzistenci dat)

* inkrementálně zazálohuje (stačí rsync s hard links)

* pustí případný post-backup skript (smazání SQL dumo, fs snapshotu)

Asi bych to zvládl naskriptovat v Bashi, ale nerad bych vynalézal kolo. Počítače jsou jen linuxové.

Neexistuje něco podobného, co bych mohl přiohnout?

Odpovědi

31.12.2017 08:56 Rr
Rozbalit Rozbalit vše Re: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
Koukni na "dirvish" umi rsync inkrementalni zalohy s hardlinky. Je to jedna cast toho co ocekavas.
31.12.2017 09:38 Re
Rozbalit Rozbalit vše Re: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
31.12.2017 12:00 Deryl | skóre: 8
Rozbalit Rozbalit vše Re: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
Ano, vypadá to použitelně, lze mít samostatné konfigurace pro jednotlivé klienty, pomocné skripty a přitom na klienty není třeba nic extra instalovat. Jen dodělat doskriptovat připojení úložiště pro zálohy.

Jen ještě řeším, jak na sparse files (diskové img):

* Rsync si s nimi rozumí (tedy nealokuje nulové bajty), ale to je k ničemu v případě --link-dest. Jakákoliv změna souboru povede k nové kopii celého souboru.

* Z toho mi vychází, že oproti původnímu předpokladu s hard-links by bylo lepší použít rsync jen na synchronizaci a dělat snapshoty na úrovni fs (bloků) - takže buď univerzální LVM (tedy disky -> cryptsetup -> LVM raid0 -> nějaký fs) nebo zfs či brtfs.

Takže zkusím pohledat nějakou automatizaci v tomto směru
31.12.2017 12:44 MP
Rozbalit Rozbalit vše Re: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
borg
4.1.2018 19:39 Deryl | skóre: 8
Rozbalit Rozbalit vše Re: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
nakonec jsem se rozhodl pro borg, tu automatizaci stejně musím naskriptovat.

jednoduché ovládání, jak zfs. škoda, že ještě přímo nepodporují "pull mode" backup, jen push.
31.12.2017 13:02 Deryl | skóre: 8
Rozbalit Rozbalit vše Re: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
Tak částečně beru zpět: rsync sice podporuje sparse files, ale to se vylučuje s volbou --inplace.

Tedy i na blokové úrovni to budou nová data a soubor se s každou synchronizací bude duplikovat i po změně jednoho bajtu...

Z toho tedy plyne nějaká z možností:

* Mít na všech klientech úložiště podporující zálohování snapshotů na úrovni bloků (lvm + běžný fs; zfs; btrfs). To je neflexibilní, takže asi slepá cesta.

* Zůstat u rsyncu, ale jen pro synchronizaci bez snapshotů (hardlinks) s volbou --inplace (mění se jen změněné bloky) a oželet volbu --sparse. Zbytečně zabrané místo neefektivně uloženými sparse soubory částečně vyřešit kompresí na úrovni fs (xfs, btrfs). Snapshoty řešit na úrovni fs či LVM.

ZFS by byla na správu volba nejjednodušší, ale je potíž s nedostatečnou podporou napříč distribucemi (dodatečná kompilace spl, zfs modulů). Takže pro případ obnovy ze záloh nic moc.

Z toho asi plyne nejjednodušší řešení: disky -> cryptsetup -> btrfs non-striped raid0 s kompresí a podporou snapshotů.

Alternativně použít třeba xfs (komprese) + navíc práce s LVM (raid0, snapshots).

Trochu jsem googlil a našel patche pro dirvish + btrfs. Tak se na to zkusím podívat.
4.1.2018 21:22 pavele
Rozbalit Rozbalit vše Re: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
rsnapshot, rdiff-backup.

Pokud půjdeš do btrfs, měl bys použít co nejnovější linuxovou distribuci,protože tento progresivní fs je v bouřlivém vývoji. Myslím, že pěkně zpracované to má Heron, hledej heron btrfs. Ovšem jestli se nepletu, btrfs se nehodí pro snapshoty img disků.
k3dAR avatar 5.1.2018 01:46 k3dAR | skóre: 57
Rozbalit Rozbalit vše Re: Zálohovací sw: raid0 + cryptsetup + rsync hardlinks
sem za rdiff-backup a k tomu rdiff-backup-fs, udelal sem fork kde sou aplikovane najake patche z ubuntu, pro fungovani nad samba, opravene casove pasmo atd..
porad nemam telo, ale uz mam hlavu... nobody

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.