Dotaz: rsync záloha systému - co zálohovat?

[sato]

Zdravím. Začal jsem se zálohami systému pomocí rsync a nyní piluju příkaz, který by zálohoval vše potřebné a naopak vynechal to zbytečné. Zatím to mám nastaveno takto:

rsync -aAXve ssh / --exclude={"/dev/*","/proc/*","/sys/*","/tmp/*","/run/*","/media/data/*","/lost+found","/home/sato/Stažené/","/home/sato/.cache/"} sato@192.168.31.189:/media/data/sato/zaloha --delete

Při záloze to ale hlásí chyby v přístupu k některým souborům ve /var/log a /var/lib. Je potřeba tyto adresáře zálohovat? Případně co dalšího bych mohl vynechat nebo naopak vrátit zpět?

Díky předem za rady.

Odpovědi

[chinook]

Já tam mám toto a žádné chyby to nehází.

--exclude 'data' --exclude 'dev' --exclude 'media' --exclude 'mnt' --exclude 'selinux' --exclude 'tmp' --exclude 'var/named' --exclude 'var/log' --exclude 'sys' --exclude 'proc' --exclude 'sys' --exclude 'nfs' --exclude 'run'

[pavele]

Používám rsnapshot, který interně používa rsync, s těmito parametry:

rsync -rlptgoHX --delete --numeric-ids --delete-excluded

Zálohuji celý kořen /, který mám jako snapshot pomocí idera_hotcopy hcp.

Místo idera_hotcopy je možné použít pro snapshot třeba lvm nebo / připojit pomocí:

mount --bind / /mnt/holej_rootfs

A zálohovat /mnt/holej_rootfs, kde už nebudou problémy s virtuálními /tmp, /proc a podobně.

[Jendа]

Já dělám rsync -x (nepřekračovat hranice souborového systému), díky čemuž nemusím vyjmenovávat ty různé /dev, /proc, /media, /mnt apod.

[k3dAR]

take sem to takto drive nelal, nicmene tak neziskas(minimalne) obsah /dev co je pod nad nim pripojenym udev, takze v cili bude /dev prazdnej... proto to resim takto:

sudo mkdir /rootfs
sudo mount --bind / /rootfs

a v /rootfs takto mam / bez pripojeneho cehokoliv dalsiho, ALE s vychozim obsahem /dev ulozenem realne na oddilu s rootfs...
(chapu ze tohle nemusis resit, pokud obnovu delas tam ze udelas cistou instalaci kterou preplacnes tou zalohou, tedy obcash /dev bude z ciste instalace, ale v pripade obnovy na cistej disk by /dev bylo prazdne (s tim ze ted nevim jiste jestli se vubec staci pouzit nebo staci je jsou hlavni staticka zarizeni v /dev initrafs a z rootfs uz se stejne hned prekreje dynamickym z udev))

[Josef Kufner]

/dev není potřeba, pokud obnovu uděláš přes minimální instalaci. Ta minimální instalace navíc pořeší i bootloader a rozdělení disku.

[k3dAR]

to sem presne psal, ze pri restore na cistou install nevadi ze v zaloze /dev neni, ale pri restore na cistej disk asi vadi, to ze minimalni install poresi bootloader a rozdeleni disku mi i tak prijde jednodusi a rychlejsi udelat restore na cistej disk skriptem co udela "rozdeleni disku + instalace bootloaderu"(=par vterin) a restore rsync zalohy v ktere stejne v obou pripadech je potreba zmenit fstab a update-grub (pripadne v resume a update initramfs), to vse muze udelat ten skript a usetri se cas zbytecne minimalni instalace kdy jen kvuli rozdeleni+bootloader aby se to pak z zalohy cele prepsalo a stejne si ty upravy kvuli uuid musel resit..

[Josef Kufner]

Hm, nějak jsem to nedočetl do konce :)

Pokud máš nějaký skript na obnovu, tak tam můžeš dát i volání MAKEDEV.

[PetebLazar]

Ve /var/lib/... mohou být takové "zbytečnosti" jako databázové soubory mysql, postgresql, image virtuální strojů atd.

Tyto (typicky živé, neustále se měnící soubory) by měly asi být zálohovány vhodnějším (konzistentním) způsobem než je rsync.

Pod jakým uživatelem že je záloha prováděna?

[sato]

Pod běžným uživatelem. Je lepší / nutné dělat zálohu pod rootem? Proč není vhodný rsync? Zatím jsem o tom nikde nečetl.

[PetebLazar]

Běžný uživatel nemusí mít pro řadu souborů OS a aplikací ani právo čtení. Záloha v takovém případě může být neúplná.

Pokud si představíme rozsáhlý soubor(y) živé databáze, mohou v nich probíhat neustálé změny a to v různých jejich částech. Při zálohování tímto způsobem pak nemusí být z pohledu dat obsah souboru(skupin souborů) konzistentní.

Velmi zjednodušeně. Například záznam o stavu účtu pana Nováka ležícího na začátku datafilu (je 10000Kč). Představme si, poté co zálohovací proces zazálohuje část souboru s účtem pana Nováka je z jeho účtu převedena částka 5000Kč na účet pana Kováře(účet leží na konci souboru). Ve chvíli kdy se začně zálohovat část s účtem pana Kováře je na něm již o 5000Kč více. Výsledný soubor zálohy pak může obsahovat původní částku (před převodem) na účtě pana Nováka a novou částku na účtě pana Kováře(po převodu). To není konzistetní stav (za ty se dá považovat stav kdy na obou účtech jsou buď původní či nové zůstatky). Konzistence se samozřejmě nemusí omezovat na jediný soubor, požadavkem mohou být záznamy kozistentní z pohledu business trasakcí napříč všemi soubory.

Pro tyto účely se pak nejen pro zálohování (on-line tj. běžících DB) např. u Oracle DB používá archivelog režim, kdy veškeré změny v DB jsou zaznamenávány sekvenčně do tzv. log souborů (tyto jsou pak vždy po zaplnění archivovány). Takže součástí zálohy jsou nejen vlastní soubory DB (měnící se behěm dlouho trvající zálohy), ale i archiv všech transakcí (logfilů) zaarchivovaných během doby zálohování. Při recovery se pak obnoví (nekonzistentní zazálohované) datafily a do těch promítnou ze zazálohovaného archivu logfilu všechny transkace proběhlé během doby zálohování. Tak je možné docílit konzistetního stavu databáze v čase ukončení zálohy.

[Josef Kufner]

Pokud to spouštíš jako uživatel a ne jako root, tak prostě jen nemáš přístup ke všemu.

Přidej parametr -x a nemusíš řešit /proc, /media a podobné.

Namísto /home/sato/Stažené použij /home/*/Stažené. Také přidej .thumbnails a další nezajímavé adresáře.

/var/lib je v podstatě /home pro systémové služby. Je to tedy něco, co zálohovat určitě chceš.

[k3dAR]

ad -x (ci long --one-file-system), viz

[2020]

Doporucuju Dirvish, rsync backup server s dennimi zalohami v podobe hardlinku a automatickym odmazavanim. Jednoduche, konfiguraky v textacich: https://www.cbrown.co/2010/06/17/backup-server-with-ubuntu-and-dirvish/

[PetebLazar]

Na zálohování systémového disku využívám Timeshift, to bude něco asi na podobném principu (rsync s hardlinky v případě nezměných, kopie u změněných souborů) se stanovenou retencí denních/týdenních/měsíčních záloh. Úspěšně jsem z toho obnovil i totálně rozdrbaný systém, nakonec jakému umělci se povede odmazat si libc? :$i