Dotaz: Jak zálohovat, pokud člověk nemá NAS?

[Vašek]

Dobrý den,

situace je taková: Mám jeden stolní počítač, který má dva interní 1TB pevné disky. Na disku č. 1 je nainstalován Arch Linux (systém, velikost oddílu cca 700 GB) a Windows 7 (systém + data, velikost oddílu cca 300 GB). Na 2. disku jsou data uživatelů (Linux, velikost oddílu cca 800 GB).

Potom mám notebook, který má jenom 120GB SSD (systém + data uživatelů) a běží na něm Linux.

No a proč toto píšu? Chtěl bych, aby stolní počítač a notebook byly synchronizovány. Tzn. aby důležitá data (nemyslím tím věci, které lze snadno stáhnout z Internetu, jedná se hlavně o data nacházející se na 2. pevném disku v PC) nacházející se v notebooku, byla uložena i v stolním počítači a naopak.

Nevíte, jak na to? Stačí mi jenom hrubý nástin, jak to udělat. Zbytek se budu snažit dodělat já (např. tím že napíšu nějaký shellový skript apod.). Oba počítače jsou připojeny do stejné sítě/routeru (oba gigabitový ethernet). Mám po ruce ještě jeden 500GB externí pevný disk (USB 3.0).

Předem díky za všechny reakce.

---

---

Odpovědi

[Vašek]

První věc, která mě napadla, že bych mohl všechny názvy adresářů či souborů (které bude třeba zazálohovat) opatřit prefixem zal__ No a přemýšlím, že bych to spáchal nějak s pomocí NFS, ale zatím nevím jak.

[cronin]

V každom adresári, ktorý potrebujem zálohovať, mám súbor .backup. Ak je niekde v adresári, ktorý je takto označený na zálohovanie iný adresár, ktorý sa zálohovať nemá, mám v ňom súbor .nobackup.

Nejaký find(1) plus bižutéria okolo vyrobí zoznam adresárov na zálohovanie, podhodí ho programu tar(1), ktorý s použitím --exclude-tag najskôr výrobí "poor-man-snapshot", a zvyšok je priamočiary: tar, pbzip2 a gpg, plus sha512sum pre každý mezdiprodukt a výsledný archív.

Nakonec -- zatiaľ manuálny -- upload do cloudu. Veľkosť záloh je momentálne malá okolo 500MB, frekvencia záloh je zatiaľ nízka -- keď usúdim, že by bol vhodné odzálohovať. Keď jedno či druhé narastie, vymyslím niečo sofistikovanejšie.

[Oldpac]

Paráda! Díky za tip.

[Oldpac]

Teď uvažuju o kombinaci rsync/ssh (na obou počítačích mi běží ssh server)/find

A do toho chci zakomponovat tu myšlenku .backup/.nobackup

Ještě jednou díky.

[Oldpac]

Takže pomocí find vytvořím seznam adresářů, jejichž obsah je potřeba zazálohovat (který předám třeba rsync). Přičemž pokud výše položený adresář obsahuje soubor .nobackup, tak automaticky budou vynechány všechny podadresáře. Jiný je případ, kdy výše položený adresář obsahuje soubor .backup To potom musím testovat podadresáře, zdali neobsahují soubor .nobackup Tedy mám hrubý popis. Tuším, že by mohlo být možné využít rekurzi.

[Josef Kufner]

Prostě z cronu spustíš:

ping -c 3 host2 >/dev/null && rsync -ar /home/user/ user@host2:/home/user/backup-host1/ --exclude=/home/user/backup-host2/

A je odzálohováno.

Pokud máš btrfs, tak přidej udělání snapshotu. Pokud ne, přidej --link-dest a pohraj si s rotací záloh.

[Oldpac]

Děkuju moc! Budu z toho vycházet.

[cronin]

Tu je moja aktuálna verzia. Pozor na toto:

1) Jedná sa o "rodinný desktop" s dvomi používateľskými účtami. Snapshot zálohy sa robí v /tmp. Pri "vážnejšom" použití by asi bolo vhodné robiť snapshot v menej prístupnom adresári.

2) Príkaz tar(1) používa prepínač --one-file-system, čo vyplýva z lokálneho layoutu FS. Pre použitie inde to môže ale nemusí vyhovovať.

3) Keďže prvý krok po vytvorení snapshotu je tar(1), asi by išlo snapshot úplne vynechať. Tu je to dané historicky: pri vývoji skriptu išlo rýchlo skontrolovať, či snapshot obsahuje práve to, čo má, a asi nebolo v prvej chvíli jasné, ako sa so snapshotom ďalej naloží.

4) Vzhľadom na to, že mi je známy objem zálohy (~1GB) a množstvo dostupnej RAM (32GB), všetko sa deje v operačnej pamäti, do konečného adresára presúvajú až kontrolné súčty a výstupný archív.

5) Skript by toho mohol kontrolovať oveľa viac, napr. či je na cieľovom disku dostatok miesta a pod.

6) Je tam trochu mágie kvôli zadávaniu hesla pre gpg(1):

chmod o+rw "`tty`"

Enjoy!

#! /bin/sh

backup_basedir="/data/backup"

if [ ! -d "${backup_basedir}" ] ; then
	echo "Backup base directory cannot be found: '${backup_basedir}'" >&2
	exit 1
fi

backup_dir_basename="system-backup"

backup_target_dir="${backup_basedir}/${backup_dir_basename}-`date '+%Y-%m-%d_%H-%M-%S'`"

if [ -d "${backup_target_dir}" ] ; then
	echo "Backup target directory already exists: '${backup_target_dir}'" >&2
	exit 2
fi

mkdir "${backup_target_dir}"

if [ ! -d "${backup_target_dir}" ] ; then
	echo "Backup target directory failed to create: '${backup_target_dir}'" >&2
	exit 3
fi

temp="`mktemp -d`"
temp_target="${temp}/archive"
mkdir "${temp_target}"

dirs_to_backup="${temp}/to_backup.list"

cd / 

find / -type f -name '.backup' | rev | cut -f 2- -d / | rev | grep -v "^${backup_basedir}/" | cut -f 2- -d / > "${dirs_to_backup}"

tar --one-file-system --exclude-tag=".nobackup" --create --to-stdout --exclude-backups --exclude-caches --exclude-caches-under \
	--exclude-vcs-ignore --files-from="${dirs_to_backup}" \
	--warning=none | tar --directory="${temp_target}" --extract --file -

cd "${temp}"

tar -cf archive.tar archive/
rm -rf archive/ & 
sha512sum archive.tar > archive.tar.sha512sum
pbzip2 archive.tar
sha512sum archive.tar.bz2 > archive.tar.bz2.sha512sum

chmod o+rw "`tty`"

gpg --symmetric --force-mdc --cipher-algo AES256 --output archive.tar.bz2.gpg archive.tar.bz2 && rm archive.tar.bz2
sha512sum archive.tar.bz2.gpg > archive.tar.bz2.gpg.sha512sum

mv archive.* "${backup_target_dir}"
cd /
rm -rf "${temp}"

echo "${backup_target_dir}"
ls -lh "${backup_target_dir}"

[Oldpac]

Super! Děkuju. Až bude čas, tak to důkladně prostuduju.

[Josef Kufner]

Použij cron, rsync (nebo něco na něm postaveném) a ssh.

Z každého počítače udělej jednosměrně zálohu na ten druhý. Cron ti umožní to provádět automaticky každý den.

[Vašek]

Super. Děkuju.

[Vašek]

Další věc, která mě napadla, je, že budu v zálohovacím skriptu testovat, zda je dostupný druhý počítač, tedy budu testovat, zda existuje určitý soubor nacházející se na druhém počítači.

[Josef Kufner]

Stačí ping.

[Vašek]

Děkuju. Jenže to nebude možné v okamžiku, kdy budu mít na PC nastartované Windows 7 (mám dualboot: Arch Linux, Windows 7). Takže raději testovat existenci určitého souboru v určitém adresáři.

[Vašek]

Tak jsem na to asi kápnul. Přes NFS (jedná se o moji privátní síť) nasdílím adresáře, které budou obsahovat mj. adresáře/soubory s jnénem začínajícím zal__Vytvořím shellový skirpt zaloha.sh, který při svém spuštění bude testovat dopostupnost druhého počítače (přest test existence určitého souboru v mount pointu). Pokud bude dostupný, tak přes rsync provedu "synchronizaci".

[Josef Kufner]

To nechceš dělat. Výhoda rsync je v přenášení rozdílů namísto celých souborů. Pokud ho spustíš nad NFS, tak o tuto výhodu přijdeš a bude záloha trvat velmi dlouho. Je mnohem lepší spustit rsync nad ssh. Funguje to tak, že na zálohujícím i zálohovaném běží rsync a tyto dva si spolu po ssh vyjednají, co se změnilo, a pak to přenesou.

[Vašek]

Aha. To jsem netušil. Díky.

[MadCatX]

Něco podobného jsem si teď zprovoznil pro synchronizaci mezi notebookem, desktopem a homem na serveru v práci. Napsat skriptík, který nahodí VPN, sesynchronizuje lokální adresáře s těmi na serveru a uklidí po sobě je překvapivě triviální. Když jsem s prací hotov, pustím sync v opačném směru. Testuju to jen pár dní, ale zatím to funguje výborně...

[Vašek]

Děkuju

[Josef Kufner]

Jo, asi tak. Nejtěžší je udělat správně rotaci adresářů s inkrementálníma zálohama (vyráběných pomocí rsync --link-dest), kterou mimochodem má rsnapshot blbě.

[lertimir]

Na synchronizaci používám Unison. Líbí se mi hlavně to, že mohu synchronizovat oboustranně a že si dělá svoji databázi synchronizace při příští synchronizaci ví, že když na stroji A soubor je a na B není, tak, podle toho co měl minule, jsem buď na A soubor vytvořil a nebo na B smazal a synchronizuje správně.

Je dobré si udělat i nějakou rozumnou organizaci dat. Pro mne to je tak, že na synchronizovaných strojích (notebooky desktop) mám /home v podstatě stejně velké. (a podobně stejně velký root, který pokrývá systém a logy) A /home se synchronizuje. Větší sdílený prostor na desktopu mám v samostatném oddílu (mnoutnutý do mnt). Takže je nám hned jasné, co jsou důležitá data a co jen data na hraní.

Nicméně synchronizaci unisonem si rozumne mohu nadefinovat i na addresářové bázi a nemusím mít oddíly.

Osobně bych ještě to dělal tak, že bych "core" data z disku 2 zálohoval do nějakého adresáře na disk 1 jako *.tar.xz (nebo jinou kompresi) (automaticky) a ty si pak případně uložil později na usb disk. Možná jsem paranoidní, ale moje vlastní data jsou nejcennější, co mám, a ty nejdůležitější mám na 4 místech, z toho 1 je RAID pole. (a samozřejmě 1 místo je mimo bydliště)

[Oldpac]

Děkuju moc, už si "hraju" s rsync/ssh A chystám se pro napsání shellového skriptu. Hezký den.

[Oldpac]

Možná jsem paranoidní, ale moje vlastní data jsou nejcennější, co mám, a ty nejdůležitější mám na 4 místech

Když už jsme nakousli téma důležitosti vlastních dat... Archivujete taky na M-Disc či Data Tresor Disc? Já o tom silně uvažuju (minimálně pro zdrojové kódy a fotky).

[Josef Kufner]

DVD je pro fotky žalostně malé médium.

[Oldpac]

No, existuje i Blu-ray (M-Disc).

[Josef Kufner]

25GB/placka už je docela použitelné, ale cenou i pohodlím vyjde líp používat klasické magnetické pevné disky.

Máte někdo reálnou zkušenost s těmi Blu-Ray M-Disc a odpovídající vypalovačkou?

[lertimir]

Navíc cena je $4,5 za placku viz, což je tak asi 5Kč za GB. A očekávat, že za XY let bude funkční blue ray mechanika? nevím, asi ne. A udržovat budu data na discích. (z doby před cca 10 lety mám zlaté CD placky, které vydrží 50 let, ale už nemám funkční CD/DVD mechaniku.)

[Jendа]

> du -sh album/
3,9G	album/

Tak ne každý cvaká jako o život a ještě k tomu do RAWů.

[lertimir]

Souhlas, ne každý dal focení mnoho desítek tisíck Kč. (pak ceny HDD na archivaci jsou minoritní položka.)

[lertimir]

Mám asi 1TB fotografií. (Jedna RAW fotka mé zrcadlovky je 30MB. z jednoho výletu přináším 10GB.) Za 6 let používání mám asi 90 000 fotek.

[LinuxTorvalc]

Archivuji na Data Tresor Vinyl.

[mrtn]

já to mám udělané tak, že mám na domácím PC nainstalovaný Owncloud a přes něj se nám neustále synchronizují pracovní data mezi PC-práce, PCdoma-já, PCdoma-manželka, laptop-já a laptop-manželka

[Josef Kufner]

To ale není záloha. Pokud si něco omylem smažeš, zmizí to všude. V případě, že bys měl zálohu, zůstaly by smazaná data ještě pár dní/týdnů nedotčená ve starších snapshotech.

[Peter Golis]

Owncloud má v sebe verzionovanie súborov, a owncloudová appka deleted files uchováva vymazané dáta 180 dní. Aspoň podľa dokumentácie.

[Josef Kufner]

To by pak už celkem šlo. Co jsem ale Owncloud viděl naposled, nepůsobilo to zrovna spolehlivým a příliš kvalitním dojmem. Navíc to je docela komplikovaná aplikace a u zálohování je vhodné, aby bylo co nejjednodušší a mohlo se tam toho podělat co nejméně. Na druhou stranu, pokud je žádoucí mít obousměrnou synchronizaci, moc nástrojů na výběr není.

[Peter Golis]

Na druhú stranu má v dnešnej dobe každý moderný operačný systém v sebe nástroje na zálohovanie užívateľských dát do verejného cloudu, a aj na externý disk. Takže tento typ otázky má význam len keď chce mať človek svoje dáta pod kontrolou, cloud mu vychádza drahšie ako domáci server zvaný single point of failure alebo chce vynachádzať koleso.

[lertimir]

Jak je to vlastně se situací kolem Owncloud. Myslím hlavně to, že původní původní zakladatel a programátor ownCloudu, který ownCloud v léte opustil a jak to bude s jeho dalším vývojem je ve hvězdách. tady http://www.cio.com/article/3079866/open-source-tools/what-we-can-learn-from-ownclouds-collapse.html tady http://www.cio.com/article/3078173/cloud-computing/owncloud-forked-to-create-nextcloud.html a tady https://www.linux.com/news/owncloud-nextcloud-proven-cloud-innovator-launches-promising-new-platform

založil nextcloud spolu s tím, že nextcloud dost pracuje na bezpečnosti.

Pro mne to je trochu jako situace OpenOffice -> LibreOffice, ale nezkoumal jsem to v detailu.

[mrtn]

Owncloud vypadá "mrtvý" ve smyslu, že většina vývojářů přešla k Nextcloud.

Nextcloud pokud vím dodnes nemá vlastního desktopového klienta, používá se (a sami doporučují) klienta Owncloud - takže už proto zachovávají kompatibilitu.

To přirovnání OpenOffice/LibreOffice je dost přesné.

Na samotnou synchronizaci souborů je to myslím úplně jedno.

Osobně budu časem předcházet na Nextcloud kvůli App desktop search, ale to už je mimo téma.

[mrtn]

ano, a opravdu to tak funguje (vyzkoušeno)

[Pavel 'TIGER' Růžička]

I když pod Linuxem nedám dopustit na rsync, tak zde stejně upozorním na multiplatformní DirSyncPro. Pro ty, co mají rádi klikátka.

[Oldpac]

Děkuju

[Ovrscout]

rsync je dobrý na vytváření záloh - tj jednosměrnou synchronizaci, na to je opravdu skvělý a efektivní.

Pokud se budou soubory měnit, mazat a vytvářet na obou stranách zároveň, tak může dojít k různým nepříjemnostem a konfliktům. Z vašeho příspěvku mi to není úplně jasné, doporučuju tedy zvážit, zda vám jednosměrná synchronizace stačí nebo ne.

Pokud potřebujete obousměrnou (tj pokud uživatelé pracují na desktopu i notebooku najednou), tak použijte nějaký jiný nástroj který si s tím umí poradit - např již zmiňovaný unison, nebo můj oblíbený FreeFileSync - který ale pracuje jen s kopírováním souborů, zato je velmi jednoduchý na používání i konfiguraci. Tyto nástroje si dokáží s některými situacemi poradit samostatně(vytváření a mazání souborů na obou stranách) a nebo alespoň uživateli zobrazí případný konflikt (uprava stejného souboru na obou stranách).

Také si nejsem jist zda je dobrý nápad synchronizovat data všech uživatelů najednou. Hlavně v případě konfliktů je asi lepší aby si to danný uživatel vyřešil sám.

[Oldpac]

Moc děkuju za komentář, který mě donutil zamyslet se. Budu zálohovat data jen jednoho uživatele (tedy moje) a pokud by už běžely oba počítače zároveň, tak zase budu na obou přihlášený já. Tudíž mi stačí kombinace rsync/ssh.

[Oldpac]

Chlapi, stydím se a děkuju moc za rady. Já si zvolil nakonec pro někoho nepředstavitelné/"blbé" řešení.

Nahodil jsem jak na PC, tak na notebooku ssh server a hlavně jsem ho nakonfiguroval, aby přihlášení akceptoval pouze pomocí "certifikátu", tedy žádné jednoduché heslo.

No a když už mi na obou stranách běží ssh, tak můžu vesele vyměňovat data (příklad):

# z notebooku do PC
rsync -ar /home/uzivatel/ uzivatel@PC:/home/uzivatel/backup-notebook/ --exclude=/home/uzivatel/backup-PC/

resp.:

#z PC do notebooku
rsync -ar /home/uzivatel/ uzivatel@notebook:/home/uzivatel/backup-PC/ --exclude=/home/uzivatel/backup-notebook/

Toto pouštím ručně. Až mě to naštve, tak napíšu skript/program.

[motyq]

nebo nevymýšlet kolo a použít na to rdiff backup

https://www.root.cz/clanky/zaloha-dat-pomoci-rdiff-backup

používá rsync interně, možnost mít verze do historie, změny hardlinkované (takže historie je něco jako kompletní záloha, ale zabírá pouze opravdu to co je změněné)...

na takové to domácí žvýkání, počítám, že splní zadání a ještě ho vylepší

[k3dAR]

u rdiff-backup nejsou zmeny hardlinkovane, jsou tam diffovane...
hardlinkovani si pletes asi s nastrojem rsnapshot, i tam ale nejde o "zmeny hardlinkovane" ale naopak "nezmeny hardlinkovane", oproti rdiff ale nedela rozdilove soubory zmen ale uklada zmeny celych souboru, coz muze narustat na objemu zaloh, zato ale zrychluje pristup k predchozim verzim...
osobne spokojene pouzivam rdiff-backup ve spojeni s rdiff-backup-fs...

[motyq]

mas pravdu, smotal jsem dve veci dohromady (pouzivam baculu, takze tyto nastroje uz jsem dele nevidel) - dik za upresneni