Dotaz: Inkrementální zálohy do .taru

[xof1s]

Zdravim, chci aby se obsah zaloha.tar aktulizoval inkrementálně. Protože je docela objemný, tak znovu a znovu přenášení celého archivu moc nepřipadá v úvahu. Jde to nějak? Chtěl sem použít rsync/ssh ale to způsobovalo chyby jako npř. ztrácely se oprávnění a symlinky se vůbec neskopírovaly(nechci řešit příčinu, chci použít něco jako tar, což pro mě spolehlivě zachová metadata i na windows(/ntfs)).
zaloha.tar je v adresáři do nějž je namountován vzdálený adresář přes curlftpfs. To by ale snad nemělo nic měnit :)
Takže bych rád kopíroval inkrementálně aby to nezabíralo zbytečně mnoho zdrojů a chtěl bych zachovat metadata souborů a speciální soubory jako to umí tar.
Díky za všechny odpovědi.

---

---

Odpovědi

[Filip Jirsák]

rsync umí zachovat metadata i symlinky. Al pokud chcete použít tar, přenášejte rsyncem ten tar. Ale přenášejte to po síti protokolem rsync, jedině tak využijete inkrementální přenos. Pokud budete mít namountováno vzdálené úložiště do lokálního souborového systému a rsyncem budete přenášet jenom v rámci toho lokálního systému (a po síti se to bude přenášet jiným protokolem), bude to na přenos dat horší, než kdybyste to jenom zkopíroval.

[Jendа]

Ale přenášejte to po síti protokolem rsync, jedině tak využijete inkrementální přenos.

Měl jsem pocit, že rsync umí přenášet inkrementálně jenom pokud jsou ty stejné části v souborech do nějaké vzdálenosti. Takže když na začátek toho taru přibude nějaký velký soubor, rsync nebude schopen zjistit, že konec taru je stejný, a přenese to celé.

Pokud budete mít namountováno vzdálené úložiště do lokálního souborového systému a rsyncem budete přenášet jenom v rámci toho lokálního systému (a po síti se to bude přenášet jiným protokolem), bude to na přenos dat horší, než kdybyste to jenom zkopíroval.

Můj rsync tohle detekuje a delta přenos vypne (pokud ho explicitně nevynutím), takže to vyjde nastejno jako kdybych to jenom kopíroval. (--whole-file)

Doporučil bych správně nastavit rsync a netrvat na taru. Dobrý začátek je podívat se do manuálu na volbu -a, případně ještě --numeric-ids.

[xof1s]

Na taru rozhodně netrvám. Chci aby záloha ve výsledku měla vlastnosti taru, tzv. zachování metadat, symlinků, atp. A pak aby se ~1TB sesynchronizoval za pár minut.

[Jendа]

Chci aby záloha ve výsledku měla vlastnosti taru, tzv. zachování metadat, symlinků, atp.

rsync --numeric-ids -aHAX (viz manuál)

A pak aby se ~1TB sesynchronizoval za pár minut.

Já mám bohužel s rsyncem podivné výkonnostní problémy, nejspíš když je tam spousta malých souborů. Teď si tedy uvědomuju, že to může být strašně starou verzí rsyncu na druhé straně (RHEL5).

[xof1s]

Problémem tohoto řešení je, že se mi neskopírujou npř. symlinky. (function not implemented, testováno na namountované SAMBA a curlftpfs). Nejspíš je na druhé straně nějaký windows filesystem. Proto chci použít něco jako tar, což je nazávislé na filesystemu.

[Jendа]

Aha. To jsem náhodou řešil před týdnem na Wedos disku, vyrobil jsem tam velký soubor, naformátoval ho na příčetný souborový systém a připojil přes loopback…

[Filip Jirsák]

Měl jsem pocit, že rsync umí přenášet inkrementálně jenom pokud jsou ty stejné části v souborech do nějaké vzdálenosti.

O žádném takovém omezení jsem nikde nečetl. rsync používá blok o nějaké velikosti, na serveru si nejdříve vypočítá kontrolní součty pro všechna umístění takového bloku. Tj. umístí blok na začátek souboru, spočítá kontrolní součet, posune se o jeden bajt, opět spočítá kontrolní součet (který je speciálně navržený tak, aby tuhle operaci vyhození prvního bajtu a přidání jednoho dalšího bylo možné udělat rychle). Neprocházet takhle celý soubor, ale jenom jeho část, by mělo jediný význam - ušetřit paměť. Pak načte první blok klient, odešle jeho kontrolní součet serveru, a ten se podívá, jestli ten kontrolní součet zná. Pokud ne, pošle klient všechna data, pokud ho server zná, oba ještě spočítají bezpečný kontrolní součet, kterým ověří, že jsou data opravdu stejná (že jen náhodou nevyšel ten první kontrolní součet stejně).

[dustin]

Díky za pěkný popis

[xof1s]

Nevíte jak by vypadal command na rsync .taru bez jeho vytvoření na disku? Umím ho vytvořit a následně rsyncovat ale to mi zabere terabajty které ani nemám. Nejde treba presmerovat vystup taru na vstup rsyncu bez toho vytvareni na disku? Diky

[Jendа]

Obávám se že v tom rsync bude chtít seekovat.

[Trubicoid2]

Namountovat tar pomoci archivemount?

[Jendа]

On to přece chce opačně.

[Trubicoid2]

Jak opacne? Nechce rozbalit tar, aby mu to nezabralo misto. Tak ho namountuje rw pomoci archivemount a udela rsync do toho namountovanyho adresare. Po unmount bude mit updatovanej tar. Nebo neco nechapu?

[Jendа]

Jo takhle. Tak to mi ale přijde lepší to řešení vyrobit tam normální FS přes loopback, měl bych pochybnosti o tom jak se archivefs vyrovná s častými změnami.

[Trubicoid2]

U toho fs je blby, ze budes muset mit i volny misto plus neoptimalni ukládání malých souboru (jestli nemáš reiser a tail packing).Takze to bude nekolikrat vetsi nez nekomprimovany tar.

Tomu archivemountu bych asi ze zacatku moc neveril, muselo by se to zkusit. Zajímavá je volba: -o nobackup = remove archive file backups. Takze jinak ty smazany soubory v taru zůstanou? To se mozna na zálohování hodí no.

[Jendа]

Uvažoval jsem btrfs. Nic jiného už bych nepoužil. Overhead může být tak 20 %, pokud bychom ale chtěli zálohu s historií (což je velmi dobrý nápad), může to být díky CoW když se správně nastaví rsync i efektivnější než tar.

[xof1s]

Archivemount by nejspíš šlo, jsem rád že teď o něm vím. Ale netestoval jsem reálnej backup, protože už mám náhradu.

Duplicity Kompresi umně provádí téměř v poměru 1:4, přenos přes SSL, podpora PGP šifrování, inkrementální zálohy, zachovává ACL, xattrs, hard linky, samozřejmě oprávnění user:group sxrw a další. Jinak je zajímavé proč nepoužít tarball

Díky za odpovědi a hlavně lidem z jednoho IRC kanálu.

[RM]

Monžná by mohlo vyhovovat také tohle:

rsnapshot

Kolega si to dost chválil.

[Jendа]

To bude mít stejný problém jako rsync. Navíc tím že to generuje miliardu hardlinků se to časem stává neskutečně pomalé.

[bibri]

Mám v zálohách rsnapshotu 200TB dat - asi 10mil souborů. Pomalé to je, ale asi tak, jak bych očekával od podobného množství.

Co (a jak přesně) zatěžují ty hardlinky?

[Jendа]

Co (a jak přesně) zatěžují ty hardlinky?

Přiznám se že nevím. Jenom jsem ve škole rušil několik let provozovaný rdiff-backup, protože záloha několika serverů trvala týden, přičemž na ZFS-on-linux i na btrfs to bylo hned.

[Jendа]

Tak jsem to spočítal, já mám souborů 13077311, ale má to jenom 5,5 TB (včetně tří měsíců historie).

[bibri]

Tak jsem to spočítal

Trvalo to docela dlouho ;). Tip pro příště: df -i.

[Jendа]

Počítal jsem find | wc -l.

root@archer:~# df -i /mnt/backup/
Filesystem     Inodes IUsed IFree IUse% Mounted on
/dev/md1            0     0     0     - /mnt/backup

[Jendа]

(hint: ne všechny filesystémy mají inody ;)

[Václav "Darm" Novák]

Filesystem Inodes IUsed IFree IUse% Mounted on /dev/sda 0 0 0 - / Některé nemají ani diskové oddíly :)

[Václav "Darm" Novák]

Sakra, zmršil jsem formátování. A s/nemají/nepotřebují

[lertimir]

btrfs?

[bibri]

(hint: ne všechny filesystémy mají inody ;)

Třeba které?

[Jendа]

Sorry, spíš fixní počet ze kterého by se odpočítávalo.

[bibri]

No, už jsem se lekl, že ukládáte ty zálohy na disk, který nemá inody ;).

[bibri]

Přiznám se že nevím.

No jo, no. Hardlinky ve skutečnosti souborový systém moc nezatěžují - je to jen zvýšený inode count + mapování ve tvaru "jméno:inode" v adresáři. Nejsou to opravdové soubory/inody.

Jenom jsem ve škole rušil několik let provozovaný rdiff-backup, protože záloha několika serverů trvala týden,

Rdiff-backup není rsnapshot. Je to zálohovací program klasického schématu, který uchovává rozdíly k souborům. Používá přitom stejné algoritmy jako rsync, což je IMHO jeho jediná podobnost s rsnapshotem. Nepoužívá hardlinky. Vzhledem k jeho způsobu práce je naprosto zřejmé, proč trvaly zálohy dlouho.

přičemž na ZFS-on-linux i na btrfs to bylo hned.

Porovnáváte neporovnatelné, uchování historie na úrovni filesystemu se nic vyrovnat nemůže. Je to efektivní a velmi výhodné, ale má to i nevýhody. Např. když ty snapshoty nepřenášíte na jiný server, pak máte pouze historii, ne zálohu - co třeba požár? Jak odlišíte, co chcete a co nechcete zálohovat? Jak a kam tímto způsobem zálohujete padesát různých serverů?

Každé zálohovací schéma má výhody i nevýhody. Já používám rsnapshot hlavně proto, že výhody pro danou aplikaci převažují. Jsem s ním velmi spokojen. Vždycky to chce ale napřed trochu uvažovat - což platí obecně.

[Jendа]

Hm, fakt, to jsem si neuvědomil.

Např. když ty snapshoty nepřenášíte na jiný server, pak máte pouze historii, ne zálohu - co třeba požár?

Dělám to tak, že to vždycky rsyncnu na zálohovací server a pak udělám snapshot.

Jak odlišíte, co chcete a co nechcete zálohovat?

rsync --exclude

Jak a kam tímto způsobem zálohujete padesát různých serverů?

Mám jich 14 a mám na to R5 ze 4 2TB disků.

[bibri]

Jasně, takže zálohujete kombinací rsync + snapshot FS, což už dává smysl. Jen to nebylo zřejmé z původního textu.

[lertimir]

Hardlinky se podle mne rychlost přímým způsobem neovlivňují. Používám BackupPC na zálohování 6 systémů a typický full backup řádově 60-80GB systému vychází na 2 hodiny, ale podle mne hlavní zátěž není v struktuře hardlinků a ani v přenosové kapacitě, ale v tom, že záloha je kompresovaná a rsync musí zálohu rozbalit přečíst porovnat. A i když je to na RAID 10 tak je to celkem pomalé.

BackupPC má zálohu primárně organizovanou podle hash hodnot souborů (ve dvou úrovních adresářů podle prvního a druhého bytu) hashe. Na tohle jsou hardlinkovány ze adresářové struktury opisující strukturu jednotlivých serverů a jednotlivých záloh z nich původní jména a umístění souborů. A základní výhoda takovéhoto uspořádání je v tom, že v záloze je soubor s daným obsahem vždy skutečně jen jednou, ať se již jmenuje jakkoliv a je na kolika chci serverech. (moje záloha má v této chvíli cca 2 mil souborů, cca 300 GB kompresovaně, ze 7 systémů.)

[dustin]

Jo, backuppc je překvapivě úsporné. Jenom ta interní implementace rsyncu i taru v perlu je pekelně pomalá....

[Jendа]

Ale duplicity neumí inkrementální zálohování. Vyrobí ti full backup a pak donekonečna generuje inkrementy, kterých se neumí zbavit. Pokud se jich chceš zbavit, musíš znova udělat full backup.

[lertimir]

Ono je tím, že žádné zázračné řešení prostě není možné. číst kompresovaný tar a seekovat v něm pro rsync musí být pomalé. Inkrementální backupy generují inkrementy za sebou a tar musí růst. Backupy, které mají deduplikaci na souborech ukladají jen jednu kopii backupu i když je na více místech mají miliony hardlinků. A tazatel si prostě musí vybrat, co potřebuje a s negativami volby se smířit.

[Filip Jirsák]

číst kompresovaný tar

O kompresi nikde nebylo ani slovo. Ta by to samozřejmě dost komplikovala.

[Trubicoid2]

Archivemount kompresi umí, ale asi to nebude rychlý

[Jendа]

No ve standardním gzip streamu třeba nejde seekovat, muselo by se to vždycky rozbalit celé.

Ono i u toho taru s hodně malými soubory mám pochybnosti, přecijen blahé paměti je to tam uložené sekvenčně.

[lertimir]

A jaký je důvod použít tar a ne strom adresářů ve file systému. Možná to vidím jednostraně, ale pro mne výhoda taru je pouze v tom, že mám jeden soubor, který se lépe přenáší. A potom je komprese logická. Pokud nepotřebuji přenášet, tak kopie s rsync zabezpečí stejnou strukturu práv souborů a pokun na fs pracuji dodáváním inkrementálních záloh tak mám větší volnost.

[Jendа]

A jaký je důvod použít tar a ne strom adresářů ve file systému

Takový, že jeho FS je NTFS nebo nějaká podobná hrůza.

[lertimir]

No ale tar mu stejně nepomůže, protože práva na NTFS jsou jiná než POSIX a ntfs-3g má kompatibilní podmnožinu.Pokud si pamatuji tak je tam samostatné právo pro delete, v linuxu je jen write do adresáře. A windowsí symlinky jsou jen samostnatné soubory .lnk. Tar přece nevezme více než mu poskytne zdrojový FS, ale to samé vezme i rsync.

[Jendа]

No ale tar mu stejně nepomůže

Huh? Zataruje ty věci co chce zazálohovat a práva jsou v tom taru, takže je jedno, na jakém FS to bude.

[lertimir]

Asi jsem nepochopil dobře situaci, ale pokud otevře NTFS v linuxu pře ntfs-3g tak nemá přístup na všechna práva (metadata) NTFS, ale jen na ta, která mu ntfs-3g mapuje. Což je mapování do linuxového prostoru práv. a tohle může rsyncnout do normálního linuxového FS. Pokud to tlačí obráceně, tedy zálohu linuxového systému do NTFS, tak přímá kopie nefunguje a může buď tar nebo vytvořit velký soubor v něm udělat linuxový FS, který následně moutne loopem. Ale pracovat uvnitř taru jako by to byl normální FS, tedy věci přidávat a případně mazat mi přijde nesmyslné. Je to přece jen "tape archive", tedy v zásadě lineární struktura, které jakýmikoliv dalšími zápisy zesložituji vnitřní metadata. To už raději pomocí --listed-incremental vytvářet samostatné inkrementální backupy.

[Jendа]

Pokud to tlačí obráceně, tedy zálohu linuxového systému do NTFS, tak přímá kopie nefunguje a může buď tar nebo vytvořit velký soubor v něm udělat linuxový FS, který následně moutne loopem.

Tak jsem to pochopil a to jsem mu už doporučoval výše.

Ale pracovat uvnitř taru jako by to byl normální FS, tedy věci přidávat a případně mazat mi přijde nesmyslné.

Také tak.