Dotaz: “přístupná” záloha

[kol-ouch]

Ahoj,

Nějak se nemůžu dopátrat, jestli existuje nějaký jiný program na přírůstkové zálohy který umí buď poslední, nebo vyšechny zálohy udělat čitelné, tak, aby na jejich přečtení nebylo potřeba nic jiného než filemanager.

Do ted používám rsnapshot, ale ten nějak začíná narůstat, zkusil jsem rdiff-backup, ale ten je i přes NFS a gigovou síť docela pomalý

Různé dejavu, kbackup, restic a podobné zálohu vždy nějak zabalí

Jde mi o to, že ted sypu zálohy na NAS a některé soubory (fotky/videa) dál readonly sdílím do tv a podobně

Nebo mám zkusit nascriptovat rsync a nehledal?

---

---

Odpovědi

[Max]

Když jsem to dřív potřeboval, tak jsem jsem to řešil pomocí rsync + btrfs.
několikrát denně jsem dělal rsync a po něm jsem vždy udělal snapshot na btrfs. Tím jsem si zajistil historii měsíc zpětně. Jména snapshotů jsem vytvářel pomocí datumu, abych starší snapshoty mohl druhým skriptem jednoduše mazat.
Takže dva malé skripty a odvedlo to moc pěknou práci.
Zdar Max

[Вherzet]

kol-ouch - rsync => A pokial nejde o meniace subory (kedze rozpravas o arch. fotiek), tak rychlejsie Ti pojde rsync, ak das neratat kontrolne sucty suborov (voci zmene) a prenasat ak iba sa velkost zmenila (alebo cas).

[kol-ouch]

kouknu na to

dík moc

[Josef Kufner]

rsync --link-dest, nebo rsync + btrfs snapshoty.

Co záloha, to adresář pojmenovaný podle data zálohy. Deduplikace pak probíhá buď pomocí hardlinků (proti předchozí záloze), nebo pomocí snapshotů (rsync aktualizuje zapisovatelný adresář a toho se pak udělá snapshot).

Pokud by někdo měl tip na dobrý nástroj pro odstraňování starých záloh, sem s ním prosím. Už několik let se chystám ho napsat. :)

[dustin]

Zálohovací softy mívají FUSE filesystém. Můj oblíbený backuppc má např. https://git.fws.fr/fws/fuse-backuppcfs4/src/branch/master/backuppcfs.pl?lang=pl-PL (netestoval jsem, protože obnova přes webové rozhraní mi stačí).

[kol-ouch]

fuse je ok, když to máš "pod kontrolou" - ale jak jsem psal, já tu zálohu chci mít čitelnou bez dalšího řešení - fuse mi v tom bude dělat další mezikrok

[Teddy_cz]

Já používám program dirvish. Je to nadstavba pro rsync. Každá záloha má svůj adresář.

[LuPe]

Já používám borg backup

https://borgbackup.readthedocs.io/en/stable/

[CandySan]

BorgBackup mi prijde bejt z daleka to nejlepsi co jsem kdy zkusil. Je efektivni z hlediska prenosu po siti, rychlosti provedene zalohy, nenarocny na zdroje, dela deduplikaci na urovni filesystemu (!!! tedy dosahuje tehoz efektu tim, ze na fs zavisly neni a ma nejaky vlastni format ulozeni dat v adresarich, ale vysledkem je deduplikace v ramci repository - a dela to fakt hodne dobre! protoze jsem zkousel deduplikacni fs a byly s tim ruzne potize a ruzne podminky, ale tohle tim netrpi!), takze je velmi efektivni i z hlediska znacne uspory mista v ulozisti, dela rotaci zaloh. Jeho resitory lze libovolne presouvat ze serveru na server (coz u nekterych zalohovacich reseni bud jde blbe, nebo vubec).

Zasadne dulezite je take to, ze repository lze pripojit do mistniho stromu a pak muzeme prochazet obsahem repository "pomoci filemanagera".

Daji se do toho ukladat i lvm snapshoty primo a bez nutnosti vytvaret nekde bokem soubor.

Vrele doporucuju BorgBackup ocichat! Ja si na to udelal obsluzny script, aby to cele jelo uplne automaticky a jeste jednodussim zpusobem, ale uz takhle v zakladu je to to nejmocnejsi a nejlepsi reseni, ktere jsem kdy zkusil. A to jsem celkem mohutne zkousel snad temer vsechny programy a postupy, ktere jsou uvedeny nade mnou v diskusi, ale s kazdym z nich jsem mel bud nejaky zasadni problem, nebo mi neco zasadniho chybelo - s BorgBackupem mi snad nechybi uz vubec nic. Ukladam do toho hodne serveru a i hodne velka data (desitky TB) a funguje to skvele!

[kol-ouch]

nejaky vlastni format ulozeni dat v adresarich

Tohle je co mě děsí - rsnapshot i rdiff-backup mají vždy aspoň jednu zálohu rovnou čitelnou

[Josef Kufner]

dela deduplikaci na urovni filesystemu (!!! tedy dosahuje tehoz efektu tim, ze na fs zavisly neni a ma nejaky vlastni format ulozeni dat v adresarich, ale vysledkem je deduplikace v ramci repository - a dela to fakt hodne dobre! protoze jsem zkousel deduplikacni fs a byly s tim ruzne potize a ruzne podminky, ale tohle tim netrpi!),

To právě deduplikace na úrovni filesystému není. To je aplikační úroveň, tedy o úroveň výš. Kdyby to bylo na úrovni filesystému, tak vidíš všechny zálohy rovnou bez jakýchkoliv zvláštních nástrojů a připojování.

[CandySan]

Jasny, souhlas! Ja patral po deduplikaci na urovni FS a nebyly uspokojive vysledky a na aplikacni urovni to krasne vyresilo vse co jsem potreboval. Tak ze me ta formulace takhle vypadla a proto jsem to v te zavorce hnedle napravil.

[drnest]

Zkoušel jsi i BackupPC? Dělá taky svoji deduplikaci. Můžeš to porovnat s ním?

[CandySan]

Bohuzel ne. Naopak se na to jdu s velkym zajmem podivat a ocuchat to. Diky za tip!

[CandySan]

Jedna z prvnich veci, ktera me bude zajimat je ta deduplikace. Zda to dela na urovni bloku, nebo jen souboru... Mam velke soubory a v nich se tu a tam zmeni par bajtiku. Kdyz jich za sebe v jednotlivych zalohach (jedna az vice za den) naskladam treba 30, nebo 40, abych ulozil treba mesic dozadu. Tak budu je muset skladovat cele, nebo ne? S BorgBackupem mam jak kompresi, tak deduplikaci na urovni bloku, takze uz kdyz ukladam treba jen prvni virtualku, tak se tam obvykle projevi deduplikace uz v ramci prvniho takoveho souboru (coz je jen zajimavost), ale muzu ukladat nekolik zaloh denne a prirustky jsou minimalni. Web rozhrani je zajimave plus, protoze s BorgBackupem jsem si musel vytvaret vlastni web rozhrani.

[dustin]

Backuppc má deduplikaci na úrovni souborů. Nejdříve nakopíruje celé a pak to průběžně projíždí a hledá duplicity. Dřívější verze používaly hardlinky (což je rychlé, ale nelze později měnit filesystém, např. na ZFS), verze 4 si deduplikaci ukládá do metadat, tudíž lze kopírovat na jiný filesystém. Používáme je skoro 20 let a nikdy s ním nebyl problém. Ale pokud bychom zálohovali spoustu velkých imagů virtuálů, samozřejmě by to nebylo optimální. Dnes bych pro takový účel asi volil některý ze zálohovacích softů nad ZFS s jeho interní deduplikací bloků.

[Andrej]

Tohle je asi tak nejtypičtější možný příklad na snapshoty v Btrfs nebo ZFS. Přírůstkové, čitelné, ba dokonce i zapisovatelné, atomické, postupně „ředitelné“, jak plyne čas, atd.

Žádný program na přírůstkové zálohy neexistuje a nikdy neexistoval (navzdory četným fámám o opaku), protože takové zálohy z principu nejsou atomické. Aby byla záloha atomická v rámci nějaké adresářové (pod)struktury nebo celého filesystému, je potřeba mít snapshoty na úrovni fileystému, tedy kernelu.

[Andrej]

Algořiťmus pro zálohování mezi dvěma filesystémy (ideálně geograficky oddělenými, jak jinak):

• Vytvoř r/w snapshot na cílovém subvolume, odvozený od posledního zálohovacího snapshotu.
• Vytvoř read-only snapshot na zdrojovém subvolume.
• Pomocí rsync synchronizuj nový snapshot zdroje do nového snapshotu cíle.
• Vyber jeden z minulých zálohovacích snapshotů ke smazáni a smaž ho; bývá obvyklé, že snapshotů je konstantní počet (jeden se vytvoří, jeden smaže) a že hustota snapshotů směrem do minulosti postupně klesá.
• Smaž read-only snapshot zdroje.

[kol-ouch]

já to tak v podstatě mám, akorát na NASu mám ext4. Takže postup ted je takový:

#!/bin/bash
mv /.snapshots_root/root/ /.snapshots_root/root-old
mv /media/data/.snapshots_root_backup/root/ /media/data/.snapshots_root_backup/root-old
btrfs subvolume snapshot -r / /.snapshots_root/root && sync
btrfs send -p /.snapshots_root/root-old/ /.snapshots_root/root | btrfs receive /media/data/.snapshots_root_backup/

btrfs subvolume delete /.snapshots_root/root-old/
btrfs subvolume delete /media/data/.snapshots_root_backup/root-old

a do ted jsem ten snapshot pomocí rsnapshot posílal přírůstkově na NAS a docela spokojenost. Jen postupem času začal adresář na NASu narůstat víc než se mi líbí. Tak hledám variantu

[paul2no]

Já si napsal bash skript co posílá btrfs snapshoty (send/receive) přes SSH. Je to navržené na to, aby se to spouštělo automaticky vždy v 23:59. Všechny snapshoty jsou na cílovém zařízení normálně přístupné. Tak třeba se to bude hodit.

#!/bin/bash

#################
### Nastavení ###
#################

#Adresáře k zálohování
cesta_mistni="/srv"
adresare=("http" "mysql" "nextcloud")
cesta_snapshoty="/srv/.backup_increment"

cesta_vzdalena="/srv/backup/"
historie="30"
server="***.***.***.***"
klic="/root/BackupKey"

##############
### Funkce ###
##############

#Vytvoření snapshotu
vytvor_snapshot()
{
  btrfs subvolume snapshot -r "${cesta_mistni}/$1" "${cesta_snapshoty}/$1_$datum"
  if [ $? == 0 ];
  then
    return 0
  else
    return 1
  fi
}

#Odeslání snapshotu
odesli_snapshot()
{
  if [ -d "${cesta_snapshoty}/$1" ] && [ ssh "backup@${server}" -i "$klic" "[ -d ${cesta_vzdalena}/$1/$1_${datum_vcera} ]" ];
  then
    btrfs send -p "${cesta_snapshoty}/$1" "${cesta_snapshoty}/$1_$datum" | ssh "backup@$server" -i "$klic"     "sudo btrfs receive \"${cesta_vzdalena}/$1\" && \
														sudo btrfs property set -ts \"${cesta_vzdalena}/$1/$1_$datum\" ro false && \
														sudo touch -d \"$datum_touch\" \"${cesta_vzdalena}/$1/$1_$datum\" && \
														sudo btrfs property set -ts \"${cesta_vzdalena}/$1/$1_$datum\" ro true"
    if [ $? == 0 ];
    then
      return 0
    else
      return 1
    fi
  else
    if ssh "backup@$server" -i "$klic" "[ ! -d ${cesta_vzdalena}/$1 ]"
    then
      ssh "backup@$server" -i "$klic" "mkdir ${cesta_vzdalena}/$1"
    fi
    btrfs send "${cesta_snapshoty}/$1_$datum" | ssh "backup@$server" -i "$klic"        "sudo btrfs receive \"${cesta_vzdalena}/$1\" && \
											sudo btrfs property set -ts \"${cesta_vzdalena}/$1/$1_$datum\" ro false && \
											sudo touch -d \"$datum_touch\" \"${cesta_vzdalena}/$1/$1_$datum\" && \
											sudo btrfs property set -ts \"${cesta_vzdalena}/$1/$1_$datum\" ro true"
    if [ $? == 0 ];
    then
      return 0
    else
      return 1
    fi
  fi
}

#Smazání snapshotu
smaz_snapshot()
{
  if [ -d "${cesta_snapshoty}/${1}_${datum_vcera}" ];
  then
    btrfs subvolume delete "${cesta_snapshoty}/${1}_${datum_vcera}"
  fi
  if [ $? == 0 ];
  then
    return 0
  else
    return 1
  fi
}

#Přejmenování snapshotu
prejmenuj_snapshot()
{
  mv "${cesta_snapshoty}/$1_$datum" "${cesta_snapshoty}/$1"
  if [ $? == 0 ];
  then
    return 0
  else
    return 1
  fi
}

#Smazání starých záloh
smaz_stare()
{
  ssh "backup@$server" -i "$klic" "find \"${cesta_vzdalena}/$1\" -maxdepth 1 -type d -mtime \"+$((historie-1))\" -exec sudo btrfs subvolume delete {} \;"
}

##############
### SKRIPT ###
##############

#Aktuální datum
datum="$(date '+%Y-%m-%d')"
datum_vcera="$(date '+%Y-%m-%d' -d 'yesterday')"
datum_touch="$(date '+%Y-%m-%d %H:%M' -d 'today 23:59')"

#Vytvoření snapshotů pododdílů
for adresar in ${adresare[@]}
do
  vytvor_snapshot $adresar
done

#Odeslání snapshotů do zálohovacího zařízení přes SSH
for adresar in ${adresare[@]}
do
  odesli_snapshot $adresar
done

##Smazání minulých snapshotů pododdílů
for adresar in ${adresare[@]}
do
  smaz_snapshot $adresar
done

#Přejmenování posledních snapshotů
for adresar in ${adresare[@]}
do
  prejmenuj_snapshot $adresar
done

##Smazání starých vzdálených záloh
for adresar in ${adresare[@]}
do
  smaz_stare $adresar
done

exit 0

[kol-ouch]

tak jsem se potupně vrátil k rsnapshot + sshfs - zjistil jsem si kolik jednotlivý snapshoty zabírají místa, vyzkoušel asi 10 zálohovacích programů, ověřil si, že ani v 21 století si rsnapshot plně nerozumí s NFS a došel k názoru, že ztráta času při hledání byla větší, než přínos :/

až bude čas na přestavbu, tak dám na NAS btrfs, nebo zfs, nebo co bude v té době k dispozici a uvidím

díky moc všem za rady a nasměrování

[pavele]

K čemu je sshfs? Rsnapshot přece umí kopírovat přímo přes ssh?

[kol-ouch]

Asi ze zvyku - vždycky jsem zálohu připojil, zkontroloval a pustil tam další - a nějak mi to zůstalo

[Josef Kufner]

rsync po ssh je mnohem efektivnější, než když synchronizuje po sshfs. Ono totiž běží na obou stranách rsync a po ssh si jen předávají rozdíly. Počítání rozdílů (přesněji hashů) však běží lokálně a tak se netahá po síti nic navíc.

[kol-ouch]

dík, vyzkouším