Zálohování Subversion repositáře

15.7.2008 00:28 | Přečteno: 1782× | Prosim o radu | poslední úprava: 15.7.2008 13:57

Pročítám web a nemůžu se rozhodnout, jakým způsobem zálohovat SVNko. Jsou dvě cesty, teda co sem našel. Buď pomocí svnadmin dump anebo pomocí hot-backup.py. Jaký je mezi nimi rozdíl? Budu rád, za každou radu. Ke konci článku bych chtěl udělat malý závěr na toto téma.

Co poskytuje hot-backup.py navíc? V článku pod tímto odstavcem sem našel velmi zajímavou věc, že během spuštění hot-backup.py nelze commitovat. Což je z praktického hlediska velmi užitečné. Vím, zdá se, že by to mohlo být samozřejmé, ale taková situace může nastat, kdy během zálohy může kolega commitovat. Nutno dodat, že script dle článku je spustitelný po commitu (post-commit).
SVN Backups Documentation

Nástroje - Prozatím studuji...

• svnadmin dump
• hot-backup.py
• sync (tip).

Problém se zálohování

Dle dokumentace a příspěvků níže uvedených je primárním problémem při zálohování konzistence zálohy. Je možné říct, že nejbezpečnějším způsobem je spuštnění jakéhokoli scriptu pro zálohování, v době, kdy nedojde ke commitu.

Nabízí se otázka, na kterou momentálně nedovedu odpovědět, zda je možné tento proces ošetřit, např. cron spustí proces, kt. upozorní emailem tým o času, kdy dojde k záloze s předstihem, s tím, že po doběhnutí tohoto časového předstihu zamknout repositář a provést zálohu. Je však zamknutí repositáře možné?

Dle oficiálního manuálu lze zálohovat SVN:

• inkrementálně (zálohování pouze změn od poslední zálohy)
• úplná záloha

---

Summary

svnadmin dump

• zálohy jsou přenositelné mezi verzemi subversion (tip)

hotbackup.py

• nedovoluje změnu repositáře (commit) během zálohování
• umožňuje kompresi zálohy (tar|gzip|zip)

svnsync

• je možné provozovat repositář na jedno PC, záloha na druhém PC a script může běžet na dalším stroji (tip)

Odkazy

• Subversion_backup_and_restore
• SVN Backups Documentation

       

Komentáře

[Boris Dušek]

Ještě svnsync

[derddddd]

Zajímavé, jestli sem to dobře přeložil, tak dochází k záloze tím způsobem, že po každém commitu, je proveden další commit do dalšího repositáře, který je právě zálohou. Díky za tip.

[Boris Dušek]

Není to provedeno automaticky, je nutné čas od času spustit svnsync ručně, aby se provedl inkrementální sync změn od poslední zálohy. Ale hezké je, že originální repository může být na počítači 1, záložní repository na počítači 2, a svnsync můžete pouštět z počítače 3.

[Boris Dušek]

I když post-commit skript na originální repository by tu automatičnost zařídil.

[derddddd]

Teď si mi nahrál, proč musí dojít inkrementální sync změně? Chápu to dobře, že vlastně nasledným kommitem, se navýší revision number?

[Josef Kufner]

A proč to prostě neodzálohovat spolu se zbytkem systému ?

[derddddd]

Nejsem administrator na serveru. Mam pouze provest zalohu SVN.

[Josef Kufner]

V tom případě doporučuji se obrátit na administrátora

[derddddd]

No, politika je taková, že mám na starost nějaké aplikace + zálohování repositářů. Samotné zálohování není problém - ručně provedené "po pracovní době", jenom chci do problematiky hlouběji proniknout, zautomatizovat process a samozřejmě zamezit potížím s tím spojené.

[Josef Kufner]

[...] ručně provedené "po pracovní době" [...]

Jsi málo línej. K tomuhle máme cron.

[derddddd]

Jasně, ale přemýšlím o nějakém sofistikovaném řešení, kt. sem uvedl v článku (nepravidelně jej rozšiřuji) problémy se zálohováním.

Prozatím jde o přenesení zálohy na jiný server, takže v tento moment dojde k jediné záloze s tím, že na druhém serveru, chci vytvořit výše uvedené řešení, zdali to bude možné.

[Jakub]

Zálohuji celou složku /var/svn a mám pokoj. Nebo to takto nelze? Ostatní možnosti mi přijdou v porovnání s tímto dost komplikované.

[dustin]

Otázkou je, zda se na velmi vytíženém serveru zazálohuje SVN v konzistentním stavu, pokud by se nepoužil snapshot a zrovna probíhal commit. Také zálohujeme přes FS, ale commitů je za den pár.

[Josef Kufner]

Snapshot v tomhle nepomůže -- sice budeš mít zálohu z jednoho okamžiku, ale v tom okamžiku to může být nekonzistentní. Stačí zálohovat někdy v poledne, kdy vývojáři spí.

[dustin]

Snapshot - jasně, ten nepomůže, moje blbost.

[derddddd]

Copak naruseni konzistence nezajisti hot-backup.py script, kdyz nedovoli commity behem zalohovani?

[dustin]

Jasně že jo, ale ten se při "pouhém" zálohování FS nespouští.

[derddddd]

Nerozumím termínu "zálohování FS". Máš zřejmě na mysli zálohování repositáře založeném na FSFS implementaci.

[dustin]

Tím myslím normální kopírování souborů :)

[derddddd]

Aha, takze to neni idealni zpusob zalohovani.Jak poukazuje prispevek alblaho.

Prostá kopie repozitáře nemusí být přenositelná na jiné systémy/verze.

Zapoměl sem říct podstatnou informaci. Tento repositář není pro mě pro domácí použití slouží pro tým vývojářů.

[xkucf03]

Vzhledem k povaze SVN (ukládají se jen přírůstky) by to nemuselo vadit (prostě by se jen neobnovila poslední verze, ale třeba předposlední). Ale stejně je jistější zálohovat, když SVN démon neběží.

[default]

Já to dělám normálně přes svnadmin dump. Mám na to takovýto skript:

#!/bin/bash

if [ `id -u` -ne 0 ]; then
    echo 1>&2 "This script must be executed under root"
    
    exit 1
else
    if [ ! -d subversion ]; then
        mkdir subversion
    fi
    
    rm -f ubversion/svn.localhost.dump.bz2
    rm -f subversion.dmg
    
    svnadmin dump /opt/local/var/db/subversion/repos/ | bzip2 -9 > subversion/svn.localhost.dump.bz2
    
    chown -R petr:petr subversion/
    
    echo -n "${DMG_PASSWORD}" | hdiutil create -srcfolder subversion/ -fs HFS+ -volname 'SubVersion Backup' -uid 99 -gid 99 -stdinpass -encryption CEncryptedEncoding subversion.dmg
    
    rm -rf subversion/
    
    chown petr:petr subversion.dmg
fi

Prostě to všechno zazálohuje a pak to "zabalí" do kryptovaného DMG souboru. Je to na jistotu, ale trvá to dlouho, pakliže toho v repozitory máte poměrně dost. To mi ale nevadí, protože mám repozitory sám pro sebe

[alblaho]

Výhoda svndumpu je, že ten formát je stabilní, nemění se mezi verzema svn. Prostá kopie repozitáře nemusí být přenositelná na jiné systémy/verze.

[derddddd]

Výborně, to je pro mě velmi důležitá informace.

[derddddd]

Domnívám se správně, že hot-backup.py tento příkaz používá?

[derddddd]

Tak nepouziva svnadmin dump, ale svnadmin hotcopy

[Miloslav Ponkrác]

A není to tak, že formát SVN je ve skutečnosti formát BSD databáze? A že to tak ani moc nezávisí na verzi SVN?

[Ladicek]

Berkeley DB se v SVN nějakou dobu používala, ale už dávno se upřednostňuje FSFS (ani nevím, jestli je BDB ještě podporováno, ale asi jo).

[Petr "Glubo" Sýkora]

Pak ještě existuje kacířská cesta a to git-svn, tedy importovat svn repozitář do gitu, což poskytuje zálohu obsahu (včetně historie), ale ne přístupových práv.

[derddddd]

Pročítám stránky Git. Na první pohled se mi to jeví, jako přenést kompletně repositář SVN pod GIT a tím změnit správu pomocí SVN.

Anebo si myslel provést zálohu skrze nástoje GIT - pak se ptám, zda je možné tento formát převést zpět na SVN.

[pavlix]

On totiž git narozdíl od subversion není závislý na centrálním repozitáři. Takže se tam používá přenos "oběma směry", tj. od tvého repozitáře k jinému a naopak.

Některý z nich můžeš používat jako centrální, ale není to povinnost.

git-svn by se mělo snažit prezentovat ti svn repozitář jako git, jak jen to jde... což nemusí stačit (vzhledem k omezením svn). Detaily už najdeš v dokumentaci, já jsem to používat zatím nezkoušel (až polezu do svn, asi to zkusím).

[Petr "Glubo" Sýkora]

Převod zpět by měl být možný pomocí tailoru, ale nezkoušel jsem to.

[derddddd]

Jaký zvolit model zálohování? Po každém commitu si myslím, že je to není nutné... denní, týdenní atd. Zalohy zabírají místo, takže předpokládám, že v určitých časových intervalech by se mazali starší zálohy

[derddddd]

Jeste jednu vec, jak u zalohovani zjistim, ze byla provedena plna zalohu spravne, myslim tim, jak to zkontrolovat - porovnanavat velikosti adresaru repositaru?

[default]

No to je jednoduchý: každý ten "dumpovací" program musí skončit na exit code 0. Když tvůj zálohovací prográmek nerespektuje tento UNIXový základ, pak jej nepoužívej, protože je patrně špatně navržený. V případě svnadmin dump nemá cenu kontrolovat nějaké adresáře, protože výstupem programu je jeden stream (a tedy i jeden soubor )

[Non_E]

Z blogu a diskuze jsem pochopil jen to, že je několik cest jak zálohovat svn repository a prosté cp -a nemusí být nejlepší. Protože tak ale subversion repozitáře zálohuju, chtěl jsem se dovědět víc. Našel jsem pěkné vysvětlení zálohování subversion repozitáře.