Dotaz: Efektivní rozdílové zálohování KVM strojů pomocí LVM snapshotů

[majales]

Zdravím,
Snažím se nastavit nějaký efektivní zálohovací systém pro KVM stroje běžící na LVM. Rád bych zálohoval na úrovni LVM zařízení tak aby bylo možné udělat rozdílové zálohy image z důvodu zálohování nejen linuxových ale i Windows strojů. Může to vůbec takto fungovat? Tj. jednou za čas záloha celého image a k tomu rozdílové denní zálohy? Hledal jsem, ale moc úspěšný jsem nebyl a řadě odkazů jsem našel rozporování toho že toto může fungovat.

Odpovědi

[Stanislav Petr]

Neco podobneho u nas pouzivame pro zalohovani virtualnich serveru zakazniku. Napseli jsme sina to vlastni SW (ktery je ale uzavreny a neni urcen k distribuci ven). Principem fungovani je cteni LVM snapshotu po nekolik MB velkych blocich, spocitani kontrolniho souctu. Pokud je kontrolni soucet daneho bloku stejny jako jeho predchozi obraz, ulozi se do sdresare se zalohou z daneho dne pouze hardlink. Pokud se lisi, ulozi se nova data. Zaroven takovyhle postup je mozne doplnit jeste o dalsi optimalizace jako evidence statistiky cetnosti zmen jednotlivych bloku s tim ze nejstarsi nemenne bloky se postupne komprimuji narocnejsimi komprimacnimi algoritmy, kdezto casto menene bloky se komprimuji pouze pomoci real-time komprese.

Takze urcite jdete svymi uvahami spravnym smerem, pouze na to dostud neexistuje kvalitni opensource nastroj.

[majales]

Poradí tedy někdo jak zálohovat efektivně virtuální windows i linux stroje na LVM? Netrvám už na inkrementálním zálohování blokových zařízení, stačí rozdílové zálohování na úrovni filesystému jednotlivých virt. strojů...

[Zdeněk Zámečník]

Jediná funkční možnost, co mě v tuhle chvíli napadá, je použití nástroje rdiff-backup. Příklad použití s LVM snapshoty najdeš třeba zde

[CandySan]

S rdiff-backup jsem mel (priznam, ze to je uz davno) dost velke problemy kdyz byly verze rdiff-backup jine na zalohovaci a zalohovanem stroji. Pri desitkach serveru v ruznem stadiu upgradu mi nastavalo peklo a zalohovani kazdou chvili nejelo a vyzadovalo to mnoho prace. Nakonec jsem zustal u dirvish - zadny problem, mocne konfigurovatelne, zadne omezeni. Jezdi to pres ssh, ale daji se s tim zalohovat i windows stroje jen pres rsync bez ssh.

[Zdeněk Zámečník]

Problém kompatibility různých verzí je tam dodnes. Bohužel jak rdiff-backup, tak dirvish mají stejný "problém" - již se několik let nevyvíjí.

[CandySan]

Ja to delam tak, ze vytvorim snapshot, vykopiruju data na lokalni disk aby snapshot existoval co nejkratsi dobu, snapshot zrusim a pak uz jen odsud kopiruju data na server do zalohy. Delam to pomoci dirvish, takze disrvish se pripoji, zavola script, ktery predpripravi zalohu a pak dirvish kopiruje pouzitim rsync, takze se prenaseji jen rozdily. Ja ten proces pripravy jeste obohatil o kompresi obrazu, protoze kazdy bezici obraz obsahuje zmenu a tak by mi v zalohach lezelo celkem velke mnozstvi dat (pokud se vsak nezmenily - napr. vypnute virtualky, tak se udela jen hardlink). Komprimuje se to pokazde stejne, takze i tak se toho prenasi malo, protoze se prenasi jen rozdily.

Dirvish je super v tom, ze dle nastaveni mi uklada nekolik zaloh dozadu, nektere ponechava i delsi dobu (toto vse lze nastavit) a stara se mi o rotaci zaloh. Zalohy jsou pekne dostupne v takovem stavu v jakem byla data na zalohovanem serveru - tedy zadne ukladani do taru atd... Pokud se nejaky stroj necha odstranit, tak nesmaze starou zalohu pokud neexistuje alespon jedna, ktera dobehla v poradku.

Vyplati se na zalohovane stroje pridat script po spusteni, ktery pripadne jakekoliv otevrene snapshoty zrusi - to je problem pokud dojde k restartu stroje zrovna kdyz je vytvoreny snapshot.

Potom napr. pomoci nagiosu lze hlasit kdyz se nezdari provest zaloha a v logach dirvish je pak videt proc k tomu doslo. Pokud je potreba sosat data ze stroje za natem, tak k tomu pouzivam n2n (udelal jsem si scriptik, ktery mi obnovuje spojeni kdyz upadne).

Je dobre, aby behem zalohy nebyl stoj zbytecne vytizen, takze pro jistotu celemu tomu procesu davam nejnizsi prioritu nice -n 19 ionice -c3 rsync --inplace --delete-before -v -ra $loc_imgdir $BACKUP_DIR

Vyplati se zalohovat jen jednou za cas - napr. 1x za tyden a k tomu denne zalohovat data z virtualek. Timto stylem (dirvish, predpripravene zalohy na lokal) zalohuju i hodne velke virtualky pres net a vse slape jak ma. Pro jistotu jsem si udelal na zalohovacich serverech spusteci scripty tak, aby se nikdy nespustila zaloha, ktera jeste nedobehla.