Dotaz: KVM zaloha beziciho guesta

[(O)fer]

Zdravim, ctel bych poradit s timhle problemem:

Mam server, s 2x 1TB diskama, ktery dam to RAID1 (mirroring).

Chtel bych na nem provozovat ISPConfig, rozdelenej na 5 virtualnich serveru (pro pripadnou budouci migraci jednoho virtualu na samostatny stroj) navod (akorat na Debianu 6)

Co by jste doporucili pouzit, aby se daly virtualy co nejjednoduseji zalohovat a menit velikost disku, ktery muzou pouzivat? Pokud bych priradil 1 virtualu napr. 100GB, musim pak zazalohovat 100GB nebo se image zvetsuje podle vyuziti jako u VirtualBoxu? Nejlepsi by bylo, kdyby se pri zaloze nemuseli vypinat. Problem pak ale nastava, kvuli tomu, ze tam bezi i databazovy server, ktery zanechava data v RAM. Vyuzit nejak LVM? qcow2? Dekuji za rady.

Odpovědi

[SAM:]

Snapshoty na úrovni qcow2 mi nefungujou. Přes LVM to řešit lze.

[Nikola Ciprich]

u LVM je ale problem, ze pri snapshotovani je potreba dat vedet filesystemu aby se po dobu snapshotu uvedl do konzistentniho stavu.. coz funguje na primo pripojeny FS, ale do virtualu to zatim AFAIK nelze :(

[(O)fer]

podle toho co sem vycetl, tak kdyz udelam zalohu qcow2 disku pomoci "savevm" ulozi se snapshot, ale primo do toho image, vsechno zustava v 1 filu, coz je dobry, pokud neco zkousim, poseru to, muzu se vratit, ale ne, kdyz bych to potreboval mit nekde jinde, kvuli tomu, ze se mi posere server. info o savevm (acceptovana odpoved)

[trekker.dk]

Nestačilo by místo snapshotů prostě udělat rsync dat z toho virtálu někam ven?

Problem pak ale nastava, kvuli tomu, ze tam bezi i databazovy server, ktery zanechava data v RAM.

To jako jenom v RAM? Pokud ne, tak IMO můžeš využít nějaké klidové období (třeba třetí hodinu ráno) a zálohovat, když bude všechno zapsané na disku a nebude se moc věcí měnit.

[Nikola Ciprich]

no to asi neni zrovna rada pro nejake extra produkcni nasazeni... spis bych sel cestou zalohovani transakcnich logu...

[trekker.dk]

Hm, co takhle udělat jednoduše dump?

[(O)fer]

podle tohohle

MySQL keeps lots of stuff in memory, causing the files on disk to be inconsistent.

LVM snapshots work good for normal filesystems, however, they don't work for databases, which are basically filesystems in filesystems, each component not knowing about each other.

no asi to bude nejlepsi, zalohovat data z nich a jednou za cas, kdyz se zaktualizoujou, virtualy vypnout, zazalohovat cely i je, aby kdyz se neco posralo, nahodim image na jinej stroj, nahraju nejaktualnejsi zalohu dat z nich (weby a databaze) a muzu pokracovat. neco o rsyncu celyho vritualu tady

[Grunt]

Zlatá doba Qemu. Dneska když je to komplexní virtualizační nástroj, tak už lidi nevědí jak a co by. V Qemu se stačí přepnout do qemu-konzole (nevím jestli je to přístupné přes VNC, ale určitě se ta konzole dá přesměrovat do terminálu), pak pauzovat emulaci aby všechny data zůstaly v konzistentním stavu, zazálohovat to (nevím jestli i s pamětí, no dumpy samotné paměti jdou dělat určitě) a začal bych v uživatelské dokumentaci, konkrétně tady a pak se to dá zase odpauzovat. Jinak viz man qemu, /snapshot. Snad se dal udělat snapshot i nějakou kombinací kláves co se pamatuju.

[trekker.dk]

pak pauzovat emulaci aby všechny data zůstaly v konzistentním stavu

Jenže jak zajistíš, aby data byla v konzistentním stavu, když jsi emulaci pozastavil?

Zlatá doba Qemu. Dneska když je to komplexní virtualizační nástroj, tak už lidi nevědí jak a co by.

Ale to jsou zase kecy. Vždyť je to pořád stejné Qemu, jenom se u KVM vyměnil ten akcelerační modul.

[Grunt]

Jenže jak zajistíš, aby data byla v konzistentním stavu, když jsi emulaci pozastavil?

Čoveče nevim, ale nezazálohuje to obsah RAM včetně registrů i PC? Když to pauzneš tak aspoň zajistíš to, že do toho nebude nikdo psat když budeš zálohovat (to by ale měla zajistit i ta keš bokem).

Ale to jsou zase kecy. Vždyť je to pořád stejné Qemu, jenom se u KVM vyměnil ten akcelerační modul.

No, jo jenže dřív to bývalo Qemu, kde stačil man qemu, nějaká dokumentace a zdrojáky. Interfejsů jako svině (dokonce celý virtuál se dá připojit na GDB). Samozřejmě to zůstalo, jenže se z toho stal KVM/libvirt corporate nástroj a teď všichni vymýšlejí blbosti, hackuje to už krom RedHatu stěží někdo a všichni po tom chtějí aby to umělo zázraky. Ale zázraky jako VNC nebo zálohu na jedno tlačítko, migraci na tlačítka dvě a ne přístupnou emulační konzoli. Teda pokud pominu takovou blbost jako šest virtuálů a na každém zvlášť ISPconfig (a už jsem viděl i debilnější konfigurace).

[(O)fer]

Čoveče nevim, ale nezazálohuje to obsah RAM včetně registrů i PC? Když to pauzneš tak aspoň zajistíš to, že do toho nebude nikdo psat když budeš zálohovat (to by ale měla zajistit i ta keš bokem).

savevm, taky musi pauznout guesta

Misunderstanding on my part - the qemu 'savevm' monitor command _also_ saves RAM state, but currently by pausing the guest for several seconds during the duration of the snapshot. The memory state is thus crammed somewhere in one of the qcow2 images.

zdroj(libvirt wiki)

Teda pokud pominu takovou blbost jako šest virtuálů a na každém zvlášť ISPconfig (a už jsem viděl i debilnější konfigurace).

Takhle sem to chtel kvuli tomu, ze kdyz uz nebude HW serveru 1 stihat, presunu treba virtualni databazovej server na virtual do HW serveru 2. Nejaky lepsi reseni?

[trekker.dk]

Čoveče nevim, ale nezazálohuje to obsah RAM včetně registrů i PC?

Jo takhle, myslíš pauzu a pak dump celého hosta pro migraci.

Když to pauzneš tak aspoň zajistíš to, že do toho nebude nikdo psat když budeš zálohovat

Otázka je, jestli jsou v tu chvíli data konzistentní. Což ale - když uložíš i RAM - je jedno.

Samozřejmě to zůstalo, jenže se z toho stal KVM/libvirt corporate nástroj

Předpokládám, že corporate má být sprosté slovo...

a teď všichni vymýšlejí blbosti, hackuje to už krom RedHatu stěží někdo a všichni po tom chtějí aby to umělo zázraky.

Kdežto ty bys raději chtěl, aby to neumělo nic? Aby se to dalo používat jenom jako emulační hračka?

Ale zázraky jako VNC nebo zálohu na jedno tlačítko, migraci na tlačítka dvě a ne přístupnou emulační konzoli.

Konzole je tam furt a je přístupná úplně stejně (ok, dlouho jsem nezkoušel grafický výstup pomocí SDL, tak tam už možná není). Jediná změna je, že kromě textových příkazů čitelných pro člověka lze hosta ovládat také pomocí QMP, což značně zjednodušuje strojové ovládání. Podle mě opět plus, pokud se ti nelíbí, používat to nemusíš.

[(O)fer]

kdyz budu chtit vic snapshotu podle toho navodu, da se nejak sloucit ten "snapshot.img" s puvodnim? kdyz bych pak mel vic snapshotu, musim pokazdy zazalohovat i ten predtim, jestli to chapu dobre neco je i na http://wiki.qemu.org/Features/Snapshots http://wiki.qemu.org/Features/Snapshots2 http://wiki.qemu.org/Features/Livebackup

jak by ste doporucovali zalohovat cely virtualni stroje, nekam jinam, kdyz by se posral host? vypnout, poslat celej image na jines stroj a zapnout? pokud bych pouzival ty snapshoty, stacil by 1 prenyst puvodni a pak uz prenaset jen pokazdy novej snapshot, abych nemusel pokazdy tahat puvodni + novy, ale jen novy. zaruci mi to, ale i to, ze mi to pujde na jinym HW serveru (predpokladam, ze budu muset mit stejnou verzi OS i KVM)?

[(O)fer]

o dumpu samotny pameti do file, je neco popsanyho u api libvirtu tady