Jak si zvirtualizovat svou VPSku (diskuse)

[David Watzke]

Obvykle je dobré nastavit pro dd option bs= a ssh předat -c arcfour - zrychlí to kopírování.

[www]

Při vytváření image by měly být klíčové služby ideálně zastaveny, ať se na disku nemění během kopírování data.

Pro tohle je vhodné používat souborový systém, který umí snapshoty. dd se pak pustí na provedený snapshot.

[pavlix]

Ale i tak je potřeba si dávat pozor na konzistenci.

[David Watzke]

Pravda. Např. v době vytváření snapshotu mysql datadiru je potřeba aby běžel flush tables with read lock, ale ihned po vytvoření se to zas může ukončit.

[Václav HFechs Švirga]

Nebo mysql datadir pak překopírovat zvlášť (se zastaveným mysql) a v image ho pak přehrát.

[David Watzke]

To je přijatelná možnost, když si můžeš dovolit databázi odstavit, ano.

[Mortal]

sync

[Josef Kufner]

To ti vůbec nepomůže. Vlastně to je dokonce úplně zbytečné.

[Mortal]

Vzhledem k tomu, ze tvuj komentar je dost strucnej a muj predtim jeste vic, jsme se asi nepochopili. Jestli je sync zbytecnej tak pak je zbytecnej i flush tables with read lock. Sync pomaha hodne a je zasadni. Zamkni si tabulky proti zapisu a na nekterych co se hodne meni obsah, nejlepe nejaka session_table si udelej md5sum a udelej snapshot, a potom si over md5sum na tom snapshotu

pro me bylo docela neprijemne zjisteni a i prekvapeni ze ty soucty nesedi, bez toho syncu

[David Watzke]

Sync je zbytečnej. Když dáš flush tables with read lock a vytvoříš LVM snapshot, tak tě nezajímá (tj. nezáleží na tom) zda to je opravdu zapsaný na disku (což teda mimochodem ani sync nezaručuje).

[anonym]

ano a ne

pokud chci data opravdu hezka tak pred provedenim snapshotu musim aplikacim prikazat nejaky flush.

pokud to neudelam tak muzu dostat data ktera jsou nejakym zpusobem rozpracovana. to same ale dostanu pokud vytahnu kabel od zdroje (pripadne uhodi blesk, UPS se rozhodne ze se ji nechce pracovat atd). nekdy se tomu rika "crash consistent".

aplikace ktera se z takoveho stavu nedokaze zberchat (po nejakem internim recovery procesu) by se dost snadno dala oznacit za spatne napsanou.

[Václav HFechs Švirga]

Jinak známý mi "prozradil" ještě jeden možný a chytrý způsob, jak dostat virtuálku do virtualboxu a to vytvořit ve virtualboxu virtuální počítač s prázdným diskem, bootnout tam livecd linuxu, provést přes ssh dd z vps na ten prazdný disk, livko odpojit a voiala - klon virtualky virtualboxu je ready.

[Semo]

Pred prenosom image disku by som znuloval volne miesto dd if=/dev/zero of=/zero; rm -f /zero. Nuly sa komprimuju lepsie nez historicky bordel.

[Josef Kufner]

Hmm... umí ty virtualizační nástroje používat trim k tomu, aby vyráběly děravé soubory, když se místo uvolní?

[Semo]

To je uz starost o vrstvu a admina vyssie. Toto riesis usporu pri prenose po sieti.

[Josef Kufner]

Trim musí být podporován celou cestu od virtuálního filesystému, přes virtuální drivery k disku, až na hostující filesystém, kde je image virtuálního disku uložen. Otázkou je, zda ten virtuální driver (to co emuluje virtuální disk) umí porozumět příkazu trim od virtuálního filesystému k tomu, aby uvolnil místo na hostujícím filesystému.

[David Jaša]

Před rokem se na tom pracovalo. Jaký je aktuální stav, nevím.

[David Jaša]

Tak ještě:

http://wiki.qemu.org/ChangeLog/1.5#Block_devices

https://raobharata.wordpress.com/2013/08/07/unmapdiscard-support-in-qemu-glusterfs/

[Jendа]

Počkat, takže autor nejdřív z paranoi uváží zakázání roota a pak se z nědůvěryhodné VPS přípojí na svůj notebook?!

[Václav HFechs Švirga]

A autor ještě nešifruje a dovolil do svého notebooku nacpat tvou flashku . Takže už je to stejně jedno, vím že mě sleduješ dnem i nocí...

[multi]

Předpokládám správně, že server v hostingu meží na KVM virtualizaci?

Mě osobně by zajímalo, jestli může být nějaký problém při upgradu VPS s parametry systému co virtualizuje. Zajímá mě virtualizace KVM a OpenVZ, nebo není třeba nic řešit a upgrade je v pohodě jako na fyzickém stoji? Hlavně v případě OpenVZ mám podezření, že musí být použit kernel stejné verze?

[pavlix]

OpenVZ mám podezření, že musí být použit kernel stejné verze?

Jako že bys na fyzickém nesměl upgradovat jádro? Proč?

[multi]

Ze kdyz vyupgraduju virtual, tak pokud je ve fyzickém hodně stará verze kernelu, nez se kterou byl kompilovan system co je ve virtualu, tak některé knihovny/programy muzou mít problém.

[snajpa]

Soucasny OpenVZ kernel umi rozjet vsechny moderni distribuce, ackoliv se tvari jako 2.6.32 :) Napr. Systemd tam bezi v pohode. Ale pravda je, ze obcas jim to dohnani kompatibility chvili trva.

[pavlix]

To je ale prostá závislost na určité verzi jádra.

[multi]

A jak se ta závislost řeší u VPS?

Popíšu přesně moji situaci: mam virtualni servery s Debianem 6 na kmv a openvpz. Chci upgradovat na debian 7. Provedu bezny upgrade, jako bych to delal na fyzickem stroji, nabooruje pak ten virtual a bude nejaky problem? Pokud ano jak se to resi?

[Aleš Kapica]

Jdeš si to hodit

Ale pokud chceš vědět jak to na hostitelských strojích dělám já..

Mám tři stroje. Dva datové a jeden virtualizační. Vzájemně jsou schopny se zastoupit a infrasrukturu mám navrženout tak, že ji mohu za běhu stěhovat s minimálním výpadkem. Takže ty stroje točím.

U single strojů, kde tahle možnost není využívám LVM a oddělený systémový disk. Nainstaluji aktualizaci do novélo LV oddílu a restartuji. Pokud to klapne, nechám to běžet, pokud ne, tak se rebootne zpátky do původního oddílu.

[Aleš Kapica]

Jinak pěkným řešením pro tebe by bylo btrfs na systémovém disku.

[petr_p]

Problém máte i s plnou virtualizací. Člověk si přeložil Gentoo s -march=native a pak mu hosting přestěhoval virtuální stroj na jiný hardware.

[pavlix]

A jak se ta závislost řeší u VPS?

Zaprvé je důležité se smířit s faktem, že kontejnery nejsou to stejné co virtualizovaný hardware. Řešení jsou různá. Například lze nepoužívat služby závislé na nových verzích kernelu. Nebo lze mít pro jednu verzi distribuce jeden fyzický stroj a virtuály neupgradovat nebo po upgradu migrovat na fyzický stroj s vyšší verzí jádra.

Obecně provoz kontejnerů vyžaduje více znalostí a práce, snajpa z vpsfree by mohl povídat. A vůbec, kde je, když ho potřebujem?

[snajpa]

OpenVZ resi mapovani verzi kernelu kvuli legacy aplikacim, ktere potrebuji videt starsi jadro:

/etc/vz # cat osrelease.conf 
# List of kernel versions (osreleases) required by different
# distributions (OS templates). vzctl tells kernel to report
# the given version to containers based on a specified distro.
#
# Format: < template> < minimum kernel version required>
fedora-11	2.6.18
fedora-12	2.6.18
fedora-13	2.6.18
fedora-14	2.6.32
fedora-15	2.6.32
debian-6.0	2.6.32
ubuntu-12.04	2.6.32

Potom OpenVZ udrzuje distribution-specific skripty, ktere napr. nastavuji hostname, IP adresy, DNS resolvery, to vypada zhruba takhle:

 /etc/vz # ls dists/
alpine.conf        default                     owl.conf         scripts             suse-8.2.conf
altlinux-2.4.conf  distribution.conf-template  redhat-7.0.conf  slackware-9.0.conf  suse.conf
altlinux.conf      fedora.conf                 redhat-7.1.conf  slackware-9.1.conf  ubuntu-6.06.conf
arch.conf          fedora-core.conf            redhat-7.2.conf  slackware.conf      ubuntu.conf
centos.conf        funtoo.conf                 redhat-7.3.conf  sles.conf
debian-3.0.conf    gentoo.conf                 redhat.conf      suse-7.3.conf
debian-3.1.conf    mandrake.conf               rhel.conf        suse-8.0.conf
debian.conf        opensuse.conf               scientific.conf  suse-8.1.conf
 /etc/vz # ls dists/scripts/
arch-add_ip.sh          functions                 redhat-7.x_add_ip.sh     slackware-del_ip.sh
arch-del_ip.sh          funtoo-add_ip.sh          redhat-add_ip.sh         slackware-set_hostname.sh
arch-set_hostname.sh    funtoo-del_ip.sh          redhat-del_ip.sh         slackware-set_ugid_quota.sh
arch-set_ugid_quota.sh  funtoo-set_dns.sh         redhat-set_hostname.sh   suse-7.x_add_ip.sh
debian-3.x-add_ip.sh    gentoo-add_ip.sh          set_dns.sh               suse-8.x_add_ip.sh
debian-add_ip.sh        gentoo-del_ip.sh          set_ugid_quota.sh        suse-8.x_del_ip.sh
debian-del_ip.sh        gentoo-set_hostname.sh    set_userpass.sh          suse-add_ip.sh
debian-set_hostname.sh  gentoo-set_ugid_quota.sh  slackware-9.x_add_ip.sh  suse-del_ip.sh
etcnet-add_ip.sh        postcreate.sh             slackware-9.x_del_ip.sh  suse-set_hostname.sh
etcnet-del_ip.sh        prestart.sh               slackware-add_ip.sh
 /etc/vz # cat dists/ubuntu.conf 
#  Copyright (C) 2000-2008, Parallels, Inc. All rights reserved.
#
# < stripnuty GPL header tady>

ADD_IP=debian-add_ip.sh
DEL_IP=debian-del_ip.sh
SET_HOSTNAME=debian-set_hostname.sh
SET_DNS=set_dns.sh
SET_USERPASS=set_userpass.sh
SET_UGID_QUOTA=set_ugid_quota.sh
POST_CREATE=postcreate.sh
PRE_START=prestart.sh

Jinak stava se, ze obcas nefunguje nejake nove distro - Fedora je krasny priklad, kde casto veci visi na novinkach v kernelu. Vetsinou to lidi z OpenVZ dodelaji do par tydnu, max mesicu, takze to neni az takovy problem. Na podporu Ubuntu 12.04 jsme tusim cekali 2 mesice, tam nas to trochu stvalo, protoze ho lidi proste chteli hned

Co se tyce Debianu, fungovaly mi vzdycky krasne vsechny verze od Sarge (tzn. odkdy s Debianem delam), dist-upgrade sebehnul vzdycku bez problemu - teda az na jednu situaci s NFS mounty, ktere mame do kontajneru mountovane zeshora (zalohy a NAS), takze bylo potreba ve vpsAdminu ty mounty poodpojovat.

[snajpa]

A jinak to, co resi tenhle clanek, mame primo ve vpsAdminu implementovane, rikame tomu Playground VPS. Jde vzit produkcni VPS, naklonovat ji do playgroundu, tam si pohrat, ponastavovat a pak jde udelat Swap VPS - tedy prohodit obe VPS mezi sebou . Jeste je v planu on-demand backup vyvolatelny 1x denne, aby si to clovek mohl odzalohovat pred tim, nez jde neco delat a pak se da on-click zaloha obnovit, kdyz se neco nepovede. ZFS umoznuje delat divy, jenom musim komunitu dokopat fixnout temer jisty deadlock pri spusteni zfs send u stroju pod memory pressure.

[Macik]

Zdravim panove, je tu nekdo kdo by konkretne s timto pomohl tezkemu zacatecnikovy? Linux pouzivam teprve dva mesice a podarilo se mi ho i nejakym zpusobem dostat na stary notebook (wifi byl nekolika denni souboj , ale toto proste nedavam. Mam VPS na pokusy a krome toho ze mi nefunguje pouhe opsani tak to ani moc nechapu coz me stve nejvic :( Prvni prikaz asi funguje, ale nemel jsem odvahu zkouset. Jestli to dobre chapu tak to bude kopirovat surova data z disku VPS do souboru na VPS. Za prve, domnival jsem se ze dd bere proste surova data tak jak lezi na hdd, protoze dd jsem predtim pouzil na vytvoreni kopie boot sektoru na notebooku, abych si nainstaloval debian vedle windows aniz bych nejak poskodil jejich zavadec a prisel tak o moznost recovery a o moznost debian snadno smazat :). Jestli linux maze soubory stejne jako wokna a neprepisuje je nulama tak mam pocit ze ten obraz bude pri pouziti dd tak velky ze se ani pri te komprimaci nema sanci na ten disk vejit. Za druhe, jak muzu delat obraz neceho na co ukladam ten obraz? To v tom obrazu bud mit i cast toho obrazu? Kde mam prosim v chapani toho prikazu chybu? Priznam se ze moc nechapu ty roury takze asi tam, co? S Billem jsem od Win 3.1 takze to se mnou asi nebude lehke, ale u WIN 8 jsem si proste rekl a dost :o a tak tady ted zebram :)

[Václav HFechs Švirga]

Doufám, že ti na té VPS nic důležitého neběží, protože surové kopírování příkazů bez přemýšlení a chápání jejich významů je akorat cestou k znefunkčnění systému . Článek by neměl být chápán jako návod, jak to krok za krokem udělat, ale spíše inspirace, jinak si následky neseš sám.

Jinak můžu jeden příkaz objasnit:

ssh root@server "dd if=/dev/vda | xz" | unxz | dd of=/home/uzivatel/server.img

udělá to, že se ssh přihlásí na server pod uživatelem root a spustí na něm příkaz dd, který začné číst disk /dev/vda na serveru, ještě se to prožene kompresí (ta není podstatná - lze vynechat), ovšem samozřejmě se to nezapisuje zpatky na server (to by se to tam skutečně nevlezlo), ale posílá se to přes ssh po síti k tobě na notebook, dekomprimuje se to a teprve na notebooku zapíše do server.img.

Ale skutečně doporučuju se prvně pořádně naučit základy bashe a Linuxu a až pak zkoušet něco pokročilejšího. Obzvlášť s příkazy jako dd, co umí něco přemazat raz dva.

[Macik]

Na VPS nebezi nic, je jen na pokusy, tak nejka mi zbyla :) Ani tak jsem ale prikaz nezkopiroval protoze jsem ho nechapal a koukal z toho problem. A na ntb bezi linux vedle woken a dokonce i tak ze zustal zachovan mbr pro pripadnou reinstalaci windows, takze nasledky si sam bez problemu unesu. Snazim se pochopit co ten prikaz dela, rozhodne jen slepe nekopiruji. A kdyz se neco podela, a zjistim co se pokazilo tak i vim co jsem udelal spatne a jsem o neco moudrejsi, skoda jen ze na to malokdy prijdu :( a musim se proste vidat jinou cestou.

Co ten prikaz dela mi doslo uz druhy den rano, nejak mi nedoslo ze ssh muze prenaset soubory, presto ze to vim. Toto je mozna pokrocilejsi vec, ale pro zacatecnika se celekm hodi protoze to celkem jednoduse udela zalohu kterou pak muzu snadno obnovit. Muj hosting nepodporuje snapshoty, takze kdyz neco po..... musim pekne vse znovu instalovat. Sice se to alespon naucim, ale asi to bude casem opruz :) Pokud vite o jednodusim zpusobu jak provest zalohu sem s nim. A ten zpusob pomoci prosteho zatarovani vsech souboru, co se vali nekde na cz netu mu vzdy VPS slozil :( Nebezpeci dd jsem si plne vedom, prehodim 'i' za 'o' a je po ptakach :)

Prikaz na tunel jsem treba zkusil, vypada celkem logicky a myslim ze vim o co jde, bohuzel asi ne. Zazada si o heslo a chvilku blika kurzor, pak prestane blikat a jen sviti. Zkusil jsem pridat parametr -v abych videl co se deje a posledni co se ukaze je "All remote forwarding requests processed" coz mi pripada ok, ale seklej kurzor a zadna hlaska neim, nevim. Ukoncit to jde jen ctrl+c Dalsi prikaz zase nevim. Neni mi jasne jak adresovat notebook, respektive jak VPS bude vedet co si predstavit pod @notebook. Podle hostname si to nedovedu dostdobre predstavit, a podle ip to asi taky nebude, protoze to by se nemuselo tunelovat (vim i tak se to hodi, ale pisou bez ip).

Poradite i ted? Sice muzu presmerovat port v modemu na ntb, ale to uz umim a kazda zkusenost dobra :) Dekuji.

P.S.: Omlouvam se za cestinu, mohl bych to svest na stareho psa, ale asi to bude prosta lenost :(

[msk]

Na zalohu to takto jednoducho pouzit samozrejme nejde, musis riesit este synchronizaciu beziacich aplikacii a snapshot filesystemu, inak dostanes sice zalohu filesystemu, ale totalne rozosraneho. Vid samotny blog + komentare vyzsie.

[Václav HFechs Švirga]

Přesně tak. Článek nebyl vůbec o zálohování, na nějaké testování je to zkousnutelné, ale dělat tímle způsobem zálohy je akorát jistou cestou, jak přijít o data.

[Macik]

Chci tu zalohu udelat na VPS z nabootovaneho live CD, takze zalohovany system nepobezi. Predpokladam, ze na testovci VPS by mohl byt tento zpusob dostacujici. Nebo je nekde v tomto zpusobu take hacek?

Jinak to chci pouzivat na to co je uvedeno v clanku, proste zkusit riskantni operaci nanecisto ve virtualizovane VPS. K virtualizovane VPS je i lepsi pristup, takze kdyz neco po.... tak je vetsi sance najit co delam spatne a poucit se.

Co mi reknete na ten tunel jak jsem psal v predchozim prispevku, jde nebo nejde?

[Václav HFechs Švirga]

Ok, tak pak ano.

Ale na normální zálohy fakt bacha, třeba mysql je fakt dobré před ddčkem odstavit, protože takto normálně zálohovat a pak spoléhat, že data budou v pořádku by nemuselo dopadnout dobře.

Jinak příkaz pro vytvoření reverzního tunelu (ssh -N -R 5000:localhost:22 uzivatel@server) se má "zaseknou", to je v pořádku (dokud ho neukončíte přes CTRL + C) - prostě dokud je zapnutý, tunel běží.

Pak si musíte otevřít nový terminal, tam se normálně přisshačkovat na váš server a můžete se z něj připojit na váš notebook (na portu 5000). V článku využito pro překopírování toho image.

Funguje to tak, že z notebooku se přes ssh vytvoří revezní tunel na server (u kterého problém s adresovatelností není) a pak přes něj reverzně se připojíte na Váš notebook.

Na notebooku samozřejmě musí být nainstalovaný a spuštěný sshd server, aby ten tunel k něčemu byl.

[Macik]

Uz vim kde je celou dobu zakopany pes, mel jsem preklep v hosts na notebooku, jedna jednicka navic. Proto se mi stale nedarilo ssh tunelem ze serveru na notebook. Bez tunelu mi to samozrejme slo, protoze jsem se pripojoval pres ip a ne hostname. Jeste jsem to tedy nezkousel, ale urcite to bude ono.

Dekuji za vasi rady, ochotu a hlavne trpelivost se zacatecnikem, bez Vas bych to nikdy nedal dohromady. Fakt velke diky, jsem zase o neco moudrejsi. Od ted budu pravidelnym ctenarem vaseho blogu.