Dotaz: Proxmox virtualizace

[f1lo]

Dobrý den,

využívate tu někdo Proxmox pro virtualizaci? Potřeboval bych poradit ohledně replikací dat mezi 2 servery.

Běží mi tedy 2 servery s Proxmox a já bych potřeboval, aby se replikovali data ze serveru 1 na server 2 (případně obráceně, pokud by nastal výpadek serveru 1). Na serveru 1 využívám 1 openvz a 1 kvm kontejner.

Nemohu bohužel přijít, jak právě nakonfigurovat proxmox na serveru 1, aby byl dostupný server 2, koukal jsem na konfiguraci viz https://pve.proxmox.com/wiki/Two-Node_High_Availability_Cluster ovšem nemohu přijít na funkční řešení, můžete mě někdo popostrčit či mě nasměrovat na nějaký pochopitelný návod? Děkuji předem.

---

---

Odpovědi

[ZS-Man]

Jestliže nemate žádný externí NAS/SAN a chcete replikaci lokalnich disku, tak se na to používá DRBD. http://pve.proxmox.com/wiki/DRBD

Na te wiki je vše popsáno, se zprovozněním jsem neměl problém.

Takže zprovoznit 2 node cluster + quorum disk ( já místo quorum disku mám třetí node - obyčejný notebook bez HW virtualizace, a na něm nainstalovány proxmox právě kvůli quorum), potom zprovoznit DRBD na lokálních discich a je to hotovo.

[f1lo]

Tak jsem postupoval podle návodu viz http://pve.proxmox.com/wiki/DRBD

Vše probíhalo bez problémů.

Výstup příkazu pvscan: PV /dev/sda3 VG pve lvm2 [74.03 GiB / 9.25 GiB free] PV /dev/drbd0 lvm2 [74.53 GiB] Total: 2 [148.55 GiB] / in use: 1 [74.03 GiB] / in no VG: 1 [74.53 GiB]

Dostal jsem se až ke kroku Add the LVM group to the Proxmox VE storage list via web interface Kde ve webovém rozhranní při kliknutí na Storage ->Add ->LVM Volume group nemám na výběr "drbd0", ale pouze "pve"

Nevíte, kde by mohl být problém?

[f1lo]

Tedy pardon název skupiny je dle návodu samozřejmě "drbdvg", upsal jsem se.

[ZS-Man]

Nepreskocil jste náhodou vytvoření Volume Group?

[f1lo]

Nevim jak je to možné, ale ano, i když jsem ten příkaz zadával, tak jsem ho možná na poprvé zadal špatně, i když mi to určitě napsalo, že skupina byla vytvořena, no to je jedno.

Nyní jsem tedy přidal nové uložistě typu LVM, ovšem když dám vytvořit nové VM nebo CT stále vidím v Storage pouze local a navíc neměl bych na každém serveru v proxmoxu vidět v datacenteru oba nody? vždy vidím jen ten jeden, který na tom serveru právě běží .

[ZS-Man]

Jestliže v datacetru nevidite oba body tak pravděpodobně nemáte vytvořeny cluster. Co vypise pvecm status ?

[f1lo]

Máte pravdu, to jsem v návodu přehlédl a vůbec mi to nedošlo, že to bez toho nepoběží. Postupovat lze podle tohoto návodu , i když je zde upozornění, že je zastaralý? http://pve.proxmox.com/wiki/Proxmox_VE_Cluster

[f1lo]

https://pve.proxmox.com/wiki/Proxmox_VE_2.0_Cluster

[f1lo]

Super děkuji, už to bude skoro hotové, teď už tedy jen vyřešit ten quorum disk.

To může být například i nějaká flashka s proxmoxem a poté postupovat podle návodu viz https://pve.proxmox.com/wiki/Two-Node_High_Availability_Cluster#Create_the_Quorum_Disk

Nebo to může být i nějaké externí VPS běžící někde mimo?

Omlouvám se možná za hloupé dotazy, ale chci v tom mít jasno, abych zbytečně nedělal nějakou úplnou hloupost .

[ZS-Man]

Flashka s proxmoxem? Nerozumim. Bud pouzijete treti PC (ja na to mam ten postarsi notebook) ktere ani nemusi podporovat HW virtualizaci,na nej normalne nainstalujete proxmox a pripojite do clusteru. Tim mate v clusteru 3 nody a splnenou jednu z podminek pro HA a vubec nepotrebujete resit nejaky quorum disk.

Nebo treti PC nemate a ke clusteru musite pripojit ten quorum disk. To musi byt mala partition pripojena pres iSCSI. Takze bud mate nejaky NAS ktery podporuje iscsi, nebo si to doinstalujete na nejaky dalsi pocitac. Jestli to vytvorite na nejake externi VPS, tak by to asi fungovat melo, ale...... Spravna funkcnost HA zavisi na spravne komunikaci a dodsupnosti/nedostupnosti vsech tri nodu, nebo dvou nodu a quorum disku. Kdyz se prerusi spojeni s tou VPS, tak se sice jeste nic nedeje, ale kdyz do toho vypadne jeste jeden node tak nedojde k automaticke migraci VM na finkcni node. To pozadovane HA proste nezafunguje.

[f1lo]

Příloha:

• iscsi.JPG (15272 bytů)

Zvolil jsem tedy tu cestu NAS jednotky, když ji mám k dispozici a nemám 3 PC, ovšem zatím se peru s instalací balíčku pro isci konfiguraci pro NAS Synalogy podle návodu: http://pve.proxmox.com/wiki/Two-Node_High_Availability_Cluster#Quorum_Disk_Configuration a to konkrétně příkaz yum -y install scsi-target-utils který nelze na NAS jednotce spustit, protože tam není Fedora, není tam ale ani Debian (nějaký vlastní systém).

Každopádně až tuto konfiguraci provedu, přes webové rozhranní přidat nový Storage a tam vyber iSCSI, akorát moc nechápu ty jednotlivá políčka, co bych do nich vyplnil viz příloha.

Zatím děkuji za vaši pomoc.

[GeorgeWH]

myslim, ze najlepsie by bolo, keby si si najprv nastudoval jednotlive technologie, vyskusal ich samostatne nastavit a az potom sa pustil do stavby atomovej elektrarne...

[f1lo]

Já si myslím, že díky načteným tutorialů a rad zde v diskusi jsem do této problematiky vstoupil, ovšem návod jak zprovoznit quorum disk na NAS Synology žádný pořádný není, proto jsem se tu chtěl zeptat, kdyby někdo náhodou měl zkušenosti.

[GeorgeWH]

pointa bola inde. ziadat niekoho na fore, aby ti "nastavil" iscsi v proxmoxe je imho absurdne. ak si dostal radu pouzit iscsi, tak si najprv zistim, co to je a ako to funguje, ci to podporuje moj sw/hw a pokusim sa to nastavit. a potom sa pripadne pytam, ked mi nieco nejde alebo nie je jasne.

a po dalsie, je zjavne, ze si zacal robit nieco, co si si dopredu vobec nepremyslel, a tak to potom vyzera...

[f1lo]

Já jsem také po nikom nechtěl "hotové" řešení, tak si prosím nech tyhle řeči. Ptal jsem se pouze, zda někdo nemá zkušenosti s tvorbou quorum disku na NAS Synology, nic víc, nic míň. Ale nebudu tu již ztrácet čas dohadováním se s tebou o ničem, když si do této diskuse přišel pouze proto, aby si tu prudil, to by uměl každý. Já taky dokážu poradit v jiné oblasti a ani by mě nenapadlo honit si ego nad někým, kdo v dané oblasti nemá tolik zkušeností a proto se tu ZEPTÁ odborníků (nikoliv žádá vyhotovené řešení). Howgh.

[ZS-Man]

To co vám radí GeorgeWH je ale pro začátek možná lepší rada nez to co tu celou dobu píšu já... Virtualizace + HA je poměrně komplexní záležitost a vy jako začátečník jste si vybral tu nejmíň vhodnou realizaci. Fungovat to sice muze , ale není to jen tak. Návod už mate správný, ale prectete si znova, klidně hodnekrat a hlavně do konce.

No, a ted k tomu problemu.. Instalujete iscsi na nějakou NAS krabičku? Proč? Bud iscsi podporuje a tu partition i export pres iscsi si naklikate pres webui toho NASu. Jesti to ale ten NAS neumí tak smůla, je nepoužitelný.... Ten návod se týká instalace na třetí PC.

Dalsi věc je připojení te partition z NASu k proxmoxu a vytvoreni quorum disku. Pres proxmoxu gui? Opět, o tom v tom návodu není ani čárka, dělá se to pres konzoli, je na to přesný postup.

Takze OK, jdete do toho, každý nějak zaciname, ale také se venujte lepšímu pochopení oficiálních návodů. Sam se považují spis za pokrocilejsiho začátečníka, ale tento vas poslední dotaz byl opravdu dost mimo

[f1lo]

Příloha:

• cluster.JPG (53766 bytů)

Tak se mi to konečně podařilo rozchodit, ovšem zdá se mi, že to nefunguje přesně podle očekávání, tedy zda je vůbec možné aby to tak fungovalo. Pokud jsou všechny VMs na NODE1 a provedu na něm reboot/halt všechny VMs se přemigrují na NODE2 to je v pořádku, platí to i pro opačný případ - toto funguje bezvadně. Rozumím i proč, protože před rebootem/haltem se stopne RGManager a zajistí migraci, toho jsem si všiml.

Ovšem pokud jsou všechny VMs na NODE1 a já u NODE1 vytáhnu síťový kabel/vypnu server natvrdo, pak se VMs nepřemigrují na NODE2 (myslel jsem, že od toho je DRBDB a Quorum Disk) a NODE1 se restartuje stále dokola - musím pak oba server vypnout a zapnout a již vše naběhne, tak jak má, ale VMs jsou stále na NODE1.

Pochopil jsem tedy zase něco špatně nebo jsem selhal při konfiguraci? Děkuji předem za vaše reakce.

[ZS-Man]

Tipnul bych nefunkční fencing ?

[f1lo]

Super děkuji, měl jste pravdu. Šlo o chybné nastavení parametru fence agenta a to konkrétně lanplus (stačilo odebrat) u fence_ipmi agenta.

Zeptám se ještě na jednu věc, pak už to bude vše. Lze nějak urychlit proces migrace VMs? Nyní to trvá asi 40s (i s bootem), není to samozřejmě dlouhá doba. Předpokládám, že to zavisí na konfiguraci quorum viz
quorumd allow_kill="0" interval="1" label="proxmox1_qdisk" tko="10" votes="1"
totem token="39000"

doporučujete nějaké optimální ověřené hodnoty?

[ZS-Man]

Tak s urychlenim migrace moc neporadim.... Ale pokud si dobre vzpominam, nekde na proxmox foru se to parkrat resilo a slo na staveni ssh sifrovani. Live migrace se tim dala zkratit na polovinu. Ale jestli to pomuze i pri vypadku nodu tak to netusim. Rekl bych ze moc ne, v tomto pripade asi spis trva to detekovani vypadku spojeni, nejake to vyhodnoceni, fencing, overeni ze ten node je opravdu mimo a teprve potom nasleduje boot na druhem node. Ale mozna je to take uplne jinak

[f1lo]

V pořádku nic se neděje, zkusím ještě pohledat, ale i tak je to dostačující, jen jsem si s tím chtěl ještě trochu pohrát . Děkuji za vaši kompletní pomoc a motivaci vyřešit celý problém.

[f1lo]

Děkuji za informace, měl bych jen jeden upřesňující dotaz, quorum disk slouží tedy jako uložiště pro data a z něj se data synchronizují na oba servery/node? Jinak NAS mám k dospozici, doporučujete tedy zvolit jiné řešení v tomto případě?

[cold]

quorum disk je tam jenom z duvodu aby bylo v pripade vypadku zrejme ktera noda ma byt aktivni, nejspis aby nedochazelo ke splitbrainu, ja ho tam teda osobne ani nemam, ciste VPN mezi dvema servery (bez toho to nepude pokud neni spojeni pomoci LAN mezi servery) a DRBD partisny mezi serverama

[ZS-Man]

Ne, quorum disk slouzi pouze pro komunikaci nodu v clusteru, kdy v pripade ze budete chtit vyuzivat HA a dojde k vypadku jedoho ze serveru, cely cluster musi vyhodnotit ktery node je vlastne offline. Zde probehne obycejne hlasovani, kazdy node ma jeden hlas - + 1 hlas od quorum disku a tim ten cluster vyhodnoti co ma kam premigrovat. K to mu je tedy zapotreby jeste zprovoznit fencing. Ten quorum disk musi byt vytvoren na nejakem externim sdilenem disku ( staci mala partition pripojena pres iscsi) .

Pro funkcni HA a live migrace tedy potrebujete funkcni cluster a nejake spolecne externi pole kde budou ulozeny VM. Nejjednodusi je ten NAS/SAN, k proxmoxu pripojene pres NFS nebo iscsi. Jestlize nic takoveho nebudete mit, a budete chtit vyuzit lokalni disky v nodech, tak je potreba vyuzit prave DRBD. Tim budete mit replikovane uloziste ktere se pro ten cluster tvari jako jedno sdilene uloziste. Ale je to trocha konfigurovani navic, v pripade problemu resit split-brain atd...

Jestlize HA nechcete, tak odpada potreba quorum disku a fencingu, ale v pripade vypadku jednoho node musite resit migraci jednotlivych VM rucne.

[cold]

pres quorum disk urcite neprobiha komunikace mezi nodama ale jinak tvuj prepis toho co sem napsal je skutecne profesionalni

[ZS-Man]

Ano, to jsem popsal poněkud nešťastně. Quorum disk je pouze náhrada dalšího node kvůli tomu hlasování v případě výpadku nějakého nodu. Ja tam místo něj mám radši ten postarší notebook s proxmoxem. Mam na nem doinstalovana Xka, firefox a spice klienta a vyuzivam ho jako takovy "MasterAdminNode" bez možnosti spouštění VM.

[f1lo]

Našel jsem tedy poměrně zajímavý návod viz http://jsmcomputers.biz/wp/?p=331, sice je to pro starší verzi Proxmox, ale myslím si, že tam žádné radikální změny co se tohoto týče nebudou.

Ovšem v tomto návodu se řeší manuální fence, automatické přepnutí lze tedy řešit následně viz http://pve.proxmox.com/wiki/Fencing#Example_.2Fetc.2Fpve.2Fcluster.conf.new_with_APC_power_fencing zda li to chápu správně?

Děkuji.

[ZS-Man]

Ano, manuální fencing se použít dá ale jak je v tom návodu napsano tak je to nebezpečné a velice jednoduše můžete přijít o data.... Takže pro testování a hraní asi OK, pro produkční provoz bych do toho asi nesel. To radši použít ten externí NAS, nepoužívat HA, a v případě výpadku bodů stačí ručně přesunout konfigurační soubor toho VM do správného adresáře v /etc/pve/ a VM ručně znova spustit. A samozřejmě mít připraven záložní plán pro výpadek toho NASu :) Automaticky fencing můžete doplnit kdykoliv později.

[f1lo]

Zvolím cestu konfigurace podle oficiálního návodu viz http://pve.proxmox.com/wiki/DRBD

Ovšem nemáte nějaký nápad, jak to řešit, když mám v každém ze serverů 2 disky v RAID1?

[f1lo]

ještě podotýkám, že se jedná o softwarový RAID

[ZS-Man]

Proxmox pro DRBD potrebuje 2 disky. Jeden je systemovy a druhy pro data. Systemovy disk nemuzete replikovat. Nejspis by to slo vyresit instalaci proxmoxu poze na cast disku (to se da zaridit boot paramery pri instalaci), na zbytku vytvorit novou partitions a na te nastavit DRBD replikaci. Navic je doporucovani mit ty datove oddily 2. Na jednom pobezi VM z node1, na druhem VM z node2 - to je dobre pro snazsi reseni split-brain. Ale podminka to neni. SW Raid neni Proxmoxem oficilane podporovan ale rozbehnout se da. Ale DRBD na SW Raidu bude asi dost velky risk (zkusenost nemam).

Takze pozor... Snazite se vytvorit bezpecny cluster, ale spis ziskate domecek z karet uprostred hurikanu

[Arnošt Málek]

SW Raid není sice oficiálně podporován, ale neměl by být problém. Je to linux, standardní mdadm musí fungovat stejně spolehlivě, jako na jakémkoli jiném linuxu. V tom bych problém neviděl.

Proč si myslíte, že DRBD a SW RAID bude problém? Zajímalo by mě to. Přemýšlím totiž o SW RAID10, na něm jednotlivé "disky" od VM a celý ten RAID přes DRDB synchronizovat mezi 2 nody. Máte někdo nějakou podobnou zkušenost? Dík.

[ZS-Man]

Ano, SW Raid funguje, ale musí se rozchodit dodatečně, nebo nejdrive nainstalovat cisty debian včetně SW raidu a do něj potom nainstalovat proxmox. Samotný instalátor proxmoxu neumožňuje instalaci na SW raid. Jak rikate, je to jenom Linux, takže doinstalovat půjde cokoliv. Tady iz záleží jenom na zkušenostech admina co všechno si troufne...:)

Ohledně DRBD a SW raidu žádné konkrétní zkušenosti nemám. Sam jsem původně něco takového plánoval provozovat, ale z různých diskuzi mi vyšlo ze je to asi hodně špatná volba. Hlavně kvůli výkonu který tím hodně trpí. Ale jak říkám, tady konkretni zkušenosti nemám, šel jsem raději rovnou doporučovanou HW cestou.

[hermelin]

Provozuju DRBD + SW raid 1 na serverech uz nejakych 10 let a na zadny problem jsem nenarazil. Takze bych se toho nebal.

[petrg]

A co vykon, SW raid hoďte do koše na databaze temer nepouzitelne mam 2TB v DB a musel jsem to dat na HW Raid. Ale DRBD pro dva nody je moc pekne a hodne spolehlive, nyni sice provozuji iscsi, ale pro nejake virtualy porad DRBD.

[pavlix]

SW raid hoďte do koše na databaze temer nepouzitelne

Trochu odvážné tvrzení takto obecně, není-liž pravda?

[sigma]

SW raid klidně, ale musí pod tím být HBA s writeback cache. Jinak to databázová zátěž velmi rychle ucpe na flush() při commitech. A takové nasazení SW raid není zrovna obvyklé, není-liž pravda?

[pavlix]

Taky si člověk pod pojmem databáze nemusí hned představovat nějaké megaprojekty s velkou kadencí zápisů. Obecné poučky jsou fajn pro entrprajs softvér enžinýrink za hustý love, ale leccos se dá zvládnout i s málem ;).