Dotaz: sdílená storage pro Proxmox nebo VMware

[Jirka]

Ahoj. Mám dva servery. V každém serveru je 4x 1TB SSD + 4x 10TB HDD 7200rpm. Oba servery je možné rozšířit o HW raid, který je na VMware HCL listu. Servery disponují 4x 10Gbps + 2x 1Gbps sítí. Po HW stránce jsou servery naprosto totožné. Stav, kterého bych rád docílil je ten, že budu mít funkční bezvýpadkovou live migraci (VMware = vMotion, Proxmox = nevím). Co jsem tak nějak načítal, tak to, co hledám, by se mělo jmenovat "softwarově definovaná storage". Co jsem tak narychlo googlil, tak nejčastěji se to staví na TrueNASu nebo OpenFileru. Mě teď zajímá, zda-li je vůbec možné tohoto stavu docílit, nebo jestli je to celé blbost a bez dedikované sdílené storage to nepůjde. Výhodám "centrální" sdílené a redundantní storage rozumím, ale já bych si rád vyzkoušel tuto variantu (vSAN).

Je to takto možné postavit ?
Jde to vůbec ? A kudy případně do toho ?

Prioritně mi jde asi víc o ten VMware než Proxmox.

Jirka

Odpovědi

[X]

Trochu nechapu co si od toho slibujes. Kdyz odejde jeden server zustane ti zmigravovany virtual bez dat.

[Bobprasak]

Mozne to je ale na produkci bych to nedaval.

Na obou serverech vytvorite stejny volume (at uz to bude mu hw raidu nebo cast lvmka to je fuk). Po te na obou serverech vytvorite virtualni stroje a kazdemu date volumi ktery jste vytvoril (pripojite ho jako raw). Tento volume pak publikujete z obou vmek jako iscsi volume. V ramci techto vmek vam musi bezet neco co umi udelat mirror na iscsi (mel by umet ten openfiler ale nemam s nim zadny zkusenosti). Z techto publikovanycn iscsi volumi udelat novy lun kyery publikujete zpatky vmwaru. Nad nim pak stavite normalni vmfs a nad nim pak mate vmka, ktera kohou vyuzivat vmotion apod. Ten openfiller by mel bezet v nejakym clusteru a ip adresa ktery publikuju novy vortualni lun by mela virtualni a plovouci mei nodama. Ve chvili kdy jeden node umre, mate zachovano pulku mirroru kyery je pristupny. VMka ktere publikuji lokalni storage jsou nemigrovstelna ale to nijak nevadi.

Pokud Vam tohle reseni prijde hodne kostrbate, tak vezte ze hpe ho prodava(prodavalo) jako komplexni reseni pro male firmy. Ladeni ale takoveho bazmeku je pak skutecna lahudka a proto bych o tomhle reseni radsi niku moc nerikal a donutil ho si koupit slusnou storage :)

[PetebLazar]

Spreading I/O and data across several drives connected to multiple storage controllers in a cluster of hosts limits the impact of a failure to that device or host. Data stored on vSAN is redundant and distributed across the cluster on multiple vSAN hosts. Therefore, the data is still accessible even if a host is offline.

Z deklarace výše to vypada, jako by clustering dat mezi storage jednotlivých node zajistoval primo vNAS (vrstva VMware)? https://core.vmware.com/resource/vsan-availability-technologies#sec10112-sub1

Při vícenásobném selhání nodes ani opetovne dosažení quorum nepomůže pokud se na nem neučastní poslední aktivní node (disponujici jako jediny aktualnimi daty). https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.vsan-planning.doc/GUID-D68890D8-841A-4BD1-ACA1-DA3D25B6A37A.html

Pozn. Řešení snad vyzaduje minimálně tři node se storage.

[drunkezz]

Myslim ze najmensie mozne je 2node + witness node

MImochodom vSAN je v evaluation mode tusim normalne dostupny, cize na 60 dni full feature.

D.

[Migi]

Proč nepoužiješ CEPH? V nove verzi Proxmoxu bys k tomu potřeboval třetí server, ale ve starších verzích (<7) bys měl být schopen to uchodit jen se dvěma kopiemi. Cele to nacvakaš behem hodinky ve webgui a hlavně je to nativní pro danou platformu, to tve řešení mi přijde nesmyslně složité.

[trekker.dk]

ve starších verzích (<7) bys měl být schopen to uchodit jen se dvěma kopiemi

A když ta starší verze Proxmoxu ukončí podporu, tak co? Nemluvě o tom, že provozovat cluster s dvěma uzly znamená koledovat si o split-brain malér.

[PanZvedavy]

To co hledas je dedikovane diskove pole, bud to pres SAS(levnejsi varianta) nebo fibre channel. Je to nejblbuvzdornejsi reseni pro par serveru(jedno jestli proxmox nebo vmware), zadny ceph a podobny sracky.

[makarena]

ZFS na oba servery a pak: https://pve.proxmox.com/wiki/PVE-zsync

[Nebo se prihlaste]

Na to by melo stacit DRB9 od Linbitu.

https://linbit.com/drbd-user-guide/drbd-guide-9_0-en/#ch-proxmox

[pavele]

Pokud máš jen 2 PC = 2 nódy, zapomeň na cluster.

[CandySan]

Zda se mi, ze diskuteri resi HA - tedy kdyz necekane chcipne stroj, tak jiny hostitel hned premigruje a hostuje virtualku, ktera bezela na tom chciplem stroji.

Ale dotaz znel zrejme jinak: "Stav, kterého bych rád docílil je ten, že budu mít funkční bezvýpadkovou live migraci" - chapu to spravne, ze "bezvypadkova live migrace" je to, ze admin da pokyn, aby se virtualka za behu prestehovala na jineho hostitele a to bez restartu..? Tedy ze se zde nejedna o HA?

Pokud dotaz chapu spravne, tak k tomu neni potreba sdilene uloziste. V proxmox prostredi se hostitele spoji do tzv clusteru (nevim zda i pro cluster neni nutne aby byli alespon 3, ale mam za to, ze to neni nutne) a bezici virtualce se vyda pokyn, ze ma premigrovat na jiny cilovy stroj a ona se premigruje za behu (jen ten proces bezi o chvilku dele, nez se na pozadi prekopiruje cely disk na ciloveho hostitele, ale i to se deje bez vypadku a bez omezeni cinnosti disku - dal se zapisuje na disk, dal se z neju cte, jakoby se nic nedelo). Uloziste vubec nemusi byt sdilene a probehne to za ziva a bez restartu a bez vypadku. Bezne to pouzivam a bezne prehazuju virtualky mezi stroji z ruznych duvodu.

V pripade HA musi byt 3 servery proto, aby se nestalo, ze server jen oslepne do site a jiny hostitel by hned zkousel nahodil virtualku s tim, ze by tak do jednoho uloziste zapisovaly 2 soucasne bezici virtualky, protoze to uloziste muze byt realizovane ruznymi zpusoby a existuji scenare, kdy je na obou strojich dostupne sdilene uloziste a pritom mezi sebou nemohou hostitele komunikovat, tak se vychazi z toho, ze kdyz hostitel alespon na jednoho dalsiho hostitele vidi, tak je vysoka pravdepodobnost, ze neni jen problem se siti.

V pripade HA a mensiho ropzpoctu se da pouzit CEPH a je to levna a pouzitelna varianta. CEPH se da pouzit i v drahe a jeste mnohem vykonnejsi variante, ale i v pripade jednoduche a levne varianty se to v proxmox prostredi nastavi velmi snadno a funguje to celkem hezky.

[CandySan]

Jinak ze dvou hostitelu se HA cluster da udelat tak, ze se k nim prida jeden malicky stroj navic, ktery sice nedokaze hostovat zadnou virtualku, ale bude slouzit jen k tomu, aby se podilel na tom rozhodovani - tedy delal toho tretiho.

[trekker.dk]

probehne to za ziva a bez restartu a bez vypadku.

Na tohle pozor, bez výpadku to proběhne jenom v případě, že se na ta úložiště nezapisuje moc rychle a že se moc rychle nemění data v RAM. Když jo, musí se služby na té virtuálce na chvíli zastavit, jinak ta migrace nikdy nedoběhne.

[CandySan]

Takhle negativni zkusenost nemam... Pozitivnich spoustu. Normalne to interne udela a ma udelat snapshot - prenasi se snapshot, po preneseni snapshotu se udela synchronizace snapshotu do cile a prenese se ramka. Samo sebou to na "sekundu" udela pauzu, ale ze by to spadlo a udelalo reboot, to jsem jeste nezazil... Jak to presne myslis?

[Radek]

Pro někoho je sekunda furt výpadek

[Max]

Asi to myslí tak, že ta VM zapisuje vyšší rychlostí, než je rychlost přenosu dat na jiný hypervisor. Např. že virtuálka kontinuálně zapisuje řekněme 250MiB/s a mezi hypervisory je 2x1Gbit linka. To pak ta live migrace asi opravdu nikdy nedoběhne.
Zdar Max

[CandySan]

Ja myslim ze dobehne. Jen se na par okamziku pausne. Pokud to chapu spravne, tak Radek rozviji nejake hypoteticke mezni teorie o tom, ze za urcitych vyjimecnych situaci by nekdo pozdvihnul oboci a zatvaril by se nespokojene, ale k restartu ani k preruseni nedojde. Po tu dobu se virtualka max jen pausne a kazdy proces ve fronte se vyridi uz na druhem serveru a nikdo si niceho ani nevsimne. Nove pozadavky se do fronty nezaradi, protoze zadne nevznikaji a pokud nejake vznikaji venku, tak tyto situace jsou taktez osetrene. Tim nechci rict, ze se nikdy nemuze sejit situace, kdy treba vterinovy vypadek site nemuze zpusobit problem, ale mam za to, ze to je diskuse na uplne jine tema. Tazateli slo o to, ze chce mit moznost preskakovat z jednoho hostitele na druheho bez restartu virtualky a bez preruseni bezneho provozu. Evidentne na pokyn admina a evidentne jen pro ucely reorganizace virtualek na hostitelich bez toho, ze by zpusobil restart virtualky. Puvodni tazatel se uz nezapojuje do diskuse, tak asi uz neni moc co resit, ale prislo mi, ze by mohlo z toho vyznivat, ze to bezne nejde a ze tudy cesta nevede proto, protoze dojde k padu, nebo k zasadnim problemum, nebo ze by ta vec nikdy nedobehla atd... A tvrdim, ze to neni pravda a ze to vsechno v klidu probehne a dobehne. Muze se stat, ze v nejakem extremnim teoretickem pripade to treba nemusi byt uplne ok, ale takovy pripad si moc neumim predstavit a treba je to jen proto, ze se mam co ucit, co ja vim, ale nikdy jsem s tim problem nemel a pouzivam to bezne. Tak snad je to takhle jasnejsi i puvodnimu tazateli a necht si z te diskuse vytezi co potrebuje, pokud se nekdy tady ukaze...

[Radek]

Nerozvíjím žádné hypotetické mezní teorie ;) myslel jsem to jen tak, jak jsem to napsal - že někdo bere i tu sekundu jako výpadek i když to v 99,99% případů výpadek "prakticky" není.

Jinak opravdu se ve výjmečných situacích může stát, že by sync nedoběhl, ale to už se bavíme o trošku jiném prostředí než jsou 2 servery s 30TB prostoru. Tam už by určitě používali něco jiného než proxmox nebo základní vmware (včetně essentials plus)

[CandySan]

Ano, souhlas. Takhle jsem to presne myslel. Ted jsme uz ve shode

[trekker.dk]

Ja myslim ze dobehne

Myslet znamená ***** vědět.

[CandySan]

...a verit znamena "ani nemyslet". Ale podstatne je, ze vim jiste, ze zarucene dobehne

[Jirka]

Ahoj.
Čtu to tady, ale zatím jsem byl v povzdálí a sledoval dění a zároveň si doma hrál a hrál...

Odpověď mi dalo toto:
https://core.vmware.com/resource/vsan-2-node-cluster-guide#sec7394-sub1

Jirka