Dotaz: Storage pro hypervizory

[Jan]

Ahoj, potřeboval bych se poradit ohledně storage pro několik hypervizorů. Podědil jsem na firmě 4 hypervizory. Nejde o žádné super děla ale stroje o jednom CPU a 16, 16, 32 a 64 GB RAM. 3 z nich jsou free ESXi a nejnovější je Proxmox. Tři jsou HP a jeden DELL.

Společným problémem všech je nedostatek prostoru na HDD, což jsem se rozhodl řešit nákupem diskového pole Synology RS 2418RP+, které zároveň obstará prostor pro zálohy.

To co řeším je, jak to zapojit do sítě. Nemám s podobným řešením žádné praktické zkušenosti z provozu. Ale předpokládám, že hnát ten provoz NAS <-> Hypervizory ve společné LAN se zbytkem provozu je hloupost. Navíc ta LAN je ve stavu "organizovaný bordel". Tak jak jsem to dostal...

3 hypervizory mají volný pouze jeden LAN port, a problém je u DELLu, který má pouze 2 LAN porty a ty jsou obsazeny. Mým cílem je tu síť trochu srovnat postupně ji posunout směrem dopředu, aby to dávalo větší smysl a mělo to nějaký vývoj. Nejnovější server jede na Proxmoxu.

Osobně mi z toho vychází, že rozumným řešením by bylo propojit 3 hypervizory, které mají volný LAN port s NASem (2 porty v teamu) ve vlastní síti přes 10 GB/s switch a DELL postupně odstavit (upgrade není možný) nebo provizorně připojit do mng LAN s NAS.

Co si o tom myslíte? Jak píšu, nemám praktické zkušenosti. Případně, jestli by jste věděli o dobrém zdroji informací budu rád za každý odkaz.

Díky moc.

Odpovědi

[Jose]

Kolik a jakých virtuálů na tom potřebuješ provozovat ?

[Jan]

Celkem tam je nyní v provozu mezi 15-20 VM. Ale ne vše musí nutně běžet na storage. Ty servery mají svoje HDD, kde něco určitě zůstane, ale už to prostě nestačí a připadá mi hloupé kupovat do každého serveru 2 nové HDD.

[Jan]

jo a jsou to ve směs CentOS s weby, Speciální appky na Linuxu, sklad pdf, AD + Exchange.

[Jose]

Co takhle to rozdělit podle potřebného výkonu na jeden slušný server vybraný - potenciálně seskládaný - z těch 4 a něco zvirtualizovat v tom Synology ? Ta sestava 4 serverů sdílející data po LAN se Synology mi přijde poněkud šílená.

[Jan]

Tak bude to připojené jako iSCSI, to je něco co se snad běžně takto používá. FC je poněkud drahý špás. Synology NASem asi těžko nahradím nějaký server. To je dobré tak maximálně na nějaké UniFi kontroléry, ale abych na tom provozoval VM... to bych neriskoval.

[Jan]

Navíc to bude 10GB/s linka.

[Max]

Já mám v jobu celkem 3 hypervisory/servery, které mám připojený do sítě přes 2x10Gbit LACP a přes to běží všechno, jak komunikace se storage, tak lanka ke klientům atd. Vše rozděleno na vlany.
V případě storage se říká, že tagování bere latence, ale já jsem s výkonem spokojen.
Storage mám připojen také přes 2x10Gbit a k hypervisorům pomocí NFS.
V tvém případě bych to řešil podobně, prostě všechno připojený přes 2x ethernet v LACP, storage připojen k hypervisorům přes NFS s tím, že by pro všechno byla vlan.
Je to easy, zapojení jednoduché, konfigurace je všude stejná atd. Pokud ti někde chybí port, tak nevidím problém v nákupu nějaké síťovky.
Taktéž bych to celé sjednotil pod jeden hypervisor. Pokud nemáte licence na ESXi, tak se vyplatí vše přemigrovat na Proxmox.
Zdar Max

[Max]

Jinak ohledně těch mých hypervisorů, běží mi tam přes 60VM, nějaké Oracle DB, Exchange pro 400 userů o kapacitě 1,5TiB, podobně mailserver od Keria pro 440 userů s alokovaným místem 1,2TiB, SAP, windows file server, nagios, web servery, aplikační servery, telefonní ústředna pro 700 telefonů atd. No problemo.
Jako storage backend mám NetApp a toto všechno táhne 24xSAS 15k
Dovedu si v klidu představit, že bych podobně s menším objemem fungoval na 2x1Gbit síti.
Zdar Max

[GeorgeWH]

A co sa stane v pripade vypadku storage?

[Max]

Záleží, jak bude velký. Něco udrží hypervisor, takže pokud to bude kratší výpadek, tak se nic nestane, maximálně se nachvilku zabrzdí/povytuhne VM.
V případě výpadku mám zkušenost, že spadne VM, ale konzistence je ok a není pak problém jí znovu spustit. Tuto zkušenost mám u kombinace NetApp+ESXi, kdy NetApp jede NFS synchronně.
Zdar Max

[GeorgeWH]

Mal som skor na mysli, co v pripade velkeho vypadku (storage zhori, vytopi sa...) - bude odstavena cela infrastruktura. Tiez pouzivame samostatne storage (hdd a ssd) pre ESX a rozmyslam, co robit, ak jeden z nich (alebo nebodaj oba) vypadne.

[Max]

My děláme replikace na storage v záložní lokalitě. Děláme async replikaci v nějakých intervalech + samozřejmě i snapshoty + přes noc zálohy na backup storage. Takže něco jako ZFS send/receive, ale s NetAppem.
Zdar Max

[GeorgeWH]

Takze backup storage, ok. Vdaka.

[Max]

Né, failover storage + backup storage :)
Zdar Max

[romanch]

Nebo si udělej ze 2(3) serverů malou distribuovanou Storage. Není to zdaleka tak složité jak to vypadá. Na každém serveru třeba 6x HDD - stačí JBOD + 1SSD cache - na tím ZFS RaidzX s SSD cache nad tím GlusterFS nebo CEPH (ten potřebuje 3 servery) Je to distribuované a při výpadku to běží bez přerušení z druhého. Na GlusteruFS uděláš BACKUP pomocí Geo-Replikation.

Zdraví R.

Práci čest soudruzi IT :)

[Heron]

A ať se potom pochlubí, jak mu to funguje .

CEPHem jsme se zabývali rok a došli jsme do stavu, kdy se nám to dařilo na počkání shodit (do několika hodin). Exportované blokové zařízení se zasekávalo (takže iscsi není cesta), cephfs se dostával do podivných nekonzistentních stavů (takže nfs není cesta). Někdo na ABC psal, že je funkční driver pro KVM block storage, to jsme nezkoušeli (prioritou byl storage pro vmware). Stejně tak se nezkoušel ten S3 object storage.

Když to fungovalo, tak výkon nebyl špatný (3 servery, několik desítek disků a pro každou OSD grupu SSD), spojeno 10GbE. Věřím, že pro ten object storage se jedná o perfektní a robustní systém, ale my jsme potřebovali spolehlivé blokové zařízení (resp. exportovat z toho ideálně iscsi).

O stavu dokumentace se ani rozepisovat nebudu. V době (2016), kdy jsem to instaloval, tak dle toho jejich quick starteru to nešlo rozjet, některým příkazům chyběli parametry uváděné v tutoriálu apod. Nakonec to kolega s větší trpělivostí rozjel (do výše uvedeného stavu).