Proxmox Datacenter Manager 1.0 (diskuse)

[RealJ]

nevypada to spatne, akorat to je furt reseni na urovni clusters, tudiz za me takova prni spise beta... typicky v DC je x ruznych clusteru a tech DC je typicky nekolik... migrace mezi DC tady chybi a migrovat XXX clusteru mezi 2 DC bude radost...

[Jesus Jimenez]

Proc? DCMku je preci z hlediska polozek v remotes jedno, v kterem DC bezi. Nebo jak to myslite?

[RealJ]

No prave, chybi organizace… jak chces udelat odstavku DC? Budes si dle naming convention/dokumentace presouvat clustery/VM mezi DC?

[Want]

Prkotina. Stejně se na ně nedostaneš.

[..... Izak .....]

Proxmox ma jednu velkou nevyhodu, corosync je nachylny na latenci a tak treba neni easy mit jeden cluster v 2 fyzickych DC i kdyz je mezi nimi celkem silna linka

Live migrace do jineho DC je tez problem - ale treba kdyz jsme testovali 2 clustery a3nody ve 2 zemich, tak pres CEPHS probehla blokova replikace velice rychle.

ZFS je k nicemu, znova jsme provedl sve testy, kterymi testuji enterprise reseni a zase spadl, znicil metadata a zase nesel opravit.

Bohuzel nema GFS ani jeho obdobu z Oracle-Linux - i kdyz jde nasadit - ale FC diskove pole podporuje, nemi tam teda thin. prov - ale LVM funguje, sdili clustered VG a mezi nody si pak zkativnuje jednotlive LVM, ktere musis byt dedikovany pro konkretni virtualni masinu

Suma sumarum, testovali jsme vsechno, nejlepsi je Vmware - hlavne diky live migraci v ramci celeho VC - i kdyz pokud je to pomale, je lepsi zmigrovat to pres veeam a pak udelat sync dat v OS. 2. nejlepsi je Proxmox a s tim, ze v ramci jednoho DC ma proxmox mnohem, vice zajimavych funkci.

Protoze nam tak 70% vmware zabiraji dokery, rozjedeme 3 server s KVM pro vsechny komponenty rancheru, kubernetes atd. a na dalsich X ziletkach pobezi docker/podman - momentalne jsou pripravovana 3 datacentra - s tim, ze sdilet FC storage netreba - pro nektere dokcery uz mame NFS a chteji i iSCSI - takze delame dedikovane switche i NIC jen pro iSCSI - storage umi vse NFS/CIFS/FC/iSCSI - kdyz na to prijde tak i replikace, vytvareni ad-hoc LUN, snapshoty i replikace.

[RealJ]

Je videt, ze jsi odbornik…

[Ruža Becelin]

V podstate ma pravdu, ze v Linuxu neni alternativa VMFS a vsechny veci typu GFS umrely, to je problem, na druhou stranu se svet odvratil od FC a jde cestou SDS, takze sice spousta firem jede na tradicni infrastrukture a na prechod na cloud infra nemaji ani cas, ani lidi, ani prostredky, a drzi si VMware, ale je otazka, jak dlouho bude tohle rentabilni, protoze Broadcomu totalne siblo.

[MP]

Cloud bude vzdy drazsi nez on-premise. Na druhou stranu, cloud za tu cenu umozni i geo-redundanci a podobne veci, na ktere vetsina firem nema ani znalosti, ani hw, ani lidi.

Situaci kolem odklonu FC neznam, ale i velci hraci si drzi SANy a co mam info z enterprise sfery, vzdat se toho nehodlaji, takze FC mozna konci, ale SANy ne.

[Ruža Becelin]

Cloud infra se ale nerovna cloud provider.

Cloud infra je infra za principech cloudu, ale muze byt klidne on-premise.

[Radek]

Sakra, co děláme špatně, že nám to funguje? Replikace snapshotu mezi 4 servery ve 3 lokalitach, komprese a šifrování zaonuto. Nikdy žádný problém a to se nám jeden server kvůli výpadku ups natvrdo vypl. Po zapnutí vše najelo, žádná ztráta dat. Kupodivu. Přežili to i db bez nutnosti obnovit cokoli.

[pavele]

Sakra, co děláme špatně, že nám to funguje? Replikace snapshotu mezi 4 servery ve 3 lokalitach, komprese a šifrování zaonuto. Nikdy žádný problém a to se nám jeden server kvůli výpadku ups natvrdo vypl. Po zapnutí vše najelo, žádná ztráta dat. Kupodivu. Přežili to i db bez nutnosti obnovit cokoli.

Poděl se s ostatními, jakou máte konfiguraci, jaký souborový filesystém, jak je to zapojené a tak. Určitě to bude zajímat nejen mne.

[..... Izak .....]

Ano ale v kazde lokaci samostatny cluster - to jsme zkouseli taky, to jede OK - VM je pak mozno - RUCNE najet

[Ruža Becelin]

Bohuzel nema GFS ani jeho obdobu z Oracle-Linux - i kdyz jde nasadit - ale FC diskove pole podporuje, nemi tam teda thin. prov - ale LVM funguje

Thin provisioning na FC jde pres OCFS2, mame to nasazene a funguje je to, ale neumi to io_uring a neni to supportovane, takze ee na nasazeni u zakazniku.

Lepsi je pouzit ZFS over iSCSI, popr. Ceph cluster napric nody.

[..... Izak .....]

Ano - OCFS2 je Oracli kopie GFS2 - vim o tom, rucne to rozjet, namontovavat vsude do adresaru a rict ze jsou shared - a yep nesupportovane - ale zase kdyz to jede

LOL na ZFS zapomen, to neni sdilene, iscsi - LOL ale paradoxne proxmox tvrdi, ze presne tohle supportuje a pres FC ne, pres FC se ZFS nadherne znici - a obavam se ze i pres iSCSI - ZFS nikdy vice - kazdy muj test ZFS dopadne jeho znicenim a nemoznost jej opravit - a zakaz uziti ve firme

Ceph funguje skvele - ale plitva mistem - mas data 2-3x - muzes mit i vicekrat - pak funguje skvele blokova replikace na vzdaleny CEPH v jinem clusteru btw mel jsme pod tim FC pole, ja skori nic jineho nemam - ale nesdilene LUN samozrejme - a neb kdyz jako lab mas 2x HPE Primera - full flash - protoze rozsireni stalo vice nez nove diskove pole s 6 letym supportem a pak nejake EMC powerstore a unity

[MP]

Kolega ma cluster pres 4 DC s ceph, ale on je sitarska firma poskytujici sluzby v ramci DC, takze disponuji i 40 Gbps propoji mezi datacentry. A nestezuje si, ze by mel problemy. Proxmoxem doporucovane reseni to samozrejme neni.

[..... Izak .....]

Jo mi meli neco podobneho na vmware, ktery ale nema problemy ani s pomalejsi linkou, aktivni DWDM jsme meli min. 2x a sel pres to i FC - neb jsme tam meli NetaApp metrocluster.

Oni navrhovali nesmysly ala vmware DR etc. A mi jim rekli, ze je to blbost, ze data tam diky MC maji, tudiz usetritlicenci a maji natvrdo udela jeden cluster pres 2 DC a rtovbnoui to cele aktivne vyuzivat - datastory meli pres NFS

Ted to mame slozitejsi, nemame netapp a mame nekde silne linky, jinde slabe, mame dedikovane DR jako dalsi cluster, ale casto kdyz je to office tak tam bezi jeden AD, DHCP, Proxy atd. - a obcas live migrujeme VM mezi clustery a DC - coz prave proxmox pokud vim neumi, umi to replikovat, pak je treba puvodni vypnout, doreplikovat a rucne zapnout jinde ... Kdyz je slaba linka, tak disk VM skoro nefunguje ale na vmware a je lepsi to tahat pres veeam a udelat offline migraci, nekde jsme rekli, ze jim i zmenime IP, ze jim je to jedno, zmenime to v DNS, nekdy se migruji i VLAN - logicky live migrace jinak ani nema smysl, offline ruzne.

Ale delasli jsme testy asi vseho a krom vmware ktery je nejlepsi, zvklaste kdyz mate sdilene FC je temer vse shit a jediny nadejny a s omeznim funkcni je proxmox ... a nebo vlastni KVM popr. OpenStack

Ted mame resisni snadne, zustavame na vmware a license se setri tak, ze miugrujem rancher a kuberents clustery na fyzicke servery a tam pobezi podman/docker - s tim, ze bud ridici servery budou na vmware nebo spise dedikujeme 3 - kazdy ridici server bude 3x a kaslem na sdileni storage - tam pobezi KVM a pri upgrade hlavne firmware se proste 1 server shodi, to same SW upgrade atd. zalezi zda se vyplati pro ridici servery plytvat vykonem serveru co maji hodne jader a RAM a zda nevyjde lepe to nechat na vmware, popr. koupit slabsi servery

[..... Izak .....]

Proxmox rika, ze kdyz je nizka latence, tak ze je to OK - a kdyz je to spolehlive spojeni, coz mezi vlastnim DC co jsou od sebe max 200km, radeji 100km byva - ja jen ze vmware se z toho nepo* a kdyz strati spojeni, tak VM dale bezi a pak se zase sam hezky zapoji - na VC ztracime spojeni uplne bezne aspon 1x tydne, mame jeden VC pro nekolik zemi mezi 3 kontinenty - pravda lokalni cluster mezi sebou spojeni ma, ale ztrati VC

[NUKE GAZA! 🎆]

Vlákno bylo přesunuto do samostatné diskuse.