Dotaz: Malá firma - KVM (proxmox) vs ESXi

[Michal2]

Zdravím, stojím před problémem nasazení nového serveru do firmy, do kterého chci přemigrovat všechny současné servery (4x linux, 3x widnows) jelikož jim jednak začínají povážlivou rychlostí odcházet špatně sehnatelné komponenty a také se to špatně managuje a backupuje, o zbytečné spotřebě nemluvě. Spočítal jsem si, že všechny ty servery nahradí jediný dvanáctijádrový xeonek s 64GB paměti a ješte zbude značná rezerva. A cenově to je pořád lepší než koupit 7 serverů což bych stejně musel v dohledné době udělat. Storage chci lokální kvůli rychlosti a ceně. Přemýšlím o ZFS RAIDZ z 4 SSD disků, z čehož podle předběžného měření vymáčknu něco přes 1.5GB/s sekvenčně a dvojnásobek IOPS oproti jednomu SSD. Obojí o třetinu více, než je potřeba. Pro virtualy bych delal ZVOL-y a ty bych daval virtualum jako RAW device.

Primocare reseni je pres proxmox, ktery umi root na ZFS. Jedine, ceho se obavam je vykon KVM. Zadne novejsi srovnani ESXi a KVM nemuzu najit a starsi vyznivaji pro KVM pomerne spatne. ESXi je komplikovane v tom, ze se musi delat passthrough diskoveho radice do virtualu, ktery obhospodaruje ZFS pro ostatni vistualy. Je to docela drbacka a ne na kazdem HW to jede. navic je treba resit to, ze samotne ESXi neni v teto situaci chraneno RAIDem (bezi z flash USB) pripadne se to jeste vic komplikuje druhym radicem s dvojici disku v raid1.

Mate v tomto smeru nejake zkusenosti, ktere by mi mohly pomoct rozhodnout se? Predem diky za nazory.

Odpovědi

[Heron]

Jedine, ceho se obavam je vykon KVM.

Výkon linuxového OS na KVM je lepší než na ESX. Při použití virtio na straně KVM. Virtualizovaný linux má virtio přímo v kernelu, takže to funguje rychle a out of box. Zatímco na ESXi se musejí doinstalovávat toolsy a hlídat každou změnu jádra (někdy se toolsy po update jádra zavedou automaticky, někdy nikoliv).

Takže výkonu u virtualizace linuxových os bych se vůbec neobával.

[Michal2]

Omlouvam se, mel jsem to presneji specifikovat, jde samozrejme o Windows servery pod KVM. Linux by v pripade proxmox mohly dokonce jit skrze kontejnery a tam bych se o vykon nebal uz vubec.

Jeste dotaz bokem, na jednom z tech serveru docela casto nekdo pracuje primo. Proto potrebuju pouzitelny "remote desktop". Je KVM skrze SPICY na lokalni siti dostatecne tychle? Teda rychlejsi nez remote desktop :)

[zdenek]

Potvrzuji z vlastní zkušenosti, že Spice je velice použitelný a dovolím si říci, že pomalejší než RDP nebude. Ověrováno připojováním na stroje s Win7. Určitě zajímavé jsou věci jako: Multiple monitors, Image compression nebo Video streaming. Dále co se týká tématu, tak by možná stálo za zvážení nasadit stroje 2 a pořešit Proxmox cluster.

[alkoholik]

Virtio drivery bezici s thready a virtualni Windows celkem frci..

[Max]

A stává se to i při použití open-vm-tools, který je aktuálně VMWarem doporučován?
díky
Zdar Max

[Heron]

open-vm-tool je zatím dostupný jen v RHEL7 (CentOS 7), a jen v epelu, takže zkušenosti jsou pramalé (málo strojů, málo provedených updatů kernelu). Ale je určitě pozitivní, že je to dostupné standardním balíčkovacím systémem.

[R]

V Debiane je balik priamo v distribucii a pri upgradovani jadra sa moduly automaticky prekompiluju, ak je to potrebne.

[R]

Neodporucam nahradu 7 serverov za jeden - ked ti to lahne, tak nepojde nic.

[Michal2]

BTW ted jsou 4 z tech serveru kriticke- kdyz lezi libovolny z nich tak se v kanclech nepracuje, probiraji se fotbalove zapasy nebo vcerejsi dily telenovely, zalezi zad jde o marketing nebo ucetni. Takze ctyrnasobne zlepseni. Vlasnte lepsi pac budu mit na pet let NBD zaruku :)

[zdenek]

Záleží jaká je NBD záruka :) Někdy to může znamenat, že sice přijede technik v rozumném časovém horizontu, ale řekne, že tenhle díl není a bude zítra, pozítří. NBD v plné palbě stojí docela dost peněz (mluvím o HP). Co třeba když stroj vypadne v pátek v 7:30, nahlásím závadu, technik přijede podle NBD v pondělí v 7:30 a já mám na potvoru firmu, která jede i přes víkend :) ? Chci tímto nasměrovat k zamyšlení se nad PVE clusterem a nějakou super NBD nasměrovat na nákup druhého stroje.

[Ondro]

Suhlas

NBD zaruka nedostacujuca pri kritickejsich veciach. V podstate kazda zaruka, lebo nikto ti neda zaruku, ze ti to opravi do vtedy a vtedy. Ak by ti ju aj nahodou dal, tak by bola velmi draha a tym padom nepredajna. Mam svoje skusenosti a na NBD sa nespolieham ani nahodou. Ako napisal Zdenek - ak mas nieco kriticke, tak bud cluster alebo druhy nahradny stroj.

[R]

NBD u HP skutocne nie je ziadna vyhra. Stalo sa nam pred par rokmi, ze to trvalo viac ako tyzden. Nahradny disk nebol na sklade, nasledne prisiel nejaky uplne iny...

Zato u DELLu nebol nikdy problem.

[SAM:]

Pokusím se ti poradit na základě svých zkušeností.

1) určitě ty nové servery chceš minimálně dva, nejlépe identické, s dobrým NBD on-site, nebo pokud máš peníze, tak 4h Mission Critical Advanced Host Recovery. Každá firma tomu říká jinak. Hlavně aby to bylo on-site. 2) ZFS se mi na hypervisorech neosvědčilo, žere to RAM a výkon, hlavně když máš disků víc, i když omezíš ARC v RAM. ZFS je výborný na dedikovaný storage, přímo na Hyper ne. 3) SSD SATA disky jsou dneska cool, ale víc 10k 2.5" SAS3 disků o kapacitě 1.8TB jsou dlouhodobě spolehlivější. Předpokládám, že na SAS SSD asi nemáš ? 4) bacha na řadič IT vs. IR mód a možnost přepnutí. 5) dobře si rozmysli, jak budeš řešit DR v okamžiku, když ti ta mašina lehne. Co budeš dělat těch 8+ hodin, než ti to začne někdo řešit.

[mca]

Jak muze byt HDD spolehlivejsi, nez-li SSD? V principu nemuze.

[Peter Golis]

Hovorí sa tomu stredná doba poruchovosti, skús si o tom niečo pozrieť. Zmeníš názor.

[alkoholik]

Zkusenost rika, ze o Vasem nazoru by se dalo s uspechem pochybovat. A vykon SSD je taky radove nekde uplne jinde.

[Peter Golis]

Skúsenosť popierajúca strednú dobu medzi poruchami, to znie zaujímavo. Nemáš ešte nejaký ďalší oxymorón?

[alkoholik]

Seagate Savvio 10K SAS maji MTBF 1,6 milionu hodin. Zkusenost rika, ze do deseti let jsme jich uz pres polovinu vymenili.
Z Intel SSD (MTBF podle typu 1,2-2 milionu hodin) zatim ani jeden.
Ta stredni hodnota je jako u velikosti penisu. Prumer pry nekde kolem 15cm, ale kdo z vas to ma?
Jeste nejaka moudra z Bratislavy?

[Peter Golis]

Pokiaľ ste používali disky určené do diskového poľa v linuxovom SW raide, tak ste na tom ešte dobre. To ale nie je chyba diskov.

Ale čo sa ja vybavujem s človekom čo sa sám tituluje alkoholik.

[alkoholik]

Moc mocinky prosim, ukaz mi datasheet disku, kde je napsane, ze je urceny pro linuxovy SW RAID.

[Peter Golis]

Pravdepodopbe ťa zaujíma opačný prípad, že disk nie je určený na uplatnenie mimo HW poľa. Kôli inému interpretovaniu hodnôt SMART. Neurobil si chybu v tom? Odhadujem, že áno.

[alkoholik]

Nerozumim reci tveho kmene.

[Peter Golis]

A napriek tomu sa k tomu vyjadruješ.

[vandrovnik]

Můžu poprosit o info, v čem se bude lišit zátěž v SW a HW diskovém poli? Nevybavuju si, že bych u nějakého disk četl, že se sice hodí pro RAID, ale jen HW.

[Peter Golis]

Disky do HW poľa označujú aj napríklad meškanie údajov ako chybu cez SMART. Linux ich potom na základe takýchto preň nepodstatných údajov vykopáva ako vadné kusy.

[vandrovnik]

Linux ten disk podle mého soudu vykopne z pole ve chvíli, kdy mu disk např. na požadavek čtení oznámí, že došlo k chybě (a zároveň se asi zvětší nějaké počítadlo ve SMARTu). Jestli takový disk v poli nechat nebo ne, to je asi různé případ od případu - pokud by ten disk např. zůstal v poli a každý pokus o čtení z něj by trval řekněme 3 sekundy, než by disk řekl, že to zase nestihl, protože chyba, šel by výkon toho pole pěkně do kytek...

[Peter Golis]

Keď porovnáš skúsenosti s diskami čo reportujú aj ako chybu že údaje prečítali s 20% meškaním oproti priemerným hodnotám toho disku, tak vo výsledku nemôže byť tvojich 0.33 IOPS. A v tom je problém. Diskové polia to používajú na balancovanie výkonu.

[vandrovnik]

Jenže to neoznámí jako chybu při čtení, možná to je opravdu jen nějaké políčko ve SMARTu, ale dost pochybuju, že by podle toho SW RAID ten disk vyhodil.

[alkoholik]

Ja mam mozna nick alkoholik, ale ty musis chlastat nejmin 2x vic.
Linux rozhodne nevykopava disky z RAIDu na zaklade cteni udaju ze SMARTu!
Pravdepodobne mas na mysli nastaveni ERC/TLER/CCTL, kterym disku rikas, ze se ma disk pri problemech pri cteni misto nekonecnych pokusu po urcite dobe vzdat a zahlasit chybu. Na zaklade te chyby Linux korektne vykopne disk z RAIDu, protoze je skutecne vadny. A ano, tohle nektere disky pro desktop implementovane schavalne nemaji.
Ale jinak tu meles neskutecne blbosti..

[R]

Presne tak. Kernel nikdy nic zo SMARTu necita.

[Peter Golis]

Takže podľa teba majú linuxové distribúcie implementovanú podporu SMARTu len na parádu, a na nič sa nevyužíva. Už to nechlastaj, nerobí ti to dobre. A ostatným nerobí dobre ak sa vyjadruješ k veciam ktorým nerozumieš.

[Jendа]

Takže podľa teba majú linuxové distribúcie implementovanú podporu SMARTu len na parádu, a na nič sa nevyužíva.

To určitě netvrdil.

Mně taky MD nekouká do SMARTu. SMART mi čte jenom SMART démon, a když je nějaký problém, tak mi pošle mail, ale určitě to nevykopne z pole.

[alkoholik]

Neztracej s nim cas, ja uz si ho blokuju..

[Max]

Můžeš dodat pro své tvrzení nějaký důkaz?
Protože mně též není známo, že by se tak kernel, nebo mdadm měl takto chovat. Ono totiž ani z logického hlediska je to nepravděpodobné, SMART není nijak standardizován a každý výrobce si ho implementuje jak je libo (každý výrobce dost obecných hodnot využívá jinak).
díky
Zdar Max
PS: implementace SMART v linuxu není jen tak pro parádu, ale proto, aby běžel smard daemon, který bude v definovaných intervalech kontrolovat disky (provádět testy + kontrolovat záznamy ve SMARTu) + případně pošle echo adminovi

[Peter Golis]

Zažil som zopár reklamácií na také disky ktoré boli vybavené zámenou za úplne inú kategóriu diskov.

[Max]

Nechápu, jak to souvisí ...
Zdar Max

[pavlix]

Takže podle tebe, když jsem měl na disku vypnutý smart, tak mi nefungoval v poli? Oh wait...

[Peter Golis]

Otočil si to z polovice opačne.

[pavlix]

Piš srozumitelně nebo to radši rovnou zabal.

[Peter Golis]

Keď nevieš čítať, načo píšeš?

[pavlix]

Facepalm.

[pavele]

1. Kolik dat proteklo přes Seagate Savvio 10K SAS a kolik přes Intel SSD?

2. Jaká byla cena za jeden Seagate Savvio 10K SAS a jeden Intel SSD?

3. Jaké bylo zatížení Seagate Savvio 10K SAS a Intel SSD?

Díky za odpověď.

[Michal2]

Hlavni problem je to, ze lidi nevi, co MTBF znamena a operuji s touto hodnotou naprosto chybne. MTBF cechu je 1000 let. Spocitano presne podle definice. Uz to by mohlo naznacit, ze ta hodnota asi znamena neco jineho, nez si leckdo mysli.

[alkoholik]

Jaky je rozdil mezi otazkou c.1 a c.3?
Samozrejme nejsem uplny trotl a vim, jake limity na zapis u SSD jsou a podle toho je zatezuju.
Mozna tomu neuveris, ale nektere ty SAS disky se drtivou vetsinu sveho kratkeho zivota kopaly do zadku. Byly dokonce ve firewallech, kde zapsaly a precetly mozna i celych 10GB dat (kdyz odectu uvodni sync HW RAIDu)! Proti nim ty SSD makaji jako barevni. Neni problem provozovat na dvou Intel SSD 520 treba 5 pomerne vytizenych virtualu. Jenom si musis dat bacha na zapisy nebo se smirit s faktem, ze to je proste spotrebni zbozi a cas od je vymenit.
Co se tyka ceny, mam tu kousky od dvou do desetinasobku ceny za GB (od 520 po P3700). Ale ted uz se to celkem rychle priblizuje.
Na druhou stranu jsme meli pole od EMC na FC discich a tam za celou dobu odesly jenom baterky a GBIC.

[R]

Nam sa v poli EMC par FC diskov vysralo. Vsetko Seagate jedneho typu. Minule som videl v logu zase soft errory, teraz tusim z posledneho disku toho typu, takze ten bude koncit tiez. Ostatne typy Seagate drzia, rovnako ako Hitachi.

[Peter Golis]

Rozdiel medzi otázkami 1 a 3 je v znení, pričom všetky uvedené otázky majú jednu vec spoločnú. Zatial si ich nezodpovedal.

[Jendа]

Jaky je rozdil mezi otazkou c.1 a c.3?

Čekal bych, že rychlé seeky budou mechanický disk namáhat víc, než SSD. Takže při zátěži, kde se čtou malé náhodné bloky, se přenese stejně dat, ale rotační disk to zatíží mnohem víc.

[R]

Seagate malo par nie velmi podarenych serii diskov. Nam tiez v jednom serveri odisli asi 4ks (2,5" 15K).

Ale napriklad Fujitsu neodisiel (od roku 2007) ziadny. A to maju niektore (3,5" 15K 72GB) zapisanych 178TB. Pritom "Elements in grown defect list: 0".

[Jendа]

Myslím, že s dnešními analogovými (8 úrovní v jedné buňce) SSD s malinkými buňkami a výrobcem udanou životností několik málo write-erase cyklů, toho není těžké dosáhnout.

[mca]

Takovou hovadinu muze udelat jen cesky linuxak z abc. Jak to neni entry/z poplenice, tak je vsechno spatne. My normalni pouzivame normalni disky (start na Optimus Eco, prokladne Ultrastar/Savvio a koncime u velkych krav) = Tiered Storage a SSD jsou zatracene vyhodne, i kdyz pocatecni cenovka nevypada lakave. Jiny smysl ta odpoved/narazka nemela.

[Jendа]

Ptal ses, jak může být HDD spolehlivější než SSD. Ne jak může být HDD spolehlivější než kvalitní a drahý SSD.

Mimochodem i Optimus Eco a Ultrastar jsou MLC, Savvio nevím.

[mca]

Prosimte, nech toho. I ty levne consumer, pokud uz by byl nekdo tak hloupy dal je tam, budou spolehlivejsi. Useekovat na Exchange, Sharepoint, Virtualech s postou, db ... obecne OLTP je otazka velmi kratkeho casoveho useku. Stejne tak online deduplikace, nebo je proste jen zrusim tim, ze buou malo dat.

 

 

Savvio jsou spolehlive a osvedcene plotny od Seagate, modelu je vicero, ale jsou to plotny.

http://www.seagate.com/staticfiles/docs/pdf/datasheet/disc/savvio10k5-fips-data-sheet-ds1727-4-1201-us.pdf

[Michal2]

1) to mi docela narusuje financni analyzu ovsem... 2) Storage bude mit jen 3 TB; pokud ZFS vyhradim 12GB pameti, tak preci musi chrochtat blahem. Zvol, snapshoty skoro zdarma + send na NAS pro backup bezicich VM - tomu se tezko odolava

[xkucf03]

Nebo si kup dvě „spotřební“ PC a do 4 hodin (spíš mnohem dřív) si sám skočíš do běžného IT krámu a koupíš si jakoukoli součástku sám

A/nebo si budeš udržovat vlastní „sklad“ – disk a zdroj není problém koupit do rezervy. Možná i nějakou tu RAM (ale ty moc neodcházejí a i kdyby, tak ti nejspíš neodejdou všechny a server s omezenými zdroji chvíli provozovat můžeš), případně koupit i jednu desku. Procesory jsou drahé, ale že by ti shořel CPU je celkem nepravděpodobné, takže na to bych se vykašlal.

[R]

Problem je, ze bezne PC vacsinou nemaju ECC (musi sa kupit Xeon a k tomu vhodna doska), redundantny zdroj, hot-swap disky a moznost montaze do racku - a pridanim tychto veci sa cena vyrazne zvysi.

Ja tiez prevadzkujem par serverov z beznych PC - a to dost starych (P3 a P4). Drzia sa velmi slusne, ale nejaky vacsi server by som takto nerobil.

[Max]

My jedeme HP servery, máme NBD a i tak si držíme třeba disky skladem, minimálně od každého typu 1ks.
Zdar Max

[Jendа]

1) určitě ty nové servery chceš minimálně dva, nejlépe identické, s dobrým NBD on-site

Když bude mít dva, tak naopak rychlý support nepotřebuje (pokud nepředpokládáš, že se oba rozbijou den po sobě).

ale víc 10k 2.5" SAS3 disků o kapacitě 1.8TB jsou dlouhodobě spolehlivější. Předpokládám, že na SAS SSD asi nemáš ?

Interface asi nebude souviset se spolehlivostí, že? A když bude mít RAID se spare, tak mu to, že občas nějaký odejde, asi vadit nebude.

5) dobře si rozmysli, jak budeš řešit DR v okamžiku, když ti ta mašina lehne. Co budeš dělat těch 8+ hodin, než ti to začne někdo řešit.

Pokud si ty servery koupí dva, tak se podívá, jak se ty virtuály automaticky nastartují na druhém serveru, a dá si nohy na stůl :).

[Jendа]

ESXi je taková ta věc, jak to má management jenom jako windowsí aplikaci, a ještě bys tam musel hackovat storage přes speciální ZFS virtuál? Podle mě je volba naprosto jasná.

[Heron]

ESXi je taková ta věc, jak to má management jenom jako windowsí aplikaci

Tohle už je naštěstí minulostí. ESXi je dnes taková ta věc, která má management jako flash webovou aplikaci a která jede jen někdy a jen v některých prohlížečích a kde třeba nefunguje předávání klávesových zkratek jako ctrl+c apod...

[xkucf03]

Ano, dělají pokroky. Potřebuješ potřebuješ proprietární Flash, dost možná i proprietární prohlížeč (MSIE) a aby ti fungovalo připojování ISO obrazů z klienta, tak ještě nějaký jejich proprietární plugin. Opravdu webová¹ aplikace jak má být

_{[1] zejména co se týče těch špatných, jako že jsi ohrožený phishingem, CSRF útoky a dalšími chybami prohlížečů a webu obecně}