Základní info o ESXi free a dlouhodobé zkušenosti

7.4.2015 07:29 | Přečteno: 20677× | plky | poslední úprava: 31.5.2016 07:52

Souhrnné info o ESXi, jeho nasazení, problémech, cenách, zálohování apod.

• Historie nasazení virtualizace ve firmě
• Co je ESXi
• Nasazení ESXi
• Problémy s ESXi a nějaké další vyjasnění
• 1) Záhadné nenaběhnutí a pád
• 2) Problém s upgrade
• 3) Problémy s VMFS
• ...
• 18) Komunita + komunitní balíčky a ovladače
• Jak levně na ESXi
• Cenový souhrn a možnosti
• ESXi Free
• ESXi + Essentials Kit
• ESXi + Essentials Kit Plus
• ESXi + Standard + vCenter
• ESXi + Enterprise + vCenter
• ESXi + Enterprise Plus + vCenter
• Zálohy, aneb další investice
• Veam Backup
• Veam Essentials
• Veam backup full
• vSphere Replication
• Chytrý storage
• Závěr

Historie nasazení virtualizace ve firmě

Když jsem nastoupil do firmy, tak tam bylo několik málo serverů + hafo desktop pc, na kterých běžely různé app. Jedna taková app byla od Software602. Jmenovalo se to DTS. Tato aplikace sloužila k vybírání emailů, separování příloh apod. Tenkrát to pracovalo s Software 602 Mailserverem, což bylo také na svou dobu zajímavé řešení. Mno, tato app se občas dostala do stádia, kdy byl celý PC nedostupný, nešlo vnc, rdp, nic. Všechno hlásilo, že došly zdroje, ale veskutečnosti byla app DTS zaseknutá a prapodivnou chybou. Oprava nehrozila, protože DTS přestalo být podporováno.

Naladil jsem tenkrát VMWare Server pod linuchem, ten byl free i pro komerční použití. Desktop PC od HP takto běžel hafo let, s průměrným zatížením nešel pod 3. Nonstop na max vytížen (běžely tam dva virtuály s winxp). Když se DTS zaseklo, přistoupilo se na VM přes web konsoli a bylo to. Problém vyřešen a jeden PC ušetřen. Každopádně VMWare server byl šíleně pomalý na diskových operacích. Další problém bylo, že upgrady na novější verzi nebyly úplně nejčistší a člověk musel prasit.

Co je ESXi

ESXi je hypervisor, tzn. nějaký základní systém, který umožňuje běh virtuálních strojů. Instaluje se z CD a průběh je velmi jednoduchý. Přes základní konzolové rozhraní si nastavíme IP + jméno a pár dalších věcí a poté se lze na ESXi připojit pomocí VMWare klienta, kde jde vše pohodlně naklikat. Aktuální free verze je bez limitů na pamět či CPU a lze jí používat i pro komerční prostředí. Oproti placené verzi chybí API na storage a další věci, díky čemuž nelze využívat komerční nástroje. Jak vypadá instalace a rozhraní lze vidět např. na tomto videu : vSphere 5.5 - How to install and configure VMware ESXi 5.5

VMWare podporuje zvirtualizovat nejvíce druhů systémů, v tom je asi bezkonkurenční. Taktéž patří mezi ty nejdražší. Ovládání je také relativně jednoduché, pěkně klikací.

Nasazení ESXi

Tenkrát vydal VMWare ESXi verze 3.5. To bylo něco, na čem se dalo stavět. Rozhodl jsem se to zkušebně nasadit. Tenkrát ani moc možností nebylo, navíc ESXi byl klikací, což je pro mé kolegy jen plus. Limity free verze mně netrápily, nesáhli jsme si na ně. Postupně jsem na ESXi zmigroval skoro všechny servery. Počet běžících PC/serverů rapidně klesl. Postupně jsem začal poznávat HP bundly, HP customized img, ve kterých už šlo vidět stav pole, jednotlivých disků, cache na řadiči apod. Nedjříve jsem tedy nasazoval HP Bundle, poté už jsem pracoval jen s HP a IBM Customized verzemi ESXi, které měly oproti čistému ESXi navíc drivery a různé tooly pro HP/IBM servery (proto jde u nich vidět kompletní stav serveru apod.).

V současné době pod ESXi provozujeme Exchange 2007/2013, Windows server 2003/R2, 2008/R2, 2012/R2, Debian, CentOS, OEL, Kerio Connect, testovací Oracle a spoustu dalších věcí.

Migrace fyzického stroje do virtuálu vždy proběhla plně ok. Slouží k tomu vCenter converter. Není potřeba vCenter. Jen jsem vždy stopnul služby na fyzickém stroji, nainstaloval converter, zvolil, na jaký ESXi se má stroj nakopírovat/vytvořit a hotovo.

Problémy s ESXi a nějaké další vyjasnění

S ESXi jsem měl/mám několik problémů.

1) Záhadné nenaběhnutí a pád

Stalo se mi, že mi server po regulérním rebootu nenajel a musel jsem udělat recovery ESXi z CD. To se mi stalo jednou v životě a to u ESXi 3.5. Od té doby jsem neměl problém (cca asi 8 serverů). Nicméně u ESXi 5 jsem viděl Pink Screen (pád ESXi). Ten se opakoval 2x a vyřešil jsem ho zřejmě upgradem na ještě novější verzi ESXi. Bylo to asi před rokem. Pravdou je, že ESXi jsem povýšil na verzi, která přestala oficiálně daný HP server podporovat, ale drivery byly. Jinak několik ESXi šlo dolu důsledkem výpadku proudu a vadné ups a vždy ok. Vše bez problémů ESXi přežilo, včetně VM na něm běžících.

2) Problém s upgrade

Problém byl upgrade ESXi na novější verzi. Tenkrát se moc nepočítalo s místem, takže v jistých konstelacích nešlo provést upgrade z ESXi 3.5 na 4.0 a jediné řešení bylo zazálohovat VM a reinstalovat (resp. odstranit datastore a poté znovu nainstalovat ESXi, znovu vytvořit datastore, nakopírovat VM atd.). Od té doby jsem nenarazil na problém.

3) Problémy s VMFS

VMFS je FS od VMWare, kterým se formátuje uložiště, kde jsou jednotlivé VM. První problémy, na které jsem narazil, byl nevhodně nastaven block size : Block size limitations of a VMFS datastore. Velikost bloku se nedá změnit. U starších verzí jsem pak narazil na limity VMFS jako takového, kdy jsem potřeboval větší, jak 2TB disk. To jsem musel řešit jak idiot. Musel jsem vytvořit více datastore s maximálním block size, čímž se člověk dostane na 2TB max. Datastore lze spojit do jednoho velkého, což jsem udělal. Je to výhodnější ze dvou věcí, člověk nemá tunu datastore a nemusí řešit zbytkové volné místo na jednotlivých datastore. Problém ale je, že i když se takto datastore spojí do jednoho velkého, tak nelze vytvořit větší soubor jak 2TiB. Člověk si tedy disky musí povytvářet max. 2TB VM disky a ty spojovat v rámci VM. Tyto limity byly odstraněny až s verzí ESXi 5. V současné době jsou tedy limity mnohem příznivější.

4) Podpora HW

Podpora hw je v ESXi celkem nic moc. HP a IBM dodává své customized img + popř. Bundle packy + něco je ke stažení u VMWare, ale pokrýt se tím dá jen pár věcí. Když k tomu připočteme, že už nebývají podporovány starší verze HW, aspoň né oficiálně, tak se dostáváme oproti jiným virtualizačním řešením na mnohem omezenější hw. Ale ruku na srdce, ono to jednak většinou ve firmě stačí, dále to je garantovaná podpora. Ovšem i problémy s deklarovaným hw se občas vyskytnou (mně se to nestalo, ale řešil jsem to u někoho + lze vidět i nějaké problémy na netu).

5) Podpora SW pole

Na to lze zapomenout, kdo nemá HW řadič, má smolíka, raid mít nebude.

6) SWAP file

Pokud použijete sdílení paměti / memory overcommit (nebudete garantovat jednotlivým VM volnou ram), tak ESXi si vytváří swap file. Je to asi pojistka, kdyby došlo k zaplnění ram, aby nedošlo k pádu a mohl tak VM přiřadit aspoň něco. V takovém případě pak může dojít ke kuriozní situaci. Chcete třeba rozšířit disk a máte VM vypnutou, přiřadíte jí zbytel volného datastore formou zvětšení aktuálního disku. V takovém případě pak nemusíte VM spustit, protože už nebude mít místo pro swap file. Pokud jste zvětšovali kapacitu VM formou zvětšení disku, tak jste trochu nahraný, protože zmenšit se už nedá. V takovém případě musíte editovat mašinu a změnit nastavení ram (garantovat paměť pro VM), tím se swap nevytvoří a fungujete. Další možností je editovat nastavení mašiny a změnit cestu swap filu někam, kde máme volné místo.

7) Migrace VM mezi ESXi

Další problém byl a je přesun VM mezi více ESXi. Jsou dvě možnosti, buď přes ssh, což je ukrutně pomalý, nebo přes NFS server. To je mnohem rychlejší. Když člověk tedy potřebuje přenést VM mezi dvěma servery, musí VM nejdříve nakopírovat na nějaký NFS v síti a z něj poté na cílový ESXi. Placená verze ESXi totiž pro takové věci využívá storage API a vCenter (centrální mgmt), bez toho má člověk smolíka. Free verze nemá ani jedno.

8) Konzoli se člověk stejně nevyhne

Postupně jsem začal ESXi různě hackovat, dělat víc a víc věcí ručně z ssh konzole. Jen třeba přejmenování VM nejde udělat jinak (když opomenu export/import), než všechny soubory ručně přejmenovat a všechny cfg ručně poeditovat (přejmenování v rámci klikacích nádrojů je přejmenování jen v rámci inventáře - to, co se zobrazuje přehledu, nikoli fyzické přejmenování, pak je v tom bordel). To samé, když chce člověk rozumně čumět do logů, nasadit zálohování, nebo upravit nastavení ESXi (na ESXi verzi 5 se nejde přihlásit z winxp přes viconsoli dokud se neupraví na rhttp nastavení šifrování - KB2049143). Dále pak přidávání pravidel do firewallu, což je třeba nutnost v případě zasílání emailů backup scriptem. Dále grafické klikáto nezobrazuje všechny soubory, ale jen nějaký pěkný look, který by měl být pro uživatele dostačující. Kdo chce vidět vše, tak konzole. Těch věcí ve finále není málo.

9) Backupy jsou docela boj

Většina nástrojů na zálohování využívá storage API, které free verze ESXi nemá. Existují pak další nástroje, ale ty jsou win only a většinou neumí automatizovat, takže také nic moc. Poté tu je k dispozici sada skriptů ghettoVCB, která vytvoří snapshot, ten odkopíruje (buď na lokální storage, nebo na NFS) a poté smaže. Čas backupů se pak řeší přes cron. Lze zasílat i reporty na mail. Dále zde máme další free nástroj XSIbackup, info v cz třeba zde : VmWare esxi zálohování – XSIbackup. Nakonec jsem narazil ještě na jedno Free řešení : Unitrends Free. Zálohu Free ESXi to asi řeší formou nějakého agenta na hypervisoru + je řešení limitováno 1TiB zálohou. Kdo tedy jede Free ESXi a má méně, jak 1TiB dat, tak bych asi šel touto cestou.
Řešení tedy je, pro většinu snad dostačující.

10) ESXi a cron

ESXi má cron, ale nemá jeho smysluplnou editaci, takže kdo chce používat cron, musí dělat tuto šaškárnu : ESXi cron job. Tzn., že do "local.sh" se musí přidat příkaz na zjištění PIDu cronu, následně jeho zabití, poté push našeho jobu do crontabu a následně spuštění cronu.

11) Timezone

ESXi používá UTC a v rámci shellu neumožňuje nastavit timezone, viz : Adjusting ESX host Time Zone (1436). Kdo si tedy něco zapíše do cronu, použije u toho i "date", tak bacha na letní/zimní čas aj. věci a některé zápisy pak budou mít o pár hodin jiný čas. Jde to, ale někdy to může být nepříjemné.

12) ESXi a Monitoring a mgmt HW

Ten je občas také dosti problém. Free verze nemá třeba ani snmp. Je dost obtížné a někdy i nemožné monitorovat stav HW a hlavně, posílat echo adminovi. IBM severy, co máme, mají RSA, které umí posílat maily na různé hw události, což je ok. HP iLO toto neumí, HP má na monitoring HP SIM (System Insight Manager), což samozřejmě i něco stojí. Oficiálně se pro monitoring u ESXi používá CIM Providers.
Druhý problém s tím související býval s tím, že nešlo spravovat pole, hp nemělo tooly pro ESXi, takže přidání disků do serveru vyžadovalo odstávku. Tato situace se postupně lepší, ale stále bych si na to dával bacha a takovou věc si zjistil předem.

13) ESXi a API / CLI

Free verzi ESXi chybí několik API, jak na storage, tak na další věci. Nelze spravovat přes různé CLI jako u placené verze (nelze využívat komerční nástroje).

14) ESXi a vMA

Dřív bylo ESX, které se instalovalo jako plnohodnotný systém (říkalo se tomu service console). Poté přešel VMWare k ESXi, což je čistě jen hypervisor s minimem věcí (to nejdůležitější pro běh VM). Viz dále rozdíly mezi ESX a ESXi : Difference between VMware ESX and ESXi. Spoustu chybějících věcí se přesunulo do VM. Předpřipravené linuxové VM se všemi sdk, 3rd nástroji apod. nabízí VMWare ke stažení jako vMA (vSphere Management Assistant). Problém je, že u free verze ESXi nemusí přes vMA vše fungovat, protože free verzi chybí pár API na mgmt (viz předchozí bod).

15) ESXi a UPS

UPS se řeší dvěma způsoby (používáme APC, resp. Schneider). Buď má člověk ups připojeno přes usb, pak musí spustit nějaký VM na ESXi, jemu přiřadit UPS přes USB passthrough, tam rozjet mgmt pro ups a následně nakritpovat vypínání ESXi, které může díky vmware tools korektně vypnout i běžící VM. Další možností je zakoupit do APC ups network mgmt card, která ve své nejlevnější nejokleštěnější verzi stojí asi 6000,-Kč. Tím dostaneme UPS na síť a na ESXi stačí naladit přes vMA PowerChute Network Shutdown. Viz příklad nasazení : ESXi + APC PCNS. V současné době nevím, jak to s tímto je u free verze ESXi, protože chybějící API a tím pádem nemožnost používat několik CLI ve vMA.

16) Klikací web mgmt

Od verze ESXi 5 nasadil VMWare webového klienta, který má nahradit současného desktopového napsaného v C#, který v linuxu dlouho nejel ani pod wine. Tento nový klient je flash : Minimum requirements for installing the vSphere and vSphere Web 5.x Client, což je mnohem horší, jak kdyby to byla java. Hlavní problém pro uživatele free verze ESXi je v tom, že free verze webového klienta nemá, protože ten vyžaduje vCenter, viz : Installing the vSphere Web Client (2032890). VMWare ještě zachovává zpětnou kompatibilitu s desktop klientem, ale má to jednu podstatnou mušku. Každá verze hypervisoru obsahuje určitou verzi hardware pro virtuální mašinu. Když tedy člověk zaktualizuje hypervisor, tak musí ještě zaktualizovat vmware tools + pravým tl. myši musí ťuknout na VM a dát upgrade hardware. A v tom je problém, jelikož desktop klient podporuje max verzi HW8, s ESXi 6.0 přichází verze 11. To způsobí, že pokud máme upgradnutou verzi HW na max, tak nemůžeme editovat VM (upravovat HW). Jediný způsob je downgrade na starší verzi HW vypnutím VM, editací konfigu a jejího opětovného startu. Tím se dostáváme k tomu, zda je úplně nejlepší provozovat ESXi6 a v něm VM, které mají nastavený HW level na 8 (o tři generace ESXi zpět). Více viz Virtual machine hardware versions (1003746)
UPDATE: VMWare uvolnil ESXi 6.0U2, s touto verzí je součástí všech verzí (včetně té Free) web klient, takže konečně.

17) Centrální mgmt aneb vCenter

vCenter je centrální mgmt (a nejen to, běží přes to spousta vymožeností ESXi) pro ESXi hypervisory. Toto běží na windows serveru, jako backend to vyžaduje MS SQL (lze provozovat i na free verzi MS SQL, ale člověk pak může narazit na limity a má smolíka). Pro centrální mgmt je tedy potřeba nemalá investice.
Osobně se dostávám do situace, že mám tolik hypervisorů a tolik vm, že ztrácím přehled, kde co běží. vCenter umožňuje zobrazit všechny hypervisory a všechny vm v jednom rozhraní. Free verze má jen windows klienta, který lze připojit jen ke konkrétnímu hypervisoru a jsou vidět jen VM na tom hypervisoru. Voser.
UPDATE: Lze nainstalovat VMware vCenter Server Virtual Appliance (vCSA), což je VM, kde je Linux + Postgresql + vCenter.

18) Komunita + komunitní balíčky a ovladače

Kolem ESXi se vytvořila velká komunita lidí. Vznikly odladěné skripty na zálohy, vzniklo spoustu webwiki, co pomáhá s nasazením a úpravou free vrze ESXi, vznikl V-Front VIBSDepot, kde jsou komunitní balíčky pro ESXi (Community Packaging Tools ), existuje třeba i balíček pro Proftpd, iperf, Ib-opensm, ovladače pro různý nepodporovaný hw a spoustu dalších věcí. Osobně jsem kromě backup scriptu neměl potřebu nic ze zmíněných věcí nasazovat. Třeba ftp by se hodit mohlo, ale do produkce se mi to nechtělo takto řešit, je to další starost navíc.

Jak levně na ESXi

Existuje způsob minimální investice, díky které lze zprovoznit všechny API fce v ESXi. K tomu právě slouží koupě balíčku "VMWare Essential Kit", popř. "VMWare Essential Kit Plus". Zakoupením jednoho Essential Kitu je licence na 3 hypervisory/servery (má to limit, jeden server může mít max 2xCPU). Rozdíl mezi Kity viz : Compare VMware vSphere Editions etc. (úplně dole). Součástí je i licence na vCenter essential. Základní verze vyjde tedy na 445EUR (12460,-Kč) + 58,45EUR (1640,-Kč)/rok. Verze Plus, která zpřístupňuje nejen API, ale i několik pěkných fcí ESXi vyjde na 3105EUR(86940,-Kč) + 653EUR(18284,-Kč)/rok

Koupě základní verze Kitu si tedy zpřístupníme API ESXi, takže můžeme používat komerční řešení pro zálohy (jako např. Veam backup), tím získáme i plnou funkcionalitu vMA, dále můžeme používat web clienta a ve finále získáme i centrální mgmt. Toť vše, žádný HA, vMotion apod. To je až součástí Plus Kitu.

Cenový souhrn a možnosti

Pokud bych měl jít podle ceny a možností, tak člověk bude stoupat po takovém to žebříčku :

ESXi Free

• bez limitů na hw
• chybí centrální mgmt
• zastaralý klient pro správu (update : už ne, od verze 6.02U2 je součástí každého ESXi web client)
• chybějící API fce
• nemožnost používat většinu komerčních nástrojů pro ESXi
• nelze moc dobře nasadit žádné pokročilé zálohování
• nelze rozumně rychle přesouvat vm mezi hypervisory
• je to jen základ bez dalších fcí jako HA, failover, cluster, vMotion, Storage motion atd. atd.
• může být problém s některými ups, popř. člověk si musí pár věcí naskritptovat

ESXi + Essentials Kit

(1x licence = 3x ESXi = 12500 + (1600/rok))

• jedna licence je pro 3 hypervisory/servery, které mohou mít max. 2x CPU
• zpřístupní se všechny API fce
• mohou se využívat komerční nástroje
• součástí je licence na centrální mgmt vCenter
• můžeme použít aktuálního web clienta
• tato licence má početní omezení na lokalitu (lze tedy zalicencovat max. 3 servery na lokalitu, kdo jich má víc, musí jít do plnohodnotné licence a né kitu)

Celkem pro 3x ESXi/max 6x CPU na rok :
14 100,-Kč bez DPH
Další rok :
1600,-Kč bez DPH

ESXi + Essentials Kit Plus

(1x licence = 3x ESXi = 87000 + (18000/rok))

• jedna licence je pro 3 hypervisory/servery, které mohou mít max. 2x CPU
• zpřístupní se všechny API fce
• mohou se využívat komerční nástroje
• součástí je licence na centrální mgmt vCenter
• můžeme použít aktuálního web clienta
• Součástí jsou fce jako vMotion, High Availability, Data Protection, vShield Endpoint, vSphere Replication
• tato licence má početní omezení na lokalitu (lze tedy zalicencovat max. 3 servery na lokalitu, kdo jich má víc, musí jít do plnohodnotné licence a né Kitu)

Celkem pro 3x ESXi/max 6x CPU na rok :
105 000,-Kč bez DPH
Další rok :
18 000,-Kč bez DPH

ESXi + Standard + vCenter

(1x licence = 1x CPU = 1x ESXi = 25000 + (6900/rok) + 1xvCenter std = 125 860 + (26400/rok))

• není součástí licence na vCenter, musí se koupit zvlášť
• licence je na cpu, server už tedy není limitován max počtem cpu jako u kitů
• oproti kitům přináší navíc ještě fault tolerance, storage policy, hot add, virtual volumes

Celkem pro 1x ESXi, 1x CPU + vCenter na rok :
184 000,-Kč bez DPH
Další rok :
34 000,-Kč bez DPH

ESXi + Enterprise + vCenter

(1x licence = 1x CPU = 1x ESXi = 72000 + (15000/rok) + 1x vCenter std = 125 860 + (26400/rok))

• není součástí licence na vCenter, musí se koupit zvlášť
• licence je na cpu, server už tedy není limitován max počtem cpu jako u kitů
• oproti std verzi přináší navíc ještě big data, DRS, DBM, storage API pro multipath

Celkem pro 1x ESXi, 1x CPU + vCenter na rok :
240 000,-Kč bez DPH
Další rok :
42 000,-Kč bez DPH

ESXi + Enterprise Plus + vCenter

(1x licence = 1x CPU = 1x ESXi = 88000 + (19000/rok) + 1x vCenter std = 125 860 + (26400/rok))

• není součástí licence na vCenter, musí se koupit zvlášť
• licence je na cpu, server už tedy není limitován max počtem cpu jako u kitů
• oproti ent verzi přináší navíc ještě Storage DRS, vGPU, storage/network I/O control, SR-IOV, distribution switch, auto deploy, flash read cache ...

Celkem pro 1x ESXi, 1x CPU + vCenter na rok :
260 000,-Kč bez DPH
Další rok :
45 000,-Kč bez DPH

Jak vidíte, tak licence na jeden CPU vyjde na poměrně zajímavou cifru. Teď si představte, že potřebujete mít více serverů a více CPU a jste s licencema v milionech. Jenomže tím to ale nekončí. V ceníku nejsou zohledněny např. nutné požadavky na vCenter, což je Windows Server = 16000,-Kč bez DPH (v případě OEM verze) + MS SQL Server 2014 Standard (Co nového v licencích SQL Server 2014). Dále je v ceníku počítáno s nejnižší možnou cenou za support : Basic, další možností je mnohem dražší Production.

Zálohy, aneb další investice

Myslíte si, že tím to končí? Ale kdepak, potřebujete ještě rozumně řešit backupy. Takže máte tyto možnosti:

Veam Backup

Veam je proslulý svou kvalitou a zná ho snad každý,

• Veam Essentials

  Veam se dodává i v Essential verzi, která je limitovaná pro 2 CPU patice na server a maximálně může jedna firma nakoupit licenci pro 6 patic.

• Veam backup full

  Přehled a ceny viz : Veeam Backup & Replication v8 Comparsion. Může se tedy licencovat na socket. Kdo potřebuje aspoň pár slušnějších fcí, musí sáhnout po verzi Enterprise, která stojí 30 000,-Kč / Socket. Na tuto edici člověk vstoupí v případě, že přešvihl serverema essential limity. Tudíž má více, jak 6x socket. Nebývá problém mít ve střední firmě minimálně 4x dvouprocesorový server v produkci + další jako backup / failover / test servery. My jsme střední firma a máme cca 17x cpu. Tím se dostáváme na částku 500 000,-Kč bez DPH.

vSphere Replication

Toto je další způsob, jak řešit zálohy. Vtip je v tom, že tato technologie je sice součástí již zmíněných licencí, ale pro automatizaci celého procesu je potřeba si koupit ještě SRM (Site Recovery Manager), který je licencován na počet zálohovaných VM. Prodává se po 25VM balíčku a je dostupný ve dvou edicích :

• SRM Standard - je limitován počtem VM na instanci, což je maximálně 75 VM, licencuje se na počet VM
• SRM Enterprise – bez limitů, licencuje se na počet zálohovaných VM, nebo na CPU

Nějaké bližší info :
Per Virtual Machine Licensing
Difference between VMware vCenter Site Recovery Manager Standard and Enterprise editions (2000394)
VMware vCenter Site Recovery Manager Standard 25 Virtual Machines 3yr E-LTU = 7900 USD

Chytrý storage

Další možností, jak řešit zálohy, je na úrovni storage. Tzn., že by ESXi mělo externí storage, který by uměl replikaci, snapshoty a další věci, což velká externí pole s přikoupeným sw umí. Nebo se může pro storage použít linux server a jeho nástroje (lvm, drbd apod.)

Závěr

Jak můžete vidět, tak pro kompletní nasazení ESXi včetně backupů musí člověk znát licenční politiku několika firem, přehledy edicí, fcí a dalších věcí a musí vědět, co chce a jaký bude do budoucna vývoj a růst v jeho firmě, aby od začátku nešel s licencema do slepé uličky a nedal za licence ve finále víc, než je potřeba. Dále je potřeba zohlednit i to, co se bude virtualizovat a jaký support chce člověk mít, protože spousta komerčních řešení uznává pro virtualizaci jen VMWare, takže vás v případě problémů se systémem na KVM mohou odpálkovat a vy pak musíte někde rozjet podporované řešení a nasimulovat tam zmíněnou chybu.

Osobně jsem do tohoto blogu sepsal souhrn průzkumu, který jsem dělal asi před půl rokem. Vzhledem k tomu, že jsem nám dělal průzkum na míru, tak jsem ho nemohl zveřejnit, a proto jsem vypíchl jen to nejdůležitější. Doufám, že to není moc matoucí.

My jsme teď na rozcestí, kudy zhruba dál. ESXi free začíná příliš omezovat a znepříjemňovat práci. Chtěl bych řešit trochu lépe zálohy a další věci. Proxmox v základním community supportu vyjde na 5EUR/CPU/měsíc. V případě tedy 17 cpu to vychází na 28 000,-Kč bez DPH / rok a člověk má spoustu věcí součástí, které by musel u ESXi dokupovat.

Zdar Max        

Komentáře

[Heron]

Já jsem k tomu kdysi napsal ani ne tak technický, ale spíše pocitový zápisek.

Sice už je spousta věcí jinak, ve vcapp např. už není db2, ehm, oracle, ale postgres, ovšem na druhou stranu počet strojů s widlema je zase o něco větší k vůli Veeamu.

Desktopový klient už nefunguje vůbec (pro VM verze 10), HTML klient stále ještě nefunguje. (Takže jste víte kde.)

Takže, jak jsem psal před těmi třemi lety, dneska jednoznačně KVM. A klidně na CLI, bez jakéhokoliv udělátka. Pořád to vyjde jednak levněji, ale také funkčněji.

[R]

"HTML" vSphere management (flashova sracka) sa da v Linuxe pouzivat bud cez Chrome (v Debiane chromium a pepperflashplugin-nonfree - treba CPU so SSE2) alebo sa da pouzit Firefox a Windows verzia Flashu cez Pipelight (to chodi aj bez SSE2).

[Heron]

Ano, nějak se to rozjet dá, ale tu konzoli člověk potřebuje nejvíce ve chvíli, kdy se někdo pokazí. A potom je hrozně fajn hledat vhodné podmínky pro běh něčeho, čím to opravím. Tyhle věci musí být nerozbitné a nikoliv takto křehké.

[R]

S tym suhlasim. Nechapem, preco to nemohli urobit aspon v Jave.

Nam sa vmware rozosral zatial "len" asi 3-krat tento rok...

[Max]

Ahoj, můžeš uvést jen info o těch vysrání?
díky
Zdar Max

[R]

Detaily nepoznam, pretoze sme to nerobili my (to by tam nebol VMware), ale ina firma. Prvykrat to cele lahlo a neslo nic. Druhykrat to po vypadku napajania nenabehlo (resp. nabiehalo viac ako hodinu a doteraz neviem, ci tomu niekto pomohol rucne alebo nie). Tretikrat sa pravdapodobne vysral Open-E DSS.

Kazdopadne sa tomu (v sucasnej konfiguracii) neda verit a preto k tym dvom serverom s VMware pojde treti s Debianom.

[xkucf03]

Mám tu pestrou sbírku chybových obrazovek. Dá se říct, že vmware se vysírá prakticky kdykoli, kdy s ním mám něco dělat – někdy nejde připojit CD-ROMka, jindy se nejde přihlásit, jindy tě to pro změnu náhodně odpojuje, nejde bootovat z CD-ROMky, pak nastanou „nečekané potíže“ (já už je celkem čekám) a zobrazí se generická windowsí hláška o spadlé aplikaci, u odpojené mechaniky mi to nabízí jen odpojení ale ne připojení (to jen tak pro pobavení), pak zase Fatal Application Error: Null pointer dereference (class cui::NullPointerError) a tak dále a tak dále.

[xkucf03]

Asi jako kdybys měl dveře do serverovny zamčené zámkem, který se věčně zasekává a když se ti ho konečně povede otevřít, spadne ti na hlavu bedna s nářadím, když se probereš, šlápneš na hrábě a omráčí tě to znova, probereš se ještě jednou a blížíš se ke svým serverům, najednou zjišťuješ, že někdo z klávesnice vydloubal důležité klávesy a ty je musíš mačkat tužkou, kabel k monitoru má studený spoj a obraz věčně vypadává; CD-ROMka buď nejde otevřít nebo rozláme médium.

[Max]

Já se setkal s tím, že mi občas padal klient ve windows v případě, že jsem manipuloval s mechanikou. Vždy jsem to ale spolehlivě vyřešil tak, že jsem killnul všechny jeho procesy a znovu se přihlásil. Jinak se stabilitou ESXi jako takového jsem neměl problémy (kromě těch drobotin zmíněných v článku). Neměl jsem nikdy problémy s bootováním cd apod. Vím, že bootování z CD je nastaveno jako second, takže kdo chce bootovat z CD, musí si to v biosu VM nastavit. Jinak provozuji linux, takže když jsem pořeboval bootovat z fyzického CD, tak jsem ho strčil do PC, připojil ve VirtualBoxu a v něm přes VMWare konzoli připojil k VM a nikdy nebyl problém. Podobně to dělám s img.
Celkem provozuji ve firmě asi 9 ESXi serverů a každý má max 12VM. Žádný z ESXi nemá více jak 32GiB ram, což je dáno historicky, ty limity padly, takže budeme přidávat.
Za mně tedy musím říci, že jsem se stabilitou a rychlostí ESXi spokojen, ale provozuji jen na ofiko podporovaném HW s customized img od výrobce hw.
Otázkou je, zda to tak činíš i ty, nebo ne?.
Zdar Max

[Heron]

My provozujeme cca 300VM, paměť kolísá mezi 64 - 96GB RAM per ESX, celkem kolem 1TB RAM (cca 12ESXek, podle toho, jak a co by se počítalo jako produkce).

Pořád nějak nepociťuji nutnost to mít zrovna na ESX a už vůbec nepociťuji nutnost mít tam všechny ty enterprise klikátka co nabízejí vyšší verze (máme jen nějakou to co nabízí vmotion, ale ne storage motion apod.).

Právě naopak, pořád pod tím vidí ty skriptíky, které bych tam měl, kdybych to měl na KVM a společně s tím vidím ty vyhozené peníze za ESX nebo Veeam.

Otázkou je, zda to tak činíš i ty, nebo ne?.

Pamatuji si, když se koupil drahý hw s vmware certifikátem, jak se spustil instalátor esxka a jak to potom napsalo, že to nenašlo vůbec žádnou NIC a že bez NIC odmítá pokračovat. To jsem byl lehce v šoku a těžce nervozní, zda vůbec takovej shit vozit na hosting. Takže se šlo na web toho hw a tam se stáhla spešl instalačka esx pro ten hw. Potom už to našlo NIC a bylo to happy.

Tak přesně takhle si ofiko podporovaný hw nepředstavuji. Spíše je to naprostý opak toho, co bych si pod podporovaným hw představoval.

[Max]

Nechápej mně špatně, nesnažím se vychvalovat ESXi, jen říkám, že jsem s ním neměl problémy.

Jinak já tu nutnost také nepociťuji, ba naopak si říkám, že ve slušné verzi to vyjde docela draho a ještě bez záloh a člověk nebude mít ani ofiko podporu u HW, co máme nyní 4roky. Už dlouho pokukuji nad Proxmox řešení. Klikačku chci, protože základní operace jdou podle mně dělat rychleji, jak v cmd a navíc jsem jediný linuxák v týmu. Na druhou stranu, kolegové s ESXi skoro vůbec nedělají, až na pár výjimek, kdy jsem je zaúkoloval něco udělat, abych je donutil si k tomu čichnout a nebyl jsem tak jediný, co o tom něco ví.
KVM jsem si v cmd vyzkoušel u virtualizace našeho testovacího DMS, produkčního Oracle aplikáče a testovacího aplikáče. Virtualizoval jsem na OELu 6 a překvapilo mně nekolik věcí.
Jednak virtio, jehož drivery chybí pro starší distribuce, resp. je možná mají, ale nástroje v systémech s "/dev/vda" nějak nechtějí pracovat (takže jedině very slow IDE emulace). U novějších/aktuálních distribucí tedy ok, ale zase, nechápu, proč virtio musí vtvářet "vdx" zařízení :-/. Resp. chápu, protože nebylo "virtio-scsi", které je nyní asi na vzestupu.
Tak snad, uvidíme...
Zdar Max

[Heron]

Já si nemyslím, že ESX vychvaluješ.

Klikačku chci, protože základní operace jdou podle mně dělat rychleji, jak v cmd a navíc jsem jediný linuxák v týmu.

Nevím, dosavadní klikačky mě zatím vždy přesvědčily o opaku. Tam, kde mám možnost cli raději použiju cli. Tam, kde tam možnost není nebo je záměrně ztížená, hold používám klikačku a tomu nástroji připíšu další záporné body.

Jednak virtio, jehož drivery chybí pro starší distribuce, resp. je možná mají, ale nástroje v systémech s "/dev/vda" nějak nechtějí pracovat

Jaké nástroje? Proč měl nějaký nástroj zajímat, zda je blokové zařízení sda, vda, nebo třeba /dev/mapper/vg_lv?

takže jedině very slow IDE emulace

Možná jsem to pochopil jinak, ale než používat slow ide emulaci, tak ten ultrasupershit nástroj vykopnu z domu a poletí až do vedlejšího vesmíru. Zatím jsem nikdy nenarazil na problém s tím, že je disk hda, sda nebo vda nebo vg_lv_xxx nebo md2 apod.

[Max]

Už si to moc nepamatuji, ale myslím, že nějaký starší CentOS 5 mi kvůli grubu a /dev/vda nechtěl nabootovat (nebo se mi nechtěl zapsat grub do MBR toho disku, i když jsem vše viděl). Ještě, kdybych si to tak pamatoval ...
Zdar Max

[Heron]

CentOS 5 jsem na KVM provozoval několik let, tam to opravdu problém nebyl.

Ještě, kdybych si to tak pamatoval ...

No přesně, několikrát jsem si říkal, že si to budu psát. Pokaždé zůstalo pouze u říkání

[Max]

Ahoj, můžeš hodit link na ten soft limit 50VM ? Nějak nemohu dohledat, ty asi budeš vědět, jak se google tázat.
Díky
Zdar Max

[Heron]

Těžko se to hledá, před tím to bylo na oficiální KB, teď jsem to našel zde:

http://blog.pluralsight.com/vcenter-5-1-server-appliance-setup

The embedded database is PostgreSQL which is sized for 5 ESXi hosts or 50 virtual machines, which is the same limitation of the Microsoft SQL Express database embedded with the Windows based vCenter server. So far, vCSA can only utilize Oracle as an external database.

V době, kdy jsem psal ten článek, tam byla ještě IBM DB2 a nikoliv PG (s tím bych si poradil / zjistil bych o tom limitu víc).

[cthulhu]

takhle maly limit na VMs byl na vCSA 5.1, v soucasne dobe (6.0) je limit naprosto srovnatelny s Windows vCenter (10000 VMs per VC, 6000 VMs per cluster,..)

[xkucf03]

+1

[Miriam]

Zdar Maxovi

[Mrkva]

Vmware ESXi? Ten software co udajne porusuje GPL?

[Max]

Vím o tom a je to smutné :-/.
Zdar Max

[Pepa]

Že se ti chce s tímhle mrcasit a platit pravidelné výpalné. Proč ne KVM?

[Tomas]

convert windows vm-images do KVM u me konci vetsinou bluescreenem ....

[Max]

My zatím neplatíme, používáme free verzi
Zdar Max

[Pepa]

Jasně, ale vypadá to že chcete Já používám několik let čisté KVM bez těch pentliček typu Proxmox či oVirt, protože mám 70+ strojů a né tisíce a virsh plus shell udělá co potřebuju. Mám 4 fyzické servery a jako storage k tomu mám HA NFS nad DRBD. Zálohu na úrovni hypervizoru neřeším (instalace a konfigurace VM je automatická). Je to nechutně stabilní a KISS.

[chsajarsa]

Muzu se zeptat na co vetsi nez 2TB datastore? Instalaci vSphere uz mam za sebou dost, ale tohle jsem resil opravdu jen parkrat a vzdy to slo vyresit vyrazne lepe. Z praxe a hlavne pokud je tam vice hypervisoru je tam nejake riziko, ze se VMFS poskodi a pak je sranda obnovovat celou infrastrukturu najednou. Proto se resi i rozlozeni HA mezi VMFS datastory pokud to nejde mezi vice poli.

[Max]

Měli jsme backup server v záložní lokalitě, kde běželo několik VM. Přikoupilo se externí pole pro standalone zálohy a připojilo se k ESXi a rozbehl se backup na debianu, kam se to pole detachovalo.
Nejednalo se tedy o nějaké extra produkční prostředí.
Zdar Max

[snajpa]

Vyborne sepsane shrnuti, kdybych nebyl opensource fanatik, docela bych o ESXi na par mistech uvazoval. Ale ten vSphere web management ve flashi mne teda poradne umi vytocit, pada to jako hrusky
Jen ze zvedavosti, na oVirt jsi nekoukal/nezkousel jsi ho nasadit? (je to upstream projekt RHEV)

[Max]

oVirt znám, vím, co to je zač, ale nezkoušel jsem. Tady na abc se vyskytují vesměs lidi, co mají nasazen Proxmox, nevím o nikom, kdo by měl zkusšenosti s oVirt, potažmo RHEV :-/.
Jinak vývoj oVirt postupně sleduji, oproti proxmoxu může být konzole rozjetá jen na jednom stroji, nebo dvou a ostatní mohou být jen nody. Oproti Proxmoxu je to v jave a vyžaduje aplikační server. Co do funkčnosti a stability nevím, co je lepší :-/.
Zdar Max

[Sandokan]

JJ, prima článek, zrovna jsem potřeboval přesně něco takového. Díky moc!
Potřeboval bych ale také pořešit jinou věc. Máme několik koncových zařízení (PC) se spec. periferiemi (měřící zařízení, mikroskopy a takové ty věci). Periferie jsou zpravidla připojené přes seriové rozhraní a bývá k nim nějaké windowsovské udělátko na zobrazení výsledků a tak. Problém je, že se PC rozpadají a na nové hračky už se XP neřku-li 98 nedají dát (a nechce se mi se s tím otravovat).
Zkusil jsem VM Player, rychlost nic moc, spíš je to nepoužitelné.
Měli byste někdo nějaký nápad ??

ZDAR!

[Jose]

VirtualBox od Oraclu by to nevyřešil ? Sám to tak provozuji kvůli staršímu software.

[Sandokan]

JJ, zkusím.
Díky!

[Max]

Vše je jen o penězích, XPmod (zvirtualizované xp) jsou součástí jen win7, na vyšších verzích OS je legálně nepoužješ, apoň teda myslím. Navíc virtualizace pěkně zatěžuje a je nekomfortní k uživatelům.
Tzn., že zakoupit novější verzi sw je řešením. Pokud to není možné, zkusil bych 32bit verzi win7 s vypnutým UAC, zda by ta app běžela.
Nebo koupit jen trošku starší hw, kde ovladače na XP ještě budou.
Další možnost je zkusit linux s wine.
Zdar Max

[Sandokan]

No, ten XPmod jsem zkusil na jinou aplikaci.
Nejmenovaný výrobce automobilů, kterému děláme rozvoz náhradních dílů, po nás striktně požaduje použití jedné aplikace na výpočet kilometrů, která potřebuje nějaký HW klíč a jeho ovladače s W7 prostě nefungovaly.
NE e, XPmod nepomohl, chodilo to JEN s VM Playerem a asi dva roky, než hoši dodali funkční ovladače.
Nějaké staré krabice ještě máme a wine si zase zkusím, pravda je, že jsou lepší a lepší .

Díky!

[P.]

Jen pozor u ESXi 6.0, že nejenže nepodporuje "šitózní" hardware (typicky síťovky Realtek, některé SATA ovladače), ale když už jste tam ty ovladače dostali jinak (třeba z verze 5.0, která je ještě uměla), tak vám je aktivně zlikviduje při upgrade (zakáže je a přeplácne vlastními fake ovladači).

Jinak pěkný zápisek, ESXi používám také ve verzi free (3x), ale zůstanu ještě nějakou dobu u 5.5.

[Max]

Já jsem prozatím zůstal u 5.1 verze, na 5.5 jsem zatím nepřešel.
Zdar Max

[Käyttäjä 11133]

V těch cenách je započítaný discount z listu? POkud vím, tak 15% dostane každý kdo není ochoten zaplatit hned listovku... Vyšší jsou na dohodě...

[Max]

Ceny jsou samozřejmě ty, co jsou na oficiálních webech, každému je myslím jasně, že bývají i značné slevy a člověk musí poptávat vždy více dodavatelů. Já jsem v poslední době ušetřil firmě na licencích 2x 20kkč na částce do 100kkč jen tím, že jsem poptal a byl neodbytný u více subdodavatelů licencí.
Zdar Max

[kyytaM]

Cennikove ceny su pre statnu spravu. Aby bolo z coho na uplatky.

[chsajarsa]

Omyl. Tam rozhoduje cena. Listové ceny tu jsou pro nákupní oddělení.

[SPM]

Cena čeho? :) Však zakázka se vždycky vypíše tak, aby to víc než jeden produkt nesplnil :)

[PanZvedavy]

Provozovat 9 esxi instalaci bez vsphere...to bude novej level lejmovstvi nebo je pisatel sadomasochYsta. To je jako si poridit 9 vagonu bez masinky a tlacit je po jednom růčo.

Proxmox je dobrý a používám ho primárně na kVM pro linux. S windows to u proxmoxu podle příspěvku v jejich forech není zatim až tak ruzove. Zahadné problémy s výkonem nebo zamrzanim. Je taky narocnejsi na nastaveni HA(fencing) a ma co si pamatuji omezeni na 8 nodu. Ale az vyvojari vyresi problemy s windows guesty, zjednodusi HA setup a doladi integrovane zalohovani, tak bude proxmox jednoznacna free volba pred esxi, uz ted maji proxmoxaci nemalo konvertitu z rad byvalich vmware fanboys...

Nicmene je tu jeste jedna moznost, ktera se kupodivu nezminuje az tak casto a to XenServer od citrixu. Pokud bych dnes hledal co nejlepsi reseni pro virtualizaci windows a linuxu, tak jdu do xenserveru. Mame u zakazniku spoustu esxi instalaci od free verze az po Xnodove instalace s vsphere a k tomu par starsich instalaci xenserveru. A po x letech provozu muzu rict, ze co se tyce vykonu a stability je xen vytezem. Pote co uvolnili 6. xenserver se vsema tema funkcema zadarmo neni dnes moc co resit(krome pripadnych certifikaci provozu sw pouze pro vmware) http://xenserver.org/overview-xenserver-open-source-virtualization/open-source-virtualization-features.html . Kdyz se to porovna s free verzi esxi, tak zajemce muze s klidem sbirat celist ze stolu pac uz ma vybrano :) Jako nevyhodu a urcitou hloupost tady povazuji licencni model na opravdu pokrocilejsi funkce jako xen apliance pro zivou migraci z vsphere na xenserver apod. To moc nezvladli, ale holt citrix. Nicmene i s free verzi xenserveru ziskam ultimativne stabilni a vykonou platformu, ktera poskytne zadarmo to co esxi az s esence plus a vyse. Pokud srovnam "pocitove" vmware s xenserverem, tak na xenu to beha o neco malo svizneji a odezvy a prace s platformou celkove je vice responzivni.

[Max]

ESXi se nasadilo pro lepší možnost backupů + pro ušetření hw. K ničemu tomu není potřeba centrální mgmt. Vypadá to tedy ošklivě, ale takové požadavky byly. Osobně to tedy tak tragicky nevidím.
Zdar Max

[Max]

Jinak pokud jde o Xen, o tom jsem také dlouho přemýšlel a občas ještě přemýšlím. Jde o to, že Xen bývá s jádrem docela hodně pozadu, což bývá někdy nemilé. Dále to není tak čisté a sluníčkové řešení jako KVM. V neposlední řadě tu dost lidí chválí Proxmox, ale těžko říci, zda nechválí jen Proxmox s linux guesty. Mno, uvidíme, čas na migraci se možná blíží, možná ne, uvidíme. Každopádně pokud něco nastane, tak si vše nejdříve pořádně otestuji bokem a podle toho se zařídím. Teď jsem ve stavu teorií a sumarizování možností, ale dřív jak za 6 měsíců to řešit nebudu (kupa práce jinde).
Zdar Max

[PanZvedavy]

Nechapu proc by mel byt neaktualni kernel problem. Citrix ma compability list stejne jako vmware, takze se staci ridit tim. A pokud nemam server s novou procesorou platformou, kterej je jeste teplej jak sjizdel z vyrobni linky, tak bych se toho nebal. Xen je jedna z nejstarsich a nejproverenejsich virtualizacnich platforem vubec.

[VSi]

Můžu potvrdit, že XenServer skutečně není špatná volba, a v tomto případě dřívější obavy ohledně starého linux kernelu nemají opodstatnění.

Dříve byl problém, že pro běh paravirtualizovaného linuxu jako guesta byl potřeba upravený kernel, a příslušné patche byly někdy k dispozici jen pro starší kernely, nebo byly problémy s kompatibilitou host/guest kernelu. Už několik let je ale podpora paravirt_ops součástí mainline linuxu, takže z pohledu běhu paravirt. guestů není žádný problém. Navíc na dnešních CPU s podporou HW virtualizace už paravirtualizační mód není nutné používat, byť má v některých případech lepší výkon (možná už tolik neplatí, i Xen se pořád dost vyvíjí).

XenServer používám na několika místech i s ručně dokonfigurovaným DRBD, a nikdy nebyl problém, snad krom toho že DRBD kolidovalo v Openvswitch, ale i v aktuálních verzích XenServeru jde Openvswitch vypnout a používat standardní linux bridging.

Značná výhoda může být, že XenServer je úplně normální linux, do kterého máte v případě potřeby plný přístup a nesnaží se to nijak zakrývat. Takže není problém doinstalovat třeba management nástroje pro daný HW. Dá se nastavit i mdraid, kdysi jsem to na jednom testovacím stroji tak měl.

Proti Proxmoxu už aktuálně ale tolik výhod nevidím, i když je update repo na proxmox teď placené. Nevýhoda XenServeru může být windows-only management aplikace, pokud se nespokojím s CLI (z toho jde udělat úplně všechno, ale někdo dost nepohodlně).

[Standa]

VMWare verze 6 už umožňuje běh vCenter Serveru bez Windows (jede to jako VM). Instalace je taková... no svérázná, ale pak to běží pěkně Jenom Update Manager se zatím bez Woken neobejde. Tak jsem to připlácnul k WSUS serveru.

[Max]

Díky za info.
Zdar Max

[SPM]

Appliance vCenter bez Windows existuje už delší dobu (minimálně už u 5.0) to bylo k dispozici. Ale mělo to ještě nějaké další omezení; minimálně u toho byla nějaká embedded databáze a tudíž limit spravovaných hostů (nebo retence grafů) a možná něco dalšího ještě...

[Josef]

Update k web managementu: VM-ware již vydal a celkem odladil http klienta i pro free edici esxi. od verse 6.0.0 Update2 je již součástí image, do některých starších versí lze s některými omezeními doplnit.

[Max]

Ahoj,
jj, vím, pomalu updatuju.
Doplním do článku.
Zdar Max

[Max]

Doplnil jsem nakonec tři infa do článku :
1) ESXi 6.0U2 + Web klient
2) aktuální info o vCSA (Linux + Posgresql + vCenter), limity, proč to používat apod.
3) zálohovací řešení od firmy Unitrends, které podporuje i free verzi ESXi, bohužel jen pro 1TiB dat
Zdar Max