Základní info o ESXi free a dlouhodobé zkušenosti (diskuse)

[Heron]

Já jsem k tomu kdysi napsal ani ne tak technický, ale spíše pocitový zápisek.

Sice už je spousta věcí jinak, ve vcapp např. už není db2, ehm, oracle, ale postgres, ovšem na druhou stranu počet strojů s widlema je zase o něco větší k vůli Veeamu.

Desktopový klient už nefunguje vůbec (pro VM verze 10), HTML klient stále ještě nefunguje. (Takže jste víte kde.)

Takže, jak jsem psal před těmi třemi lety, dneska jednoznačně KVM. A klidně na CLI, bez jakéhokoliv udělátka. Pořád to vyjde jednak levněji, ale také funkčněji.

[R]

"HTML" vSphere management (flashova sracka) sa da v Linuxe pouzivat bud cez Chrome (v Debiane chromium a pepperflashplugin-nonfree - treba CPU so SSE2) alebo sa da pouzit Firefox a Windows verzia Flashu cez Pipelight (to chodi aj bez SSE2).

[Heron]

Ano, nějak se to rozjet dá, ale tu konzoli člověk potřebuje nejvíce ve chvíli, kdy se někdo pokazí. A potom je hrozně fajn hledat vhodné podmínky pro běh něčeho, čím to opravím. Tyhle věci musí být nerozbitné a nikoliv takto křehké.

[R]

S tym suhlasim. Nechapem, preco to nemohli urobit aspon v Jave.

Nam sa vmware rozosral zatial "len" asi 3-krat tento rok...

[Max]

Ahoj, můžeš uvést jen info o těch vysrání?
díky
Zdar Max

[R]

Detaily nepoznam, pretoze sme to nerobili my (to by tam nebol VMware), ale ina firma. Prvykrat to cele lahlo a neslo nic. Druhykrat to po vypadku napajania nenabehlo (resp. nabiehalo viac ako hodinu a doteraz neviem, ci tomu niekto pomohol rucne alebo nie). Tretikrat sa pravdapodobne vysral Open-E DSS.

Kazdopadne sa tomu (v sucasnej konfiguracii) neda verit a preto k tym dvom serverom s VMware pojde treti s Debianom.

[xkucf03]

Mám tu pestrou sbírku chybových obrazovek. Dá se říct, že vmware se vysírá prakticky kdykoli, kdy s ním mám něco dělat – někdy nejde připojit CD-ROMka, jindy se nejde přihlásit, jindy tě to pro změnu náhodně odpojuje, nejde bootovat z CD-ROMky, pak nastanou „nečekané potíže“ (já už je celkem čekám) a zobrazí se generická windowsí hláška o spadlé aplikaci, u odpojené mechaniky mi to nabízí jen odpojení ale ne připojení (to jen tak pro pobavení), pak zase Fatal Application Error: Null pointer dereference (class cui::NullPointerError) a tak dále a tak dále.

[xkucf03]

Asi jako kdybys měl dveře do serverovny zamčené zámkem, který se věčně zasekává a když se ti ho konečně povede otevřít, spadne ti na hlavu bedna s nářadím, když se probereš, šlápneš na hrábě a omráčí tě to znova, probereš se ještě jednou a blížíš se ke svým serverům, najednou zjišťuješ, že někdo z klávesnice vydloubal důležité klávesy a ty je musíš mačkat tužkou, kabel k monitoru má studený spoj a obraz věčně vypadává; CD-ROMka buď nejde otevřít nebo rozláme médium.

[Max]

Já se setkal s tím, že mi občas padal klient ve windows v případě, že jsem manipuloval s mechanikou. Vždy jsem to ale spolehlivě vyřešil tak, že jsem killnul všechny jeho procesy a znovu se přihlásil. Jinak se stabilitou ESXi jako takového jsem neměl problémy (kromě těch drobotin zmíněných v článku). Neměl jsem nikdy problémy s bootováním cd apod. Vím, že bootování z CD je nastaveno jako second, takže kdo chce bootovat z CD, musí si to v biosu VM nastavit. Jinak provozuji linux, takže když jsem pořeboval bootovat z fyzického CD, tak jsem ho strčil do PC, připojil ve VirtualBoxu a v něm přes VMWare konzoli připojil k VM a nikdy nebyl problém. Podobně to dělám s img.
Celkem provozuji ve firmě asi 9 ESXi serverů a každý má max 12VM. Žádný z ESXi nemá více jak 32GiB ram, což je dáno historicky, ty limity padly, takže budeme přidávat.
Za mně tedy musím říci, že jsem se stabilitou a rychlostí ESXi spokojen, ale provozuji jen na ofiko podporovaném HW s customized img od výrobce hw.
Otázkou je, zda to tak činíš i ty, nebo ne?.
Zdar Max

[Heron]

My provozujeme cca 300VM, paměť kolísá mezi 64 - 96GB RAM per ESX, celkem kolem 1TB RAM (cca 12ESXek, podle toho, jak a co by se počítalo jako produkce).

Pořád nějak nepociťuji nutnost to mít zrovna na ESX a už vůbec nepociťuji nutnost mít tam všechny ty enterprise klikátka co nabízejí vyšší verze (máme jen nějakou to co nabízí vmotion, ale ne storage motion apod.).

Právě naopak, pořád pod tím vidí ty skriptíky, které bych tam měl, kdybych to měl na KVM a společně s tím vidím ty vyhozené peníze za ESX nebo Veeam.

Otázkou je, zda to tak činíš i ty, nebo ne?.

Pamatuji si, když se koupil drahý hw s vmware certifikátem, jak se spustil instalátor esxka a jak to potom napsalo, že to nenašlo vůbec žádnou NIC a že bez NIC odmítá pokračovat. To jsem byl lehce v šoku a těžce nervozní, zda vůbec takovej shit vozit na hosting. Takže se šlo na web toho hw a tam se stáhla spešl instalačka esx pro ten hw. Potom už to našlo NIC a bylo to happy.

Tak přesně takhle si ofiko podporovaný hw nepředstavuji. Spíše je to naprostý opak toho, co bych si pod podporovaným hw představoval.

[Max]

Nechápej mně špatně, nesnažím se vychvalovat ESXi, jen říkám, že jsem s ním neměl problémy.

Jinak já tu nutnost také nepociťuji, ba naopak si říkám, že ve slušné verzi to vyjde docela draho a ještě bez záloh a člověk nebude mít ani ofiko podporu u HW, co máme nyní 4roky. Už dlouho pokukuji nad Proxmox řešení. Klikačku chci, protože základní operace jdou podle mně dělat rychleji, jak v cmd a navíc jsem jediný linuxák v týmu. Na druhou stranu, kolegové s ESXi skoro vůbec nedělají, až na pár výjimek, kdy jsem je zaúkoloval něco udělat, abych je donutil si k tomu čichnout a nebyl jsem tak jediný, co o tom něco ví.
KVM jsem si v cmd vyzkoušel u virtualizace našeho testovacího DMS, produkčního Oracle aplikáče a testovacího aplikáče. Virtualizoval jsem na OELu 6 a překvapilo mně nekolik věcí.
Jednak virtio, jehož drivery chybí pro starší distribuce, resp. je možná mají, ale nástroje v systémech s "/dev/vda" nějak nechtějí pracovat (takže jedině very slow IDE emulace). U novějších/aktuálních distribucí tedy ok, ale zase, nechápu, proč virtio musí vtvářet "vdx" zařízení :-/. Resp. chápu, protože nebylo "virtio-scsi", které je nyní asi na vzestupu.
Tak snad, uvidíme...
Zdar Max

[Heron]

Já si nemyslím, že ESX vychvaluješ.

Klikačku chci, protože základní operace jdou podle mně dělat rychleji, jak v cmd a navíc jsem jediný linuxák v týmu.

Nevím, dosavadní klikačky mě zatím vždy přesvědčily o opaku. Tam, kde mám možnost cli raději použiju cli. Tam, kde tam možnost není nebo je záměrně ztížená, hold používám klikačku a tomu nástroji připíšu další záporné body.

Jednak virtio, jehož drivery chybí pro starší distribuce, resp. je možná mají, ale nástroje v systémech s "/dev/vda" nějak nechtějí pracovat

Jaké nástroje? Proč měl nějaký nástroj zajímat, zda je blokové zařízení sda, vda, nebo třeba /dev/mapper/vg_lv?

takže jedině very slow IDE emulace

Možná jsem to pochopil jinak, ale než používat slow ide emulaci, tak ten ultrasupershit nástroj vykopnu z domu a poletí až do vedlejšího vesmíru. Zatím jsem nikdy nenarazil na problém s tím, že je disk hda, sda nebo vda nebo vg_lv_xxx nebo md2 apod.

[Max]

Už si to moc nepamatuji, ale myslím, že nějaký starší CentOS 5 mi kvůli grubu a /dev/vda nechtěl nabootovat (nebo se mi nechtěl zapsat grub do MBR toho disku, i když jsem vše viděl). Ještě, kdybych si to tak pamatoval ...
Zdar Max

[Heron]

CentOS 5 jsem na KVM provozoval několik let, tam to opravdu problém nebyl.

Ještě, kdybych si to tak pamatoval ...

No přesně, několikrát jsem si říkal, že si to budu psát. Pokaždé zůstalo pouze u říkání

[Max]

Ahoj, můžeš hodit link na ten soft limit 50VM ? Nějak nemohu dohledat, ty asi budeš vědět, jak se google tázat.
Díky
Zdar Max

[Heron]

Těžko se to hledá, před tím to bylo na oficiální KB, teď jsem to našel zde:

http://blog.pluralsight.com/vcenter-5-1-server-appliance-setup

The embedded database is PostgreSQL which is sized for 5 ESXi hosts or 50 virtual machines, which is the same limitation of the Microsoft SQL Express database embedded with the Windows based vCenter server. So far, vCSA can only utilize Oracle as an external database.

V době, kdy jsem psal ten článek, tam byla ještě IBM DB2 a nikoliv PG (s tím bych si poradil / zjistil bych o tom limitu víc).

[cthulhu]

takhle maly limit na VMs byl na vCSA 5.1, v soucasne dobe (6.0) je limit naprosto srovnatelny s Windows vCenter (10000 VMs per VC, 6000 VMs per cluster,..)

[xkucf03]

+1

[Miriam]

Zdar Maxovi

[Mrkva]

Vmware ESXi? Ten software co udajne porusuje GPL?

[Max]

Vím o tom a je to smutné :-/.
Zdar Max

[Pepa]

Že se ti chce s tímhle mrcasit a platit pravidelné výpalné. Proč ne KVM?

[Tomas]

convert windows vm-images do KVM u me konci vetsinou bluescreenem ....

[Max]

My zatím neplatíme, používáme free verzi
Zdar Max

[Pepa]

Jasně, ale vypadá to že chcete Já používám několik let čisté KVM bez těch pentliček typu Proxmox či oVirt, protože mám 70+ strojů a né tisíce a virsh plus shell udělá co potřebuju. Mám 4 fyzické servery a jako storage k tomu mám HA NFS nad DRBD. Zálohu na úrovni hypervizoru neřeším (instalace a konfigurace VM je automatická). Je to nechutně stabilní a KISS.

[chsajarsa]

Muzu se zeptat na co vetsi nez 2TB datastore? Instalaci vSphere uz mam za sebou dost, ale tohle jsem resil opravdu jen parkrat a vzdy to slo vyresit vyrazne lepe. Z praxe a hlavne pokud je tam vice hypervisoru je tam nejake riziko, ze se VMFS poskodi a pak je sranda obnovovat celou infrastrukturu najednou. Proto se resi i rozlozeni HA mezi VMFS datastory pokud to nejde mezi vice poli.

[Max]

Měli jsme backup server v záložní lokalitě, kde běželo několik VM. Přikoupilo se externí pole pro standalone zálohy a připojilo se k ESXi a rozbehl se backup na debianu, kam se to pole detachovalo.
Nejednalo se tedy o nějaké extra produkční prostředí.
Zdar Max

[snajpa]

Vyborne sepsane shrnuti, kdybych nebyl opensource fanatik, docela bych o ESXi na par mistech uvazoval. Ale ten vSphere web management ve flashi mne teda poradne umi vytocit, pada to jako hrusky
Jen ze zvedavosti, na oVirt jsi nekoukal/nezkousel jsi ho nasadit? (je to upstream projekt RHEV)

[Max]

oVirt znám, vím, co to je zač, ale nezkoušel jsem. Tady na abc se vyskytují vesměs lidi, co mají nasazen Proxmox, nevím o nikom, kdo by měl zkusšenosti s oVirt, potažmo RHEV :-/.
Jinak vývoj oVirt postupně sleduji, oproti proxmoxu může být konzole rozjetá jen na jednom stroji, nebo dvou a ostatní mohou být jen nody. Oproti Proxmoxu je to v jave a vyžaduje aplikační server. Co do funkčnosti a stability nevím, co je lepší :-/.
Zdar Max

[Sandokan]

JJ, prima článek, zrovna jsem potřeboval přesně něco takového. Díky moc!
Potřeboval bych ale také pořešit jinou věc. Máme několik koncových zařízení (PC) se spec. periferiemi (měřící zařízení, mikroskopy a takové ty věci). Periferie jsou zpravidla připojené přes seriové rozhraní a bývá k nim nějaké windowsovské udělátko na zobrazení výsledků a tak. Problém je, že se PC rozpadají a na nové hračky už se XP neřku-li 98 nedají dát (a nechce se mi se s tím otravovat).
Zkusil jsem VM Player, rychlost nic moc, spíš je to nepoužitelné.
Měli byste někdo nějaký nápad ??

ZDAR!

[Jose]

VirtualBox od Oraclu by to nevyřešil ? Sám to tak provozuji kvůli staršímu software.

[Sandokan]

JJ, zkusím.
Díky!

[Max]

Vše je jen o penězích, XPmod (zvirtualizované xp) jsou součástí jen win7, na vyšších verzích OS je legálně nepoužješ, apoň teda myslím. Navíc virtualizace pěkně zatěžuje a je nekomfortní k uživatelům.
Tzn., že zakoupit novější verzi sw je řešením. Pokud to není možné, zkusil bych 32bit verzi win7 s vypnutým UAC, zda by ta app běžela.
Nebo koupit jen trošku starší hw, kde ovladače na XP ještě budou.
Další možnost je zkusit linux s wine.
Zdar Max

[Sandokan]

No, ten XPmod jsem zkusil na jinou aplikaci.
Nejmenovaný výrobce automobilů, kterému děláme rozvoz náhradních dílů, po nás striktně požaduje použití jedné aplikace na výpočet kilometrů, která potřebuje nějaký HW klíč a jeho ovladače s W7 prostě nefungovaly.
NE e, XPmod nepomohl, chodilo to JEN s VM Playerem a asi dva roky, než hoši dodali funkční ovladače.
Nějaké staré krabice ještě máme a wine si zase zkusím, pravda je, že jsou lepší a lepší .

Díky!

[P.]

Jen pozor u ESXi 6.0, že nejenže nepodporuje "šitózní" hardware (typicky síťovky Realtek, některé SATA ovladače), ale když už jste tam ty ovladače dostali jinak (třeba z verze 5.0, která je ještě uměla), tak vám je aktivně zlikviduje při upgrade (zakáže je a přeplácne vlastními fake ovladači).

Jinak pěkný zápisek, ESXi používám také ve verzi free (3x), ale zůstanu ještě nějakou dobu u 5.5.

[Max]

Já jsem prozatím zůstal u 5.1 verze, na 5.5 jsem zatím nepřešel.
Zdar Max

[Käyttäjä 11133]

V těch cenách je započítaný discount z listu? POkud vím, tak 15% dostane každý kdo není ochoten zaplatit hned listovku... Vyšší jsou na dohodě...

[Max]

Ceny jsou samozřejmě ty, co jsou na oficiálních webech, každému je myslím jasně, že bývají i značné slevy a člověk musí poptávat vždy více dodavatelů. Já jsem v poslední době ušetřil firmě na licencích 2x 20kkč na částce do 100kkč jen tím, že jsem poptal a byl neodbytný u více subdodavatelů licencí.
Zdar Max

[kyytaM]

Cennikove ceny su pre statnu spravu. Aby bolo z coho na uplatky.

[chsajarsa]

Omyl. Tam rozhoduje cena. Listové ceny tu jsou pro nákupní oddělení.

[SPM]

Cena čeho? :) Však zakázka se vždycky vypíše tak, aby to víc než jeden produkt nesplnil :)

[PanZvedavy]

Provozovat 9 esxi instalaci bez vsphere...to bude novej level lejmovstvi nebo je pisatel sadomasochYsta. To je jako si poridit 9 vagonu bez masinky a tlacit je po jednom růčo.

Proxmox je dobrý a používám ho primárně na kVM pro linux. S windows to u proxmoxu podle příspěvku v jejich forech není zatim až tak ruzove. Zahadné problémy s výkonem nebo zamrzanim. Je taky narocnejsi na nastaveni HA(fencing) a ma co si pamatuji omezeni na 8 nodu. Ale az vyvojari vyresi problemy s windows guesty, zjednodusi HA setup a doladi integrovane zalohovani, tak bude proxmox jednoznacna free volba pred esxi, uz ted maji proxmoxaci nemalo konvertitu z rad byvalich vmware fanboys...

Nicmene je tu jeste jedna moznost, ktera se kupodivu nezminuje az tak casto a to XenServer od citrixu. Pokud bych dnes hledal co nejlepsi reseni pro virtualizaci windows a linuxu, tak jdu do xenserveru. Mame u zakazniku spoustu esxi instalaci od free verze az po Xnodove instalace s vsphere a k tomu par starsich instalaci xenserveru. A po x letech provozu muzu rict, ze co se tyce vykonu a stability je xen vytezem. Pote co uvolnili 6. xenserver se vsema tema funkcema zadarmo neni dnes moc co resit(krome pripadnych certifikaci provozu sw pouze pro vmware) http://xenserver.org/overview-xenserver-open-source-virtualization/open-source-virtualization-features.html . Kdyz se to porovna s free verzi esxi, tak zajemce muze s klidem sbirat celist ze stolu pac uz ma vybrano :) Jako nevyhodu a urcitou hloupost tady povazuji licencni model na opravdu pokrocilejsi funkce jako xen apliance pro zivou migraci z vsphere na xenserver apod. To moc nezvladli, ale holt citrix. Nicmene i s free verzi xenserveru ziskam ultimativne stabilni a vykonou platformu, ktera poskytne zadarmo to co esxi az s esence plus a vyse. Pokud srovnam "pocitove" vmware s xenserverem, tak na xenu to beha o neco malo svizneji a odezvy a prace s platformou celkove je vice responzivni.

[Max]

ESXi se nasadilo pro lepší možnost backupů + pro ušetření hw. K ničemu tomu není potřeba centrální mgmt. Vypadá to tedy ošklivě, ale takové požadavky byly. Osobně to tedy tak tragicky nevidím.
Zdar Max

[Max]

Jinak pokud jde o Xen, o tom jsem také dlouho přemýšlel a občas ještě přemýšlím. Jde o to, že Xen bývá s jádrem docela hodně pozadu, což bývá někdy nemilé. Dále to není tak čisté a sluníčkové řešení jako KVM. V neposlední řadě tu dost lidí chválí Proxmox, ale těžko říci, zda nechválí jen Proxmox s linux guesty. Mno, uvidíme, čas na migraci se možná blíží, možná ne, uvidíme. Každopádně pokud něco nastane, tak si vše nejdříve pořádně otestuji bokem a podle toho se zařídím. Teď jsem ve stavu teorií a sumarizování možností, ale dřív jak za 6 měsíců to řešit nebudu (kupa práce jinde).
Zdar Max

[PanZvedavy]

Nechapu proc by mel byt neaktualni kernel problem. Citrix ma compability list stejne jako vmware, takze se staci ridit tim. A pokud nemam server s novou procesorou platformou, kterej je jeste teplej jak sjizdel z vyrobni linky, tak bych se toho nebal. Xen je jedna z nejstarsich a nejproverenejsich virtualizacnich platforem vubec.

[VSi]

Můžu potvrdit, že XenServer skutečně není špatná volba, a v tomto případě dřívější obavy ohledně starého linux kernelu nemají opodstatnění.

Dříve byl problém, že pro běh paravirtualizovaného linuxu jako guesta byl potřeba upravený kernel, a příslušné patche byly někdy k dispozici jen pro starší kernely, nebo byly problémy s kompatibilitou host/guest kernelu. Už několik let je ale podpora paravirt_ops součástí mainline linuxu, takže z pohledu běhu paravirt. guestů není žádný problém. Navíc na dnešních CPU s podporou HW virtualizace už paravirtualizační mód není nutné používat, byť má v některých případech lepší výkon (možná už tolik neplatí, i Xen se pořád dost vyvíjí).

XenServer používám na několika místech i s ručně dokonfigurovaným DRBD, a nikdy nebyl problém, snad krom toho že DRBD kolidovalo v Openvswitch, ale i v aktuálních verzích XenServeru jde Openvswitch vypnout a používat standardní linux bridging.

Značná výhoda může být, že XenServer je úplně normální linux, do kterého máte v případě potřeby plný přístup a nesnaží se to nijak zakrývat. Takže není problém doinstalovat třeba management nástroje pro daný HW. Dá se nastavit i mdraid, kdysi jsem to na jednom testovacím stroji tak měl.

Proti Proxmoxu už aktuálně ale tolik výhod nevidím, i když je update repo na proxmox teď placené. Nevýhoda XenServeru může být windows-only management aplikace, pokud se nespokojím s CLI (z toho jde udělat úplně všechno, ale někdo dost nepohodlně).

[Standa]

VMWare verze 6 už umožňuje běh vCenter Serveru bez Windows (jede to jako VM). Instalace je taková... no svérázná, ale pak to běží pěkně Jenom Update Manager se zatím bez Woken neobejde. Tak jsem to připlácnul k WSUS serveru.

[Max]

Díky za info.
Zdar Max

[SPM]

Appliance vCenter bez Windows existuje už delší dobu (minimálně už u 5.0) to bylo k dispozici. Ale mělo to ještě nějaké další omezení; minimálně u toho byla nějaká embedded databáze a tudíž limit spravovaných hostů (nebo retence grafů) a možná něco dalšího ještě...

[Josef]

Update k web managementu: VM-ware již vydal a celkem odladil http klienta i pro free edici esxi. od verse 6.0.0 Update2 je již součástí image, do některých starších versí lze s některými omezeními doplnit.

[Max]

Ahoj,
jj, vím, pomalu updatuju.
Doplním do článku.
Zdar Max

[Max]

Doplnil jsem nakonec tři infa do článku :
1) ESXi 6.0U2 + Web klient
2) aktuální info o vCSA (Linux + Posgresql + vCenter), limity, proč to používat apod.
3) zálohovací řešení od firmy Unitrends, které podporuje i free verzi ESXi, bohužel jen pro 1TiB dat
Zdar Max