Dotaz: Hledam rozumne distro pro provoz XEN serveru

[the.max]

AAhoj

Hledam nejakou distribuci pro provoz jako XEN Dom0. V soucasne dobe mi to bezi na Gentoo, ale diky castym aktualizacim je docela problem to udrzet v provozuschopnem stavu, obzvlaste kdyz se neaktualizuje moc casto

Me pozadavky jsou: 64bit system, rozumne cerstve jadro (s podporou reiserfs!), Xen 4 a v zadnem pripade zadne bububuntu, nechci ani SLES/RHEL. Zkousel jsem CentOS (uz to bude dyl), nejnovejsi jadro bylo 2.6.18.neco, jadro nepodporuje reiserfs. i ostatni verze balicku nebyli zrovna nejcerstvejsi. Podpora reiseru je pro me v celku zasadni, protoze s ext3 mam jen spatne zkusenosti. Pokazde kdyz se mi sesypala ext3, nikdy uz nesla opravit, coz se mi v pripade reiseru nestalo. DIky chybejicimu reiseru je zrejme mimo vse co pochazi z redhatu (centos, fedora, RHEL). Zkousl bych asi debian, ale desi me tam nektere, dalo by se rict az praveke, verze balicku a knihoven.Pokud bych sel smerem debian testing, tak si myslim, ze si oproti Gentoo moc nepomuzu.

Nejaky napad?

---

---

Odpovědi

[kyytaM]

Debian Squeeze - aj ked osobne by som pvops dom0 kernel a Xen 4.0.x do produkcie velmi nepchal, ale tak to uz zalezi na pouziti. :)

[VSi]

Squeeze bych se taky nebál. Nakonec v dom0 není dobré provozovat cokoliv jiného než SW nutný pro běh Xenu. Jádra ze squeeze pro dom0 bych se taky bál, a proto používám 2.6.27 zkompilované ze zdrojů Xen Cloud Platform (totéž jádro je v "enterprise" XenServeru) - s verzí Xenu (4.něco), co je ve squeeze funguje dobře, i když škoda že ve squeeze není stabilní řada Xen 3.4.

Jinak proč tak trvat na filesystemu pro dom0? Vždyť se tam nemusí zapisovat nic než logy, a jestli se potom ext3 rozbije, tak už je to spíš vadným HW.

[the.max]

takze zatim to tedy vypada na debian. Ad filesystem. Od tech problemu co jsem s ext3 mel mam vuci tomuto FS dost silne vyhrady. Je mi jasne ze tam bezi JEN veci pro xen, ale i tak v tento FS nemam duveru.

[Zdeněk Burda]

Proč řešit FS? Co nacpat domU přímo na LV? OS na ext3 je v pohodě a není na tom co rozbít. Pokud CentOS jinak vyhovuje, tak bych ho klidně použil. Starší jádro nemusí být překážkou, pokud podporuje HW. Akorát ten Xen4, ten neznám (jedu na 3.4).

[VSi]

Přesně tak, aby se rozbil ext3 použitý pro dom0, to by se musely dít hrozné věci. Můžete poradit, jestli pro CentOS existuje něco jako http://packages.debian.org ? Chtěl bych se podívat, jaké verze balíčků tam jsou a nechci si ho kvůli tomu instalovat.

Verze Xen 4 není ještě označena jako úplně stabilní, tou je momentálně právě 3.4, asi v Debianu doufají, že než vyjde další stable, bude Xen 4 OK. Nějakých zásadních změn jsem si nevšimnul. Xen v Debianu squeeze momentálně celkem dost testuju, a na žádný problém jsem nenarazil.

[Zdeněk Burda]

Ekvivalent k packages.debian.org neznám, ale často se stačí podívat na balíčky do repository: http://mirror.centos.org/centos/5/os/x86_64/CentOS/

[VSi]

Děkuju. Ale vidím tam třeba nejnovější verzi Xenu xen-3.0.3-105.el5.x86_64.rpm, a to jsem prošel i složky updates, extras a centosplus.

O CentOS jsem taky uvažoval, možná by to byla nejlepší volba, jenže mám zatím všude Debian. Existuje nějaký pěkný základní manuál nebo zdroj, ze kterého bych se dozvěděl rozdíly v základních věcech - konfigurace síťování, služby (chkconfig), balíčky, dostupné repozitáře a jejich správa?

[kyytaM]

Na CentOSe su popularne XEN repozitare gitco. Pouziva mnozstvo ludi v produkcii z prostredia xen-users mailing listu.

[Pev]

Můžete poradit, jestli pro CentOS existuje něco jako http://packages.debian.org ?

Pro nejdůležitější sw by mohlo stačit i http://distrowatch.com/table.php?distribution=centos

[skupko]

Jednoznacne chod do CentOS, pokial potrebujes Xen4. Predpokladam, ze je to kvoli tomu, ze potrebujes riesit XenHA. Pokial vsak nepotrebujes XenHA, tak mozes spokojne ostat pri Debian stable a Xen 3.2.

Co sa tyka fs - ked mas problem s ext3, tak chod do XFS - podporuje ho aj Grub2, cize bez problemov z neho aj nabootujes.

Este co sa tyka pravekych verzii v Debian stable - stale je sanca, ze niektore novsie verzie budes mat dostupne cez backports vetvu [1] (ktora sa nedavno stala oficialne podporovanou Debianom).

[1] - http://backports.debian.org/

[VSi]

Na Xen 3.2, minimálně ten z Debianu, dejde pozor. Na HP ML110G6 nebyl schopen se vypořádat s obsluhou přerušení (nějaké MSI-X nebo co), a nacpal na jedno přerušení ethernet, USB, a SmartArray HW RAID. Po upgradu na squeeze a Xen 4 a zachování stejného jádra už se to chová dobře.

XenHA to je ta "live sync" novinka v Xen 4? To nevypadá zatím moc použitelně pro produkční nasazení. Klasické HA s využitím SAN nebo DRBD jde dělat už od historických verzí Xenu pomocí heartbeat / pacemaker.

Ohledně backportů bych u Xenu moc nedoufal. Narazil jsem na pár bugů jak ve stable tak v testingu a z vyjádření v bugzille bylo vidět, že to žádná priorita není.

[skupko]

Dokonca aj problemy so stabilitou stable verzii Xen jadier na Debiane som si uzil. Bolo to dost neprijemne, ale teraz to uz vyzera celkom stabilne.

O tom MSI som nieco cital, ale ja som s tym nastastie problem nemal.

Jo to XenHA je vlastne originalny projekt Remus [1]. Je pravda, ze bola zvysena vykonnost hypervizora a je tam dostupny tusim blktap2 ovladac...co moze byt motivaciou na prechod na Xen4 v dnesnej dobe?

Prave v priebehu mesiaca planujem riesit vysoko dostupne VM na Xen, cize sa nejake informacie zidu. Skusal si ten Remus, mas s tym nejake skusenosti?

[1] - http://wiki.xensource.com/xenwiki/Remus

[VSi]

Remus - pročetl jsem nějaké posty na mailing listu z poslední doby. A rozhodně jsem nenabyl dojmu, že by to bylo použitelné pro reálné nasazení. Nebyly snad spolehlivě dořešené základní věci typu náhrada vadného uzlu nebo něco takového. Rozhodně lepší je klasické DRBD + Xen 3.4 nebo 4 + pacemaker. Na konfiguraci je to dost složité, momentálně to testuji, ale jde o obecně vyzkoušené a stabilní technologie. Narozdíl od horkých novinek v Xen 4. Pokud jde o HA, tak bych byl spíš konzervativní.

Motivace pro Xen 4? Nevím. Pokud člověk nepotřebuje speciality typu DRBD a "lowcost" HA, tak je podle mě stejně nejlepší XenServer. Koukněte třeba i na http://blog.xen.org/index.php/2010/07/07/xen-cloud-platform-0-5-released/

Debian má problém s verzemi jader pro Xen - buď nepovedené 2.6.26, nebo ještě nestabilní 2.6.32 s pv_ops. Proto od začátku používám jádro z XenServeru, protože které jiné už by mělo být stabilnější?

[skupko]

Pozor na Citrix XenServer. Cital som, ze jeho obrazy VM niesu kompatibilne s komunitnou implementaciou Xen-u.

[the.max]

a hlavne je to maskovanej redhat. Balixky to ma navic pro i386, coz mi prijde v dobe, kdyz jiz nekolik let se nevyrabi jine nez 64bit procesory trochu divne.

[VSi]

i386 je dom0 userland, virtuální stroje samozřejmě mohou být 64bit. Dom0 má stejně k dispozici max. pár set MB RAM a nedělá nic výkonově kritického, i386 dom0 je doporučeno vývojáři Xenu jako stabilnější a dlouhodobě ověřená konfigurace.

Zkoušel jsi XenServer nainstalovat? Možná je to "maskovanej redhat", ale pokud člověk nemá čas nebo potřebu si hrát, tak během 10 minut má nainstalovaný a nakonfigurovaný stabilní a spolehlivý systém pro virtualizaci. Lze použít třeba ESXi, ale XenServer je pořád linux, kam se lze normálně přihlásit přes ssh, takže tam přeci jen lze v případě potřeby udělat víc. Nějaké nekompatibility "obrazů VM" bych se nebál. Přinejhorším jsou disky uložené jako normální LVM LV.

[the.max]

nainstalovane to mam ve virtualboxu (zatim). Zklamalo mne, ze tam nejde 'naklikat' rovnou i IPv6 adresa. Pri samotne instalaci mne pak zaskocilo to, ze mi to nenabidlo moznost rucne si rozdelit disk (ci vubec jakkoli zasahnout rodeleni disku). Jinak jsem to zatim nejak zvlast nezkoumal, zatim jsem nemel cas.

Zatim jsou tedy 2 kandidati. Bud Debian, nebo prave XenServer. Kazde ma sve pro a proti, budu to muset jeste poradne promyslet a mezi 'pro a proti' si urcit priority.

[VSi]

Jestli jde management přes IPv6, to nevím. Přece jen je to produkt primárně pro "enterprise" sféru, předpokládá se oddělený management segment (na zvláštní síťovce), a IPv6 není nutnost. Novinky v posledních verzích ale tolik nesleduju.

Instalátor disk rozdělí bez ptaní, nicméně výchozí storage pool lze zrušit, a udělat si vše po svém. Obecně je XenServer postaven na principu minimálních ručních úprav konfigurace, lokální storage je tak na seznámení (může stačit, ale nebude to priorita vývoje), a pak se předpokládá použití nějaké SAN. Doporučuju projít si i administrátorský manuál - některé věci lze možná stále ještě dělat jen v CLI. Ovšem to CLI rozhraní mi přijde velmi dobře promyšlené a použitelné.

Já se rozhodoval obdobně. Jenže budu potřebovat DRBD, High Availability, základní firewall přímo na Dom0, k čemuž by XenServer přesvědčit asi šel, ale nebylo by to ono. Vlastní úpravy v systému by zrušil jakýkoliv update. Kouzlo XenServeru vidím jednak ve slušném odladění a stabilitě, a pak v jednoduchosti instalace a správy. Plus může být i naprosto spolehlivý provoz Windows ve VM vč. certifikovaných ovladačů. Snadno lze zálohovat a exportovat jednotlivé VM, případná nová kompletní instalace je hotová bez stresu za pár minut, a následná obnova VM ze záloh je už jednoduchá a spolehlivá.

[kyytaM]

+1

Navyse, ak niekomu vadi Citrix branding a s tym spojene zalezitosti, stale je tu XCP - "komunitna" "vyvojova" vetva XenServeru - je to napred pred XenServerom (kedze stable releasy sa robia prave z XCP). :) XAPI je fajn. Na nejake tunenie a vymyslanie vlastnych rieseni to ale nie je vhodne.

[dik]

...ten xen cloud vypada zajimave , je tu nekdu ,kdo jej provozuje uspesne? Resp. neni neco podobneho o kvm? dik

[skupko]

Prave som si uvedomil, ze CentOS nema default Xen4. Takze asi ratas s tym, ze budes buildovat zo zdrojakov. Potom si myslim, ze to mas jedno, ci Debian alebo CentOS.

[dik]

xen v centosu 5 je verze 3.2 + mraky backportu ,je pekne odladeny (diky RHEL),coz se o debianu rici neda :)

ps: u xenu mi hrozne vadi ,ze neumi deduplikaci pameti ,takze doporucuju kmv :)

dik

[skupko]

Prave Xen4 prinasa podporu 'transcendent memory' a v Xen4.0.1 by mala byt moznost zapnut deduplikaciu a kompresiu pamate domU.

Kazdy zo systemov Xen aj KVM ma svoje vyhody a nevyhody, no s novou verziou Xenu zda sa prichadzas o jeden argumentov 'preco KVM'

[PanZvedavy]

Pro stabilni provoz Xenu bych zkusil Citrix Xen server. Enterprise verze je uz zadarmo, staci jen stahnout key. Je to relativne odladena zalezitost a v pripade problemu jsou autori schopni spolupracovat primo s vyrobcem hw, jak se ted naposledy stalo...dell, hp. Je to rozhodne lepsi nez bastlit ruzne patche a zkouset ruzne verze jader s ruznym userlandem. Respektive abych se vyjadril presneji...je to vhodnejsi pro ostre nasazeni k zakaznikovi. Samozrejme pokud si nekdo chce hrat s milionem ruznych nesmyslu muze, ale pokud neco implementuji, potrebuji funkcnost, stabilitu a co nejrychlejsi deployment. A to je tezko splnitelne s necim co je casto zbastlene za pochodu na kolene.

[theo]

A co že je špatně na Gentoo? Problémy s upgradem? Taky jsem míval, ale stačilo probrat worldfile tak, že v něm zůstalo jen to co skutečně potřebuji mít nainstalované (tj. vyházet odtud vše co je v závislostech - "equery d" je tvůj kamarád :) a od té doby se mi nestalo ani jednou, že by nastal nějaký problém s upgradem (pochopitelně mimo vzájemně se blokujících verzí balíků, ale to je vždy řešitelné). Zatím jsem nenašel lepší distribuci než Gentoo na provoz prakticky čehokoliv. Ostatní jsou buď binární, takže se dřív nebo později začnou topit v několika verzích téže knihovny, nebo nemají rolling updates (zkouším i Arch Linux a taky to není to pravé).

Na tvém místě bych vážně zvážil jestli se s tím Gentoo přeci jen nedomluvit. Vyčištění worldfilu je sice zábava na celý den, ale pak už je (s trochou disciplíny) jednou provždy klid.

[the.max]

Jako ja proti gentoo nic nemam, problem ale je ten, ze kdyz chvili neaktualizuji a pak do toho prastim jednou za cas, tak pak 2 dnynedelam nic jineho nez ze resim blokujici se zavislosti atd. Nasleduje revdep-rebuild a etc-update. Tam je potom 3 prdele konfiguraku co se musi rucne projit, opravit/upravit atd. To je dalsiho pul dne. Pak kdyz potrebuju shodit (xm destroy) jeden (testovaci) virtual a nasledne ho spustit, vybehlo na me nekolik obrazovek chybovych hlasek z Pythonu (kterym jsem zrovna moc nerozumnel), ale dosel jsem k zaveru ze je to aktualizaci xenu. Xen, ktery (stale) jeste bezel byl ve verzi 3.4.2, ale aktualizovan byl na 4.0.1. Takze bych musel bud restartnout cely Xen (idelane cely server), a riskovat ze uz nenabehne nic. takze jsem zase radeji downgradoval na 3.4.2, takez ted to jakz takz bezi. Problem je ten, ze ted momenatalne (docasna zaelzitost) nemam fyzicky pristup k serveru, tazke pokud se neco vys... tak je to v ...

Uvedomil jsem si, ze takhle to dal nejde, ze takhe se proste neda provozovat produkcni server, proto bych na Dom_0 chtel neco dlouhodobe stabilniho, overeneho, funkcniho, co se (snad) nebude rozbijet po kazde aktualizaci.

Na jednotlivych virtualech gentoo zustava, oni jsou v podstate vsechny stejny, tazke na jednom udelam aktualizaci (a hned si vyrobim binarni balicky) a nasledne jiz binarne zaktualizuji ostatni.

Takze ted zkousim ten XenServer, na jednu stranu se mi to celkem zamlouva, ale ma to taky sve mouchy (ale rozhodne mene, nez Gentoo na Dom_0).

[VSi]

Přidám nějaké zkušenosti:

Debian jsem po desítkách hodin vztekání zavrhnul. Problém je už s jádrem, 2.6.32 pro dom0 je postaveno na pv_ops, což není úplně v produkční kvalitě (možná má někdo jiné zkušenosti). Xen, který obsahuje lenny, si neporadil s hardwarem (MSI-X na HP 110G6, všechno nacpáno na jedno IRQ). Debian squeeze obsahuje Xen 4, který se mi zdál OK, ale narazil jsem problém na nekompatibilitu verze udev s použitým jádrem (Xen Cloud 2.6.27). Asi by byla možnost držet mix lenny/squeeze (to jsem zkoušel a chodilo to celkem dobře), ale rád bych, aby to ještě pár let fungovalo...

Takže jako dom0 jsem nainstaloval CentOS 5.5 s výchozím 2.6.18 jádrem + Xen 3.4.3 z gitco repository. V repozitářích CentOS je i kompatibilní DRBD - funguje dobře a stabilně. S podporou HW problémy nejsou.

Ve VM bych rád měl Debian, bohužel opět problémy s jádrem - 2.6.32-amd64 (lenny-backports) běží stabilně, výkon OK, ale zhavaruje při migraci. Takže jsem zkusil 2.6.26-xen-amd64 - live migrace funguje perfektně, výkon OK, ovšem problémy s "clocksource unstable" - zamrzá čas, což je problém dokumentovaný i na Debian Wiki. Řeší to nastavení clocksource na "jiffies", což není podle mě vyhovující řešení, protože se tím sníží rozlišení časovače na 4ms - ping ukazuje časy s krokem 4ms, mohou být problémy s PostgreSQL transakcemi...

Používá někdo Debian jako Xen VM nad CentOS, ideálně s Xen řady 3.4 a funguje mu live migrace? Jaké jádro pak máte v Debianu? Budu rád za jakoukoliv informaci.