Xen vs. KVM: Práce s diskem

6. 5. 2010 | Jirka Bourek | Systém | 49529×

Práce s diskem

• 1. Test bez paralelizace
• 2. Sedm paralelně běžících procesů
• Shrnutí

Čistá práce s diskem byla testována zápisem velkého souboru pomocí dd:

dd if=/dev/zero of=soubor.bin bs=1048576 count=16384

Testována byla doba běhu testu (a tím rychlost zápisu na disk).

1. Test bez paralelizace

Na hostiteli se v tomto testu zapisoval soubor o velikosti 112 GB, aby se omezil vliv diskové cache. Zápis na hostiteli trval 1438,360 s, což dělá 79,74 MB/s. Výsledky hostů (průměrné hodnoty ze tří běhů) jsou uvedeny v tabulce:

	KVM 1/1	Xen 1/1
průměr	273,366 s (59,93 MB/s)	207,862 s (78,82 MB/s)
odchylka	-24,8 %	-1,2 %

(Minimální a maximální doba běhu se u KVM od průměru lišila o 1 sekundu, u Xenu to bylo 5 vteřin.)

2. Sedm paralelně běžících procesů

Na hostiteli se tentokrát zapisovalo sedm souborů o velikosti 16 GB, každý z nich na samostatný souborový systém o velikosti 20 GB.

	Hostitel	KVM 1/1	Xen 1/1
minimum	1347,32 s (12,16 MB/s)	10039.80s (1,63 MB/s … -86,6 %)	2838,39 s (5,77 MB/s … -52,5 %)
průměr	1266,38 s (12,94 MB/s)	9495,70 s (1,73 MB/s … -86,7 %)	2693,75 s (6,08 MB/s … -53,0 %)
maximum	1177,20 s (13,92 MB/s)	8252,03 s (1,99 MB/s … -85,7 %)	2534,50 s (6,46 MB/s … -53,6 %)

Shrnutí

Ani v těchto testech si KVM nevedlo příliš dobře. Přestože je disk zpřístupněn pomocí paravirtualizovaného ovladače virtio, je vidět výrazný propad jak proti hostiteli, tak proti Xenu. Při testu s paralelním během byl hostitel přetížen podobným způsobem jako při rozbalování zdrojových kódů jádra, i když v menší míře.

Při běhu bez paralelních přístupů k disku dosahuje Xen téměř stejného výkonu, jako hostitel. Režie spojená s během KVM byla cca 25 %. Běh s paralelním přístupem ukázal podstatně horší výsledky: Xen si pohoršil na 50 % výkonu hostitele a KVM se propadlo na necelých 15 %.

Bez souběžného přístupu je podávaný výkon KVM tolerovatelný, ale pokles při paralelním běhu je v podstatě za hranicí použitelnosti systému, což v tomto případě platí nejenom pro KVM, ale i pro Xen. Na druhou stranu i zde platí, že tato zátěž by si zasloužila více než jeden hostitelský stroj.

       

Komentáře

[kyytaM]

Super clanok, len skoda, ze bola pouzita taka pomerne archaicka verzia Xenu. Od 3.2.1 bolo obrovske mnozstvo zmien (v Squeeze je myslim 3.4.2 a pvops 2.6.32 dom0 kernel). Zial aj Lenny Dom0 2.6.26xen kernel je z tych menej podarenych. :)

[Lubos Kopecky]

presne to sem chtel napsat taky :) xen 3.4 je ve squeeze a 2.6.32 Dom0 je dokonce v lenny-backports... osobne jsem od 2.6.26 utekl a na nove instalove Dom0 jsem zacal davat mnou kompilovane 2.6.31.XX, protoze ta stabilita a celkove chovani nebylo na 2.6.26 alespon dle mych zkusenosti moc dobre... u DomU jsem verze jadra navysoval prubezne i na jiz instalnutych virtualech...

[kyytaM]

Robim teraz nejake sieove benchmarky, zaujima ma udajna vykonova regresia, ked sa pouzije pvops Dom0 kernel, ale nemam to este dokonecne, zial ani nemam poriadny HW k dispozicii (len prasive AMD X2, kedze vo firme natrieskali na vsetky nove servery nevirtualizovane Windowsy a uz to aj lutuju :D).

Stavil som zatial na 2.6.32.11 ci ktory je teraz v tom git stable 2.6.32.xx, mam pripravene aj 2.6.31.13 git stable, 2.6.18 mercurial a planujem este 2.6.27. Z konfigov som povyhadzoval vsetky debugy ktore som nasiel, tak hadam sa pri tom benchmarku dopracujem aj k nieocmu pouzitelnemu. :)

Co sa tyka KVM vs XEN je to taka zvlastna situacia - IMHO nie je dobre, ze sa to triesti, na druhu stranu XENu aj KVMka by bola skoda, keby sa prestali rozvijat na ukor toho druheho. :)

[VSi]

Odkud používáte zdrojáky pro ta Dom0 jádra 2.6.31 a 2.6.32? Původně ty patche pochází od SUSE, tady je 2.6.31.5: http://download.opensuse.org/distribution/11.2/repo/oss/suse/noarch/. Ale viděl jsem nasazené a doporučené 2.6.31.8, ke kterému jsem zdrojový balík nenašel. Taky gentoo má nějakou sadu xen patchů. Máte nějaký svůj "vyladěný" kernel config, nebo používáte nějaký z distribuce jako základ?

Je to dost nepřehledná situace, pokud s tím člověk nechce nějak dlouho experimentovat a zjišťovat, co všechno je nestabilní. Konkrétně přemýšlím, co použít na Debian Lenny Dom0, k tomu xen-hypervisor z lenny nebo z testingu (tam je 3.4). Zatím to vidím na testování jádra zkompilovaného ze zdrojů 2.6.27 z XenServeru (resp. Xen Cloud Platform) a 2.6.31 ze SUSE.

Použít čistě Xen Cloud Platform se mi nehodí, plánuju 2 servery + DRBD + heartbeat.

[kyytaM]

Ak chcete na istotu, tak 2.6.27 je asi ideal, najlepsi kompromis medzi novostou, stabilitou a funkciami (ak nepotrebujete PV USB - rychlu komunikaciu s USB2 zariadeniami) - celkom uzitocny prehlad Xen Kernel Features.

Tie pvops Dom0 kernely su odtialto pvops git.

Problem je v tom, ze povodne Xen patche neboli prijate do vanilla jadra (to su vlaste vsetky tie "bezne" Xen Dom0 kernely - 2.6.18 zo Xen.org, 2.6.18 z RHEL, 2.6.26xen z Lenny, spominany 2.6.27, SUSE Xen kernely (ak sa dobre pamatam, to forwardportovanie patchov ide tusim prave od SUSE)) a bolo s tym uz najvyssi cas nieco urobit. Tak zacalo zaclenovanie Dom0 funkcionality do pvops (mnenej invazivne patche, zatial tam bola len DomU podpora) najnovsich vanilla jadier s cielom dosiahnu prijatie Dom0 funkcionality do vanilla jadra v blizkej buducnosti (2.6.35.36..).

A tie pvops Dom0 kernely 2.6.31.13 a 2.6.32.11 su stable verzie z tohto procesu - pekny popis co to je a ako nainstalovat XenParavirtOps (ziskanie a instalacia cca od 1/3 z vrchu). Pre Xen 4.0.0 je uz ake default pvops Dom0 kernel, cize ked si clovek stiahne zdrojaky, make world, ma tam 2.6.31.13 pvops Dom0 kernel (ale funguje aj so starsimi samozrejme). :)

Vsimol som si, ze boli reportovane nejake udajne vykonove regresie pri pouziti tychto pvops Dom0 kernelov, bolo by treba obenchovat. :) Kernel config som si robil vlastny, kedze defaultne je tam vela debugu zapnuteho (co ma negativny vplyv na vykon) a dal som si Xen "zalezitosti" DomU aj Dom0 natvrdo, nech mam 1 kernel pre Dom0 aj domU a nech nemusim vymyslat stale s initrd. Pravda, na prdodukcne servery by som to zatial asi nedaval (pokial nie su benchmarky pod dlhodobejsiu tazkou zatazou), tam by som asi dal prave tu 2.6.27 spominanu. :))

[VSi]

Článek výborný. Je vidět, že Xen rozhodně není na odpis. Obzvlášť, když potřebujete provozovat virtuálně i nějaké Windows. Očekávám ale, že stav KVM+Windows se časem taky dostane do lepšího stavu.

Na 2.6.26 co je v Debianu Lenny jsem moc chvály taky nečetl, co se týká použití jako Dom0. Na druhou stranu používat xen-hypervisor z testing větve + pv_ops 2.6.32 z backports se mi moc nelíbí. Nebo s tím má někdo pozitivní zkušenost?

Zatím jsem se chtěl vydat cestou použití kernelu z XenServeru (2.6.27), který je jistě intenzivně testovaný a se samotným XenServerem mám perfektní zkušenosti. Ale teď bych spíš potřeboval nasadit čistý Debian (nebo klidně jinou distribuci) + Xen. Otázka je, jak by to fungovalo s tím hypervizorem, co je v Debianu Lenny...

[kyytaM]

Xen z Lenny (3.2.1 tusim) nepodporuje pvops Dom0 kernely 2.6.32.x (pokial sa dobre pamatam, na pvops dom0 2.6.32.x treba Xen 4.x.x aleo 3.4.3). Pvops 2.6.31.x Dom0 funguje aj so starsimi Xenmi - http://wiki.xensource.com/xenwiki/XenParavirtOps.

Xen 3.2.1 je uz tiez dost historicky, zmien tam odvtedy bolo viac nez dost. :)

Inak ak chce clovek nieco v style Citrix XenServeru, ale viac "nove" a "ohybatelne", tak odporucam XenCloud Platform. Je to nieco ako komunitna verzia XenServera, z ktorej sa potom formuju komercne vydania (cize rovnako ako Citrix XenServer na upravenom CentOS postaveny "appliance"). K tomu este OpenXenCenter a ma clovek aj pekny mngmnt tool. :)

[kyytaM]

Pekne by bolo, keby sa dali benchmarky urobit aj na HW s 2 generaciou HW virtualizacie (Rapid Virtualization Indexing/Extended Page Tables) - vie to spravit velky rozdiel. :)

[franz]

Doporucil bych vam zkusit parametr "cache=none" nebo "cache=writeback" pro -drive, tj -drive file=...,if=virtio,cache=none

U me to zrychlilo zapis na disk v guestu (freebsd) asi 5-7x; vysvetleni parametru najdete v "man qemu"

[trekker.dk]

Je to v plánu někdy do budoucna, stejně jako zkouška s novějším procesorem.

A s "man qemu" opatrně, závisí to na distribuci. U mě třeba funguje jenom man kvm-qemu a podle toho manuálu může cache být "on" nebo "off"

[Jiří J.]

Ano, to je velice nepříjemná věc v debianu (u mě squeeze) - musí se instalovat balík "qemu-kvm", protože balíček "kvm" je VELICE a značně zastaralý, způsobuje výkonnostní anomálie, padání guestů, ...

[JoHnY2]

Prvne diky moc za clanek.

Kdyby na to nekdy byla chut, tak bych moc rad videl aspon zakladni porovnani behu widli na Xen a KVMku. Sam jsem si hral s Win 2k3 serverem a na obojim se chova proti Linuxu mnohem hur. Na Xenu widle doslova staly na miste kvuli desivejm odezvam. Na KVM to bylo lepsi, ale zase se dost desne chovaly disky.

Lidi, jakou mate zkusenost s virtualizaci widli? Zaslech jsem, ze velmi dobre chodi vmware server, ale zrovna nemam volnej HW na testovani.

[peppa]

s ESX4i by neměl být problém. Na plném ESX mám 8 Windows serverů.

[cezz]

Nemozem porovnavat, ale mne win 2008 na KVM chodilo celkom pouzitelne (kazdopadne nerobil som ziadne benchmarky, ale nejavilo sa mi to nejake pomale)

[kyytaM]

Treba do tych virtualizovanych Windows nainstalovat PV drivery. Pre XEN su bud tieto GPLPV, alebo ak mas novy Xen (4.x.x, 3.4.3), tak sa daju pouzit aj original Citrix PV drivery (su aj podpisane MS, su vo forme freeware).

[Hu-go]

ano virtualizujeme pomoci XEN, full virt
na serveru mame 1-8 win stroju (2k3,2k8) - beh umerny zatezi, tedy zadny slimak dokud pochopitelne nebezi neco zadiraciho na nekterem ze serveru, pote se zpomali i ty ostatni, ale jinak v pohode.
patrne bude problem nekde jinde

[zito]

Protože se KVM poměrně rychle vyvíjí, byla použita verze z Debianu Unstable – v té době nejnovější jádro 2.6.31 (balík linux-image-2.6.31-1-amd64) a kvm-85 (85+dfsg-4.1).

Opravdu bylo použito poslední KVM? kvm-85 je poměrně starý balík. Aby nedošlo ke zmatení čtenářů... Sám používám na desktopu unstable a používám balík qemu-kvm, teď ve verzi 0.12.3+dfsg-4. V dokumentaci se lze dočíst v /usr/share/doc/qemu-kvm/changelog.upstream-kvm.gz, že tento balík je založen na kvm-88 [12 july 2009]. Sám jsem používal chvíli kvm-85 a měl problémy s virtualizovanými Windoze. Po čase jsem si všiml balíku qemu-kvm (s novějším KVM). V tom mě Windoze běžely o řád lépe (to už je tak 3/4 rok zpět). Tedy nevím kdy tyhle testy proběhly, ale o aktuálnosti user-space části KVM lze dost pochybovat?

No a co se týče XENu, tak ten je teď samozřejmě v kernelu 2.6.32 připravován pro Squeeze také zřejmě v novější podobě.

Nechtěl by si někdo dát práci a ty testy zopakovat?

[trekker.dk]

Opravdu bylo použito poslední KVM?

V té době... je to cca půl roku, spíš víc, nechá se to odvodit i podle "nejnovějšího jádra" 2.6.31. Holt docela dlouho trvalo to sepsat.

[zito]

Aha, vona uz je verze 2.6.31 dost stara koukam... Nicmene, uz v te dobe tam bylo zabalickovane kvm-88 (mozna bylo jenom v experimentalu, to uz nezkoumam). Tak beru zpet, dle /usr/share/doc/qemu-kvm/changelog.Debian.gz zacalo balickovani 2.11.2009. Tak jsem asi nejak casove ujel.

qemu-kvm (0.11.0+dfsg-1) unstable; urgency=low

* Package qemu-kvm (stable series) instead of kvm (snapshots) * Simplify the packaging, remove support for external module source * Move old debian/changelog to debian/changlog.kvm

-- Jan Lübbe <jluebbe@debian.org> Mon, 02 Nov 2009 11:49:28 +0100

Zrejme ty testy probehly jiz v roce 2009...

[cezz]

Fajn clanok, prijemne vediet, ze oproti paravirtualizacii uz nie je vykonova strata plnej virtualizacie (hoci s virtio a podobnymi fintami) taka velka..

[RoboShim]

Nedavno jsem si delal podobne testy, dokonce na rychlost CPU jsem pouzil naprosto stejny test se ctenim z /dev/zero, kodovanim pomoci openssl a posilanim do /dev/null

Take jsem testoval jenom jeden Host a jeden VM, zadne paralelni stroje. Chtel jsem proste porovnat pouze ubytek vykonu ve virtualizovanych masinach. Testoval jsem XEN, KVM a VMware. Host OS byl Debian Lenny a Windows XP prof EN SP2, guest OS byl Debian Lenny a Windows XP (predpripraveny profil), vsechno jenom 32bit.

Na disk jsem pouzival bonnie++, tomu bych veril, dokonce to dokaze odstranit vliv disk cache, takze clovek opravdu presne vi, jak rychle to s diskem pracuje a testuje zapis, cteni a prepis, blokove i znakove a tusim i nahodny pristup.

Misto kompilace jsem provadel test spousteni bash scriptu. Script spoustel sam sebe nekolikrat v rekurzi. Proste test spousteni procesu, coz pouzivame v nasem kompilacnim prostredi.

Na testy site pouzivam iperf. Generuje na TCP nebo UDP nejaky data, coz nezatezuje CPU ani disk, takze pak clovek dostane opravdu rychlost site. iperf pracuje mezi dvema hosty, jeden je jako server, druhy jako client. Pokud je server na Gbit siti a neni nicim jinym zatezovany pres sit, tak iperf da opravdu kvalitni vysledek o rychlosti spojeni.

Pro praci s pameti jsem pouzil jednoduchy perl script, ktery do promenne nacpal string s milionem znaku "0". Potom v cyklu malych a velkych pismen prepsal pomoci s///g nuly na to pismeno. sakra, mel jsem spis pouzit tr///, ale i tak bych rekl, ze to dobre odrazelo praci v pameti.

Testy jsem delal z casti proto, ze si sef myslel, ze XEN virtualizace ubira vykon a ze mame teda servery instalovat primo na HW. A pak mame system pro kompilaci naseho produktoru pod Linux 32bit a 64bit a pod Windows 32bit a 64bit a pod Windows se pouziva Cygwin a je to desne pomaly.

Z testu my vyplynulo, ze CPU (openssl encrypt) je na vsech Host OS i Guest OS priblizne stejne rychly. Windows v KVM nebo VMware a Linux ve Vmware 2 jsou o trosku pomalejsi.

Perl script byl na Linux Host a XEN guest pomalejsi nez KVM guest.

Disk byl take relativne stejny. Jenom KVM bylo na Vmware discich asi dvakrat pomalejsi nez Host Linux a XEN guest. Kolega rikal, ze by vmware obrazy mely byt stejne rychle jako qemu.

Bohuzel spatne dopadl test site a spousteni.

Sit na Linux Hostu a XEN a VMware (1.0 i 2.0) Linux guestu hlasila kolem 930Mbps. Bohuzel i Windows XP host delal jenom 528Mbps. Ovsem zbytek byl horsi. Linux KVM Guest mel s VirtIO jenom 150Mbps, Windows XP KVM guest s VirtIO jenom 73Mbps, Win XP na Vmware 1.0 na 2.6.26 i na etch 2.6.18 kernelu Linux Hosta jenom 290Mbps, Win XP na Vmware 2.0 jenom 217Mbps. Win XP na VMware 1.0 Server na Win XP Hostu 349Mbps a na Vmware 2.0 275Mbps.

Zalostne taky dopadlo rekurzivni spousteni skriptu. Linux Host mel 1:25 (v minutach), XEN guest mel 1:34, windows xp host s cygwinem sam mel 20:31. Dale KVM Linux guest 5:45, Vmware 1.0 Linux guest na Linuxu 2:48, Linux Vmware 2.0 guest na linuxu 2:54, KVM Win XP guest s cygwinem 319:17, Win XP Vmware 1.0 guest s cygwinem na Linux hostu 47:50 a s vmware 2.0 127:39 a Win XP guest s cygwin na Win XP vmware server 1.0 46:30 a s vmware 2.0 129:05.

Prakticky mi z toho vyslo, ze pro Windows je porad jeste nutnost Vmware, ikdyz bych radsi KVM. A pro Linux jeste porad XEN, ktery bezi i na starsich masinach bez HW virt a neztraci zadny vykon v siti a spousteni procesu ani disku. Jeste budu testovat KVM pro Windows, ale to je tak akorat pro adminy, kdyz to nema consoli jako vmware. Jinak vmware 2 je peknej shit. WEb interface management funguje jak kdy, rychlosti to taky neoplyva, aspon ze se da vykopirovat vmware console a pouzivat oddelene, protoze ve FF3.6 tusim zatim nebezi.

Jednou uz driv jsem zkouseli Windows na XEN Enterprise, to bylo dobry i s managementem, zustali jsme u vmware.

[trekker.dk]

Bohuzel spatne dopadl test site a spousteni.

Teď jsem ještě zkusil netperf -t TCP_STREAM mezi KVM Linux hostem (virtio síť) a fyzickým strojem (ne hostitelem) a vyšlo cca 920×10^6 b/s na gigové síťovce. Stejný fyzický stroj proti hostiteli dá 940, takže tu síť bych opravdu tak špatně neviděl. netperf AFAIK používají k benchmarkování i vývojáři jádra, takže špatným nástrojem to IMO taky nebude...

[trekker.dk]

Btw. pokud sem hodíš ten test na rekurzivní spouštění skriptů, můžu to zkusit taky a dát vědět, co vyšlo mě.

[Kvakor]

Zalostne taky dopadlo rekurzivni spousteni skriptu. Linux Host mel 1:25 (v minutach), XEN guest mel 1:34, windows xp host s cygwinem sam mel 20:31.

Zatímco v Linuxu, jako ostatně ve většině unixů, jsou procesory "lehké" (light-weight) a jejich spouštění přes fork()+exec() relativně nenáročné, ve Windows jsou procesy relativně "těžkotonážní", fork() není nativně v dispozici (Cygwin ho musí emulovat) a mnohem víc se využívají lehká vlákna. Pokud se na Windows provozuje program silně používající unixový styl (např. právě ono rekurzivní spouštění skriptů), je logické, že výsledek dopadne takto žalostně.

Pamatuju si, jak jsem kdysi musel při portování jednoho svého programu z Linuxu na Windows přepsat volání externích utilit na používání knihoven, protože to, co Linuxu běžel celkem slušně, bylo ve Windows nepoužitelně pomalé - rozdíl v rychlostech byl téměř o řád a většinu zátěže spotřebovalo spouštění oněch externích utlilit (užívaných jako "filtry" na načítání vstupních a ukládání výstupních obrázků).

[Aleš Kapica]

Je zajímavé jak tvoje testy odrážejí mou praktickou zkušenost. Widle virtualizuji na vmware (ovšem workstation řady 7) a linuxové stroje na xenu.

[x]

Obavam se ale, ze jsi neudelal test na fyzickem HW, ale chapu, ze priznat, ze sef mel pravdu nekdy boli

[..... Izak .....]

OMG: zadny vmware server ... jestli testovat tak ESXi nebo pri nejhorsim vmware workstation ... zbytek jsou dost divne produkty.

[polish]

Clanek vyborny. Na testovani site v xenu jsem zkousel iperf a ten daval zhruba 950Mbit/s na gigabit sitovce, coz mi prislo slusny. Jinak asi neni spatny zbondovat vic sitovek dohromady. Vykon disku mi prisel o 30% nizsi proti nevirtualizovanemu hostu. Nechce to virtualizovat i/o intenzivni servery. Vyhoda KVM je, ze virtual je proces, takze mu muzete nastavit ionice a snizit tak dopat na zbytek systemu. Na i/o zkuste pouzit fio meri i/o operace za sekundu, je to komplexni nastroj, takze nastavit ulohu neni uplne triv, ale muzete vyuzit prednastavene joby, treba simulace iometer 80% cteni a 20% zapis. Dik

[hajma]

25&nbs,; %

[Jan Kundrát (jkt)]

Ma to rozdeleni clanku do nekolika "kapitol" nejaky smysl krome zvyseni poctu zobrazenych reklam? Bylo by mozne od rozdelovani clanku do takovych casti upustit?

[Max]

Třeba já si myslím, že je to přehlednější, než mít šílenou nudli.
Zdar Max

[Ruža Becelin]

Dej

Tisk bez diskuze

tak dostanes cely clanek...

[dmesg]

+1

[Luděk]

A to je takový problém si zablokovat googletagservices googleads bbelements POkud tak již nemáte...

[alkoholik]

Jeden dotaz ohledne XEN guesta: mel nainstalovany balik libc6-i686?

[trekker.dk]

libc6-i386, proč? (Silně pochybuju, že by se při kterémkoliv testu používaly knihovny pro zpětnou kompatibilitu s 32bit programy.)

[alkoholik]

Sorry blby dotaz. Priste si nejdriv 2x prectu na cem to bezelo.

[x]

Asi tolik ke slavne virtualizaci

 

[x]

[x]

[Hu-go]

Nebylo zpomaleni zpusobeno umistenim dat v jine datove oblasti??
Jelikoz disk je rychlejsi na svem zacatku a pomalejsi na svem konci - a pokud KVM bylo vytvoreno jako druhy stroj, pak vysledky nejsou prekvapujici.

[trekker.dk]

Umístění testovacích oddílů se nijak neměnilo. Po dokončení testování Xenu se LVM oddíl použil jako disk pro KVM.