Dotaz: KVM performance penalty + dotazy k virtualizaci obecne

[Lukas]

Dobrý den,

chtěl jsem se zeptat na dvě věci:

1) zda má z důvodu bezpečnosti smysl dělat na každou službu samostatný virtuální stroj - jednalo by se o mailserver, fileserver, dns/vpn a webserver?

2) jaká bude performance penalty, pokud bych použil KVM s tím, že by virtuály byly nainstalované do samostaných LVM oddílů?

Jedná se o nepříliš vytížené systémy, které budou po většinu doby idle, z hlediska bezpečnosti bych zase ale nejradši oddělil webserver do samostatného virtuálu. Na webserveru ale zas potřebuju sql a to je prý ve virtuálech největší problém, protože to sežere strašně moc i/o na disku a prý se tam nejvíc projeví performance penalty VM.

Takže otázka zní - má ta virtualizace smysl nebo ne, popř. co virtualizovat a co nechat na nativní mašině?

Odpovědi

[PanZvedavy]

1. to zalezi o jakou uroven bezpecnosti usiluji. Verejne sluzby versus sluzby pro firemni zamestanace versus domaci uzivatele versus ...

2. to je snad dane rezii LVM. KVM je z hlediska LVM jeden velky soubor, nic vic.

Rozdeleni instalaci je opet o bezpecnosti. Pokud bude web i email verejny, tak muze bezet dohromady. Pokud ocekavam problemy s provozovanymi www aplikacemi, ci se u nich casto vyskytuji bezpecnostni problemy, tak tomu venuji extra virtual a nebudu to michat s ostatnima sluzbama. Pokud tech sql serveru nebude na jednom diskovem poli 5, tak v tom nevidim problem. Pokud ocekavam velkou zatez u databaze, tak se virtualizaci sql serveru velkym obloukem vyhnu protoze i/o. Virtualizace samo smysl ma a to nemaly, ale ne vsude a za kazdou cenu.

[CandySan]

K bodu 2 moje zkusenosti (provozuju virtualizace jiz delsi dobu a mam zasadne kazdy server virtualizovany, protoze si tim setrim spousty casu - kdyz se deje cokoliv a cokoliv se hryzne, nebo jakkoliv prestane reagovat, tak vzdy muzu udelat aspon restart virtualky).

Na zaklade testu nekoho dalsiho (k dohledani na netu) ukladam virtualky ve formatu raw a bez cache. Testoval jsem vliv souborovych systemu a dospel jsem k tomu, ze image by mely lezet na FS XFS a uvnitr virtualek se mi z daleka nejlepe osvedcil jfs (nevytezuje cpu a je extremne rychly i pri praci s adresari s mnoha a mnoha soubory - obcas se vsak zamkne a je read only a je potreba jej odpojit a pripojit; mel jsem z pocatku vsude reiserfs a virtualky byly znatelne pretizene a hostitel taky, tak jsem zkousel vliv ruznych FS a tak jsem dospel k teto kombinaci u ktere setrvavam).

Dulezite je, aby se nikde neswapovalo, takze vsichni (i hostitel) maji zakazan swap.

Provozuju takto celkem vytizene web servery, sql servery, mail servery (pozor na to aby byl cachujici) a i windows servery a vse ma vykonu dost.

Provozuju to zasadne nad sw raid, coz samozrejme neni oproti hw raid z daleka tak vykonne (mam kazdy server s hw raid, ale nepouzivam je a nevim jiste zda jsou tak vyznamne rychlejsi, ale rika se to), ale pro mne je z daleka nejdulezitejsi at je vse vsude stejne (sablonovite) dokud "na to mam" (prostredky, vykon atd...).

U sw raidu mam nastaveno, ze resynchronizace probiha jen malou rychlosti (dev.raid.speed_limit_min=100) at to nikoho (disk) nezatezuje (je to jen read only operace, takze neni kam spechat a pole jsou po celou dobu v poradku).

Dokonce se ukazuje, ze si (zatim) muzu vsude dovolit zalohovat pomoci lvm snapshotu (zalohujicimu procesu nastavuju nejnizsi nice a ionice), takze rezervy mam velke. Ocekavam vsak, ze az budu moct pouzivat napr. btrfs, tak to bude uplne jina pohadka.

Jeste doplnim, ze u hostitele je vhodne doplnit do /etc/sysctl.conf kernel.panic = 10 a kernel.panic_on_oops = 10 (tedy ze v obou pripadech do 10 s bude hostitel restartovan) a nainstalovat watchdog (tam, kde neni hw watchdog, tak lze pouzit softdog a funguje skvele!).

Zasadne dulezite je mit vic jader. 2 jadra jsou pri napr. ctyrech virtualkach hodne vytizena, ale 4 jadra snesou i celkem dost virtualek a stale to jde. Tenhle popis je sice tezko uchopitelny, ale nema zadny smysl vtytvaret virtualizacni server na pocitaci s mene nez 4 jadry. Musi to byt fyzicka jadra a ne HT! Nevim cim to je - mozna maji jen jednu spolecnou frontu..?

snad ti to helpne

[CandySan]

Jeste doplnim, ze LVM samotne nepredstavuje vubec zadnou rezii navic (nemluvim vsak o snapshotech - ty jsou narocne velmi).

[Šangala]

…ale nema zadny smysl vtytvaret virtualizacni server na pocitaci s mene nez 4 jadry

spolu v dotazu uvedeném

Jedná se o nepříliš vytížené systémy, které budou po většinu doby idle

mám poznámku, že mám 3× VM (XEN) a používám i fyzického hostitele (což je blbost) vše na jedno-jádru Athlon LE-1640.

[CandySan]

Jo to je fakt. Kdyz se po nich nic moc nechce, tak to v pohode pobezi i na jednojadru. V okamziku, kdy prijde zatez, tak az tehdy poleti load nahoru a zadejchaji se vsechny virtualky najednou. Nechal jsem se unest a popsal jsem spis jen svoji sablonu.

[trekker.dk]

mam kazdy server s hw raid, ale nepouzivam je a nevim jiste zda jsou tak vyznamne rychlejsi, ale rika se to

Jsou a o dost*. Nevýhodou je, že člověk svěřuje data černé krabičce a doufá, že se nic nevys...

* pokud se nebavíme o levném řadiči s "hardwarovým" ve skutečnosti softwarovém raidem

[pavlix]

Je nějaký důvod, proč by měly být rychlejší? A nějaká data? Já nevím ani o jednom.

[Lazar]

Nemůže například non-volatile pamět na takovém řadiči umožnit dosažení vyššího výkonu (volbou cache-policy) při zachování spolehlivosti (případné dodatečné propsání dirty blocks po obnovení provozu)?

[trekker.dk]

Nemůže například non-volatile pamět na takovém řadiči umožnit dosažení vyššího výkonu

Samozřejmě, zejména pokud je ta non-volatile paměť RAM zálohovaná baterií. Rozdíl výkonu oproti softwarovému raidu je znát opravdu hodně.

Ale klid, pavlix se zřejmě jenom dlouho s nikým nepohádal, tak to zkouší...

[Ivan Vecera]

Ja pouzivam jako nahradu HW-RAID s cache a baterii kombinaci MD-RAID, flashcache & UPS. Flashcache nemam nad SSD ale nad ramdiskem. Zkousel jsem i bcache, ale s flashcache jsem mel lepsi vykon. Ted jsem kdesi vyhrabal projekt eprd (http://www.lessfs.com/wordpress/?p=699) a ten se mi docela libi.

[trekker.dk]

Tohle řešení má (asi relativně malé) riziko, že jádro zhavaruje dřív, než se všechna data z ramdisku překopírují na pevné úložiště.

Já jsem před nějakou dobou na flashcache i bcache koukal. Bohužel flashcache je out-of-tree projekt a nejnovější jádro, na kterém to testovali, je 2.6.32, což mi nestačí. A podle toho, co jsem četl o bcache, tak tam velká šance na začlenění taky není...

[Ivan Vecera]

Tohle řešení má (asi relativně malé) riziko, že jádro zhavaruje dřív, než se všechna data z ramdisku překopírují na pevné úložiště.

Tak tohle riziko ma asi jakekoliv reseni... HW-RAID s baterkou ma taky riziko, ze jadro zhavaruje driv, nez se data z pagecache/bufferu prekopiruji do non-volatile pameti na radici.

Já jsem před nějakou dobou na flashcache i bcache koukal. Bohužel flashcache je out-of-tree projekt a nejnovější jádro, na kterém to testovali, je 2.6.32, což mi nestačí. A podle toho, co jsem četl o bcache, tak tam velká šance na začlenění taky není...

Staci vzit flashcache z jeho gitu, pokud vim tak nova jadra jsou take podporovana (3.6.x urcite). U bcache se mi nelibi, ze musis pripravit (naformatovat) nejen cache zarizeni (RAM disk/SSD) ale i backend, coz je na prd. Ted zrovna testuju ten EPRD a nevypada to vubec spatne.

[trekker.dk]

Tak tohle riziko ma asi jakekoliv reseni... HW-RAID s baterkou ma taky riziko, ze jadro zhavaruje driv, nez se data z pagecache/bufferu prekopiruji do non-volatile pameti na radici.

To je sice pravda, ale rozdíl tu přece jenom je. Pokud nějaká aplikace použije systémové volání sync(), to volání se nevrátí, dokud se data nepřenesou alespoň do té baterkou zálohované paměti (a pak už je to jedno, ten řadič si udělá svoje, i když jádro spadne.) Tzn. pokud se mi vrátí sync(), mám jistotu, že data jsou na stabilním úložišti.

Pro tvoje řešení tohle neplatí, sync() se vrátí, když se data uloží do cache v ramdisku, přestože existuje možnost, že se na stabilní úložiště nedostanou (za předpokladu, že flashcache při sync() nečeká, až se data dostanou až na disk, ale to by asi docela zabíjelo výkon.)

Staci vzit flashcache z jeho gitu, pokud vim tak nova jadra jsou take podporovana (3.6.x urcite)

Spíš si počkám, až bude něco v mainline

[pavlix]

Ale klid, pavlix se zřejmě jenom dlouho s nikým nepohádal, tak to zkouší...

Myslím, že je naprosto zřejmé, kdo se tu zkouší hádat ;).

[pavlix]

Nemůže například non-volatile pamět na takovém řadiči umožnit dosažení vyššího výkonu (volbou cache-policy) při zachování spolehlivosti (případné dodatečné propsání dirty blocks po obnovení provozu)?

Jo to zní docela rozumně.

[kozzi]

1) jak jiz bylo receno zalezi na tom co se od systemu ocekava. Jinak obecne je lespi to mit vse zvlast virtualizovane

2) co se tyka ztrat na vykonu tak  rezie u KVM co se vykonu cpu tyce je nekde okolo 5-10%, coz neni nijak moc, tam problm neni

co se tyce jiz zminovaneho problemu IO operaci, tak zde hodne zalezi na nastaveni a jak si stim clovek pohraje a zda ma podporu IOMMU,

pokud hostitel podporuje IOMMU jak CPU tak i deska, pak bych se nebal virtualizovat i ten databazovi server. Dale jeste zalezi na veliosti RAM, pokud ty databaze nebudou nejak extra velke a da se rict ze DB server si je dokaze nacachovat v podstate cele do operacni pameti, tak pak zytraty na vykonu IO nebudou zas tak markantni.

[Šangala]

A je nějaký problém, pro DB nedělat virtuální disk, ale připojit fyzickou partition, nebo to problém neřeší (nevím, tak se se ptám)?

[kozzi]

Pripojit fyzickou partisnu samozrejme muzes a teoreticky si tim pomuzes, ale presto si nemyslim ze by to byl takovy rozdil, chtelo by to provest testy

[Šangala]

Takže problém „IO“ je jen, že DB server má velké zatížení „IO“ a tím pádem, zatíží fyzický HW a pak to má vliv na ostatní VM?
Ale to by přece nemělo vadit, pokud ostatní stroje pracují převážně s pamětí, ne?

[kozzi]

Jde o to ze jakmile se pretizi IO subsystem tak to pak jde vetsinou cele do haje, je to jak domino

[TomM]

Ad 2) zkoušel jsem oboje a nepozoroval jsem rozdíl.
Jen bych měl poznámku - u virtuálního disku si v "advanced options/performance options" zapnout "IO mode" "native". Dokud jsem měl "default" (což je asi totéž, co "threads"), dokázala například aktualizace guesta hostovi nehorázně zatopit. Přišlo mi to, jako by se na každý celistvý na disk zapisovaný blok dat vyrobil thread a tu jich máš hoste 50 paralelně a opíchej se z toho... Stačilo pustit aktualizaci dvou guestů souběžně a LAV hosta byl v desítkách (a odezva...jo, přesně tam).
Keš bych zkusil asi jen na partition, jinak se o to postara host. Takže vypnout.
Ad /proc/sys/dev/raid/speed_limit_min - pokud je check ve čtvrtek na 47%, je třeba zpozornět
RHEL6 @ HP Proliant ML110G7, SW RAID 1, SATA disky