Dotaz: Single server s KVM - jak nejlépe na úložiště?

[smíťa]

Ahoj,

řeším dilema. Budu připravovat nový server s Centos 6.5 s KVM, na kterém poběží několik menších virtuálů plus jeden malinko větší s webovou aplikací (LAMP), ke které bude přistupovat cca stovka lidí.

Není to žádný rychlík, RAM má dostatek, ale má pouze 2 SATA disky (s tím se nedá nic moc dělat musím použít co mám k dispozici). Řeším tedy jak nejlépe vymyslet úložiště.

HDD jsou v SW raidu, nad ním je LVM. Zvažoval jsem několik možností, jak udělat virtuál s webovkou. V tomto virtuálu bych chtěl mít zvlášť partitions na /var (pro případ naplnění logy), /tmp (s noexec) a /home (data aplikace).

a) virtuál v souboru - qed/qcow2 - v praxi jsem měl trošku menší výkon (který by u aplikace mohl chybět), výhodou je, že nezabírá tolik místa + jednoduchá migrace atd. (ale to nepotřebuji)

b) jeden LVM oddíl do virtuálu, kde budou jednotlivé partitiony - lepší výkon, problém s dodatečnou úpravou paritions - je složité zvětšit parition, která není na konci => ztrácím výhodu LVM. Řešit to můžu dostatečným naddimenzováním velikosti oddílů.

c) jeden LVM oddíl do virtuálu, kde bude další LVM - LVM má malý overhead, takže bych neočekával velký výkonnostní propad, ale duplikované LVM mi nepřijde moc čisté řešení.

d) pro každou partition zvlášť LVM oddíl a ve virtuálu vždy partition table s jedním oddílem => jednoduše se bude rozšiřovat. Otázka zda není zbytečné kvůli jednomu oddílu dělat partition table... Na druhou stranu to asi ničemu nevadí.

e) pro každou partition zvlášť LVM oddíl a ve virtuálu data přímo na blokovém zařízení (systém přímo na /dev/vda). Nevýhoda tohoto řešení je, že nemám MBR a nemohu tak nainstalovat grub a musím zavádět systém přes direct boot a mám tak kernel mimo virtuál + "složitější" instalace přes kickstart.

Zvolili byste někeré z řešení, která mě napadla, nebo používáte jiný trik? Osobně nejčastěji používám a) a b), e) mám otestované, ale v reálném provozu jsem ho zatím nenasadil.

---

---

Odpovědi

[smíťa]

Provozuju KVM nad LVM a uvnitř virtuálky mám zase LVM a přijde mi to jako nejlepší a nejspolehlivější řešení. Zkoušel jsem předtím všechny možné varianty a vždy se objevil nějaký problém. Tohle je zatím naprosto perfektní.

Widle takto provozuju taky a zvětšuju je pomocí parted live cd, protože tam samozřejmě nemám LVM.

[Šangala]

Hlasuji pro pro LVM v hostiteli a LV pro VM a uvnitř VM zas LVM.

„Nested“ LVM není nic špinavého, naopak to takto považuji za nejčistější, když už se o tom bavíme jako o prádle…

Ve VM swapiness=0 + /tmp do ram, nevím kde necháváš session.save_path, ale to bych dal taky do ram.

[anonym]

E nebo C

vyhoda E je v tom ze pokud neco provedes s tim virtualem, tak muzes primo sahat na jeho data z hosta (krom disku kde je bootloader, pro ten mam samostatnej volume podle D). nevyhoda je ze mas bordel v LVM namespace hosta.

C pokud ty virtualni stroje spravuje nekdo jinej

[Šangala]

vyhoda E je v tom ze pokud neco provedes s tim virtualem, tak muzes primo sahat na jeho data z hosta

Přímo na data z hostitele můžeš sahat v A,B,C,D,E, když VM neběží a pro čtení (se snapshotem) i když běží.

nevyhoda je ze mas bordel v LVM namespace hosta.

A to není pokud je VM pro každou mašinu a každý mašina má své LVM.

[smíťa]

Díky za podnětné názory.

Na "hybridem" D a E jsme také uvažoval, abych nemusel mít kernel mimo. Důležité kritérium, kterému jsem před tím takovou váhu nedával, je to, že s tím třeba časem bude pracovat někdo jiný. Z tohoto pohledu E ani hybridní řešení asi není nejlepší...

Takže asi dám na vás (přestože se mi to původně nelíbilo) a použiji LVM v LVM, neměla by tam být velká degradace výkonu a bude to poměrně flexibilní, pokud jde o budoucí rozšiřování.

[smíťa]

Moje zkušenost není v této oblasti velká, dříve jsem používal spíš XEN, kde jsem měl disky v souborech a používám dlouho VMWare Workstation, kde je to taky souborové. Ale u jednoho KVM hostitele (serveru), jsem zpočátku zkoušel a i jsem se ptal. A měl jsem i původně LV v hostiteli pro každou partition a ve VM přímo na tom partition a FS, ale došel jsem k závěru, že je to na prd - je to chaos (můj závěr).

Když je pro každou VM jedno LV v hostiteli a pak LVM v hostovi a přijmeme fakt, že režie je ve většině případů „neviditelná“ (někde jsem našel nějakou diskuzi, že se snížení výkonu projevilo, ale to si lze lehce zkusit, když se to chystá), tak je to „čisťoučké“ a ve správném duchu na sobě poskládané.

V hostiteli v dané VG jsou hezky naskládané LV s názvy mašin (vm_jmeno1, vm_jmeno2).
No a v dané VM mašině je to vždy přesně jak je třeba, jednotlivé přípojné body s nastavením, jak je potřeba pro daný účel (relatime,nosuid,noexec,nodev apod…) protože u mě jsou to převážně CentOS a přijde mi to tak i správné, tak v každé VM mám dvě partition boot a zbytek pro LVM (u Debianu mám jen jednu s LVM).

Je pravdou, že když se zvětšuje alokovaný prostor, tak je to trochu řekněme složitější, nicméně, to je operace nečastá a v klidu proveditelná.

Jinak přes toto jsem se dostal k tomuto (nebo teda ještě o pár nezveřejněných úprav dál…) a vždycky když dělám novou mašinou, třeba jen na testy, tak si pomlaskávám a přemýšlím jen jaké barvy jí přidělím :). Ale hodí se to jen tehdy pokud to stavíš a můžeš riskovat a nastavit si to a taky předpokládáš, že to budeš i v budoucnu využívat.

[smíťa]

Zkusím si ještě udělat nějaký benchmark řešení E a C, ale nepředpokládám, že by to mělo nějaký měřitelný vliv na výkon (a stejně jednoduché benchmarky nic neříkají ).

Dříve jsem si také dělal templaty virtuálů a jen jsem je kopíroval, ale vzhledem k tomu, že to nedělám tak často, tak jsem více času strávil nad údržbou templatů (a hlavně po vydání nového centosu jsem chtěl mít template čistý dělal jsem ho znova)... Poslední cca 2 roky používám hlavně kickstart. Vytvoření virtuálu trvá dýl, ale přechod na novější verze je mnohem jednodušší. Samozřejmě to platí jen při vytváření pár virtuálů za rok.

Co se týká swapiness, tak jsem dosud používal jako základ tuned-amd a ten ho nastavuje na 10.

/tmp do RAM jsem zatím nikde nedával, ale vidím v tom potenciál. Nevím proč mě to nikdy nenapadlo Díky za tip!

[Šangala]

Mám v zásadě jen jeden template (ehm tedy dva ještě Debian), je to minimální instalace a jeho update je za minutku, dál udržovat není co.
swapiness 10 nebo 0 nebude velký rozdíl, ale beru to tak, že je to jen poslední pojistka a nemělo by se to do swapu dostat nikdy....