Jaderné noviny – 12. 4. 2012: Jak by mohly vypadat kontejnery v Linuxu (diskuse)

[snajpa]

Linuxu chybi kontejnery prijatelne do upstreamu, ne ze by neexistovalo plne funkcni a plnohodnotne reseni :)
Mel jsem sanci pracovat s kazdou otevrenou virtualizacni technologii a jedine OpenVZ splnuje vykonove moje naroky. Mozna to prehanim, ale x86-64 proste neni zatim platforma vhodna na hardwarovou virtualizaci (duvodu se najde hodne, ale vetsina se jich vaze ke context switchingu, multitaskingu a co tyhle procesy s virtualnimi CPU delaji na hostiteli).

[Mordae]

A co přesně tedy KVM dělá na hostiteli?

Vím, že se to chová extrémně špatně, ale nikdy jsem nedošel toho proč.

[Heron]

Take by me zajimaly konkretni duvody. RH stavi na KVM sve enterprise reseni, mnoho firem a lidi to pouziva k plne spokojenosti a co jsme merili u nas ve QCM, tak mezi kvm a vsphere nebyl prakticky zadny vykonnostni rozdil v nasich testech. (Nakonec tedy mame vsphere, ale jen diky lepsim nastrojum a taky za jine penize.) KVM funguje, je soucasti jadra a rozjet si virtualku na kompu je otazkou par minut.

[trekker.dk]

Snad se Pavel nebude zlobit, když sem nalinkuju jeho post do vpsfree-community. Relevantní jsou poslední 2 Q&A

http://lists.vpsfree.cz/pipermail/community-list/2012-February/000386.html

[Heron]

Zajimave cteni, precetl jsem si to cele. Opet tentyz stejny problem, jako s pameti. Vpsfree prideluje neco, co proste nema. Uz na vmware jsme si odzkouseli, ze celkovy objem pameti prideleny virtualum musi byt mensi, nez je velikost fyzicke (baloon realne nefunguje, typicky si vsechny vs reknou o pamet i cpu ve stejnem case - ve spicce, mozna u vas ne, mate jiny typ zateze). Ve QA se pise totez pro vcpu, s tim jsme vetsi problem dosud nemeli, ani hostingy na KVM si nestezuji.

[trekker.dk]

Opet tentyz stejny problem, jako s pameti. Vpsfree prideluje neco, co proste nema.

Já už nevím - ty snad buď schválně lžeš, nebo ze sebe děláš blba. Už ti tady bylo několikrát vysvětleno, že OpenVZ se s VMware nedá takhle srovnávat, protože to v podstatě není virtualizace. A taky už ti bylo několikrát vysvětleno, že ten limit velikosti paměti je limit na celkový součet virtuální paměti procesů v kontejneru, který je vždy větší - a zpravidla o dost - než kolik ty procesy nakonec reálně využijí.

Že to vychází naprosto v pohodě, se může každý snadno přesvědčit sám - https://prasiatko.vpsfree.cz/munin/ - doporučuju prohlídnout si zejména položku cache - stroj, který trpí nedostatkem paměti, takhle rozhodně vypadat nebude.

[Heron]

Já už nevím - ty snad buď schválně lžeš, nebo ze sebe děláš blba.

No pravda se ukáže snadno. Na stránkách VPS free je napsáno: "RAM: 4096 MB virtuální paměti". Odpověz mi po pravdě na otázku, jestli si každý z provozovaných virtuálů může alokovat a reálně použít 4GB paměti. Děkuji za odpověď. Ano vím, co to je virtuální pamět, ano vím, co to to je overcommit.

Ostatně, to co píšu nakonec potvrzuje i Snajpa v rozhovoru na rootu, kde píše, že plánují _snížit_ limit na 2GB, protože openvz už bude umět počítat obsazené stránky.

Ale já jsem se o tomto tématu opravdu hádat nechtěl. Jestli vám to funguje, je to k vašemu dobru. Jen jsem chtěl upozornit na problémy v ostrém produkčním nasazení, kdy často jedou všechny VS na max (co se paměti týče, cpu moc problém není, mě spíše zajímali problémy s cpu a schedulerem, co Snajpa naznačoval) ve stejnou dobu (špičce) a proto je nutné držet přidělenou pamět pod fyzickou. Takovýto typ záteže by vpsfree neustál.

Grafy z produkčního prostředí bohužel doložit nemůžu, ale je tam krásně vidět, že všechny VS vykazují v podstatě stejnou křivku zátěže a spotřebovávají zdroje ve stejnou dobu. Proto nelze použít ani memory baloon (kvm, vmware).

[trekker.dk]

Odpověz mi po pravdě na otázku, jestli si každý z provozovaných virtuálů může alokovat a reálně použít 4GB paměti.

Odpovím protiotázkou: řídíš se tím, co se v reálném provozu může stát, nebo tím, se děje? V tom prvním případě bys měl na vmware přidělovat více paměti, než máš, protože to vyřeší balloon. V tom druhém není na tvoji otázku potřeba odpovídat.

Ostatně, to co píšu nakonec potvrzuje i Snajpa v rozhovoru na rootu, kde píše, že plánují _snížit_ limit na 2GB, protože openvz už bude umět počítat obsazené stránky.

Je otázka, jak moc je to opravdu snížení, když se jedná o jiný limit - tzn. spousty uživatelů se to nemusí vůbec dotknout, protože při nějakém konkrétním způsobu využívání VPS programy nevyužívaly tolik paměti, o kolik si řekly.

Jen jsem chtěl upozornit na problémy v ostrém produkčním nasazení, kdy často jedou všechny VS na max

To ale přece závisí na způsobu nasazení. Jestli máš každý VS = webserver s DB (např.), tak je vcelku očekávatelné, že budou mít podobné špičky. Kdežto když se každý VS využívá jinak (což je AFAIK situace vpsfree), špičky se rozprostřou.

[Heron]

Odpovím protiotázkou: řídíš se tím, co se v reálném provozu může stát, nebo tím, se děje?

Obojím. Jak reálným stavem, tak i tím, co se může stát (a taky se dřív nebo později stane, pak je z toho reálný stav). Proto má každá virtuálka o dost víc prostředků, než běžně (protože špičky jsou často i stonásobek běžného provozu, takže místo 40MB náhle může být potřeba 4GB) potřebuje a proto je také součet prostředků přiděleným virtuálkám menší než je hw (to platí pro paměť a pro storage kapacity, s cpu problém není -- a ještě jsem se stále nedozvěděl to, čím začal tento thread, proč by s tím měl být problém v kvm). Takto se pokryjí špičky jednotlivých VS i stav, kdy všechny VS začnou běžet na 100% ve stejnou chvíli.

To ale přece závisí na způsobu nasazení. Jestli máš každý VS = webserver s DB (např.), tak je vcelku očekávatelné, že budou mít podobné špičky. Kdežto když se každý VS využívá jinak (což je AFAIK situace vpsfree), špičky se rozprostřou.

Jasně, psal jsem, že máte jinou pracovní zátež. Proto to může fungovat.

Ale zpět k nějaké plodnější diskusi. V RAM a CPU nějak není problém (já ho tam z praxe nevidím). Osadit server 64GB RAM a 24 (ht)cores CPU jde snadno. Co bych spíše uvítal a má to pořádně až vsphere5 je lepší řízení storage. Limitace IOPS, ioscheduler s ohledem na latence apod.

[trekker.dk]

a taky se dřív nebo později stane, pak je z toho reálný stav

Přiznám se, že u vpsfree nevím o případu, kdy by se tohle stalo, přičemž když dojde na nějaký výpadek, chodí maily

a ještě jsem se stále nedozvěděl to, čím začal tento thread, proč by s tím měl být problém v kvm

Jo, tak o tom nevíc víc, než co jsem nalinkoval

[Käyttäjä 11133]

Co bych spíše uvítal a má to pořádně až vsphere5 je lepší řízení storage. Limitace IOPS, ioscheduler s ohledem na latence apod.

Možná to ve vSphere dlouho neměli, protože se tohle má řešit na úrovni toho pole a ne na úrovni virtualizačního hypervisora. :(

[David Jaša]

Grafy z produkčního prostředí bohužel doložit nemůžu, ale je tam krásně vidět, že všechny VS vykazují v podstatě stejnou křivku zátěže a spotřebovávají zdroje ve stejnou dobu. Proto nelze použít ani memory baloon (kvm, vmware).

Pokud je dost podobných virtuálek běžících na jednom hypervisoru, může se minimálně u KVM dobře uplatnit linuxí KSM (jestli to pomůže i u OpenVZ, to netuším).

[trekker.dk]

Hádám, že KSM u OpenVZ moc nepomůže. První krok u používání KSM je totiž syscall madvise(), kterým aplikace jádru řekne, že tenhle kus paměti možná obsahuje data, která půjde deduplikovat. U KVM tohle udělá proces kvm, v OpenVZ provozuješ programy přímo na hostiteli a běžné programy ten syscall nedělají, protože pro ně nemá smysl.

[David Jaša]

U KVM tohle udělá proces kvm, v OpenVZ provozuješ programy přímo na hostiteli a běžné programy ten syscall nedělají, protože pro ně nemá smysl.

Čekal bych, že programy typu Google Chrome nebo Apache v prefork módu, které spouští mnoho stejných procesů, tyto funkce využívat budou. Nicméně je to opravdu na libovůli aplikací, zatímco KVM to třeba u několika VM ze stejné šablony udělá pro celý virtualizovaný OS samo.

[pavlix]

A není náhodou kód sdílených knihoven sdílený? Není jediným smyslem deduplikace právě obejití toho, že kernel nevidí do všech systémů?

[pavlix]

Já už nevím - ty snad buď schválně lžeš, nebo ze sebe děláš blba.

Zas ty tomešoviny :).

[Ladicek]

Opet tentyz stejny problem, jako s pameti. Vpsfree prideluje neco, co proste nema.

WTF? To přece dělají operační systémy už drahně let. Nebo si snad zakazuješ overcommit?

[David Jaša]

duvodu se najde hodne, ale vetsina se jich vaze ke context switchingu, multitaskingu a co tyhle procesy s virtualnimi CPU delaji na hostiteli

O autonuma víš? Viz pidiprezentaci s benchmarkem, zbytek vygůglíš.

[David Jaša]

Starší, ale ukecanější prezentace: link

[snajpa]

Nevedel jsem, prozkoumam, diky :)

[trekker.dk]

Něco takového (stěhování paměti tam, kde běží vlastník apod.) se nedávno objevilo na LWN - http://lwn.net/Articles/486858/ - mám takovou obavu, že než se to dostane do hlavní řady, tak si docela počkáme.