Dotaz: 65G swap na SSD a 8G RAM, VirtualBox a oomkiller.

[Bill Gates]

Ahoj, chci se zeptat. Jedná se o Debian 8 s odpreparovanym systemd. Mam asi 8 virtualnich PC ve virtualboxu, kazde ma 2GB RAM. Stava se mi ze mi oomkiller zabije proces virtualboxu s virtualnim strojem. Mam pocit ze dojde RAM, je potreba celych 8GB, neni co odswapovat a oomkiller zasahne. Vsechny virtualni PC nejsou soucasne pouzivany, nektere je tedy mozne zrejme asi castecne odswapovat a uvolnit RAM. A i kdyby neslo a vse v RAM by bylo potreba, lze nejak vyuzit tenhle rychly a obrovsky 65GB swap na SSD pro bezici procesy na ukor rychlosti, misto jejich zabijeni oomkillerem?

Je mi jasne ze data, respektive kod ulozeny na disku nemuze bezet na CPU. musi byt v RAM a aplikace taky potrebuje data v RAM ale v pripade rychleho SSD mi az tak nevadi obrovske swapovani a zpomaleni (mnohem mensi nez swap na klasickem mechanickem disku s plotnama), vyhodou je ze proces prezije i za cenu cekani na presun jeho dat ze SWAPU do RAM az to bude mozne a 8G RAM se neustale vymenuje mezi diskem a RAM, kdyz to bezici program potrebuje a naopak data v RAM, na ktere se nejdele nesahlo jdou do SWAPu. Je neco takoveho nad cim premyslim vubec mozne? Nebo mi neco unika a proto oomkiller ty procesy obcas sestreli?

Ted uz se mi to nestava, logy po ruce (syslog) nemam, mozna bych ale dohledal. Vsem virtualnim strojum jsem nastavil 1GB RAM a zredukoval jejich pocet na 4, takze max cca+- 4GB RAM na 8GB fyzickych RAM. To znamena ze ted uz mi to bezi stabilneji. Ale rad bych poexperimentoval, pokud to jde a nechal to na tom rychlem ssd klidne swapovat jako blazen s 10 virtualnimi PC s 2GB RAM kazdy a v podstate jakoby rozsirit RAM, ale neresit ji RAM moduly (deska vic nezvladne, je to obycejne stolni PC) ale rychlym SSD diskem ?

Zivotnost SSD pri takovem uziti neresme prosim, chapu dusledky. Takze ciste teoreticky zdali jde rychlym SATA ulozistem z urciteho pohledu rozsirit RAM na ukor zpomaleni pri presunech dat RAM - SWAP.

Odpovědi

[Kit]

Přidej RAM.

[k3dAR]

kdyz deska nezvladne vice nez 8GB RAM, co nastavit bezicim virtualum celkem <=7GB a swap neresit globalne na strane hosta, ale individualne na strane kazdeho guesta...

[PanZvedavy]

Pri dnesnich cenach ram ponekud zvlastni(schvalne nerikam stupidni) dotaz. Pokud nekdo potrebuje tak intezivne virtualizovat a neni schopen si poridit potrebne ram...

[PanZvedavy]

...nebo potrebny HW...

[dustin]

Např. http://www.ebay.de/itm/Quad-Core-Dell-Arbeitsstation-T5500-Turm-Intel-Xeon-48GB-DDR3-Barebones-PC-/121985760784?hash=item1c66eafe10:g:ZAAAAOSwInxXNZ0H vyjde na necelých 7,5 tis. Kč pro firmu bez DPH. Podobných nabídek je plný internet. Má smysl bojovat s OOM killerem?

[Michal]

vmware pouziva memlock (chrani pamet pred odstrankovanim), u virtualboxu to bude podobne. Takze swap nepomuze. Mozna reseni:

1) pridelit virtualum treba 1.8GB. 2) pouzit pokrocilejsi typ virtualizace, ktery umi balooning a memory deduplication (esxi, kvm, ...) 3) a to by bylo nejlepsi, pokud to okolnosti dovoluji, pouzit misto virtualizace LXD kontejnery.

[aceman]

Su v tych virtualoch rovnake systemy? Mozno by sa dala zapnut v kerneli hostitela funkcia hladania a zlucovania identickych stranok v pamati. Potom by aj 4x2GB v skutocnosti v pamati mohlo zaberat omnoho menej.

[Jaroslav Kucera]

Přesně tak, zkus nahodit KSM. Mělo by to ušetřit paměť, protože řada stránek je v běžících systémech stejná (je to stejný systém...).

[lertimir]

Pokud tomu trochu rozumím, tak swap je v jádru iluze větší paměti, kterou systém předkládá aplikacím. Ale on sám samozřejmě běží v reálné paměti. A virtualizační prostředí není aplikace.

z manuálů virtualboxu

With Intel VT-x, there are two distinct modes of CPU operation: VMX root mode and non-root mode.

In root mode, the CPU operates much like older generations of processors without VT-x support. There are four privilege levels ("rings"), and the same instruction set is supported, with the addition of several virtualization specific instruction. Root mode is what a host operating system without virtualization uses, and it is also used by a hypervisor when virtualization is active.

In non-root mode, CPU operation is significantly different. There are still four privilege rings and the same instruction set, but a new structure called VMCS (Virtual Machine Control Structure) now controls the CPU operation and determines how certain instructions behave. Non-root mode is where guest systems run.

Čemuž rozumím tak, že když jede virtualbox, tak jeho hypervizor jede na nižší úrovni HW než hostující OS (root mode), hostující OS tento root mod má jen když nejede virtualizace. Takže si myslím že odswapovat nejde.

A souhlasím, že otázka je absurdní. před půl rokem jsem si za 2000Kč koupil přidaných 16G do desktopu a to hlavně pro aplikace a ani ne moc pro virtualizace.

A i myšlenka swapování je absurdní. I se SSD při intenzívním swapování sníží rychlost systému tak 100+, (při rotačním disku tak 10 000+ tedy se běh v podstatě zastaví.) Když už swap tak at ho mají jednotlivé virtuály.

[Jendа]

Ne, VirtualBox, KVM atd. je normální aplikace. VT-x dělá to, že virtuál může běžet v RING-0, a přitom má přístup jenom ke svým stránkám.

[Bill Gates]

Ahoj, diky za diskuzi.

1) je mi jasne ze na tohle by byl vhodnelsi lepsi HW. Deska s 32GB ram aspon a osadit uplne vse. Tohle ale nebylo cilem delat stopro nadupanou masinu. To znamena vzal jsem co bylo po ruce.

2) jedna se o firemni stroj, kde uzivatele obcas pouziji vnc, rdp, z toho stroje maji pristup na VPN, kterou ze svych widlich PC v dosahu nemaji, a tak. Takove jako obcasne virtualy k pouziti.

3) soucasne 4 s 1GB RAM kazdy mi staci, takze resil jsem dotaz ciste teoreticky, jak to reaguje a jake jsou moznosti.

4) Nekdo tu zminil ze myslenka swapu je absurdni, no jak se to vezme. Bez swapu by nam aplikace obcas vychcipaly, coz nekdy muze byt zadouci. Setkal jsem se i se zajimavou strategii bezswapoveho serveru, kde bylo asi 32G ram a kdyz se zaplnila a chtelo se sahnout do swapu, bylo spis dobre, ze oomkiller sejmul spatne napsanou aplikaci, nez aby zacal mohutne swapovat aby nasledene server nemel zadnou odezvu. Druha vec je ta kdy treba u vyse zminovaneho experimentu me zhorseni odezev az tak nevadi, protoze SSD je schopno rychle (relativne) vymenovat stranky pameti, stroj mam v kanclu v dosahu a cely takovy server se sice zpomali, ale ne uplne umre.

5) Jak pisu deska vic jak 8GB nezvladne, ne ze by to bylo cilem, pro firmu neni problem poridit poradne zelezo do racku, ale neni to v tuto chvili nutne a jak pisu i s temiu 4mi virtualy to pracovnikum staci.

Takze opravdu ciste teorie, prakticka reseni snadnou cestou patricnym nadimenzovanim nebo predimenzovanim vykonu a systemovych prostredku je mi naprosto jasne. Jen proste logicky si rikam proc by to nemelo jit vymenovat ram a swap a nechat aplikace prezit i za cenu snizeni vykonu o cas kdy se sachuje s daty v pameti a hleda misto.

Jakmile aplikace pro virtualizaci maji data jakoby zamcena v RAM a jsou neodswapovatelna, tak to chovani zabijeni oomkillerem je samozrejme pochopitelne. Takze me proste zajima jestli dnes existuje nejaka pokrocila technika kdy muzeme i na mensi ram provozovat vice narocne aplikace s vyuzitim jineho typu uloziste nez RAM. Bylo tu zmineno napriklad "pokrocilejsi typ virtualizace, ktery umi balooning a memory deduplication (esxi, kvm, ...)" coz mi prijde zajimave a prostuduji. Ne ze by to bylo nezbytne nutne ale technologicky to zajimave je a nekolik veci to muze umoznit delat lepe nez bez techto vychytavek.

A tos tak. Ale urcite jestli nekdo vi jeste neco zajimaveho, urcite rad poctu. Pochopitelne ano, zvetsit ram, nadimenzovat stroj a pak si muzu ficet s mnoha virtualy, to jako jasnacka.

[Michal Kubeček]

Jak už bylo řečeno, je na konkrétní aplikaci, jestli stránky uzamkne momocí mlock() nebo ne. Např. VMware (Workstation) umožňuje zvolit, zda je možné stránky použité pro paměť virtuálních strojů odswapovat úplně, částečně nebo vůbec. Zkuste se podívat do nastavení VirtualBoxu, jestli to tam někde také není.

Na druhou stranu, správa takhle velkého virtuálního paměťového prostoru znamená určitou režii, takže nelze automaticky počítat s tím, že na stroji s trochou paměti udělám obrovský swap a všechno bude "jen pomalejší".