Dotaz: Vypocetni aplikace na virtualu nebo primo na HW

[hermelin]

Ahoj. Resim jeden takovy problemek. Bude se porizovat jeden stroj pro vypocty napr v "R" nebo v Mathematica. HW bude hodne nabuseny - 4x8jadro, 256GB RAM atd atd.

A ted dotaz - je lepsi provozovat tento novy stroj jako host a na nem virtualy nebo vyhrazovat vzdy danemu projektu primo fyzicky server ? Na podobne konfiguraci jsem nikdy R provozovat nezkousel tak ani nevim jestli dokaze takovy HW dokaze plne vyuzit.

Mate nekdo zkusenost s necim podobnym ?

Diky za odpoved

Odpovědi

[johan]

zalezi ci na nom bude bezat databaza z ktorej budes ladovat data do R. alebo do Rka budes davat data z csv. alebo zistis ze v Rku sa nahovno pisu paralel skripty a skoncis na Sparku

[Andrej]

Vždy je lepší fyzický server, případně s LXC kontejnery, hodí-li se trochu víc izolace. Virtualizace se hodí pouze a výhradně v případě, že má na virtuálech běžet jiný operační systém (což není tento případ).

[Jendа]

Virtualizace může mít nějaký overhead, na druhou stranu s HW podporou virtualizace se ty bottlenecky většinou vyřešily. Zkusil jsem spustit openssl speed rsa4096 nejdřív baremetal a potom v KVMku:

Xeon E5-2420
baremetal: 74.6 4636.7 73.6 4614.7 74.4 4627.3
KVM:       72.9 4588.1 73.2 4590.2 73.7 4585.5

C2Q Q6600
KVM:       51.9 3256.8 51.5 3239.0 51.7 3237.0
baremetal: 51.4 3268.8 52.0 3277.4 52.0 3270.6

Takže se to zpomalilo tak o 1 %. Na druhou stranu heavy I/O bych ve virtuálu radši nespouštěl pokud nemáš PCI passthrough na řadič (a pak ta virtualizace asi nemá smysl).

[mikirc]

Nevím jak "R", ale Mathematica se sice tváří, že umí pracovat na více jádrech, ale zatím nikomu koho znám se nepodařilo ji zprovoznit tak aby výpočty na více jádrech byly aspoň stejně rychlé jako s jedním jádrem. A to mnohdy ani funkcemi napsané přímo pro více jader. Např. ParallelTable je někdy rychlejší než klasický Table a někdy mnohem pomalejší. Asi mají velkou paralelní režii. Zkoušeli jsme to na verzi 9, desítku nikdo nepoužívá, protože je pomalejší, tak třeba to zlepšili.

Takže bych si nejdříve zjistil, jestli co se má počítat ať už v R nebo Mathematice dokáže využít potenciál stroje. Když jsem do školy testoval evoluční algoritmy, jediný způsob jak využít max. výkon bylo spustit Mathematicu 4x a v každé spustit jiný algoritmus výpočet.

[hermelin]

diky vsem za jejich nazor - server tedy virtualizovat nebudu (uvidim casem co mi rekne vytizeni jednotlivych komponent a pripadne virtualizaci pridam)

[Ivan]

Pokud jde o chroupani dat primo na CPU tak virtualizace nema zadny overhead (anebo temer zadny). Alespon VMWare to dela tak, ze kontroluje stranky ktere se nacitaji do pameti a pokud jsou executable tak je disassembluje a pokusi se v nich najit privilegovane instrukce. Pokud je najde tak je prepise na neco jineho. Jakmile neco bezi na CPU tak uz do toho virtualizace nesaha.

Overhead zpusobuji hlavne drazsi IO operace, overbooking vyuziti RAM (pokud je virtualu vice), popr. (teoreticky) vyuziti L2 cache CPU.

Umi R vyuzit CUDA a pocitat nasobeni matic na GPU?

[Jendа]

Alespon VMWare to dela tak, ze kontroluje stranky ktere se nacitaji do pameti a pokud jsou executable tak je disassembluje a pokusi se v nich najit privilegovane instrukce.

Neměl by tohle (resp. ochranu paměti) řešit procesor s HW podporou virtualizace? A jak takto softwarově implementovaný hypervizor řeší když si virtuál začne executable stránku přepisovat kdovíjakými daty?