Dotaz: Vlastný Cloud

[snoop doggy dogg]

Ahojte. Dalo by sa z 10tich obyčajných počítačov urobiť jednu super výkonnú výpočtovú jednotku? Myslím že sa tomu hovorí grid alebo distribuopvané systémy a ponúka sa to ako cloudové služby? Keby som trebárs u seba doma zapojil 10 počítačov do siete vedel by som na nich vytvoriť jeden 10x výkonnejší virtualizovaný systém? Čo by som k takémuto gridu potreboval?

Odpovědi

[Well]

Cloudové služby je moc širokej pojem, nějak jste zapoměl napsat co vlastně od toho chcete. Pokud máte málo výkonu tak než-li řešit nějakou synchronizaci 10-ti šunek tak je lepší koupit nějakej rozumnej HW ideálně počkat na novou generaci EPYC CPU od AMD, která nabídne až 32 fyzických CPU jáder, případně některou práci by šlo přehodit na GPU to spousty úloh 100x zrychlý.

Pokud to má být pro edukativní účely tak bych se místo 10 starých PC koukl po několika krabiček typu RPi na tom se dá programování paralerismu pěkně naučit, nezabere to tolik místa a nesežere kW elektřiny. A jak s tím začít? tak třeba tady,... https://projects.raspberrypi.org/en/projects/build-an-octapi

[Max]

Ne. Potřebuješ nějak operovat s CPU a s ram. Předávání procesů, případně sdílení ram po síti prostě není cesta k nějakému výkonu.
Většinou je cloud to, že je tam distribuovaný storage, prostě big storage a na něj jsou napojeny servery s hafec ram a s hafec cpu/jádry. A to vše je třeba ještě přes více lokací. Celé se to pak chová jako jeden storage s hafec servery. Padne jedna lokace, tak nevadí, všechny ostatní servery mají přístup k těm běžícím VM a pokud je to tak nastavené, tak bez výpadku, nebo s minimálním, převezmou jejich běh.
Servery, co jsou připojeny k tomu storage, mohou být čtyřprocesorové, nebo to mohou být systémy alá blade s žiletkama, nebo prostě něco menšího.
Jediné, co je reálné, je distribuovaný výkon, kdy zadáváš výpočty jednotlivým CPU a pak je shromažďuješ a vyhodnocuješ. Prostě výpočetní cluster. Tam se dá říci, že je to jakoby spojený výkon. Dalším případem je load balancer, kdy na těch 10 serverů je rozhazován nějakým proxy serverem výkon (třeba pro web, maily apod.).
Nicméně něco jako jedná VM, která bude běžet na 10 fyzických strojích a bude je plně využívat, prostě nehrozí. Resp., né, že by to asi nešlo, ale bylo by to ukrutně pomalé, prostě nesmyslné.
Zdar Max

[Stanislav Petr]

VM ktera pobezi nad vice fyzickymi stroji je samozrejme technicky realizovatelna, ale obavam se ze mimo financni moznosti toho kdo pokladal ten dotaz... (zhruba cenova kalkulace: 10x IB karta do pocitacu, kazda cca 20 - 30 tisic, IB switch cca 250 tisic). A nahradit IB za RoCE je finance to samy. Proste technologie ktery Vam v ramci clusteru umozni sdilet pamet a vzdalene do ni pristupovat pri alespon trochu pouzitelny rychlosti jsou drahy a obvykle se nevyplati to takhle delat - obecne jako jakakoliv jina distribuovana NUMA.

[luky]

To neni tak docela pravda, zalezi na zatezi. Pred +-10 lety jsem mel postaven SSI cluster z dvaceti beznych pocitacu propojenych 100MBit/s ethernetem a u nekterych typu zateze to skalovalo temer linearne.

[Bherzet]

Předně je rozdíl mezi cloudem, o kterém mluvíš v titulku, a virtualizovaném počítači běžícím na více různých fyzických počítačích.

Cloud může znamenat různé věci. Většinou se tím ale myslí hlavně počítače cizích lidí – dříve se tomu říkalo hosting. To v tomto kontextu nedává moc smysl, proto předpokládám, že jsi myslel spíše „cloudovou“ infrastrukturu. A ano, tu si samozřejmě vytvořit můžeš, jen to zřejmě není to, na co jsi se ptal.

Pokud jde o tu druhou variantu, odpověď je sporná. Značně totiž záleží na tom, jak definuješ výkon, a jaké úlohy nad tím virtuálním strojem chceš spouštět. Určitě zapomeň na to, že bys získal ekvivalent jednoho superpočítače, který má na desce osazeny procesory a RAM těch tvých jednotlivých počítačů.

Problémy jsou v zásadě dva. Tím prvním je sdílení RAM, tím druhým je komunikace mezi procesory. Sdílet RAM z jednoho počítače na druhý je zdánlivě jednoduché: na počítači, jehož RAM chceš sdílet, inicializuješ tmpfs, a pak na druhém počítači tento oddíl připojíš přes síť a necháš do něj swapovat. Doporučuji pro zábavu vyzkoušet, a pak se bavit tím, jak se systém chová naprosto nepředvídatelným způsobem než konečně spadne. Tvým největším problémem jsou latence, protože RAM má být velmi rychlá a spolehlivá. Sdílet to tedy po klasické síti, zvláště přes hromadu vrstev abstrakce, je velmi nešťastné. To nemluvím o tom, že pokud by kernel nějakým nedopatřením odswapoval moduly pro práci se sítí nebo nfs, k ničemu, co uložil do swapu, se už nedostane, což vyústí v pád nebo nefunkčnost systému. S komunikací mezi procesory je to ještě složitější.

Teoreticky samozřejmě lze naprogramovat emulátor, který by dělal přesně to, na co se ptáš, ale právě kvůli těm latencím nelze vyhovět té tebou zmíněné podmínce – cituji:

jeden 10x výkonnejší virtualizovaný systém

Je dokonce dost dobře možné, že by ti různý existující software pod takovým emulátorem nefungoval prostě proto, že obsahuje „chyby“, na které se do té doby nepřišlo, protože se na běžném hardwaru neprojevují. A jakýkoliv uživatelský software by se velmi nepříjemně trhal.

Pokud tedy nechceš investovat do specializovaného řešení, jaké bylo naznačeno v komentáři #3, nezbývá než se snažit komunikaci mezi počítači maximálně omezit. A tady právě záleží, pro jaké účely to chceš použít.

U úloh, které nejsou vysoce paralelizovatelné, nad tím v podstatě nemá smysl dále uvažovat. V těch zbylých případech stejně potřebuješ software, který je pro tyto účely již uzpůsobený. Příkladem budiž distcc, nebo některé databáze, které se mezi sebou umí synchronizovat – pak lze získat násobně větší výkon pro vyhledávání.