Cluster složený z 10 000 jednodeskových počítačů Raspberry Pi

Nadace Raspberry Pi informuje, že Národní laboratoř Los Alamos ve spolupráci se společností BitScope staví cluster složený z 750 jednodeskových počítačů Raspberry Pi, tj. 3 000 jader. Jedná se o pilotní projekt. Příští rok by těchto počítačů mělo být v clustru přes 10 000, tj. 40 000 jader. BitScope dodává moduly BitScope Cluster se 150 Raspberry Pi. Ukázka na YouTube. Raspberry Pi jsou propojeny pomocí BitScope Bladů.

29.11.2017 00:33 | Ladislav Hagara | Zajímavý projekt

Komentáře

[Rosta]

A k cemu je to tedy dobre? Vykon prditka a akorat vykoupili maliny domacim kutilum, kteri se na nich uci zaklady elektroniky a hrajou si s IoT.

[Josef Kufner]

Tady si také hrajou. Takový cluster asi nebude moc na výpočty, jako spíš na zkoumání a ladění masivně paralelních algoritmů, než je pustí na tom drahém supervýkonném clusteru.

[j]

Tj, na tom toho odladej, sitovka na usb ... to bude komunikacni vykon jak noha.

[Cabrón]

Clustering tolerující komunikaci mezi uzly s vysokou latencí je poměrně žádaná technologie pro distributed computing nebo low power uzly.

[prqek]

Nebylo by snažší to emulovat?

[Kate]

Jak chceš emulovat paralelní výpočet na 40 000 jádrech?

[R]

Asi doma na notebooku :D

[prqek]

Na notebooku asi těžko, ale co třeba cluster, kde jedno jádro má několikanásobný výkon oproti jednomu jádru rpi?

[deda.jabko]

kde jedno jádro má několikanásobný výkon oproti jednomu jádru rpi?

Videl jsi vubec to video?

Jim nejde vubec o vykon, ale o ten management okolo, ktery jenom tak nenasimulujes. Jeden z typickych problemu, na ktery na opravdu velkem clusteru narazis je, ze ti prubezne odumiraji jednotlive stroje. V lepsim pripade takovy uzel prestane komunikovat a je vyrazen. V horsim pripade se uzel zblazni, pocita dal a odesila chybne vysledky. Management clusteru musi byt schopen takove uzly najit a vypnout. Toto chovani se na komoditni hardwaru s par jadry simuluje hodne blbe.

[Jendа]

Toto chovani se na komoditni hardwaru s par jadry simuluje hodne blbe.

Protože chceš simulovat víc jader než máš ve skutečnosti, tak stejně musíš použít virtualizaci. A ty neumíš nasimulovat zbláznění virtuálu?

[deda.jabko]

Jsem opravdu jediny, kdo to video videl dokonce?

A ty neumíš nasimulovat zbláznění virtuálu?

Ten clovek to tam nekolikrat zopakuje! V Los Alamos chcou/potrebuji cluster, ktery se bude chovat jako skutecny cluster, aby si na mensi skale mohli otestovat chovani systemu, inicializaci, odolnost proti vypadkum, atd. Je hezke, ze si dokazes nasimulovat ve virtuale zblazneni, ale porad je to jeden z mnoha scenaru, ktery musis testovat, a snad ti nemusim vysvetlovat, jak kreativni umi byt hardware pri svem selhavani, a ze radu veci jen tak nenasimulujes.

[petrfm]

Takže když budu chtít nasimulovat autonehodu, tak do toho auta posadím člověka? Dneska se simulují pády letadel před půl stoletím, co je proti tomu závada jedné pitomé desky s RPi. Spíš mi připadá, že amíci jsou neschopní myslet, ale mají dost peněz na rozhazování, jako obvykle.

[Kate]

Ne, ale crash testy se pořád dělají s figurínou a nárazem auta do zdi, neřeší se to virtuální simulací. Protože simulace nemusí už z principu zohlednit všechny faktory. Pokud jde o letadla, třeba plášť nových motorů se testuje také dost naostro :)

[j]

Nikolivek, nedelaj, k ziskani certifikace uz staci dolozit simulaci.

[Jindřich Makovička]

VZLÚ v Letňanech, co jsem slyšel, vlastní kanón, kterým do leteckých motorů střílí kuřata, aby otestovali odolnost vůči střetu letadla s ptákem.

[deda.jabko]

Spíš mi připadá, že amíci jsou neschopní myslet, ale mají dost peněz na rozhazování, jako obvykle.

Prijde mi, ze tu zbytecne plytvas svym talentem. Musis s tim jit do Los Alamos k lidem z DARPA, DoE, NSF, kteri za tim projektem stoji a financuji jej, a vysvetlit jim, ze to vsechno delaji blbe, a hlavne jim musis vysvetlit, ze ty bys to rozhodne delal lip a levneji. Tady tve komentare nikomu nepomohou!

[petrfm]

Já jim ale nechci radit, jak to mají dělat správně. Jen ať utrácejí Chci to vysvětlit tady vám a doufám, že si to taky necháte pro sebe ,-)

[prqek]

Vím, že jim nejde o výkon, jen jsem navrhoval, jak to nasimulovat. Nicméně nějak mi nedošel rozsah celé té věci. Celé je to řádově jinde než domácí rádoby clustery kutilů s pár rpi, které by se na tom ntb dali simulovat snadno. V tomhle rozsahu má smysl, moje chyba, i když to, co popisuješ se simulovat dá, ale reálný hw je lepší.

[j]

Pokud mas ulohu, kterou vubec lze paralelizovat, tak jediny GPU zvladne nekolik tisic vypoctu zaroven, takze tech 40k poskladas i v "domacim" desktopu.

[Ivorne]

Jenže GPU je SIMD, kdežto clustery jsou MIMD.

[kralyk z abclinuxu]

Pokud mas ulohu, kterou vubec lze paralelizovat, tak jediny GPU zvladne nekolik tisic vypoctu zaroven, takze tech 40k poskladas i v "domacim" desktopu.

GPU mají výpočetních jader AFAIK obvykle desítky nebo nižší stovky. Nehledě k tomu, jak už napsal Ivorne, že mají oproti CPU hodně omezené možnosti.

Jinak jsou opravdu komentáře tohohle typu nutné? Zajímalo by mě, co vede někoho k chronickému psaní komentářů pod zprávičky, které sotva dávají smysl v kontextu diskuse (spíše ne), ale hlavněže co nejvíc pohejtují dané téma...

[petrfm]

Tak pod zprávičkou že si nějaká modelka nechala udělat šestky kozy, nebo 15 plastik se taky objevují komentáře. A né vždycky pochvalné. A opravdu to nemusí být nutně závist. Třeba se lidi jenom podivují nad tím, jak někdo vyrobí několik tun elektroodpadu místo toho, aby napsal pár řádek softu. Jednoduše v duchu amerického myšlení : "Proč NE?" A pak uspořádá konferenci kde bude poukazovat na to, jak se všichni okolo chovají neekologicky a že je potřeba jim naordinovat sankce, nebo vyhlásit válku za neposlušnost.

[kralyk z abclinuxu]

Úplně jsem nepochopil, jak ses dostal od Rapsberry Pi k vyhlašování válek mezi státy. Nicsméně s těmi komentáři tady to brzo opravdu bude zralé na nějaké novinky o modelkách spíš než na zprávy ze světa Linuxu / FOSS.

[petrfm]

Ty modelíny budou stejně dementní, jako cluster z 10kks RPi

[k3dAR]

jak někdo vyrobí několik tun elektroodpadu místo toho, aby napsal pár řádek softu.

to je tost nepresne a nemagogicke...
1. 10000x RPi = 420Kg, tedy zadne "nekolik tun"
2. real hw je real hw nezavisle na tom jak dokonale je alternativni simulace/emulace
3. ty RPi se po ukonceni projektu nevyhodi, ale pouziji jinde...
btw: dobra rada: zkus pred komentovanim si polozit otazky "vim o tom houby?" a pokud je odpoved ano, tak nekomentuj

[deda.jabko]

Pokud mas ulohu, kterou vubec lze paralelizovat, tak jediny GPU zvladne nekolik tisic vypoctu zaroven,

Pokud mas ulohu, kterou lze paralelizovat a mas tam par if-u nebo cykly koncici pri splneni nejake podminky, tak ti GPU moc nepomuze. A to nemluvim o rekurzivnich algoritmech, ...

[j]

Rekurzivni algoritmus se neda paralelizovat ... protoze z principu rekurze zavisi na vysledku predchoziho vypoctu.

[Kate]

Ano, v případě že ten cluster zpracovává jen jeden algoritmus, který je rekurzivní. Ve skutečnosti na tom ale může běžet složitá úloha, kde mohou být rekurzivní jednotlivé dílčí výpočty. Těch možností kdy je úloha paralelizovatelná, ale gpu se na to nehodí jsou mraky.

[deda.jabko]

Rekurzivni algoritmus se neda paralelizovat ... protoze z principu rekurze zavisi na vysledku predchoziho vypoctu.

Doporucuji dostudovat pojem rekurze a pak si treba pogooglit klicova slova "parallel quicksort" nebo "parallel mergesort". Jsou k tomu i jednominutova videa, kde ti to vysvetli i s obrazky.

Nebo si muzes vyzkouset nasledujici kod (v Clojure) jestli opravdu nefunguje.

(defn fib [n]
  (if (< n 2) n
     (+ (fib (- n 1))
        (fib (- n 2)))))

(defn pfib
  "Parallel Fibonacci"
  ([n] (pfib n 2))
  ([n level]
   (cond
     (<= level 0) (fib n)
     (< n 2) n
     :else (let [a (future (pfib (- n 1) (dec level)))
                 b (future (pfib (- n 2) (dec level)))]
  (+ @a @b)))))

[Kate]

Jsem blbá… Zrovna tenhle typ rekurzního zpracování mě při psaní postu výše vůbec nenapadl, a přitom jsem si pár týdnů zpátky v rámci učení se Rustu psala paralelizované porovnání dvou binárních stromů :)

[d.c.]

Tak jestli tohle fakt pronesla [=holka=], rad bych ji nekdy chvili nudil nezavaznou konverzaci u kafe nebo tak neco.

[janc1c1]

pri čítaní som sa tiež spýtal načo je to dobré
ale po pozretí videa mi to príde už menej čudné ...

[kralyk z abclinuxu]

Hm a bylo by nějaké TL;DW? Taky mi moc není jasný, k čemu to je dobrý...

[touny]

staci otevrit nektery link...

The Raspberry Pi modules let developers figure out how to write this software and get it to work reliably without having a dedicated testbed of the same size, which would cost a quarter billion dollars and use 25 megawatts of electricity.

Proste lidi, kteri potrebuji psat pro tyhle masiny, budou psat & ladit na tom RPi clusteru, a az pak temer-hotovej program muzou ladit & poustet na nejakem realnem clustru. Vzhledem k tomu co stoji provoz realnych clustru se to asi vyplati.

[kralyk z abclinuxu]

Ok, ď!

[prqek]

Takle to už nevypadá tak bláznivě.

[j]

Jo, to urcite ... na uplne jiny achitekture a uplne jinym HW se jim to urcite povede aspon spustit ...

[R]

Predpokladam, ze to nebudu pisat v assembleri...

[Kate]

Odpovídáš člověku co byl schopen hádat se že systemd je x86 only…

[j]

Reaguje krava ktera netusi o cem zvani.

[Kate]

Opravdu mě hodláš urážet z pozice clověka, co je schopen srovnávat výpočetní cluster s paralelizací na GPU?

Ale vidím že jsi ve fázi nadávek, za chvilku dospěješ do fáze „nedovedu dál hájit svoje nesmysly a zmizím z debaty“ a bude klid :)

[j]

Ukaz mi jedinej programovaci jazyk, kterej je nezavislej na achitekture.

Jo, pravda, spousta patlalu si proste mysli, ze int je cislo a tim to konci.

[j]

Nemluve o tom, ze to nema nic spolecnyho s programovani, ale na jiny architekture se vse bude chovat diametralne jinak, od adresovani pameti pres sitovou komunikaci po casovani instrukci, coz je presne to, co se na masivne paralelnich ulohach resi do posledniho tiku.

[kralyk z abclinuxu]

Jedinej rozdíl mezi těma architekturama je, že na RPi místo turbodmychadla používají kontrafibulátor tření. Což sice je jistá změna, zejména při použití USB, LL/SC a XKCD, ale reálný vliv na testování to mít nebude. Takže použítí Raspberry Pi na tohle dává smysl, zejména s těmi galvanicky oddělenými LL-parser shieldy.

[Peter Golis]

Tie skratky si tam pridal aby to znelo odbornejšie?

[kralyk z abclinuxu]

Jen se snažím s uživatelem "j" komunikovat jeho způsobem komunikace.

[Kate]

Nepovedlo se, znělo to příliš inteligentně.

[Peter Golis]

To áno. Písal o použití XKCD na rPI. Používanie komixu na jednodoskovom počítači znie naozaj veľmi inteligentne. Ostatné skratky a cudzie slovíčka ktoré použil to len umocňujú.

[kralyk z abclinuxu]

Však to byl účel. Hledal jsem něco podobně smysluplného jako ta emulace 10k RPi na jednom domácím GPU.

[Peter Golis]

Taľafatky. Tak nech niekto ten emulátor rPI naprogramuje na GPU teda, potom sa môžeme baviť čo ďalej.

[Kate]

Hlavně se díky flux kapacitoru zbaví i problému při zpracování rekurze víc jádry najednou. Stačí aby pakety s výsledkem mezi moduly cestovaly rychlostí přes 88 Mph. Výsledek se dá vyzvednout včera.

[R]

Do posledneho tiku sa neriesi nic, je to nemozne kvoli architekture PC (prerusenia) a kvoli komunikacii (vid napr. vlastnosti ethernetu).

[pc2005]

Tak HLS na FPGA musí řešit i zpoždění na drátech .

[R]

Vsetky programovacie jazyky vyssie ako assembler su nezavisle na architekture. Ze je niekde rozdiel napr. v endiane, to je technicky detail. Aj v C sa bez problemov da programovat tak, aby tento rozdiel nevadil. Ked v C napisem "a=0; for (i=0; i<100; i++) a++;", tak to mozem skompilovat na 8051, x86, ARM, VAX alebo POWER a vzdy bude na konci a=100.

[Conscript89]

Neni to uplne k tematu a ne kazdy cetl "C Programming Language", ale pro ty co necetli, pripadne proste nevi: "int a=0; for (; a<100; a++);"

[pc2005]

Tak ve skutečnosti to každej trochu chytřejší kompilátor optimalizuje na a=100 .

[Conscript89]

Jo, to jo, slo mi jen o tu moznost zapisu, kde jde vynechat nektery casti a ze for je v C v akorat while s inicializaci a krokem a nemusi mit ani telo (nebo jak se tomu rika).

[kralyk z abclinuxu]

Tak ono hlavně Céčko má už celkem dlouho typy jako size_t, int32_t a k tomu všelijaký nápomocný makra.

[pc2005]

To maj připojený přes 10/100 ethernet? Doufám, že u rpí 3 už to není přes sdílenej USB hub .

[Jendа]

Samozřejmě že je.

[pc2005]

OK, ona wikipedie je pro rpi 3 dost nejednoznačná.