openMosix skončil, co použít na 2.6.x ?

3.8.2007 05:17 | Přečteno: 2167× | Linux, objevy |

Není tomu až tak dávno, co jsem si náhodou při počítání novinek na rootu všiml této smutné zprávy... oficiální konec 1.3.2008 je sice pěkný, otázka zní, zda se do té doby vůbec něco přihodí a port openMosixu na 2.6 se dostane přes alpha verzi...

Jak jsem psal 18.7. ve svém komentáři k novince, plánoval jsem své vlastní clusterovací LiveCD, které by ale narozdíl od toho Knoppixího umožňovalo ostatním PC boot po síti a následné načtení minimálního systému, přičemž by na "master" PC s vloženým CD běžel třeba plnohodnotný Slax...
A tady jsem narazil - v době vymýšlení nápadu už byly Linux-live scripty pro jádra 2.6, která musela být opatchována na pár kompresních metod, které linux-live používá... přepisovat celý komprimační systém nebo zkoušet scripty upravit pro fungování s 2.4.x kernely jsem si netroufl a zjišťování, která verze linux-live ještě jede na 2.4.x mi dalo také dost práce a myslím, že ani na to jsem tehdy nepříšel.
Tak jsem čekal a doufal, že se openMosix2.6 dostane přes pre-alpha stádium... dočkal jsem se někdy na začátku roku vydání alpha.. pořád ale neexistovaly (a asi ani neexistují) utilitky pro ovládání openMosix2.6 kromě user-space daemona naportovaného 25. ledna 2007.. od té doby ticho.

Docela nedávno jsem objevil Simple openMosix projekt, zpráceně om-2.6. který onoho userspace daemona používá (má používat) a snad se časem ze svého současného velmi raného stádia dostane někam do použivatelné roviny. Přejme mu hodně štěstí.

Anyway...
znáte nějaký jiný clusterovací nástroj, který by se dal použít na 2.6.x jádře? Vývoj om-2.6 ještě nějaý ten rok potrvá a nerad bych, aby mé LiveCD zůstalo v teoretické rovině ještě dlouho ... to ale není jediný důvod, malý 4PC cluster by se hodil i v domácím prostředí, jen se mi nechce kvůli tomu kompilovat 2.4 kernely pro každý stroj zvlášť, navíc nedávno vydaná 2.4.35, pokud se nepletu, nepřináší žádné nové patche ohledně desktopu .. navíc nevím, zda by openMosix fungoval i na jádrech 2.4.26+ ..

Škoda, že openMosix oficiálně končí, chtěl jsem jednu chvíli požádat i o zdrojáky projektu MOSIX, které, jak jsem snad pochopil, jsou pro studijní účely přístupné free, ale nejsem si jist, zda bych z nich nějak vykutil jaderný modul, daemona a user-space utilitky.
Tak si asi počkám na Simple openMosix, ..nebo máte nějaký tip?

Doufám, že se ti "kolemjdoucí" alespoň obohatili o tichou novinku konce jednoho velkého clusterovacího projektu a možného pokračování portu na 2.6 řadu jader, všech platforem.

Go on....

       

Komentáře

[Käyttäjä 11133]

Co Beowulf, nebo OpenMP?

[Yenda]

OpenMP je standard, ktery prostředky jazyka umožňuje explicitně "vysvětlit" překladači, že daný problém lze paralelizovat a jak to jde provést. Například v C++ (vyříznul jsem ze svého kódu, takže nemusí být uplně edukativně dokonalý):

    suma_right = 0;
    #pragma omp parallel for if(parallel) num_threads(parallel) reduction(+:suma_right) 
    for(long i = 0; i < data->number_of_examples; i++) {
          suma_right += data->examples[i].value;
    }

Daný kód bude prováděn paralelně, pokud bude nastavená nějaká gobální celočíselná proměnná parallel na nenulovou hodnotu a to parallel vlákny. Všechno ostatní (vytvoření vláken, rozdělování úkolu apod.) má na starosti překladač. Samozřejmě, že mu do toho můžete kecat. Ale nemusíte a to je právě super. :) Nemusíte se trápit přílišnými detaily synchronizace vlaken, jejich vytváření atd. (GCC umí od verze 4.2, MS VC++ od verze 2005 (asi verze 8), PGI umí (nevím od kdy), ICC umí (nevím od kdy)).

Beowulf je jenom obecný název pro clustery. Beowulf culster může podporovat Mosix, ale nemusí. V tom případě musíte přepsat kód tak, aby využíval MPI nebo PVM. Mosix mí takovou krásnou věc, vytvoří jakýsi "virtuální metapočítač", v rámci něhož umí stěhovat vlákna. To pak stačí posix vlákna a jádro je samo podle potřeby stěhuje na jiné stroje. Nemusíte (většinou) nic přepisovat. Nejsem si vědom, že existuje nějaká free varianta, co umí podobnou věc jako openMosix. Viz wiki.

[stativ]

Zatím mi připadá, že v blízké době bude skoro jedinou možností používat aplikační clustery, jako je třeba DrQueue a podobné.

[Jiří J.]

Příchází doba virtualizací, výpočetním clusterům zvoní umíráček

[Ondrej]

ano, driv jsme spojovali nekolik pocitacu do jednoho, dneska delime jeden pocitac do nekolika

[stativ]

PS: jsem jediný komu není dovoleno se připojit na stránky mosixu či co? Server mi vždy vrací chybu 403.

[Jiří J.]

Projel jsem si všechny linky v článku (včetně http://www.mosix.org/) přes americkou a ruskou proxy.. v obou případech vše jelo, stejně jako z mé IP... možná prohlížeč posílá špatný request, mám Firefox 2.0.0.6 a ono to jde ... http://openmosix.sourceforge.net/ mi funguje také...

[stativ]

Mám taktéž Firefox 2.0.0.6 a na mosix org se mi nedaří dostat z žádného prohlížeče… Asi mi zbývá jedině zkusit nějakou tu „anonymní“ proxy.

[Věroš]

Torque asi nestačí, že? Mosix je o magnitudu silnější.

[al-Quaknaa]

OpenSSI, Kerrighed. A jenom drobná oprava ke komentáři výše - OpenMosix neumí a nikdy neuměl migrovat vlákna a taky nepodporuje aplikace používající sdílenou paměť. Moshe bar o tom psal na mailinglistu ve smyslu, že vzhledem k latencím sítí stejně nemá cenu distribuovanou sdílenou paměť implementovat, nicméně Kerrighed se o to snaží. Vypadá jako lepší z těch dvou, ale ne tak dospělý. To je ode mne asi vše ...

[xm]

Doporučuji přečíst si tohle PDFko: OpenMosix, OpenSSI and Kerrighed: A Comparative Study

OpenMOSIX je stejně imho v porovnání s plnohodnotnými SSI (Single System Image) řešeními (jako právě OpenSSI nebo Kerrighed) prakticky k ničemu, oproti nim vypadá jak nedotažená hračka pro děti.

OpenSSI je z těch dvou sice prověřenější, robustnější a stabilnější řešení (je rozhodně i stabilnější než OpenMOSIX), ale výkonnostně je slabší. Kerrighed je naprostá výkonnostní špička (OpenMOSIX ani OpenSSI se s ním nemohou měřit), ale je stále ještě mírně experimentální. Ale je to IMHO rozhodně budoucnost, věci jako cluster-wide sdílenou paměť (a to velmi efektivně fungující), checkpointing a migrování/plánování threadů nikdo jiný nemá.

[al-Quaknaa]

Podle té studie by se tak mohlo zdát, leč Kerrighed všechny zmiňované funkce měl, ale už nemá - ve verzi 2, která by měla být narozdíl od verze 1 stabilní, je všechny vypnuli a teď, jak se projekt stabilizuje se je budou snažit všechny postupně znovu zapnout, ale zatím by měla funguvat z výše jmenovaných jen ta sdílená paměť, což je super, ale podle dalších ohlasů (studií, postů na fórech) to stejně moc nefunguje. Testovací aplikace chodí perfektně, ale třeba Apache nebo další, pro které by bylo praktické využití obrovské, mají problémy.

A srovnávat OpenMOSIX s OpenSSI a Kerrighedem taky není úplně fér - OpenMOSIX má funkce, které osttaní dva zase postrádají - OpenMOSIX můžeš provozovat na úplně normáním desktopu, akorát s upraveným jádrem a běžící službou, jednotlivé nody můžou mít klidně úplně jiné softwarové vybavení. Pro OpenSSI musí mít každý node úplně stejný obraz /, takže pro typické využití OpenMOSIXu (ve dne kancelář s desktopy, v noci výpočetní cluster) není OpenSSI ideální. Kerrighed zase kvůli DSM (Distributed Shared Memory) neumožňuje odstraňovat nody z clusteru za chodu a má to i další omezení. Takže OpenMOSIX určitě má své uplatnění a lidi to taky na mailinglistu dali dost dobře vědět, když Moshe ohlásil konec projektu. Jenom je jeho využití kousek jinde, než dalších SSI clusterů.

[xm]

Souhlasím že OpenMOSIX určitě své uplatnění také má, ale mně se přesto jeví v porovnání s OpenSSI/Kerrighedem jako hračka (to ovšem neznamená, že na některé věci to nemůže stačit).

Co se týče toho provozování na normálním desktopu, tak to imho není také problém - člověk může vytvořit root na NFS a ty počítače (v okamžiku kdy z nich chce cluster) nabootovat přes síť. Ale samozřejmě ne pro všechny způsoby využití musí tohle vyhovovat...

[Hynek (Pichi) Vychodil]

Kerrighed zase kvůli DSM (Distributed Shared Memory) neumožňuje odstraňovat nody z clusteru za chodu a má to i další omezení.

Tak to je těžkej průser, který jeho použití sráží až téměř do nepoužitelnosti. Co se stane, když některý z nodů spadne ať už z důvodu HW nebo SW chyby?

[Jiří (BoodOk) Kadeřávek]

Používal jsem jak OpenSSI, tak OpenMosix. OpenSSI se mi zdálo stabilnější a skutečně představovalo na rozdíl od OpenMosixu Single system image (i když na toto téma zastánci obou táboru vedli malý flame). Co mi na OpenSSI dělalo potíže byl VMWare. Celá má idea byla o tom naroubovat stávající terminálová pracoviště do jednoho clusteru, aby tak výkonnostně silnější terminál mohl poskytovat nadbytečné prostředky clusteru a přitom zůstala zachována výhoda terminálového řešení, tedy zjednodušená správa. Skoro se to povedlo.

[Martin Stava]

Ahoj,

v diskuzi jsem zachytil nekolik komentaru, kde zminujete osobni zkusenosti z nekterym z nejznamensich ssi systemu (mosix/openSSI/kerrighed). V soucasne dobe u nas na fakulte (fel-cvut) vyvyjime vlastni podobny system, momentalne neni ve verejne distribuovatelnem stavu, nicmene zakladni checkpointing/migrace chodi dobre.

Zajimalo by mne, zda byste mi mohli lepe popsat vas osobni zpusob pouziti vyse zminenich systemu.. na co konkretne jste je pouzivali, co je pro vas na tech systemech dulezite atd..

Pokud by byl nekdo z vas ochoten my to popsat, tak bud sem nebo idealne do email Martin.Stava na gmailu com.

Diky, Martin