BOINC: Počítejte s námi (Updated)

5.4.2007 15:59 | Přečteno: 2208× | Linuxení aneb hrátky se šrotem | | poslední úprava: 29.5.2007 15:04

Heslo "Počítejte s námi" by mohlo být dobrým sloganem pro nějaké hnutí odporu, o nic takového ale nejde. BOINC je název klienta pro distribuované výpočty, které může provádět každý uživatel až doma ... @home.

BOINC: agitace
Zúčastnit se může každý, kdo má doma počítač a alespoň základní povědomí o jeho ovládání. Stačí pouze nainstalovat klienta BOINC, přes něj se připojit k některému z řady projektů. Kterého konkrétně se kdo zúčastní je pouze na jeho osobních preferencích - někdo rád chytá mimozemšťany (SETI@home) nebo se rozhlíží po pulsarech (Einstein@home), někdo předpovídá počasí (Climateprediction.net), jiný zase rád zkoumá bílkoviny (Rosetta@home). Zkrátka snad každý si vybere něco, v čem by se mohl angažovat.

Klasická otázka by mohla být: Ale proč? Odpověď: Proč ne? Co se týče diskového prostoru, mají stažená data minimální velikost a kdyby někomu i stažené množství dat vadilo, lze jej omezit dle vlastních nastavení. Co se týče zpomalení systému - prakticky k žádnému nedochází. Program může využítat procesor systému dle nastavení uživatele a i když jej využívá na 100%, nezpomaluje jakkoliv běh systému. Jakékoliv zvýšené zátěži se BOINC přizpůsobí a příslušně se uskromní, takže může na pozadí systému běžet celý den, aniž by svého uživatele omezoval.

Stále by se mohlo ozývat ono: Proč to? Odpovědí je stále: Proč ne? V současné době a při současných výkonech počítačů dochází k tomu, že pokud není počítač skutečně intenzívně využíván na náročné úkony, dochází k tomu, že stráví 99% svého času nečinností. Surfování po internetu, psaní dokumentů, programování, poslech hudby - každá z těchto činností využije jen zlomek výpočetní síly počítače. Zbytek může využít BOINC a dát tak svému uživateli alespoň pocit, že energie, kterou spotřeboval na svůj běh, byla využita k něčemu prospěšnému.

A protože člověk je tvor soutěživý a rád se porovnává s jinými, jako doplnění jsou za spočítaná data udělovány kredity, takže se lze porovnávat s jinými uživateli, uživatelé se sdružují do týmů, které spolu soutěží a každý z týmů může mít ještě své vlastní minitýmy, jimž lze pomoci svou troškou kreditů...

BOINC: Stažení a instalace
Klienta BOINC lze stáhnout z těchto stránek. Jméno staženého souboru bude na Linuxu vypadat nějak takto: boinc_5.8.17_i686-pc-linux-gnu.sh. Jedná se o samorozbalovací archiv, který lze spustit příkazem

sh boinc_5.8.17_i686-pc-linux-gnu.sh

a v adresáři s archivem se objeví složka BOINC, ve které je BOINC rozbalen a automaticky jsou upraveny soubory run_client a run_manager na spouštění z tohoto adresáře. Chceme-li tedy mít BOINC v adresáři ~/.boinc, je vhodné nechat archiv rozbalit až v této složce. Klient BOINC se pak spustí příkazem ./run_manager.

To by byla jednoduchá cesta. Její nevýhody jsou dvě - po stažení zkompilovaného klienta BOINC získáte program, který je staticky linkovaný a pokud používáte jiné GTK téma než je výchozí, bude s ním vypadat velmi podivně. Druhá nevýhoda je, že stažený klient je kompilován pouze pro 32-bitové procesory a oficiální verze pro 64bity neexistuje. Spuštěný klient tedy nebude běžet na x86_64 Linuxu v nativním 64bitovém módu.

BOINC: Stažení zdrojových kódů a jejich kompilace
Ačkoliv BOINC je vydán pod GNU/GPL, získat jeho zdrojové kódy je poněkud krkolomné. Kdo by předpokládal, že budou umístěny na stejné stránce jako binární balíčky, bude překvapen a čeká jej ještě slušné proklikávání až k této stránce, kde nakonec ale stejně zjistí, že ke stažení zdrojových kódů je třeba cvs. To je opět poměrně nepříjemné, neboť při jeho použití čeká uživatele stažení dat o velikosti kolem 45MB namísto 13MB, na které by vyšel archiv se sbalenými zdrojovými kódy. Kdo je ale odhodlán stahování risknout, může zadat

cvs -d :pserver:anonymous:@alien.ssl.berkeley.edu:/home/cvs/cvsroot checkout boinc

pro stažení aktuálních zdrojových kódů BOINC nebo ještě lépe

cvs -d :pserver:anonymous:@alien.ssl.berkeley.edu:/home/cvs/cvsroot checkout -r boinc_core_release_5_9_3 boinc

pro stažení dokončených zdrojových kódů poslední verze. Parametr -r boinc_core_release_5_9_3 zde udává CVS tag zdrojových kódů. Ten lze zjistit zde z vysunovacího menu za textem "Show only files with tag:". Je zřejmě vhodné upozornit, že takto stažené kódy, respektive výsledek z nich získaný nemusí být příliš stabilní.

Před kompilací je třeba ještě spustit v adresáři se zdrojovými kódy příkaz

./_autosetup

který vytvoří soubor configure. Konfiguraci před kompilací pak je třeba na strojích se 64bitovými distribucemi provést příkazem

./configure --enable-bitness=64 --enable-unicode --enable-server --enable-client --build=i686-pc-linux-gnu

Tento příkaz obsahuje dva zdánlivě si protiřečící parametry:

--enable-bitness=64

a

--build=i686-pc-linux-gnu

Jeden udává, že má být zkompilována 64bitová verze klienta a druhý tvrdí, že sestavení se má provést pro architekturu i686. Tyto dva parametry ošetří jeden z problémů BOINC, respektive jeden z problémů projektů, které jej využívají - a to absenci 64bitových programů pro výpočty. BOINC totiž zde tvoří pouze jakési rozhraní, které si stáhne specializovanou aplikaci pro dané výpočty a ta potom běží na počítači (ty již bohužel většinou GNU/GPL nejsou a nejsou ani 64bitové). Pokud se BOINC přihlásí jako x86_64-unknown-linux-gnu (pri vynechání parametru --build=) nebo jako x86_64-pc-linux-gnu (při použití parametru --build=x86_64-pc-linux-gnu), server nerozezná architekturu klienta a neodešle nic. S použitými parametry ale dojde k sestavení 64bitového klienta, který se serveru jeví jako jeho známý i686-pc-linux-gnu.

Nyní již schází pouze

make

Pokud kompilace selže s hláškou ve smyslu "v souboru sg_DlgPreferences.cpp je použita neznámá třída Wrap", pak stačí jen tento soubor upravit (je v /clientgui) a všechny řádky s obsahem podobným jako:

itemStaticText16->Wrap(250);

zakomentovat přidáním dvou lomítek na jejich začátek.

// itemStaticText16->Wrap(250);

Nyní stačí zopakovat

make

a vše by mělo proběhnout v pořádku. Výsledkem jsou pak soubory boinc_5.9.3_i686-pc-linux-gnu.sh a boinc_5.9.3_i686-pc-linux-gnu_debug.sh v adresáři sea. Jejich použití je pak shodné s oficiálně dodávanými balíčky.

Pro porovnání přidávám ještě screenshot oficiální verze a vlastního kompilátu. Vzhled je diametrálne odlišný kvůli použití vlastního GTK schématu, navíc jsou samozrejmě nové vlastnosti. Zkompilovaná verze 5.9.3 vykazuje dobrou stabilitu, bez problémů přijímá vlastní GTK schéma a má nové volby nastavení. Pouze pokud se klepne myškou na řádek s titulky sloupců v okně aplikace, spadne.

Update (20.4.2007)
Zdá se, že dochází k menší rekonstrukci stránek BOINC. Některé výše uvedené odkazy, ačkoliv se na ně lze dostat z textu, nejsou přístupné z odkazů na http://boinc.berkeley.edu. Při pokusu o stažení zdrojových kódů se při proklikávání stránkami lze dostat na nově vytvořenou sekci http://boinc.berkeley.edu/trac/. Zde lze zdrojové kódy stáhnout ze sekce Browse source -> Tags -> zvolená verze BOINC (pro aktuální verzi 5.9.3 tedy sem). Nově byla přidána možnost stažení zdrojových kódů v ZIP archivu (do 15MB), není již tedy nutné CVS.

       

Anketa

Obrázky

Komentáře

[petr_p]

Vzhledem k tomu, ze BOINC je jen obalka ke skutecne vypocetni uloze, resi takove veci jako bezpecnost, demonizovany rezim, sledovani cinnosti?

Samotne vypocetni ulohy jsou strojovy kod, nebo se interpretuji? Nebyl by interpretovany rezim rozumny kompromis mezi rychlosti na jedne strane a bezpecnosti a prenositelnosti na strane druhe?

[pushkin]

Ano, BOINC je pouze grafickym rozhranim a organizerem. Samotne programy, ktere pocitaji dane ulohy se stahuji jako binarky, navic i686. Pravda, nejlepsi reseni to neni, ale jineho rozumneho vychodiska asi neni...

[miho]

A co spotreba? Muj pocitac basti pri plne zatezi procesoru o 70W vice nez bez zateze. Mereno zasuvkovym elektromerem.

[vlasta neubauer]

vezměme si modelový příklad: počítač doma máte zapnutý 4h denně. průměrná zátěž navíc oproti běžné spotřebě je třeba 50W. to je 0,2 kWh denně - 73 kWh ročně * 3 Kč za kWh = 219 Kč ročně navíc v účtu za elektřinu. u serveru se stejnými parametry běžícího nonstop je to 1314 Kč ročně. zadarmo to tedy není. u srdce vás ale může hřát, že využití stávajících kapacit je určitě ekologicky šetrnější, než kdyby si měly příslušné projekty pořizovat další vlastní superpočítače.

dalším zajímavým projektem je folding@home [http://folding.stanford.edu/] - výpočty skládání lidských proteinů pro simulace nových léčiv.

[miho]

V mem pripade 24*0.07=1,68kWh; za rok 613kWh * 3.3 =~ 2000Kc

Pravda, zas tak moc to neni no.

[Marián Kyral]

Asi tak před třemi měsíci jsem měl dobrou vůli to zkusit. Instalace na Gentoo proběhla v pohodě, ale pak začalo tápání. Nejprve se GUI nedařilo napojit na běžící BOINC. Nakonec jsem našel, že si mám nastavit heslo v nějakém textovém souboru.

Pak jsem měl problémy se založením účtu(registrací do projektu). Boinc gui vždycky úspěšně spadlo. Nakonec to vyřešil kboincspy.

Ale i když jsem se úspěšně připojil, tak se mi stejně nepovedlo stáhnout data a zahájit výpočet. Ani Rossety, ani žádného jiného projektu Po dvou dnech marných pokusů a hledání na internetu jsem se přestal trápit a zadal

emerge -C boinc kboincspy

Bohužel ani v tomto blogu jsem se nedozvěděl, jak pokračovat po instalaci a kde jsem asi udělal chybu. Je tady někdo, kdo boinc na Gentoo používá?

[trekker.dk]

STFW!

To install BOINC on Gentoo you simply type: ACCEPT_KEYWORDS="~x86" emerge boinc

That accept keywords bit is only needed for now because it's not marked stable (but compiles perfectly). Also with Gentoo it's easy to make things you compile take as much advantage of your CPU as it can (via make.conf). If someone is interested in Gentoo (easy to manage, tough to install for newbies) you might consider trying VidaLinux, it's basically Gentoo with a graphical installer and graphical front-end to the portage system.

Oh, example of the performance benefit of crunching with Linux. I have a Pentium 4 1.8GHz cpu with 128MB of ram and it crunches work units in 2hrs 5mins maximum.

[Marián Kyral]

Já jsem někde psal, že jsem měl problém při kompilaci? Ta proběhla v pohodě. Spíše mě zajímá poinstalační postup.

[trekker.dk]

A nešlo s tím padáním o nějakou chybu, kterou už někdo odstranil?

Poinstalační postup je popsán zde - spustíš klienta (v Debianu boinc_client) nejlépe jako službu /etc/init.d/boinc-client start, pak spustíš manager a pomocí menu (Tools - Attach to project) se připojíš k nějaké úloze.

[Marián Kyral]

No kdyby to bylo tak jednoduché, jak je to tam popsáno, tak by to bylo super

K projektu jsem se přihlásil, ale tím to skončilo. Nestáhl se žádný program pro výpočet, ani data. Fakt jsme strávil dva dny tím, že jsem na webu hledal co a jak, ale všude to jen nainstalují a pak to funguje. U mě to tak nebylo

Za tři měsíce se mohlo dost změnit (v ebuildu je teď nová verze), třeba to možná zase někdy zkusím.

[trekker.dk]

O který projekt šlo? Třeba Einstein má poslední dobou nějaké problémy a výpadky, takže se úlohy nestahují třeba týden. Až (jestli) to budeš znovu zkoušet, tak pokud se ti podaří přihlásit, v manageru na kartě "Messages" by mělo být vypsáno, že se pokusil stáhnout úlohu a případně proč se to nepovedlo.

[ronny]

me treba nesli SETI

[ronny]

taky mi to neslo zaregistrovat :( [archlinux]

[Leoš Literák]

Mozna je moje obava licha, ale nestahuje BOINC nahodou ulohy (kod) ze serveru? Kdo mi zaruci, ze ja sice v dobre vire chci poskytnout CPU pro hledani leku na rakovinu, ale ve skutecnosti bude pocitat ulohy (CIA|KGB|crackeru|atd)? Dokud stary dobry SETI klient stahoval jen data, mel jsem vicemene jistotu, ze vim, co dela. Ale ted uz je to jen o duvere, ze jej nikdo nezneuzije (treba k prolomeni meho vlastniho pristupu k bankovnimu uctu).

[trekker.dk]

Ano, stahuje binárky, které potom spustí. Nicméně boinc sám o sobě běží pod uživatelem "boinc" (defaultní instalace v Debianu), takže při rozumném zabezpečení počítače by tvůj bankovní účet měl být v bezpečí.

Je ale pravda, že co jsi spočítal, to se nedozvíš.

[miro]

K tomu bankovemu uctu: nejedna sa o prelomenie ochrany konkretneho PC a vyhladanie udajov kreditky. Ide o to, ze program, ktory sa spusti, moze sluzit na prelomenie ochrany kodu obecneho bankoveho uctu.

[trekker.dk]

Jo takhle... osobně předpokládám, že pokud se někdo připojí k nějakému projektu, tak se podívá, kdo za tím projektem stojí. Takže pokud by někdo chtěl spustit nějakou padoušskou úlohu, tak by musel cracknout server a podstrčit ji tam (a pak ještě jednou, aby si vyzvedl výsledek), nebo provést nějaký útok typu man-in-the-middle.

[Leoš Literák]

Nebo podplatit administratora ci jej necim vydirat.

[klassik]

predpokladam ze s vysledkama se pracuje a pokud by nebyly dovedelo by se to vicero lidi. Ale je pravda ze na tom neco je. Mit nejaky penize zacnu se asi bat

[Leoš Literák]

To by bylo naivni uplne prepnout ulohy. Ale podstrcit treba kazdou patou ulohu a patricne upravit statistiky by nemusel byt zase takovy problem.

Pamatujete na Echelon, kterym se Americani snazili odposlouchavat internet? Podle mne to pro zpravodajske sluzby musi byt obrovske lakadlo - obrovsky distribuovany superpocitac zadarmo. Ted jen musime doufat, ze jen slintaji (a neoblizuji se).

[trekker.dk]

Ad instalace ...

...zase někdo není schopen jako první odstavec napsat: "Nejprve se zkuste podívat do repozitáře balíčků vého distra - pokud ho tam najdete, nainstalujte ho a máte vyřešeno."

Místo instalování nějakých šílených binárek nebo stahování 50MB zdrojáků z CVS mi stačilo apt-get install boinc-client boinc-manager

[pushkin]

jop, pardon V Suse neni

[budulman]

a vieme vyhradit pre dany proces maximalne dajme tomu 30% ?

to znamena, ze aj ked by mohol proces vyuzivat vykon na 100%, chcel by som ho obmedzit, aby sa procak neupiekol a ventilator neutrhol

[David Watzke]

Na notebooku to asi neprovozuješ, takže bych doporučil spíš pořádný chlazení. Pokud se musíš strachovat aby se to neuvařilo, pak je to hodně špatný...

Jinak samozřejmě nice -n19, ale to je trochu něco jinýho.

[trekker.dk]

Jinak samozřejmě nice -n19, ale to je trochu něco jinýho.

Trochu. Možná trochu víc. Skoro bych řekl, že to udělá něco úplně jiného

[Franta Gajdůšek]

Nizkou prioritu ma automaticky, to je cely princip ustupovani jinym aplikacim
Ale pokud vim, jde to nastavit v uctu na webu projektu, ale nejsu si tim jisty a mozna zalezi na projektu.

[trekker.dk]

Existuje program cpulimit, který sleduje spuštěné programy a podle jména nebo PID je zpomalí na danou hodnotu. V BOINCu jako takovém lze také nastavit omezení, ale zatím (ve verzi 5.4.11) to v Linuxu nějak nefunguje.

[pushkin]

Verze 5.4.11 uz je nejakou dobu za zenitem. V nove 5.9.3 urcite nastaveni spotreby CPU funguje (ted jsem ho vyzkousel).

[Scarabeus IV]

Tak v Gentoo ještě za zenitem očividně nejni.
Zatim je tam nejvišší maskovaná 5.5.6 :(
Asi mi nezbude než si vytvořit ebuild...

[Scarabeus IV]

Juj já sem ale blbec :)
Jsem se koukal jenom přes eix a neměl jsem ho aktualizovanej.
Nejlepší na tom je, že jsem to zjistil, těsně potom, kdy byl příspěvek odeslanej.

[David Watzke]

Jsem se koukal jenom přes eix a neměl jsem ho aktualizovanej.

Mrkni se na eix-sync.

[Scarabeus IV]

ja používam update-eix akorát jsem na to zapoměl včera při syncu :)

[David Watzke]

No právě proto ti to říkám...

[trekker.dk]

To možná jo, ale vysvětlete to někdo maintainerovi balíčku v Debianu.

[Milhouse]

Ahoj. Cpulimit-1.1 (bez c) mi funguje na BoincManageru 5.4.11 v pohodě. Akorát nevím, jak zajistit automatické spuštění s programem.

Do terminálu zadám:

sudo cpulimit -p 8099 -l 20

Kde -p 8099 je proces aplikace(dtasser_0.31_i6), která počítá. Bohužel PID se mění, a korigovat přímo "boincmgr" nebo "boinc_client" parametrem "-P /usr/bin/boincmgr" nefunguje.

Ví někdo, jak docílit automatického omezení?

Díky, Milhouse.

[Filip]

Ano. Je to v nastavení účtu.

[kavol]

BOINC též provozuju, ale přál bych mu méně zaslepených agitátorů ... :-/

Co se týče diskového prostoru, mají stažená data minimální velikost a kdyby někomu i stažené množství dat vadilo, lze jej omezit dle vlastních nastavení.

hm, lze sice dát limit na zabíraný prostor, ale když bude příliš nízký, projekt prostě nebude moci počítat, takže formulace "lze jej omezit dle vlastních nastavení" je silně zavádějící ...

Co se týče zpomalení systému - prakticky k žádnému nedochází. Program může využítat procesor systému dle nastavení uživatele a i když jej využívá na 100%, nezpomaluje jakkoliv běh systému.

a co RAM?

nehledě na to, že na některých systémech u některých věcí (hry ...) nemám příliš dobré zkušenosti s plynulostí, pokud na pozadí něco běží, byť se to liší o 19 nice úrovní ...

Zbytek může využít BOINC a dát tak svému uživateli alespoň pocit, že energie, kterou spotřeboval na svůj běh, byla využita k něčemu prospěšnému.

o rozdílu mezi spotřebou v idle a naplno se tu již psalo ...

Druhá nevýhoda je, že stažený klient je kompilován pouze pro 32-bitové procesory a oficiální verze pro 64bity neexistuje. Spuštěný klient tedy nebude běžet na x86_64 Linuxu v nativním 64bitovém módu. ... BOINC totiž zde tvoří pouze jakési rozhraní, které si stáhne specializovanou aplikaci pro dané výpočty a ta potom běží na počítači (ty již bohužel většinou GNU/GPL nejsou a nejsou ani 64bitové).

nějak nerozumím tomu, proč je tak důležité[*] mít řídící aplikaci, která potřebuje minimum procesorového času, nativní, zatímco u výpočetních aplikací se nativitě cíleně vyhneme ... vzhledem k tomu, že pro nemalou část výpočtů je 64bit kód významně efektivnější, přijde mi to poněkud úchylné

což takhle zmínit mechanismus "anonymous platform" a že při troše štěstí se u takového SETI@home dá dobrat k 64bit binárkám, případně které projekty 64bit podporují přímo (tuším například LHC@home), než záměrně tuto cestu uzavírat? (a což teprv x86 nekompatibilní systémy ...)

[*] ok, velkým argumentem je GTK vzhled, ó, super - a kolik času je potřeba v aplikaci trávit k naklikání projektů, to se nedá tu chvilku přežít? co takhle možnost command-line only? a nač tak jásat nad GTK, Qt nemá právo na život, co kboincspy?

[pushkin]

Diskový prostor: Zatím jsem se vždy vešel do 40MB, což je vyloženě směšné v porovnání s 20GB partition, na které BOINC mám. Větší objem dat si na jiném počítači stáhla pouze Climateprediction.net, a to kolem 250MB. Pro srovnání - OOo zabere víc.

RAM: i využití RAM lze nastavit. Moje zkušenosti zatím spíše ukazují na to, že když spustím hru, celý výpočet se zastaví, a co není potřeba se odswapuje. Větší zpomalení mi způsobuje spíše Opera, která si svou nenažraností vezme 80MB paměti.

64bit a GTK/QT: Dobrým důvodem proč kompilovat klienta pro 64bit je například i ona úspora paměti - nemusí se načítat knihovny pro 32bit běh aplikace, v případě BOINC jde nejen o wxGTK-32bit, ale i curl-32bit, openssl-32bit atd... Většina z nich již v paměti načtena je v jejich 64bitové formě, tak proč načítat ještě tyto. Je pravda, že se potom stejně spustí výpočet, který provádí 32bitová aplikace, ale ta již tyto knihovny nevyžaduje. Co se týče GTK/QT - užívám obojí a s obojím jsem spokojen (ono i to téma přes GTK je z QT), originální BOINC jsem použil hlavně kvůli tomu, že pochází přímo od autorů. Jinak díky za tip na kboincspy, vyzkouším.

Pokud se někdo rozhodne pro kompilaci 64bitové aplikace, která se jako 64bitová i hlásí, pak se jeho výběr projektů opravdu značně zúží. Zrovna SETI@home mi jako příliš přínosné nepřipadá a LHC@home je většinu doby bez práce. S jinými platformami to pak bude ještě na delší dobu, než je začnou podporovat binárními aplikacemi.

[Filip Korbel]

Combined BOINC pro AbcLinuxu Mel jsem takovej "teenage" napad udelat AbcLinuxu team na BOINC. Posledni mesic jedem na cca 11 servrech v housu AbcHost. Kdyby to nekoho zaujalo nebo se nudil, tak dejte vedet.

[JZD]

Ne, ale chystám se.