Gentoo Linux - rýchlosť kompilácie (ccache a distcc)

22. 2. 2006 | Matej Gagyi | Systém | 8999×

Ako dlho sa na vašom počítači kompiluje nová verzia prehliadača Mozilla Firefox, prehrávača MPlayer alebo celé KDE, či Gnome? Pár minút? Tak to už asi poznáte programy ccache a distcc.

ccache

ccache dokáže zrýchliť opakované kompilovanie 5 až 10krát. Je výtvorom Andrewa Tridgella z projektu Samba, ktorý sa inšpiroval ideou projektu compilercache.

Pred každým spustením gcc sa ccache pozrie do svojej databázy a pokúsi sa v nej nájsť skompilovaný súbor. Ak výsledok kompilácie nenájde, spustí gcc a jeho výsledok vloží do databázy. Pri vývoji aplikácií sa medzi dvoma verziami aplikácie často mení iba zopár súborov a ostatné zostávajú nedotknuté. Pri kompilovaní novšej verzie už raz kompilovaného programu má ccache veľkú šancu usporiť čas potrebný pre kompiláciu už raz skompilovaných súborov.

Portage dokáže ccache používať automaticky. Stačí ho len nainštalovať:

# emerge ccache

a pridať do súboru /etc/make.conf do premennej FEATURES:

FEATURES="ccache"

Ak chcete ccache používať mimo Portage (v inej distribúcii alebo pri programovaní), musíte dať cestu k binárkam ccache do premennej prostredia PATH (pred cestou ku gcc):

# export PATH=/usr/lib/ccache/bin:$PATH

Databáza ccache bude rásť a rásť, preto je dobré stanoviť jej nejaký limit:

# ccache -M 1G

Používatelia Gentoo si tento údaj môžu nastaviť aj v súbore /etc/make.conf:

CCACHE_SIZE="1G"

distcc

Z dielne Samby pochádza aj program distcc, tentokrát je jeho autorom Martin Pool. Distcc distribuuje kompiláciu medzi viacerými počítačmi. To sa oplatí hlavne, pokiaľ chcete inštalovať Gentoo na pomalý počítač a máte k dispozícii jeden, alebo viac rýchlejších strojov.

Program distcc najprv spracuje vstupný zdrojový súbor preprocesorom (gcc -E). Vznikne tak zdrojový súbor, ktorý obsahuje všetky hlavičkové súbory, ktoré sú potrebné na jeho skompilovanie. Program distcc tento súbor pošle na niektorý zo vzdialených počítačov, kde sa spustí kompilácia. Skompilovaný súbor s príponou .o (object), sa vráti späť na klientsky počítač a distcc sa ukončí.

Aby tento postup kompiláciu urýchlil, musí byť kompilovaných viacero zdrojových súborov naraz. Program make podporuje paralelnú kompiláciu. Počet súčasne spustených kompilácií sa nastavuje parametrom -jN (N - počet paralelných kompilácií). Používatelia Gentoo si tento parameter môžu nastaviť v súbore /etc/make.conf:

MAKEOPTS="-j2"

S počtom paralelných kompilácií sa musíte trochu pohrať. Začať môžete s hodnotou rovnou počtu procesorov na kompilovanie plus jeden (napríklad ak kompilujete na dvoch dvoj-procesorových počítačoch nastavte MAKEOPTS="-j5"). Tento počet vám pomôže doladiť grafický monitor distccmon-gui.

Distcc treba samozrejme nainštalovať, v Gentoo jednoducho:

# emerge distcc

Portage vie používať distcc automaticky, len ho musíte pridať do súboru /etc/make.conf do premennej FEATURES:

FEATURES="distcc"

Ak nepoužívate Gentoo, musíte si binárky distcc pridať do premennej PATH ešte pred cestou ku gcc. Ale pozor, ak používate aj ccache, najprv musí ísť cesta k ccache, potom k distcc a až potom všetko ostatné:

# export PATH=/usr/lib/ccache/bin:/usr/lib/distcc/bin:$PATH

Na vzdialených počítačoch musíte buď spustiť démona distccd, nakonfigurovať initd server alebo sprístupniť počítač cez ssh. Odporúčané je spustiť démona distccd:

# distccd --allow 192.168.1.0/24

Používatelia Gentoo budú mať po inštalácii k dispozícii rc skript:

# rc-update add distccd default
# /etc/init.d/distccd start

Parameter --allow je veľmi dôležitý. Určuje, ktoré IP adresy budú mať prístup k distccd serveru. Používatelia Gentoo si tento a ďalšie parametre distcc môžu nastaviť v súbore /etc/conf.d/distccd.

Nakoniec na klientskom počítači nastavte zoznam a limity pre vzdialené servery. To sa robí pomocou premennej prostredia DISTCC_HOSTS:

# export DISTCC_HOSTS="localhost/2 192.168.1.1/2 superserver.com/8"

V Gentoo použite konfiguračný nástroj distcc-config:

# distcc-config --set-hosts "localhost/2 192.168.1.1/2 \
superserver.com/8"
# env-update
# source /etc/profile

Záver

Ešte musím upozorniť, že ccache je citlivý na to, či používate distcc alebo nie. Ak ste prvú verziu kompilovali distribuovane a pri kompilácii novej verzie už nemáte k dispozícii viac počítačov a distcc vymažete za súboru /etc/make.conf, ccache si bude myslieť, že ste zmenili verziu gcc a medzivýsledky kompilácie vo svojej databáze jednoducho nenájde.

Ak hrozí, že nebudete môcť kompilovať na viacerých počítačoch pomocou distcc, je lepšie distcc do súboru /etc/make.conf nedávať a spúšťať distribuované kompilovanie nasledovne:

# FEATURES="distcc" emerge parametre        

Komentáře

[Pet]

A co kdyz mam pomaly pocitac x686 a rychly amd64? Nestalo by za alespon zminku, ze v takovychto pripadech je to o neco slozitejsi?

[Wolf]

Je potreba pri pouziti distcc aby na obou pocitacich byl x86 procesor? Nebo se da nejak zaridit abych mohl na AMD64 kompilovat pres distcc pro Durona? Diky

[Pet]

Samozrejme to jde, ale musite instalovat kroskompiler http://www.gentoo.org/doc/en/cross-compiling-distcc.xml

[Vykook]

na kompilaci i686 - i586 predpokladam taky potrebuju crosscompiler, ze?

[lizard]

ne. je to stejna architektur x86... jedine co je potreba jsou parametry -march, -mcpu nebo -mtune

[Radek Podgorny]

Omyl, na kompilace i586 vs. i686 je potreba crosscompiler.

[Luboš Doležel (Doli)]

Podle mě je to taky jen otázka CFLAGS...

[Radek Podgorny]

To jsem si taky myslel, ale mam vyzkouseno, ze to tak nejde. (Nebo jsem prilis hloupy )

[Yin]

Verzie gcc musia byť pri distribouvanom kompilovaní rovnaké na všetkých strojoch. Osobne som mal s týmto problémi, ale neviem, prečo som sa o probléme a riešení nezmienil v článku. Ospravedlňujem sa.

[Jan Kundrát (jkt)]

Viz dokumentace a jina dokumentace.

[lizard]

Zapomel jste zminit jednu velice dulezitou vec. A to ze k provozu distcc si musite hlidat verze kompilatoru (gcc) na masinkach na ktere budete distcc postvavat (DISTCC_HOSTS). Tam kde se pouzivaji stejna Linuxova distra (popr. FreeBSD) je to celkem jedno. Ale tam kde je kazdy pes jina ves to nemusi fungovat. Odzkouseno :).

viz. : http://distcc.samba.org/faq.html#mixed-gcc

Nebylo by na skodu rici ze je to jen pro trusted site a ze se to da pouzit i cez ssh... ale to si asi kazdy najde sam :)

[j3nda]

jak je to s verzemi gcc? musi byt pri pouziti distcc stejne verze gcc a knihoven? (ono je to dost logicke, aby byly. jen se chci zeptat, zda v tom neni jeste nejak podrobneji zakopana bota?) diky.

[j3nda]

predchozi komentar uz mi dopovedel, diky.

[deda.jabko]

knihovny nemusi byt stejne (distcc s knihovanmi vubec nepracuje) a u prekladace je dobre mit stejne verze - obcas to zlobi

[Kodl]

Databáza ccache bude rásť a rásť, preto je dobré stanoviť jej nejaký limit

Jak se bude ccache chovat az se databaze naplni? Nejstarsi soubory budou postupne odmazavany tak, jak budou prichazet nove, nebo se zobrazi nejake chybove hlaseni a bude nutno databazi promazat nejakym "primazavacim prikazem"? Diky. Karel

[Lukáš Zapletal]

Wikipedia:cache

Pravdepodobne tam pouziji LRU algoritmus, ale je to celkem jedno. Dulezite je, ze se to "nezablokuje".

Doporucuji mit ccache na samostatnem oddilu o velikosti stejne, jako ma samotna ccache. Vytuneny filesystem je nutnosti. Je to pak opravdu bleskove.

[Z]

Daleko lepsi nez distcc je icecream

- ma centralni scheduler, takze na rozdil od distcc rozdeluje ulohy na jine pocitace inteligentne (nepouziva zatizene pocitace, snazi se pouzivat nejrychlejsi nejdrive, sam hleda ostatni pocitace,...)

- dokaze jednoduse mixovat ruzne druhy gcc a pocitacu (mit treba i686+gcc-3.x a nechat si prekladat na amd64+gcc-4.x neni problem)

[lizard]

a nezastavil se vyvoj? posledni verzi tam vidim z 13. 04. 2005 :/

[EiFFeL]

nechci nic rikat, ale uz jen to ze mam sys-devel/icecream masked by mohlo o necem vypovidat...

[David Watzke]

O čempak?

[Jan Kundrát (jkt)]

O nepochopeni manualu:

slon ~ # emerge -pv sys-devel/icecream

These are the packages that I would merge, in order:

Calculating dependencies
!!! All ebuilds that could satisfy "sys-devel/icecream" have been masked.
!!! One of the following masked packages is required to complete your request:
- sys-devel/icecream-0.6.20040829 (masked by: ~x86 keyword)

For more information, see MASKED PACKAGES section in the emerge man page or
refer to the Gentoo Handbook.

[David Watzke]

Jasně, ale vůbec nechápu co tím autor příspěvku myslel... o čem to asi může vypovídat :/

[J]

No, zamaskovany balicky sou bud v nejakem velmi brzkem alpha nebo dokonce prealpha stadiu vyvoje, nebo naopak ve stadiu kdy uz zadny vyvoj neexistuje. Takze to vypovida o tom, ze asi neni zrovna doporucovano je pouzivat, protoze bud nejsou moc odladene nebo mohou obsahovat bugy, ktere nikdo neopravi.

[Jan Kundrát (jkt)]

Ale ty ebuildy nejsou zamaskovany. RTFM, link mas nahore.

[Z]

Ten download link je asi drobet out-of-date, ale v README tam jsou instrukce, jak to prelozit z KDE SVN. A tady je navod na anonymni KDE SVN pristup, icecream je v trunk/kdenonbeta/icecream. Nebo se to vsechno da vytahnout z src.cpm pro SUSE .

[Jan Kundrát (jkt)]

Je skoda, ze ackoli jsem k tomuto clanku posilal 9. unora mailem komentar, autor se jim neridil. Inu zde je:

Limit ccache nastaveny pres `ccache -M 1G` *neovlivni* Portage, protoze Portage pouziva jiny $CCACHE_DIR nez root (defaultne je to "~/.ccache" iirc). Reseni je pri *kazdem* spusteni cehokoliv, co saha na ccache, at uz velikosti cache nebo monitory, nastavit spravnou $CCACHE_DIR (nekde pod /var/portage asi, nevim, nepouzivam, jsem liny zjistovat).

Jinak u "distcc" je dobry zminit, ze se ma pouzivat jenom tehdy, pokud bychom uzivatelum kompilujicim z danych klientu poskytli na dalsich distcc nodech shell access, viz http://distcc.samba.org/security.html :

"Anyone who can connect to the distcc server port can run arbitrary commands on that machine as the distccd user. If you are not using SSH, you must use the --allow rule and/or firewall rules to limit access to port 3632."

Dale mi neni jasne, co autor minil doporucenim pouzivat `FEATURES="distcc" emerge foo` misto adekvatni zmeny make.conf, zejmena v kontextu predchoziho odstavce.

[rellix]

odporucam skor pouzivat na kompilovanie s distcc alias pre emerge

alias demerge="FEATURES='$FEATURES distcc' emerge"

[Jan Kundrát (jkt)]

...a nebo si precist manual a zjistit, ze se $FEATURES nastavuji v /etc/make.conf, ze...