Experimenty s Gentoo

17.5.2005 13:52 | Přečteno: 1703× | poslední úprava: 17.5.2005 14:21

"Because between stable and experimental there exists only speed" má tvůrce nitro sources v signatuře a něco na tom je. Gentoo je distribuce na které se dá slušně experimentovat. V poslední době jsem si trochu hrál s několika nastaveními, které mohou snížit stabilitu a místy dramaticky zvýšit výkon. Musím říct že můj systém je docela stabilní a dlouho se mi žádný program nezhroutil a když, tak to byl program, který je zatím masked(kde 3.4).

První a asi nejbezpečnější je kompilace programů v tmpfs. Tmpfs je virtuální filesystém, který svůj obsah udržuje v RAM a ve swapu. Každý kdo má Gentoo musí mít v jádře zkompilovanou podporu, proto se do toho mohou pustit i lidé udržující server, který nemůžete restartovat.

Pokud máte malý swap, tak se hodí si ho trochu zvětšit. Stačí vytvořit soubor příkazem dd, například

dd if=/dev/zero of=/swap-file.img bs=1024k count=3024

tento příkaz vytvoří 3GB soubor. Pak ho stačí zformátovat na swap

mkswap /swap-file.img

a zaktivovat

swapon /swap-file.img

Právě se vám zvětšil swap, nyní už stačí připojit tmpfs na potřebné místo, většinou gentoo kompiluje v adresáři /var/tmp/portage ale záleží to na nastavení, já osobně radši kompiluji na oddíle s reiser4.

mount -o size=3G,nr_inodes=999k -t tmpfs tmpfs /var/tmp/portage/

příkazem df -h | grep tmpfs můžete sledovat kolik místa tam je obsazeno. Tato úprava dokáže některé věci dost urychlit, třeba kompilaci xorg-x11 to zkrátí asi na polovinu. Některé kompilace to ale ani neovlivní. Samozřejmě pokud máte málo paměti, tak se to neurychlí. Já mám 512MB paměti, takže nejvíce to urychlí kompilace programů kterým stačí tak 200MB místa, pak už to začíná swapovat. Více detailů je na Gentoo wiki

Další můj experiment už trochu nebezpečný spočívá v použití gcc 3.4.3. Sice už existuje gcc 4.0 a už tím asi i jde systém překompilovat, ale já si ještě radši počkám. Do package.keywords si musíte přidat tyto řádky:

sys-devel/gcc ~x86
sys-devel/gcc-config ~x86
sys-libs/libstdc++-v3 ~x86

Pak si zkompilujete gcc 3.4.3, a nastavíte výchozí kompilátor gcc-configem a můžete se pustit do emerge -e system a emerge -e world Některé věci se doporučuji zkompilovat dvakrát, aspoň ten system. Nebo můžete ještě počkat a zkompilovat to až s posledním mým experimentem. Více detailů je na Gentoo wiki

Když se spouští program, tak si hned při startu načte do paměti všechny knihovny, které možná bude potřebovat. Pak se mu v paměti třeba 1/3 místa obsadí knihovny, které se nevyužijí. Proto se objevil LDFLAG --as-needed. Je to obdoba USEflagu dlloader. Tohle ale bude platit v celém systému a značně to zmenší spotřebu paměti. Nastavuje se to samozřejmě v make.conf. Já tam mám:

LDFLAGS="-Wl,-O2"
LDFLAGS="${LDFLAGS} -Wl,--as-needed"
LDFLAGS="${LDFLAGS} -Wl,--sort-common"

Pokud ovšem tohle použijete, vývojáři přestanou brát vážně vaše bugreporty. Programy závislé na gtk+ 1.2 hlásí chybu při ./configure, takže přijdete o xmms, nebo se vám rozroste overlay portage. Do těch postižených ebuildů stačí dat:

filter-ldflags "-Wl, --as-needed"

K filtrování musí ten ebuild načítat funkce flag-o-matic, takže musíte za inherit přidat flag-o-matic.

S tímhle se už můžete pustit to emerge -e world. Ovšem u pár balíků muže nastat nějaký problém. Ke konci mě už přestalo bavit řešit problémy, které třeba ani neměly souvislost s mými šílenými *flagy, takže jsem prostě asi třikrát použil trochu nečisté:

emerge --resume --skip-first

Jinak se mi vše zkompilovalo, z 435 balíku jsem měl problémy asi s deseti. Kompilace na mém athlonu XP 1700+ 512MB trvala asi 2 dny.

Na konec uvádím nějaké časy v minutách které jsem dostal z genlop -t. Občas se do toho mírně zamotalo ccache, extrémní výsledky které tím byly ovlivněny jsem neuvedl.

xorg-x11	1.build	2.build	3.build	pruměr
gcc 3.3.4	75	96	110	93,67
gcc 3.4.3	75	79		77
gcc 3.4.3 + tmpfs + as-needed	34			34
kdebase	1.build	2.build	3.build	pruměr
gcc 3.3.4	198			198
gcc 3.4.3	101	70		85,5
gcc 3.4.3 + tmpfs + as-needed	65			65
glibc	1.build	2.build	3.build	pruměr
gcc 3.3.4	84	55		69,5
gcc 3.4.3	107			107
gcc 3.4.3 + tmpfs + as-needed	103			103
openoffice-ximian	1.build	2.build	3.build	pruměr
gcc 3.3.4	496	581		538,5
gcc 3.4.3 + tmpfs + as-needed	446			446

Ještě uvádím výpis emerge info.

emerge info
Portage 2.0.51.19 (default-linux/x86/2005.0, gcc-3.4.3-20050110, glibc-2.3.4.20041102-r1, 2.6.12-rc4-nitro1 i686)
=================================================================
System uname: 2.6.12-rc4-nitro1 i686 AMD Athlon(tm)
Gentoo Base System version 1.4.16
Python: dev-lang/python-2.3.5 [2.3.5 (#1, May 15 2005, 00:11:44)]
ccache version 2.3 [enabled]
dev-lang/python: 2.3.5
sys-apps/sandbox: [Not Present]
sys-devel/autoconf: 2.59-r6, 2.13
sys-devel/automake: 1.7.9-r1, 1.8.5-r3, 1.5, 1.4_p6, 1.6.3, 1.9.5
sys-devel/binutils: 2.15.92.0.2-r7
sys-devel/libtool: 1.5.16
virtual/os-headers: 2.6.8.1-r2
ACCEPT_KEYWORDS="x86"
AUTOCLEAN="yes"
CFLAGS="-O3 -fomit-frame-pointer -finline-functions -fmerge-all-constants -ffast-math -funroll-all-loops -fstrict-aliasing -falign-functions=64 -falign-labels=1 -falign-loops=16 -march=athlon-xp -mfpmath=sse -mpreferred-stack-boundary=4 -mmmx -msse -m3dnow -minline-all-stringops -fdelete-null-pointer-checks -fforce-addr -momit-leaf-frame-pointer -ftracer -pipe"
CHOST="i686-pc-linux-gnu"
CONFIG_PROTECT="/etc /usr/kde/2/share/config /usr/kde/3.3/env /usr/kde/3.3/share/config /usr/kde/3.3/shutdown /usr/kde/3.4/env /usr/kde/3.4/share/config /usr/kde/3.4/shutdown /usr/kde/3/share/config /usr/lib/X11/xkb /usr/share/config /var/qmail/control"
CONFIG_PROTECT_MASK="/etc/gconf /etc/terminfo /etc/env.d"
CXXFLAGS="-O3 -fomit-frame-pointer -finline-functions -fmerge-all-constants -ffast-math -funroll-all-loops -fstrict-aliasing -falign-functions=64 -falign-labels=1 -falign-loops=16 -march=athlon-xp -mfpmath=sse -mpreferred-stack-boundary=4 -mmmx -msse -m3dnow -minline-all-stringops -fdelete-null-pointer-checks -fforce-addr -momit-leaf-frame-pointer -ftracer -pipe"
DISTDIR="/gentoo/distfiles"
FEATURES="autoaddcvs autoconfig ccache distlocks sandbox sfperms strict"
GENTOO_MIRRORS="http://gentoo.ynet.sk/pub http://ftp.sh.cvut.cz/MIRRORS/gentoo/gentoo http://212.219.247.17/sites/www.ibiblio.org/gentoo/ ftp://mirrors.tds.net/gentoo http://ftp.rhnet.is/pub/gentoo/"
LANG="cs_CZ"
LC_ALL="cs_CZ"
LDFLAGS="-Wl,-O2 -Wl,--as-needed -Wl,--sort-common"
LINGUAS="cs cz"
MAKEOPTS="-j2"
PKGDIR="/usr/portage/packages"
PORTAGE_TMPDIR="/mnt/hda1/tmp"
PORTDIR="/usr/portage"
PORTDIR_OVERLAY="/usr/local/portage"
SYNC="rsync://rsync.europe.gentoo.org/gentoo-portage"
USE="x86 16bit 3dnow 3dnowex 3dnowext X aac aalib acpi alsa apache2 apm arts ati avi berkdb bitmap-fonts bzlib calendar cdparanoia cdr crypt cups curl curlwrappers dba divx4linux dlloader dv dvd dvdr dvdread emboss encode exif fam ffmpeg filepro flash foomaticdb ftp gd gdbm gif gimp gimpprint gpm gtk gtk2 iconv ieee1394 imap imlib inifile ipv6 ipv6arpa jabber jack java jpeg junit kde kdeenablefinal libedit libg++ matroska md5sum mhash mime mmx mmx2 mmxext mozdevelop mozxmlterm mp3 mpeg mplayer mysql ncurses network nls nptl offensive ogg oggvorbis opengl oss pam pda pdflib perl pic png python qt quicktime readlin real rtc ruby sdl session shared sharedmem simplexml slang sockets spamassassin spell sse ssl tidy tiff truetype truetype-fonts type1-fonts usb vdesktop vorbis xine xml2 xmlrpc xmms xpm xprint xsl xv xvid xvmc zlib linguas_cs linguas_cz userland_GNU kernel_linux elibc_glibc"
Unset: ASFLAGS, CBUILD, CTARGET

Můžete si myslet že jsem šílenec, že takový systém používám. Vždyť to musí být šíleně nastabilní. Není, až na nějaké problémy s KDE 3.4(stejně používám Window Maker, z KDE používám jen kmail a konsoli) jsem v posledních měsících nezaznamenal jediný problém s nestabilitou systému. A kdyby, tak mám na disku ještě jedno starší gentoo, které je plně funkční a tak v případě problémů se můžu s klidem vrátit do něj.

       

Komentáře

[Radomír Fojtík]

Chcete rict, ze s --as-needed jste reemergnul cely world a programy se chovaji stejne stabilne? Jak dlouho si tuto kombinaci uzivate?

[Jiří Němec]

Včera jsem do toho systému nastartoval poprvé. Zatím bez problémů. Co se zkompilovalo, to jede. Někdo psal o problémech s apache, ten mi jede. Jediný problém jsou ty gtk+ 1 aplikace.

[Radomír Fojtík]

Ja totiz nedavno proletel thread LDFLAG --as-needed / Speeding up of GNOME or KDE a dnes se mi vybavilo, ze s --as-needed si hrali docela s rozvahou. Zkusili jeden balicek, druhy, treti treba nevysel .... ale reemergnout cely world ... fakt jste me sokoval.

[Jiří Němec]

Jo, no, to jsem dělal v systému, který jsem měl puvodně jen na hraní. Nakonec jsem v něm zůstal. Takové KPDF z kde 3.4 mě tu drží. Jinak nemám rád maskovany balíky, takže jsem spiš očekával nepříjemnosti ze strany kde.

[Michal Marek (twofish)]

--as-needed už snad nějakou dobu používá gcc defaultně...

[Michal Marek (twofish)]

Jo, koukám, že ho si používá, ale vzápětí použije --no-as-needed

[jm]

To dvojite -march=athlon-xp -march=athlon-xp ma nejaky magicky, az ritualni vyznam?

P.S. Jinak mas pravdu, do Gentoo bugzilly opravdu nic nepis.

[Jiří Němec]

To tam asi vniklo při změně mcpu na march.

[Pmx]

Stejně tak i LDFLAGS tam jsou třikrát... (sice funkční, ale poněkud zbytečně dlouhé ;))

[Jiří Němec]

To mám tuším z fora a vůbec mi to nevadí. Ty 2 tagy k sobě patří, takže pokud potřebuju zakomentovat "-Wl,--as-needed", tak zakomentuju jen tohle jedním #. Zbytek tam zůstane.

[kavol]

nějak nechápu ten trik s tmpfs ... měl jsem zato, že volná paměť se uplatňuje jako disková cache, takže dokud stačí paměť, mělo by to být rychlé, a jakmile nestačí, tak je snad jedno, jestli se odkládá do swapu nebo vyhazují data z cache?