Nejlepší FS na Gentoo ebuild repo? tmpfs!

19.9.2009 17:42 | Přečteno: 1471× | Skripty | | poslední úprava: 20.9.2009 12:55

Který zkušený Gentooista nestál před problémem, kterým je výběr souborového systému pro ebuildová repa? (Ta je řečnická, tak prosím neodpovídejte.) Já se netajím tím, že jsem pošuk, tak jsem se teď rozhodl pro tmpfs (tj. FS, kterej se vytvoří v RAM). Kromě popisu mých (IMHO vcelku racionálních) důvodů popíšu i postup v kombinaci s Paludisem.

Je jasný, že tohle není setup pro každýho. Oceněj to hlavně lidi, kterým není cizí decentní uptime, úchylně rychlá linka a iracionální množství systémový paměti.

Jelikož tmpfs nelze nastavit velikost bloku, strom v RAM zabere o dost víc místa, než je nutné (např. Gentoo teď zabírá 514 MB, přičemž reálná velikost je 177 MB). Já mám 4 GB RAM, takže mě to až tak netrápí.

Ukážem si nějaký konfiguráky a skript, kterej tohle zvěrstvo nahodí do RAM. Celý to počítá s tím, že /tmp/paludis je mount-point pro RAMdisk a zároveň builddir (temp pro kompilaci) pro Paludis. Zakomentovaný jsou části irelevantní pro tenhle setup. Takže tady to je:

/etc/paludis/repository_defaults.conf (výchozí nastavení pro všechny repa)

#format = ebuild
builddir = /tmp/paludis # tohle použije ramdisk i jako temp pro kompilaci
#distdir = /data/distfiles
#profiles = /etc/make.profile
provides_cache = /tmp/paludis/repositories/cache
names_cache = /tmp/paludis/repositories/cache/names

/etc/paludis/repositories/gentoo.conf (gentoo "portage")

location = /tmp/paludis/repositories/gentoo
sync = rsync://rsync.gentoo.org/gentoo-portage
#sync_options = --rsync-option=--prune-empty-dirs
#importance = -100

/etc/paludis/repositories/kde.conf (kde-testing overlay)

location = /tmp/paludis/repositories/kde
write_cache = /tmp/paludis/repositories/cache/metadata
sync = git://git.overlays.gentoo.org/proj/kde.git

Tolik k Paludisu. Lidi, hlavně mi neblbněte hlavu a nestrkejte si "installed" (VDB) repozitář do RAM. Tam jsou informace o tom, co a jak máte v systému nainstalováno a to je něco, o co při restartu nechcete přijít.

rampaludis - tady je ten skript co to nahodí... Potřebuje to dostatečně novej tar, kterej si poradí s lzma (option J) a pv (Pipe Viewer).

#!/bin/bash
# rampaludis 20090920

# ramdisk
tmp="/tmp/paludis"
# url ke snapshotu gentoo stromu
snapshot="http://gentoo.mirror.web4u.cz/snapshots/portage-latest.tar.lzma"

# bez roota nemáme šanci
if(( $UID != 0 )); then
	echo "This script needs root privileges. Aborting now." >&2
	exit 1
fi


case "$1" in
reset|remount) # zajistí, že se ramdisk odpojí (pokud je připojen)
	grep -q "$tmp" /proc/mounts && umount "$tmp" ;;
esac

uid=$(id -u paludisbuild)
gid=$(id -g paludisbuild)
# připojí ramdisk (pokud již není připojen)
grep -q "$tmp" /proc/mounts || mount -o uid=${uid},gid=${gid} -t tmpfs ram "$tmp"

# vytvoří potřebné adresáře
mkdir -p "$tmp/repositories/cache/"{metadata,names}

cd "$tmp/repositories"
# stáhne a rozbalí snapshot gentoo stromu
wget -qO- "$snapshot" | pv -cN wget | tar Jx
mv portage gentoo

# synchronizuje všechny repozitáře, resp. syncne gentoo a stáhne zbytek
paludis -s --multitask
# vygeneruje write_cache
paludis -pi everything

PS: paludis -pi everything (s vygenerovanou write_cache pro overlaye, kt. ji neposkytují) u mě proběhne za 15 sekund (mám nainstalovaných skoro 700 balíků).        

Komentáře

[Prcek]

Zrovna před nedávnem jsem narazil na gentoo wiki nebo kde na článek o zrychlení portage pomocí tmpfs, tak jsem hned zajásal, že to by bylo něco pro mě... Ale vzápětí jsem si uvědomil, že s mýma 640 MB RAM by to nebylo nic pro mě .

A taky jsem si nedávno všiml, že mám nějak málo místa na oddíle s portage. Udělal jsem ho jen 520 MB velký (reiserfs, blok tuším nastaven na 1 KB), dřív to bohatě stačilo, ale teď koukám, že mám jen 46 MB volnýho místa. Tak doufám, že se portage už moc nerozroste . Možná to způsobila nějaká cache od eixu, který jsem si nedávno nainstaloval, kdo ví...

[kralyk z abclinuxu]

Oceněj to hlavně lidi, kterým není cizí decentní uptime, úchylně rychlá linka a iracionální množství systémový paměti.

skvěle řečeno. Celej já (akorát nepoužívám gentoo).

[mirec]

Načo by to niekto riešil takto keď tu existuje približne rovnako rýchle riešenie s minimom spotrebovanej RAM. Viac info napr. v mojom blogu. Pri osekaní portage stromu o zbytočnosti nie je problém dostať sa na veľkosť 30 MB.

[David Watzke]

Doteď jsem používal "rsync_includes", prostě jsem měl ve stromu jen balíky, který mám nainstalovaný. Tohle mi vyhovuje víc. Mám k dispozici celej strom a přesto je to rychlý. Morda se squashem mě neláká.

[mirec]

No ja to prakticky nevidím na pozadí. Pri vypínaní mi uloží nový squashfs (asi 5s) ak som zatiaľ dáta portage stromu zmenil, ak nie odpojí okamžite (nie je čo ukladať). S nekompletným stromom to musí byť pekelne rýchle.

[Dragon Jake]

Pěkné, sám jsem o tom několikrát přemýšlel... a to už jsem předtím zkoušel zvěrstvo typu aufs (nikdy více FS mimo hlavní větev jádra!). Na druhou stranu, sice updatuji každý den, ale vždy večer před spaním, takže compile-time je na noci, která je celkem dlouhá :)

Jsem docela zvědavý, co Ti na builddir v tmpfs řekne OpenOffice :P

[David Watzke]

Jsem docela zvědavý, co Ti na builddir v tmpfs řekne OpenOffice :P

Co mi řekne, to dobře vím. Chtělo by to aspoň 8 GB RAM, ale to mi už deska nedovolí. Obejít by se to mělo dát přidáním pár řádků do /etc/paludis/bashrc nebo tak...

[tomm]

A proto jsem si kupoval desku, co umi 16GiB RAM (Gigabyte GA-MA790GP-UD4H - AMD 790GX)

[Limoto]

V DDR2 se za ty paměti nedoplatíš a pravděpodobně se to nikdy nezmění...

[tomm]

Neco kolem 2500-3000 na 4 GiB kvalitnejsich RAMek, to me opravdu netrapi

[Limoto]

Jasně, a 10-12k za 16GiB?

[miho]

Pokud nekdo chce HODNE pameti tak neljlepe na tom jsou majitele dvouprocesoraku starsi generace (s "core 2" architekturou), ty maji typicky 8 slotu pro DDR2 FB ECC, ktere dneska uz nejsou tak drahe.

http://www.alza.cz/pamet-kingston-8-gb-kit-2-x-4-gb-ddr2-800-mhz-ecc-fully-buffered-dimm-d87550.htm

Za 22 800,- 32 GiB pameti

Do pocitacu se 4 sloty na DDR2 pameti zase staci dat dva kusy treba tohodle:

http://www.alfacomp.cz/php/product.php?eid=1051K00820TW1SRL8E

10 400,- za 16 GiB pameti.

[tomm]

No a kde je problem? Kdyz to budu potrebovat, tak to koupim.

[kralyk z abclinuxu]

+1, kupovat komponenty s ohledem na upgrade stejně moc nemá smysl (v naprostý většině případů). V době, kdy budeme mít v desktopech 16GB RAM, se stejně budou používat jiný RAMky, jiný procesory, jiný grafárny, jiný všecko.
Kupovat komponenty s ohledem na upgrade se vyplatí snad jen těm, kdo často upgradují počítač (míň jak jednou za 1~2 roky).

[Limoto]

Já bych to viděl přesně naopak...

[tomm]

Priblizne jednou za rok do stroje neco strcim ci vymenim, druhe 4-gigo je v poradi Na to, ze jsem ten zaklad noveho stroje koupil za 6K, tak je to celkem fajn.

[M. Lox]

Tady někdo nezná Reiser4.