Triky na zvýšenie rýchlosti portage portage (diskuse)

[David Watzke]

--keep-going pro Paludis

export PALUDIS_OPTIONS="--continue-on-failure if-satisfied"

Jinak osobně doporučuju zvážit použití rsync_excludes. Prostě si vytvoříte soubor s názvy kategorií balíků, které nepoužíváte a ty se při synchronizaci vynechají. Stačí rsyncu předat --exclude-from. Já jsem tohle zatáhl trochu do extrému a vytvořil jsem si seznam balíků co používám a zbytek ignoruju - do konfiguráku gentoo.conf jsem přidal:

sync_options = --rsync-option=--prune-empty-dirs --rsync-option=--include-from=/etc/paludis/rsync_includes --exclude=*

a soubor /etc/paludis/rsync_includes patřičně naplnil (nezapomenout na metadata!)... ukázka:

app-cdr/                                                                             
app-cdr/cdrdao/                                                                      
app-cdr/cdrdao/**
metadata/
metadata/*
metadata/cache/
metadata/cache/*
metadata/cache/app-cdr/
metadata/cache/app-cdr/cdrdao-*

Problém je, že když pak člověk chce nainstalovat něco novýho tak to holt musí přidat a synchronizovat znova. Výhoda je tak 10x menší strom. Takže se to hodí spíš na nějaký mini systémy.

[Scarabeus IV]

Jenom aby se nezapomelo tak portage umi taky sincovat jen cast stromu. Je to v manu tak si to najdete ;]

[CET]

--keep-going pro stable  portage:

if ! emerge -uvDN world;then while ! emerge --resume --skipfirst;do true;done;fi

[Marián Kyral]

Nestabilní portage už používám opravdu hodně dlouho a na problémy jsem nenarazil. Ale to neznamená, že žádné nejsou

Squashfs vypadá zajímavě. Asi se do toho brzo pustím. Se 4GB RAM by ramdisk neměl být problém

[mirec]

No vzhľadom na to, že sa tam ukladajú len zmeny by nemal byť problém ani 512MB.

[Marián Kyral]

A vyplatí se ten ramdisk, když těch změn nebude moc?

[mirec]

No práve som synchronizoval s ramdiskom, vidím, že mi to zožralo 11MB a pri synchronizácii som nevidel žiadnu činnosť disku. Určite to spôsobí mierne zrýchlenie ale pravdu povediac aj tak ma teraz brzdí hlavne server s ktorým synchronizujem.

[Marián Kyral]

Tak jsem zkompiloval aufs ale modprobe aufs skončil s chybou. Asi bude třeba ještě nějaká volba v kernelu (gentoo-sources), ale v dokumentaci o tom nic není, google zatím nepomohl.

Nechal jsem default USE flagy - jen kernel_linux

aufs: Unknown symbol security_inode_permission

[Marián Kyral]

Aha, aufs opatchoval aktuální kernel, takže ho musím znova přeložit, pak by to mělo fungovat.

[Marián Kyral]

Příloha:

• squashfs-tools-3.4-progress-stderr.patch (684 bytů)

Takže hotovo (zatím bez ramdisku).

Trochu problém byl s instalací aufs, takže přidám postup, třeba se to někomu bude hodit:

• layman -a sunrise
• emerge -av aufs squashfs-utils
• aufs opatchuje jádro, takže je třeba jej znovu přeložit. Při té příležitosti doporučuji kouknout do sekce "File systems" a povolit squashfs, ať to nemusíte dělat dvakrát jako já
• Znova přeložíme moduly: emerge -1 @module-rebuild
• Pak dle návodu, nicméně místo rm -rf -- '/usr/portage'" doporučuji spíše přejmenování a smazat až je vše hotovo

/usr/portage se smrsklo ze 607 MB na 46MB a /usr/local/portage/layman se smrskl ze 130MB na 19MB. Po prvním update měly rw adresáře 23 a 43 MB.

Patch na verbose mode jsem musel aplikovat ručně, protože verze 3.3 nepasuje na squashfs-tools-3.4. Aktualizovaný patch je v příloze, ale už jsem jej zaslal autorovi, takže se snad brzy objeví aktualizovaná verze initscripts.

[Marián Kyral]

...squashfs-tools tam má být

 

[mirec]

To s tým premenovaním je asi lepšie riešenie (tiež som tak pre istotu postupoval). Mimochodom /usr/local/portage je nejaké veľké, ja tam mám pár vlastných ebuildov ale do takého štádia som ešte nedospel ;)

[mirec]

Jaj ja som blbec, to je layman .. ja mam laymana priamo v /usr/portage/local/layman .. to bude asi tým, automaticky som predpokladal, že v /usr/local/portage sú vlastné ebuildy ;)

[Marián Kyral]

Novější verze laymana se už instalují do /usr/local/portage.

[CET]

K rychlosti FS. Mel jsem /usr/portage spolecne na root oddilu (asi 16GB na jednom kompu, na druhym to bylo na disku 150GB). Bylo to pomaly. Tak jsem udelal specialni LV oddil jenom pro /usr/portage, pak dalsi pro /var/db a dalsi pro /var/cache/edb (velikosti jen o trosku vic, nez bylo obsazene misto). update-eix je ted o dost rychlejsi, tak bych rekl, ze i emerge bude.

IMHO to nemusi byt primo nejaky super-rychly FS, ale staci, aby na tom FS byly pouze tyhle data, aby system prochazel jenom ty data, ktery prochazet ma a nemusel se starat o dalsi struktury s celym systemem.

[Semo]

emerge bude rychlejsi, ale kompilacia nie. Takze iba hladanie zavislosti. Na kompilaciu vraj pomaha tmpfs na /var/tmp/portage.

Mam uz asi 2 roky portage a /var/cache/edb na loopdevice, aby som ich udrzal blizko seba a disk nemusel seekovat po celej sirke. Obcas pomaha to skopirovat mimo a naspat. Len touto operaciou som znizil zaplnenie loopu z 85% na 40%. Zjavne struktury reiserfs casom bobtnaju.

[Marián Kyral]

 

emerge bude rychlejsi, ale kompilacia nie. Takze iba hladanie zavislosti.

To mi stačí. U kompilace záleží na rychlosti procesoru, disku a velikosti paměti. A kompilace může klidně bežet i přes noc.

Na kompilaciu vraj pomaha tmpfs na /var/tmp/portage.

 

Jen si pak musí člověk dát pozor aby nekompiloval openoffice. Ale dneska se dá do počítače narvat i 8GB ram, to by možná šlo. A chtěl bych to pak vidět

[Marián Kyral]

Tak jsem to zkusil s dvougigovým tmpfs a nestačilo to ani na kdelibs-4.2.1

Nějaké zrychlení jsem pozoroval, ale nebylo to nic závratného. Taky jsem si vytipoval dalšího kandidáta na squashfs. Adresář /usr/include má 325MB a skoro 46 tisíc souborů. Squash soubor má 26MB. Jen je to mnohem nebezpečnější, pokud člověk přijde o změny v tmpfs, tak může v lepším případě kompilovat jen pár balíků, v tom horším celý systém

[zippy]

my sme sa tomu na fakulte troska venovali, a toto z toho vypadlo:

http://www.fit.vutbr.cz/study/DP/BP.php?id=6209&y=2007