bleskový pacman, aneb zrychlete si Archlinux

7.3.2007 14:14 | Přečteno: 4442× | ArchLinux | | poslední úprava: 7.3.2007 15:28

Zrovna sedim na přednášce z Matematické logiky a při čekání na už prakticky při jakékoliv činnosti otravně pomalého pacmana mě napadlo zkusit jedno pokusné řešení. A světe div se, řešení zrychlilo pacmanovské operace v řádu stovek, možná tisíců procent! (subjektivně)

Problém

Pacman, po instalaci Archu na můj nový laptop (srpen 06), byl neskutečně pomalý, oproti tomu, co předváděl na mém, do té doby hojně využívaném, desktopu. Dlouhé vteřiny, mnohdy i minuty šrocení harddisku a čekání na výsledek prakticky libovolné operace mě přiměly dát skript "pacman-optimize" do bootovacích skriptů, ale stejně to nepomohlo. Štvalo mě to, zkoušel sem spoustu věcí, vč. reinstalace (ani nevim, proč sem to dělal - snad ze zoufalství), riskantního (podle manuálu) nastavení disku hdparmem a tunění filesystému (ext3) věcmi typu journal=data_writeback a -o noatime, které neměly zjevný efekt.

Řešení

Nedávno sem si pobrečel jednomu kamarádovi, taky Archerovi, a ten mi řek, že na jeho reiserfs to běží perfektně. No co, přecházet jen tak na reiser se mi moc nechce. Ale napadlo mě udělat loopback do souboru, který naformátovat reiserem, přimounit ho do /var/lib/pacman a zkopírovat tam celou databázi. A ono to funguje!

Postup je jednoduchý: nejprv je nutné udělat si někde nějaký tak stomegový soubor (databáze má momentálně 65MB), třeba příkazem

 dd if=/dev/zero of=/var/lib/pacman.img bs=1024K count=100

naformátovat ho na reiserfs

mkfs.reiserfs -f /var/lib/pacman.img 

"zazálohovat" původní databázi

mv /var/lib/pacman /var/lib/pacman~

znovu vytvořit mountpoint a přimountit soubor jako loopback

mkdir /var/lib/pacman
mount -o loop /var/lib/pacman.img /var/lib/pacman 

přidat do /etc/fstab řádek

/var/lib/pacman.img /var/lib/pacman reiserfs defaults,loop 0 0

a zkopírovat obsah databáze do nově přimountěného loopback disku s reiserfs

cp -pr /var/lib/pacman~ /var/lib/pacman

Teď si sami zkuste, jak pacman umí lítat! A až se Vám do osvědčí, můžete smazat zálohu /var/lib/pacman~ a případně z ní databázi obnovit, kdyby se něco podělalo.

Toť vše, happy pacmanning!

       

Komentáře

[fakenickname]

To se mi nějak nezdá.. nejen, že to musí používat reiserFS ale navíc to přece používá i FS, na kterém je ten soubor uložený ne? Můj pacman je občas taky trochu pomalejší, ale tohle teda nevím nevím..

[mikky]

To je pravda, ale vtip je v tom, že reiserfs je podstatně lepší (=rychlejší) při práci s velkým množstvím malých souborů, zatímco ext3 má radši menší množství souborů. Ten image je jeden velký soubor, který je na disku a ve filesystému prakticky vcelku, takže veškeré přístupy do něj mají jen minimální overhead filesystému.

Zkus to, fakt to funguje, já sem pozoroval extrémní zrchylení. Až budu mít někdy čas a náladu, tak to přeměřim, ať můžu mluvit v číslech :)

-miky

[fakenickname]

No dobře tak sem to teda zkusil.. Je fakt, že je to nesrovnatelně rychlejší , asi to zkusím používat dýl. A máš tam menší chybičky - chybí tam vytvoření /var/lib/pacman (po přejmenování předchozího adresáře na zálohu) a pak ten příkaz na vytvoření image byl dd if=/dev/zero of=/var/lib/pacman.img bs=1024 count=100000 (že bych něco udělal špatně? soubor má 98MB). Možná bych ten trik zkusil vylepšit třeba o JFS nebo tak něco..

[mikky]

dík, vytvoření mountpointu přidáno.

Ale ten dd mam dobře - všimni si, že bs (Block Size) mam nastavene na 1024K, což je jeden Megabajt. count, tedy počet bloků, je 100, čili vznikne soubor o velikosti count*bs, tedy 100MB.

Jiné FS ještě časem vyzkouším - reiser sem zvolil za 1) proto, že mi ho "doporučil" ten kamarád, a za 2) mam s ním, na rozdíl od JFS/XFS alespoň nějaké zkušenosti.

Taky by to šlo udělat přes tempfs, ale to by pak moh bejt problém se synchronizací a takhle je to už dost rychlý.

-m.

[fakenickname]

Jo sorry to K sem přehlíd :)) .. jinak právě sem zkoušel JFS a je to asi desetkrát pomalejší než ext3. Hrůza. Kdo by to byl čekal..

[Lu-Tze]

Všechny zásluhy bych ale reiserfs nepřipisoval, původně mohly být soubory té databáze roztahané po celém disku, tímhle sis vynutil, že budou blízko. Tím překopírováním se navíc uspořádaly šikovněji, časem se to může zase trochu zhoršit.

BTW proč lezeš na přednášku, když stejně neposloucháš?

[mikky]

Mohlo by se zdát, ale neni to tak - přesně tu "defragmentaci", jak píšeš, zajišťuje skript "pacman-optimize", kterej sem do tý doby pouštěl pravidelně..

btw, posloucham..občas Navíc sem se potřeboval domluvit s kámošema do hospody

-m.

[lm]

skus pre tu srandu spravit ext3 sposobom "mkfs.ext3 -T small /file/of/filesystem" som dost zvedavy

[RPo]

Spíš bych zkusil ext2. Já to tak doma mám... Žurnál mi připadá zbytečný, ne?

[Ivanhoej]

namiesto reisera JFS.

inak to na pomalych strojoch moze pomoct.

[Marek Bernát]

Aj na rýchlych (môj prípad)

[vogo]

Jak psali jiní, tohle zrychlení je způsobeno hlavně menší "rozházeností" souborů po disku. Velkého zrychlení se můžeme dočkat s příchodem pacmana 3 jehož kód byl před pár dny zmrazen a brzy se objeví v unstable repozitáři. Zvýšení výkonu bylo dosaženo kompletním přepsáním a striktním oddělení frontendu od backendu (vím co říkám, prošel jsem vlastně celé zdrojáky jak dvojkové tak i trojkové verze ;) ).

[mikky]

Tou rozházeností to nebude, jak řikam - reinstalace (čili databáze na jednom místě, aspoň chvíli) tomu nepomohla ani zdaleka tak, jako jinej FS, byť jako loopback a pacman-optimize (kterej tu rozházenost značně redukuje) taky nepomoh. Ext3 má prostě moc velkej overhead při přistupování k velkýmu množství malých souborů (ano, mam i DirIndex, stejně to nepomohlo).

Ale na pacmana 3 se tešim

-m.

[vogo]

rozhodně to vyzkouším, protože ani trojka není zase tak zázračně rychlá .)

[Marek Bernát]

Tiež som sa trochu čudoval, prečo ten pacman tak dlho hrabe na disku, ale tých pár sekúnd raz za čas človeka nezabije, takže som po príčinách nepátral. Každopádne, s tým reiserom to šlape ako hodinky. Díky za tip

[Michal Čihař]

A nepomohlo by i FAQ?

[mikky]

Nepomohlo. Optimalizaci ext3 sem věnoval moře času. Přečti si ten post eště jednou, zmiňuju se o tom. I dirindex mam, viz. jedna z mých předchozích reakcí.

V přístupu k malým souborům si ext3 proti reiseru prostě ani neškrtne.. (teda, eště sem nezkoušel to mkfs.ext3 -T small, jak tu někdo psal )

-m.

[Michal Čihař]

Sorry za nepozorné čtení, ext3 moc nepoužívám a Reiser vůbec .

[Michal Vyskočil]

Škoda, že jsi nenapsal, který FS používáš ...

[Michal Čihař]

XFS. Ono už toho moc použitelného nezbývá .

[stativ]

To je duvod, proc jsem se 24.12.06 rozhodl prekopat rozdeleni disku a var si dat (prave kvuli pacmanovi) na ReiserFS. Puvodne jsem dokonce chtel zkusit pouzit Reiser4, ale rozpad Davidova Portage me od toho odradil.

[Limoto]

nedělá to náhodou pt-pacman-cage z pactools?

[Shadow]

Ano, máte pravdu, přesně tohle pt-pacman-cage dělá, ale ne s reiserfs. "Klec" vytvoří s ext2 filesystémem, viz jeho zdrojový kód:

mkfs.ext2 -O dir_index -b 1024 -i 1024 -m 0 -F $pacmandb

[mikky]

koukam jak puk, dela prakticky totez Ale opravdu pouziva ext2. Zkousel sem ho (ext2) se stejnejma parametrama, ale stejne je ten reiser ryhlejsi, sice jen 0.5-5 vterin (pri operacich trvajicich 1-50 vterin), ale furt je rychlejsi

-m.

[Shadow]

Díky moc za tip, měl jsem stejný problém na svém laptopu s Archem, ale reiserfs to spravil.

[zde]

Vidíte, kdybyste dali Reisera hned, nemusíte blbnout s loopbackem.. BTW stejně nechápu proč má Pacman tu databázi v miliónech malinkatejch souborů, proč to neběží třeba nad GDBM..

[Shadow]

Když my Reisera neradi

[kozzi]

Já tuto možnost používám už dlouhou dobu, ale místo reiser používám reiser4 a je to jeste rychlejsi. Jinak too je velmi známá věc jen se zeptej pár lidí co používají gentoo a portage.

[kozzi]

Jinak už jsem o tom psal sice to tenkrát nebylo s reiser4 ale se spadfs ale princip je totozny. Viz http://www.abclinuxu.cz/blog/alblog/2006/11/19/158534#1

[lazzio]

zdravim, tak som to tiez skusil ale po prikaze mount -o loop /var/lib/pacman.img /var/lib/pacman mi konzola odpovedala tymto : mount: could not find any device /dev/loop# ostatne prikazy som dokoncil, pacman ide rychlejsie x krat co sa mi velmi paci , LENZE teraz pri installovani lubovolneho softu napr. opery

sudo pacman -S opera
resolving dependencies...
warning: provider package was selected (bash provides sh)
warning: dependency cycle detected:
warning: bash will be installed before its glibc dependency
warning: dependency cycle detected:
warning: readline will be installed before its glibc dependency
warning: dependency cycle detected:
warning: ncurses will be installed before its glibc dependency
looking for inter-conflicts... Targets (48): ncurses-5.6-8 readline-5.2-8 bash-3.2.039-3 kernel-headers-2.6.26.3-1 tzdata-2008e-1 glibc-2.8-3 zlib-1.2.3.3-2 libpng-1.2.31-1 xproto-7.0.13-1 libxdmcp-1.0.2-1 xcb-proto-1.2-1 libxau-1.0.4-1 libxcb-1.1.90.1-1 kbproto-1.0.3-1 libx11-1.1.5-1 xextproto-7.0.3-1 libxext-1.0.4-1 libice-1.0.4-1 e2fsprogs-1.40.8-1 libsm-1.1.0-1 libxt-1.0.5-1 libxmu-1.0.4-1 fixesproto-4.0-2 libxfixes-4.0.3-1 renderproto-0.9.3-1 libxrender-0.9.4-1 libxcursor-1.1.9-1 xineramaproto-1.1.2-1 libxinerama-1.0.3-1 xf86vidmodeproto-2.2.2-1 libxxf86vm-1.0.2-1 libdrm-2.3.1-1 damageproto-1.1.0-1 libxdamage-1.1.1-1 libgl-7.0.3-2 glproto-1.4.9-1 gcc-libs-4.3.2-1 mesa-7.0.3-3 expat-2.0.1-1 freetype2-2.3.7-1 fontconfig-2.6.0-2 libxft-2.1.13-1 randrproto-1.2.2-1 libxrandr-1.2.3-1 libjpeg-6b-4 libmng-1.0.10-1 qt3-3.3.8-9 opera-9.52-1 Total Download Size: 0,00 MB Total Installed Size: 166,30 MB Proceed with installation? [Y/n] mi vyhodi instalovat plus dalsich x zavislosti , vsetko stiahne a nakoniec sa to to nenainstaluje a vyhodi toto:
opera: /usr/share/opera/svg-sebd.dat exists in filesystem
Errors occurred, no packages were upgraded.
samozrejme tych hlaseni je velmi vela. neviete kde je problem ? dik

[NAQOYQATSI]

Ja by som to howto jemne pozmenil .. skusil by som skor kopirovat cez :

rsync -av /var/lib/pacman~ /var/lib/pacman

mal som velmi podobny problem a prave toto mi pomohlo.