bleskový pacman, aneb zrychlete si Archlinux (diskuse)

[fakenickname]

To se mi nějak nezdá.. nejen, že to musí používat reiserFS ale navíc to přece používá i FS, na kterém je ten soubor uložený ne? Můj pacman je občas taky trochu pomalejší, ale tohle teda nevím nevím..

[mikky]

To je pravda, ale vtip je v tom, že reiserfs je podstatně lepší (=rychlejší) při práci s velkým množstvím malých souborů, zatímco ext3 má radši menší množství souborů. Ten image je jeden velký soubor, který je na disku a ve filesystému prakticky vcelku, takže veškeré přístupy do něj mají jen minimální overhead filesystému.

Zkus to, fakt to funguje, já sem pozoroval extrémní zrchylení. Až budu mít někdy čas a náladu, tak to přeměřim, ať můžu mluvit v číslech :)

-miky

[fakenickname]

No dobře tak sem to teda zkusil.. Je fakt, že je to nesrovnatelně rychlejší , asi to zkusím používat dýl. A máš tam menší chybičky - chybí tam vytvoření /var/lib/pacman (po přejmenování předchozího adresáře na zálohu) a pak ten příkaz na vytvoření image byl dd if=/dev/zero of=/var/lib/pacman.img bs=1024 count=100000 (že bych něco udělal špatně? soubor má 98MB). Možná bych ten trik zkusil vylepšit třeba o JFS nebo tak něco..

[mikky]

dík, vytvoření mountpointu přidáno.

Ale ten dd mam dobře - všimni si, že bs (Block Size) mam nastavene na 1024K, což je jeden Megabajt. count, tedy počet bloků, je 100, čili vznikne soubor o velikosti count*bs, tedy 100MB.

Jiné FS ještě časem vyzkouším - reiser sem zvolil za 1) proto, že mi ho "doporučil" ten kamarád, a za 2) mam s ním, na rozdíl od JFS/XFS alespoň nějaké zkušenosti.

Taky by to šlo udělat přes tempfs, ale to by pak moh bejt problém se synchronizací a takhle je to už dost rychlý.

-m.

[fakenickname]

Jo sorry to K sem přehlíd :)) .. jinak právě sem zkoušel JFS a je to asi desetkrát pomalejší než ext3. Hrůza. Kdo by to byl čekal..

[Lu-Tze]

Všechny zásluhy bych ale reiserfs nepřipisoval, původně mohly být soubory té databáze roztahané po celém disku, tímhle sis vynutil, že budou blízko. Tím překopírováním se navíc uspořádaly šikovněji, časem se to může zase trochu zhoršit.

BTW proč lezeš na přednášku, když stejně neposloucháš?

[mikky]

Mohlo by se zdát, ale neni to tak - přesně tu "defragmentaci", jak píšeš, zajišťuje skript "pacman-optimize", kterej sem do tý doby pouštěl pravidelně..

btw, posloucham..občas Navíc sem se potřeboval domluvit s kámošema do hospody

-m.

[lm]

skus pre tu srandu spravit ext3 sposobom "mkfs.ext3 -T small /file/of/filesystem" som dost zvedavy

[RPo]

Spíš bych zkusil ext2. Já to tak doma mám... Žurnál mi připadá zbytečný, ne?

[Ivanhoej]

namiesto reisera JFS.

inak to na pomalych strojoch moze pomoct.

[Marek Bernát]

Aj na rýchlych (môj prípad)

[vogo]

Jak psali jiní, tohle zrychlení je způsobeno hlavně menší "rozházeností" souborů po disku. Velkého zrychlení se můžeme dočkat s příchodem pacmana 3 jehož kód byl před pár dny zmrazen a brzy se objeví v unstable repozitáři. Zvýšení výkonu bylo dosaženo kompletním přepsáním a striktním oddělení frontendu od backendu (vím co říkám, prošel jsem vlastně celé zdrojáky jak dvojkové tak i trojkové verze ;) ).

[mikky]

Tou rozházeností to nebude, jak řikam - reinstalace (čili databáze na jednom místě, aspoň chvíli) tomu nepomohla ani zdaleka tak, jako jinej FS, byť jako loopback a pacman-optimize (kterej tu rozházenost značně redukuje) taky nepomoh. Ext3 má prostě moc velkej overhead při přistupování k velkýmu množství malých souborů (ano, mam i DirIndex, stejně to nepomohlo).

Ale na pacmana 3 se tešim

-m.

[vogo]

rozhodně to vyzkouším, protože ani trojka není zase tak zázračně rychlá .)

[Marek Bernát]

Tiež som sa trochu čudoval, prečo ten pacman tak dlho hrabe na disku, ale tých pár sekúnd raz za čas človeka nezabije, takže som po príčinách nepátral. Každopádne, s tým reiserom to šlape ako hodinky. Díky za tip

[Michal Čihař]

A nepomohlo by i FAQ?

[mikky]

Nepomohlo. Optimalizaci ext3 sem věnoval moře času. Přečti si ten post eště jednou, zmiňuju se o tom. I dirindex mam, viz. jedna z mých předchozích reakcí.

V přístupu k malým souborům si ext3 proti reiseru prostě ani neškrtne.. (teda, eště sem nezkoušel to mkfs.ext3 -T small, jak tu někdo psal )

-m.

[Michal Čihař]

Sorry za nepozorné čtení, ext3 moc nepoužívám a Reiser vůbec .

[Michal Vyskočil]

Škoda, že jsi nenapsal, který FS používáš ...

[Michal Čihař]

XFS. Ono už toho moc použitelného nezbývá .

[stativ]

To je duvod, proc jsem se 24.12.06 rozhodl prekopat rozdeleni disku a var si dat (prave kvuli pacmanovi) na ReiserFS. Puvodne jsem dokonce chtel zkusit pouzit Reiser4, ale rozpad Davidova Portage me od toho odradil.

[Limoto]

nedělá to náhodou pt-pacman-cage z pactools?

[Shadow]

Ano, máte pravdu, přesně tohle pt-pacman-cage dělá, ale ne s reiserfs. "Klec" vytvoří s ext2 filesystémem, viz jeho zdrojový kód:

mkfs.ext2 -O dir_index -b 1024 -i 1024 -m 0 -F $pacmandb

[mikky]

koukam jak puk, dela prakticky totez Ale opravdu pouziva ext2. Zkousel sem ho (ext2) se stejnejma parametrama, ale stejne je ten reiser ryhlejsi, sice jen 0.5-5 vterin (pri operacich trvajicich 1-50 vterin), ale furt je rychlejsi

-m.

[Shadow]

Díky moc za tip, měl jsem stejný problém na svém laptopu s Archem, ale reiserfs to spravil.

[zde]

Vidíte, kdybyste dali Reisera hned, nemusíte blbnout s loopbackem.. BTW stejně nechápu proč má Pacman tu databázi v miliónech malinkatejch souborů, proč to neběží třeba nad GDBM..

[Shadow]

Když my Reisera neradi

[kozzi]

Já tuto možnost používám už dlouhou dobu, ale místo reiser používám reiser4 a je to jeste rychlejsi. Jinak too je velmi známá věc jen se zeptej pár lidí co používají gentoo a portage.

[kozzi]

Jinak už jsem o tom psal sice to tenkrát nebylo s reiser4 ale se spadfs ale princip je totozny. Viz http://www.abclinuxu.cz/blog/alblog/2006/11/19/158534#1

[lazzio]

zdravim, tak som to tiez skusil ale po prikaze mount -o loop /var/lib/pacman.img /var/lib/pacman mi konzola odpovedala tymto : mount: could not find any device /dev/loop# ostatne prikazy som dokoncil, pacman ide rychlejsie x krat co sa mi velmi paci , LENZE teraz pri installovani lubovolneho softu napr. opery

sudo pacman -S opera
resolving dependencies...
warning: provider package was selected (bash provides sh)
warning: dependency cycle detected:
warning: bash will be installed before its glibc dependency
warning: dependency cycle detected:
warning: readline will be installed before its glibc dependency
warning: dependency cycle detected:
warning: ncurses will be installed before its glibc dependency
looking for inter-conflicts... Targets (48): ncurses-5.6-8 readline-5.2-8 bash-3.2.039-3 kernel-headers-2.6.26.3-1 tzdata-2008e-1 glibc-2.8-3 zlib-1.2.3.3-2 libpng-1.2.31-1 xproto-7.0.13-1 libxdmcp-1.0.2-1 xcb-proto-1.2-1 libxau-1.0.4-1 libxcb-1.1.90.1-1 kbproto-1.0.3-1 libx11-1.1.5-1 xextproto-7.0.3-1 libxext-1.0.4-1 libice-1.0.4-1 e2fsprogs-1.40.8-1 libsm-1.1.0-1 libxt-1.0.5-1 libxmu-1.0.4-1 fixesproto-4.0-2 libxfixes-4.0.3-1 renderproto-0.9.3-1 libxrender-0.9.4-1 libxcursor-1.1.9-1 xineramaproto-1.1.2-1 libxinerama-1.0.3-1 xf86vidmodeproto-2.2.2-1 libxxf86vm-1.0.2-1 libdrm-2.3.1-1 damageproto-1.1.0-1 libxdamage-1.1.1-1 libgl-7.0.3-2 glproto-1.4.9-1 gcc-libs-4.3.2-1 mesa-7.0.3-3 expat-2.0.1-1 freetype2-2.3.7-1 fontconfig-2.6.0-2 libxft-2.1.13-1 randrproto-1.2.2-1 libxrandr-1.2.3-1 libjpeg-6b-4 libmng-1.0.10-1 qt3-3.3.8-9 opera-9.52-1 Total Download Size: 0,00 MB Total Installed Size: 166,30 MB Proceed with installation? [Y/n] mi vyhodi instalovat plus dalsich x zavislosti , vsetko stiahne a nakoniec sa to to nenainstaluje a vyhodi toto:
opera: /usr/share/opera/svg-sebd.dat exists in filesystem
Errors occurred, no packages were upgraded.
samozrejme tych hlaseni je velmi vela. neviete kde je problem ? dik

[NAQOYQATSI]

Ja by som to howto jemne pozmenil .. skusil by som skor kopirovat cez :

rsync -av /var/lib/pacman~ /var/lib/pacman

mal som velmi podobny problem a prave toto mi pomohlo.