Dotaz: Příliš mnoho souborů - ext3/reiser

[Lukáš Zapletal]

Mám malý oddíl o velikosti 1 GB, kde je vytvořen ext3 s velikostí bloku 1024. Filesystém obsahuje velké množství malých souborů (cache). Dneska se mi stalo, že systém již nedovolil vytvořit další soubor - jen, když jsem nějaké smazal.

Zřejmě už nešlo alokovat další inody. Chci se zeptat - jakým způsobem mám nastavit počet těch nodů a jak to správně vypočítat, aby to bylo dostatečné (ale zase abych to "nepřehnal").

ps - uvažuji, že bych tam dal reiserfs, ale také s velikostí bloku 1024 (a volbou notail). vyskytnou se při přeplnění stejné problémy, nebo je to jen nějaký limit systému ext3?

Odpovědi

[Michal Čihař]

Nastaví se to jedině při vytváření filesystému (třeba -T news).

[Heron]

Nejlepší filesystém je dle mých zkušeností XFS. Mám velký oddíl, kde mám jak 20GB soubory, tak strom adresářů se statisíci soubory a je to OK. Naopak ext3 mi vychází jako "standardní"...

[Lukáš Zapletal]

Na malý soubory to je zrovna ta nejhorší varianta...

[Heron]

Ok, tohle je fakt o zkušenostech. Chystám se o tom naspat blogpost (někdy). Překvapuje mě, že prakticky každý, kdo se začne hrabat ve FS má jiný názor.

[Lukáš Zapletal]

Já to už kdysi udělal. XFS jsem dlouhou dobu používal, ale na Gentoo, kde má Portage snad milion souborů (počítaje i cache a databázi instalovaných balíčků), to XFS prostě nedává. To je prostý fakt podpořený i stránkou firmy SGI o tomto systému - je určen zejména pro velké soubory (tedy vhodný na databázové stroje, FTP servery s ISO soubory atd).

Ext3 s dir_indexem zde byl 2-3x rychlejší, momentálně zkouším také reiser3, zdá se, že je to stejně rychlé, jako ext3.

http://lukas.zapletalovi.com/archives/2005-11.html#e2005-11-02T23_37_49.txt

http://lukas.zapletalovi.com/archives/2006/01/#e2006-01-08T12_27_15.txt

[Heron]

Já mám 170GB oddíl s XFS. Mám na něm home (včetně těch mých 300 000 mailů), squid_cache (zatím jen 12 000 souborů), cache pro yum, dva weby a sklad s několika DVD ISO + 20GB soubor(y).

Zkoušel jsem opravdu důkladně tři týdny nejrůznější kombinace (rozdělení na mnoho jednoúčelových oddílů (což bylo prakticky nepoužitelné), JFS, ReiserFS3, ext3 s dir_index noatime a committimem nastaveným třeba na 30minut, ale takhle kombinace: / na ext3 (8GB) a /home na XFS (170GB) je zatím nejvýkonnější).

[Heron]

http://lukas.zapletalovi.com/archives/2006/01/#e2006-01-08T12_27_15.txt

Nechci moc kritizoval, ale tomu říkáš test? Měl si špatný den, spadl ti FS, ale on nemůže za vadný disk. Právě jsem si omylem (no omylem moc ne, dával jsem new větraček do case, samozřejmně při poweron) natvrdo vypnul PC a oba XFS (170GB a 145GB) jsou OK.

[Lukáš Zapletal]

No nevím nevím, kdo tady nedávno bědoval nad tím, že nemůže používat maildir, protože má moc archivních e-mailů. Ať žije XFS, že?

To co tady píšu, není z mojí hlavy, ale z testů, které byly publikovány na internetu. Odkazy jsou ve zprávičkách na abíčku nebo rootu. Zkrátka a dobře mně XFS nevyhovuje, Linux je o malých souborech a tady prostě XFS není tak rychlý. Úplně jinak to je u velkých souborů - agresivní cachování je prostě znát.

Žádný testy jsem nikde neavizoval a pokud jsem něco publikoval na svém blogu, tak z vlastní zkušenosti na mém notebooku ThinkPad R50e s distribucí Gentoo Linux. Jsem rád, že Ti XFS vyhovuje, ať to tak zůstane. Nicméně se na mě neosočuj, pokud zde na Tvoji radu napíšu, že XFS zkoušet nebudu, když s ním mám opačné zkušenosti.

Co se týká havárie, tak za havárii prosím nepovažuj to, že Ti vypnou proud. Havárie disku vypadá úplně jinak, struktury jsou porušené/nečitelné a snažíš se dostat z disku co nejvíce dat. Navíc se XFS nemůžeme vůbec mluvit o nějaké možnosti obnovy smazaných souborů.

[Heron]

Omlouvám se, jestli jsem tě tou jednou větou urazil. Tvoje rady mi dost pomohly, i když jsem si nakonec vybral jiné řešení. I co se týče těch mailů.

Havárie disku vypadá tak, že třeba 15% sektorů nejde přečíst. To se mi naštestí ještě nestalo a nevím jak bych to řešil. Předcházím tomu tak, že všechno důležité denně zálohuju.

Více: http://www.abclinuxu.cz/blog/root_at_heron/2006/3/31/126150

[Pet]

Mrknete na http://www.namesys.com/

Reiser4 uses dancing trees, which obsolete the balanced tree algorithms 
used in databases (see farther down). This makes Reiser4 more space 
efficient than other filesystems because we squish small files together
 rather than wasting space due to block alignment like they do. It also 
means that Reiser4 scales better than any other filesystem. Do you want 
a million files in a directory, and want to create them fast? No 
problem.

Jinak jednoznacne doporucuji reiserfs. Pouziva perfektni algoritmy pro hledani ve vetsim mnozstvi soubrou. Narozdil od Ext a linearnicho prochazeni spojovych seznamu obsahuje informace organizovane do stromu.

[Lukáš Zapletal]

No ext3 samozrejme pouziva podobne stromove struktury (s volbou dir_index). Reiserfs4 urcite na system davat nebudu, zkusim tedy reiserfs3 s velikosti bloku 1kb. Je ovsem znamo, ze reiserfs zere daleko vice CPU, snad to ale nebude velky problem.

[8an]

Reiserfs má hlavně proti Ext3 výrazně menší spotřebu místa (i s parametrem notail). Dělal jsem test kolik zabere Portage v Gentoo:

Reiser4 166 MB
Reiser3 207 MB (notail)
XFS     558 MB
JFS     624 MB
Ext3    723 MB (!)

Rozbaleni portage také bylo na Reiserfs asi 2x rychlejší, nicméně ty testy jsem dělal za provozu, takže čas moc přesný nebude. Ale dělal jsem to na nové 5GB partition, takže zabrané místo přesné je.

[Lukáš Zapletal]

Zvláštní, opravdu i s parametrem notail? Já si vytvořil filesystém s blokem o velikosti 1kb, také se mi ovšem zdá, že portage zabírá na reiseru (s notail) méně místa...

[Lukáš Zapletal]

Jaký máš zkušenosti s rychlostí portage na různých filesystémech? Které byly nejrychlejší?

[8an]

Bohužel jsem pořádně nevymyslel jak to testovat. Dělal jsem test na rozbalení a smazání portage. Chtěl jsem měřit i čas emerge sync, ale zjistil jsem že to záleží spíš na rychlosti procesoru (mám 1.8GHz Athlon a 1.7GHz Pentium-M), takže ty hodnoty by neměly žádnou vypovídací hodnotu. Rychlost běžných operací spíš závísí na době načtení Pythonu než práce s portage, a hlavně po prvním spuštění se všechno načte do cache.

Až dodatečně se mi podařilo najít test, který by měl skutečně význam: vytvoření LiveCD programem Catalyst (rozbaluje se portage, kopíruje se celý filesystém přes rsync, maže se portage, rozbalují se balíky). Tenhle test jsem už dělal jenom Reiser3 vs. Reiser4, jako poslední instanci rozhodnutí (a došel jsem k tomu, že Reiser4 není o tolik rychlejší, aby ty problémy za to stály):

Reiser4
=======

stage1
------

real    4m58.812s
user    2m27.729s
sys     0m36.434s

stage2
------

real    5m40.669s
user    2m47.178s
sys     0m45.843s

ReiserFS
========

stage1
------

real    5m41.738s
user    2m28.009s
sys     0m31.198s

stage2
------

real    8m56.262s
user    2m53.303s
sys     0m43.351s

[EiFFeL]

moje aktualni rozdeleni fs na disku je

/boot - ext2
/ - jfs
/portage - reiser4 1,7G

zkousel jsem mit na partisne s portage xfs, jfs, reiserfs a ukazalo se ze nejlepsi volba je reiser4, bohuzel nemohu potvrdit zadnym plne vyhovujicim testem, mereni jsem provadel pouze rozbalenim portage a emerge --sync, souhlasim s tim ze zalezi hodne na procesoru