Portál AbcLinuxu, 27. dubna 2024 01:32


Dotaz: Filesystém pro hodně malých souborů

13.2.2009 23:40 Paja
Filesystém pro hodně malých souborů
Přečteno: 337×
Odpovědět | Admin
Ahoj, protože mám poměrně hodně mailů, chci si pro ně udělat zvláštní oddíl (používám kmail a maily ukládám jako maildir).

Na zbytku systému používám ext3 a napadlo mně jestli máte někdo zkušenosti s jiným filesystémem, který by dobře (rychle) pracoval s velkým množstvím spíš menších souborů.

Dík
Nástroje: Začni sledovat (1) ?Zašle upozornění na váš email při vložení nového komentáře.

Odpovědi

David Watzke avatar 14.2.2009 00:36 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Filesystém pro hodně malých souborů
Odpovědět | | Sbalit | Link | Blokovat | Admin
reiserfs je na malý soubory určitě lepší než ext3.
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
Prcek avatar 14.2.2009 00:39 Prcek | skóre: 43 | Jindřichův Hradec / Brno
Rozbalit Rozbalit vše Re: Filesystém pro hodně malých souborů
Odpovědět | | Sbalit | Link | Blokovat | Admin
Co ReiserFS? O tom se říká, že má dobrý výkon na malých souborech. Já ho mám pro portage, což je hafo malých souborů, ale testy oproti ext3 jsem nedělal a subjektivně to posoudit nedokážu, jestli se práce zrychlila. Třeba má testy po ruce někdo jiný ;-)

Jediný co ti můžu poradit, je nastavit menší bloky - ušetříš tím místo ;-).
Člověk je takový, jak vypadá... A já vypadám jako pravá, nefalšovaná děvka!!!
14.2.2009 11:51 VM
Rozbalit Rozbalit vše Re: Filesystém pro hodně malých souborů
Odpovědět | | Sbalit | Link | Blokovat | Admin

Reiserfs umí spojovat konce malých souborů do jednoho bloku, což jiný z linuxových filesystémů neumí. Takže třeba sto desetibajtových souborů obsadí jeden blok místo sto bloků, což je výrazně rychlejší (a navíc šetří místo).

Ext2 myslím umí vložit extra malé soubory přímo do inody, ale je to omezenější. Navíc ReiserFS spojuje konce i u souborů větších než jeden blok (myslím do 16kB velikosti). ReiserFS by měl vyjít lépe.

U Ext2/Ext3 je navíc problém s pevným počtem inod - při spoustě malých souborů by mohly dojít, pokud se na to nemyslí už při spuštění mke2fs. Také je potřeba se ujistit, že  jsou zapnuté indexy na adresářích, jinak budou problémy u adresářů s hodně velkým počtem souborů (ReiserFS je má automaticky).

Zkrátka: na danou úlohu bych použil ReiserFS.

David Watzke avatar 14.2.2009 14:55 David Watzke | skóre: 74 | blog: Blog... | Praha
Rozbalit Rozbalit vše Re: Filesystém pro hodně malých souborů

Reiserfs umí spojovat konce malých souborů do jednoho bloku, což jiný z linuxových filesystémů neumí. Takže třeba sto desetibajtových souborů obsadí jeden blok místo sto bloků, což je výrazně rychlejší (a navíc šetří místo).

Myslím, že něco podobnýho dělá btrfs, kterej je taky hodně dobrej. Nevím jestli je to přesně tohle, ale taky dost šetří místem. 220 MB malých souborů mělo na ext4 asi 650 MB a na btrfs 250 MB...
“Being honest may not get you a lot of friends but it’ll always get you the right ones” ―John Lennon
14.2.2009 14:12 mikky | skóre: 25 | blog: Ghlog | M. L. - Praha
Rozbalit Rozbalit vše Re: Filesystém pro hodně malých souborů
Odpovědět | | Sbalit | Link | Blokovat | Admin

Plus 1 pro ReiserFS (nikoliv Reiser4). Od tý doby, co ho používam pro /var sem zaznamenal znatelný zrychlení práce se systémem..

"nikoliv Reiser4 " píšu jen pro to, abych předešel případným nedorozuměnín - s Reiser4 nemam žádný zkušenosti.

-miky

Je vám méně než 30 ? (jsme vrstevnící => budeme si tykat) : (jsem pro vás bažant => můžete mi tykat);
14.2.2009 15:15 M. Lox | skóre: 12
Rozbalit Rozbalit vše Re: Filesystém pro hodně malých souborů
Já bych se Reiser4 nebál, stabilní je dost, rychlejší než cokoliv jiného taky, jenom se kvůli němu musí patchovat jádro. Oproti tomu třeba btrfs bych za stabilní zatím neoznačil.
make menuconfig, not war!
14.2.2009 15:29 Smajchl | skóre: 39 | blog: Drzy_Nazory | Praha
Rozbalit Rozbalit vše Re: Filesystém pro hodně malých souborů
Odpovědět | | Sbalit | Link | Blokovat | Admin
Rajzr!
My máme všechno co chcem, my máme dobrou náladu!

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.