Zmena FileSystemu

27.9.2007 12:20 | Linux | poslední úprava: 27.9.2007 13:07

Zdravim
Do ted pouzivam ext2, jsem s nim celkem spokojen. Posledni dobou, se to tu nejak hemzi novymi fs a tak se chci zeptat, zda by jste me nekdo doporucili fs, ktery by byl nejblize mym pozadavkum:
Co potrebuju:
* co nejvetsi rychlost cteni
* stejne nebo vetsi volne misto na disku(tzn. kdyz na 230G HD nahraju s ext3 kolem 200G dat, tak zbytek sezere zurnal)
* spolehlivost
Co nepotrebuju
* zurnal
* odolnost proti vypadkum(vypadky proudu tak jednou za 5 let)
* nevadi me pomalejsi rychlost zapisu, i kdyz cim vic tim lip
update * kolik to bude zrat cpu je uplne jedno

0K!AS

       

Komentáře

[mkoubik]

Nejak jsem nepochopil kombinaci požadavků "nepotřebuji žurnál" vs. požaduji "spolehlivost" a "odolnost proti výpadkům proudu". Jinak bych doporučoval Reiser, je rychlejší než např. ext3 a na spolehlivost si nemůžu stěžovat.

[David Heidelberg]

spolehlivost: tzn. ze kdyz ten system pobezi bez vypadku, tak ze me na tom zadny data nezarvou

[H0ax]

<_moje_spolehliva_kombinace_>

Na velké množství malých souborů reiserfs, na filmy atd. xfs.

<_/moje_spolehliva_kombinace_>

[David Heidelberg]

jestli se wiki neplete, tak XFS pouziva zurnal, coz myslim odporuje tomu, ze tam potrebuju mit co nejvic mista.

0K!AS

[mkoubik]

To reiser taky, ale dá se to myslim vypnout.

[Filip Jirsák]

Taky bych se přikláněl k XFS. Kromě ext2 už bá dneska žurnál snad všechno, takež si podle tohoto těžko vybírat. Navíc XFS má žurnál jen pro metadata, takže to nebude nic moc velkého.

[David Heidelberg]

to XFS nevypada spatne, ale je mozne nekde porovnat volne misto ext2 vs xfs?

Potreboval bych mit jistotu, ze kdyz mam napr. ted na 4GB partition 3,99GB dat, ze je narvu i na XFS

0K!AS

[Filip Jirsák]

Myslím, že to daleko víc ovlivní např. velikost bloků, po kterých FS alokuje prostor na disku, (kterou můžete nastavit během formátování), než konkrétní typ filesystému.

[Ivanhoej]

Menej ako 512 na blok nema ziadny FS niektore vsak nemaju moznost menej ako 1024 (ext3). Preto ak chces co najviac miesta doporucujem mkfs.xfs -b 512 /dev/tvoj_disk

[H0ax]

Wiki se neplete nicméně žurnál má dneska kde co. Pro mě je důležitější ta rychlost u reiseru a super práce s velkými soubory u xfs.

[happy barney]

u ext3 žurnál nezaberá 30GB V prvom rade je to rozdiel medzi obchodníckymi jednotkami a technickými jednotkami. V druhom napr to, že ext2/3 si vytvárajú tabuľku i-node staticky (a to trochu miesta zaberie). Žurnál sa pohybuje rádovo vo 10-tkach MB, takže kľudne môže byť.

[Heron]

Žurnál logv1 (u v2 nevím) má max velikost 128MB, to snad u 320GB disku přežiješ ne?

[ajikdpoe]

zostan u ext2

[mkoubik]

Ten bude určitě na vrcholu spolehlivosti, ale nevim jak to bude s tou rychlosti.

[zelial]

asi tak.

autor:

Do ted pouzivam ext2, jsem s nim celkem spokojen.

[deda.jabko]

souhlas, taky jej nechapu. zasada cislo jedna: nestourat se ve vecech, ktere funguji.

vetsinou mam vsude ext2/ext3 (a nechci to zakriknout) za tu spoustu let, zadny problem.

[xm]

Já doporučuji jednoznačně JFS. Spolehlivost je naprosto vynikající (i ta odolnost vůči výpadkům, i když o ní nestojíte, někdy se to hodit může ), rychlost je taktéž velmi dobrá a navíc oproti ostatním FS minimálně zatěžuje CPU.

[...]

> Software je jako sex. Nejlepší je zadarmo!

Tak tim bych si nebyl tak jistej. Nechci ti brat iluze, ale jedinej sex kterej je zadarmo je metodou "udelej si sam"...

[David Heidelberg]

LOOOL

[xm]

Je to původně citát Linuse Torvaldse

[deda.jabko]

linusovi se jeste priprisuje: "nejdrazsi sex je ten, ktery mate doma"...

[Foobar.Beer]

Nastesti jsem si jisty, ze nemas pravdu ...

[Ondrej 'SanTiago' Zajicek]

> (tzn. kdyz na 230G HD nahraju s ext3 kolem 200G dat, tak zbytek sezere zurnal)

A na tohle jsi prisel kde?

[David Heidelberg]

na tohle jsem prisel, kdyz jsem si pujcil od kamose disk a kopiroval ntfs s PRIBLIZNE 200GB dat na 230GB partition ext3, potom co jsem po kopirovani mel kolem 0b volneho mista, preformatoval jsem to na ext2 a ono bylo najednou 30G.. tak ted nevim kde je problem..

0K!AS

[Filip Jirsák]

Místo rezervované pro roota?

[David Heidelberg]

to nevim, ale usoudil jsem, ze jelikoz to pod ext2 je normalne pristupne, tak to bude asi tim zurnalem coz je jediny rozdil mezi ext2 a ext3

0K!AS

[David Heidelberg]

WOW ono to funguje i na Ext2... proc mam mit u nesys casti disku rezervu 5 procent, kdyz potrebuju volny misto!

/dev/sda3            234220124 219681156   2641232  99% /home

versus

/dev/sda3            234220124 219681168  14538956  94% /home

0K!AS

[Filip Jirsák]

proc mam mit u nesys casti disku rezervu 5 procent, kdyz potrebuju volny misto!

Protože jste si to zvolil? Resp. protože jste nezměnil defaultní hodnotu. man tune2fs, hledejte volbu -m. Systémová část disku je vaše představa, linux samozřejmě nemůže vědět, čemu vy říkáte systémová část disku (to co je dneska /mnt/chroot může být zítra /).

[Vykook]

A navic, jak tu nekdo minuly tyden psal, to pomaha zabranovat fragmentaci souboru na plnem disku.

[Michal]

Co mas prosimte porad s tim zurnalem a jeho velikosti? Typicka velikost zurnalu na ReiserFS je 32MiB (takovou ma moje root partition s velikosti 50GiB i datova partition s velikosti 457GiB.

Jelikoz se ukladaji pouze metadata a je to kruhovy bufferer tak je to myslim velikost jeste vyrazne nadhodnocena.

[Miloslav Ponkrác]

Já tedy nevím, ale mě ty kombinace požadavků nepřipadají rozumně volené.

Podle mě spolehlivost jde do opaku s nepřítomností žurnálu a s nepřítomností odolnosti proti výpadku proudu.

Stejně tak důraz na volné místo není podle až tak rozumná priorita. Stejně tak záleží víc na velikosti alokačních bloků a dalších věcí.

[juice]

Najlepšie je to kombinovať, t.j. rozdeliť disk(y) a na každú partíciu dať ten najvhodnejší. Nemá zmysel podľa mňa hľadať ten jediný najsprávnejší filesystém na všetko. Na každý účel sa hodí iný FS, reiser tam kde je veľa malých súborov, xfs kde sú veľké súbory, jfs keď chceš šetriť systémovými prostriedkami, ext3 pre kompatibilitu a tak podobne. Treba si o každom niečo prečítať, posúdiť silné, slabé stránky a podľa toho sa zariadiť.

Príklad z môjho malého domáceho servera:

/dev/sda3 on / type jfs (rw)                                                    
/dev/mapper/space-home on /home type jfs (rw)                                   
/dev/mapper/space-opt on /opt type jfs (ro)                                     
/dev/mapper/space-tmp on /tmp type reiserfs (rw)                                
/dev/mapper/space-usr on /usr type jfs (ro)                                     
/dev/mapper/space-var on /var type reiserfs (rw)                                
/dev/sda1 on /boot type ext3 (rw)                                               

[Heron]

Najlepšie je to kombinovať,

Takhle jsem taky chtěl začínat, ale pak jsem zjistil, že každý FS má pod sebou disk, který musí kmitat hlavičkama a má omezenou propustnost.

Mnoho souborů a reiserfs - možná nevím co je to moc souborů s jaké s nimi mám dělat operace - nevynikal. Jako žádný FS. Prostě je tam disk, který má jistý seek time a na tom ztroskotá čtení těchto souborů na každém FS. Ve výsledku četl ext3 XFS a reiser kolem 400kB/s.

Ext3 má statické alokování inode a ty mi jednou došli.

JFS jsem zkoušel jednou a výsledkem byla katastrofální fragmentace souborů.

Ve výsledku jsem rezignoval na všechny testy a všude používám XFS (včetně \home oddílu, kde mám přes 10M souborů). Nativní ACL, quoty, online grow, extenze, dynamická alokace indoů, a v neposlední řadě online defragmentace předčily všechny ostatí FS, tak jsem spokojen.

[xm]

Co je to ta "katastrofální fragmentace souborů" s kterou jste se setkal u JFS? Používám JFS na mnoho strojích a nikde jsem se s žádnou nepříjemně velkou fragmentací nesetkal.

[Heron]

Nevím jak k tomu došlo ale scénář byl takovýto:

- Na novém 320GB disku jsem vytvořil JFS a nasdílel sambou.

- Přes sambu jsem já a jeden další člověk součastně kopírovali na ten oddíl asi 200GB dat.

- Následně jsem s těmi daty chtěl na serveru pracovat a rychlost jejich čtení byla cca 3MB/s.

- Programem filefrag jsem otestoval jeden 2GB soubor a měl cca 20000 fragmentů.

- Po přepsání na XFS a opětovném importu dat stejným stylem měl ten soubor cca 5 frag. (tak jako ostatní) a rychlost čtení něco kolem 40MB/s.

Tím pro mě JFS skončilo. Moc jsem se tím nezabíval ale zajímalo by mě čím to mohlo být.

[frEon]

ono je rozdil jestli mas 10M souboru v jednom adresari, nebo v ruznejch adresarich

[Heron]

V čem? Každy FS si to hashuje podle jména, takže přístup k souboru je +- stejně rychlý (možná je reiser o nejakou ms rychlejší, nechci se hádat), ale při ls to stejně VFS poskytuje jako list z čehož plyne, že FS to stejně musí být schopen předat jako seznam. Což je právě důvod rozdělení do více adresářů. Každopádně, jdu to zkusit.

[Michal Vyskočil]

Ano, home s 10M soubory v jednom adresáři je lákavá představa, ale myslím, že tomu tak v případě Herona není

[Heron]

Těch uživatelů je tu samozřejmně poněkud více.

Každopádně, už žhavím Cent OS ve VMWare, ještě napsat testovací skript a "test" je hotov.

[Heron]

Tak jsem se lehce zasekl na tom, co mám vlastně testovat?

Vytvoření souborů je k ničemu, protože se nikdy nevytváří 1M souborů součastně.

Nějaké náhodné čtení už je trochu lepší, ale furt to není ono.

Nějaké nápady?

[Andrej]

K tomuto bych měl několik komentářů:

1. Souborový systém bez žurnálu těžko seženeš. Nevím, jestli dnes vůbec někdo takový vyvíjí (myslím pro běžné disky).

2. Žurnál v 99% případů neřeší jen výpadky proudu (v naší zemi vzácné). Jeho hlavním účelem je vypořádat se s mnoha možnými typy selhání hardwaru či softwaru. Není radno podceňovat jeho význam.

3. Mnoho benchmarků ukazuje, že použití žurnálu nemusí nutně znamenat snížení rychlosti všech operací. Například JFS, XFS a ReiserFS jsou v některých operacích rychlejší než ext2.

4. Nedomnívám se, že by byl ext3 nepřekousnutelně pomalejší než jiné souborové systémy. Jeho kód se postupně vyvíjí. Před lety dopadl v benchmarcích velmi špatně, ale dnes to zdaleka nemusí být pravda.

5. Rychlost souborového systému závisí na tolika různých faktorech, že vůbec nelze určit, který je „lepší“. Na jiném hardwaru může tentýž benchmark dopadnout přesně opačně.

6. Je dobré hodnotit taky výpočetní náročnost souborového systému. Nejnižší je v případě JFS, zatímco ReiserFS a Reiser4 jsou v tomto směru mnohem horší.

Já osobně mám na starších strojích (používaných jako server) vždy ext3 a na notebooku zase všude Reiser4. Ale že bych si dělal vlastní benchmark, to zas ne.