Dotaz: Aky filesystem

[maros]

Som pred rozhodnutim, aky suborovy system vybrat server.

Filesystem musi splnat:

1. musi mat dobru podporu jadra
2. existuju k nemu utility
3. je zurnalovaci
4. zvlada vacsi pocet (> 10.000) malych suborov
5. ako i velkych suborov (> 8 GB)
6. je vykonny
7. zvlada ACL

Idealny stav by bol, keby este podporoval:

1. kryptovanie
2. kontrolne sucty

Podla informacii uvedenych na tomto webe http://en.wikipedia.org/wiki/Comparison_of_file_systems som vybral tri nasledovne suborov systemy:

1. Reiser4
2. JFS
3. ZFS

Pri prvom je problem, ze nie je integrovany do jadra Linuxu. Z ostatnymi dvoma nemam skusenost.

Ake mate vy skusenosti alebo napady?

Odpovědi

[maros]

Este som zabudol, ze musi podporovat timestamps:

1. datum a cas vytvorenia suboru
2. datum a cas zmeny suboru
3. datum a cas posledneho pristupu k suboru

[maros]

Ako to vyzera so schopnostou:

1. obnovit nahodne vymazane udaje
2. skartovat udaje - viem na toto su nastroje tretich stran?

[Olsen]

Datum posledního přístupu bohužel s výkonem pořádně zamává, takže pozor na benchmarky, ty asi budou s vypnutým časem přístupu (protože je to imho velice chytré...). Škoda, že to potřebujete.

[Michal Kubeček]

Pokud opravdu chcete podporu přímo v jádře, pak máte výběr jednoduchý, protože ze tří vámi zmíněných tuto podmínku splňuje pouze JFS.

[Petr Kočvara]

Přesně tak, JFS používám jak na svém domácím kompu tak i na několika serverech v práci a nebyl s ním dosud žádný problém. Petr

[Michal Fecko]

JFS mam "zatial" iba na desktope (na serveri mam ext3) a tiez bezproblemov - rychly a stabilny.

[pepik]

Taky se přidávám ke spokojeným uživatelům.

[David Jaša]

Nějak mi v tom výběru chybí XFS a přebývá ZFS a Reiser4. ZFS je dostupné pouze přes FUSE a ještě k tomu velmi krátce. Reiser4 je i po letech málo otestovaný pro všeobecné použití. Na druhou stranu nechápu, proč ti tam chybí XFS, když odpovídá všem tvým požadavkům lépe než předchozí dva...

[David Watzke]

XFS bych na malý soubory zrovna moc nedoporučoval...

[David Jaša]

A proč ne?

[David Watzke]

No, hodil jsem si distfiles na 300GB oddíl s XFS a když jsem to pak promazával, docela dlouho se to zastavilo při mazání adresářů {cvs,git,svn}-src, kde byla právě spousta malých souborů...

[David Jaša]

Ano, mazání je na XFS skutečně pomalé. Všechno ostatní je tam ale řádově rychlejší než na ostatních FS, když je v jednom adresáři opravdu hodně souborů.

[David Jaša]

Takže odpovědi proč ne se asi nedočkám, tak dávám odkaz proč XFS na hodně malých souborů ano. :-P

[kafa]

Filesystem XFS je určen pro servery zálohované UPSkou. Používá odloženou alokaci, což sice zrychluje práci,ale při výpadku můžete příjít o data. (Žurnálování vám v tomto případě nepomůže). Tazatel evidentně trvá na spolehlivosti, takže XFS vyloučil správně.

[Michal Kubeček]

Používá odloženou alokaci, což sice zrychluje práci, ale při výpadku můžete příjít o data.

Pravděpodobně si pletete odloženou alokaci a write-back cache (kterou Linux používá nejen u XFS). Odložená alokace ani nezrychluje práci (nepočítáme-li za "zrychlení práce" to, že snižuje míru fragmentace), ani nezvyšuje riziko ztráty dat při nekorektním ukončení systému.

[kafa]

Nepletu si nic. Toto je citace z Příručky správce systému SuSE 9.1 :

S XFS je spojena funkce delayed alokace. XFS při alokaci dělí proces na dvě části. Transakce jsou uloženy v RAM a je pro ně rezervována předpokládaná velikost prostoru. XFS nerozhoduje, kde přesně busou data uložena. (Bloky souborového systému). Toto rozhodnutí je odloženo na poslední možnou chvíli. Některá data se tak vůbec nedostanou na disk, protože dřív, než se XFS rozhodne o jejich uložení, zastarají. Tímto způsobem je zvyšován výkon při zápisu a redukována fragmentace souborového systému.Vzhledem ke strategii delayed alokace je však XFS mnohem náchylnější ke ztrátám dat při pádu systému než jiné souborové systémy.

[Michal Kubeček]

Kromě poslední věty se s tím dá souhlasit, ta poslední věta je ale velmi zavádějící. Delayed allocation ve skutečnosti riziko ztráty dat nijak nezvyšuje, protože data (pokud se na disk opravdu mají zapsat) jsou na disk zapsána přesně ve stejném okamžiku jako u filesystémů, které ji nepodporují. Jediný rozdíl je v tom, že teprve v tomto okamžiku se rozhodne, kam konkrétně se zapíší.

[kafa]

Nesouhlasím s vámi. V takovém případě by delayed alokace byla zbytečná a nepřinesla by vůbec žádný efekt. Cožpak jiné filesystémy alokují prostor na disku už při zápisu do cache? Pokud vím, běžně se přenášejí data na disk po uplynutí nějaké prodlevy. Proces je tedy řízený časem. Z popisovaného (i když velmi hrubého) chování filesystému XFS ovšem plyne, že transakce jsou uchovány v RAM až do dosažení určité velikosti a teprve pak jsou přenášena na disk. Přenos je tedy řízen obsazením nějakého předem alokovaného prostoru v RAM a mezi změnou a fyzickým zápisem může tedy uplynout i značná doba. Jen tak lze vysvětlit zmínku o zastarání dat, která se už na disk nedostanou. Navíc - se zoufalými dotazy ohledně poškození filesystému XFS po pádu systému jsme se v této poradně už setkali. O nasazení XFS bych vážně uvažoval na databázovém serveru, zálohovaném UPS. Ale jaký efekt přinese na desktopu mimo zvýšené riziko? Jde snad o závody formule 1?

[Peter Lehotsky]

XFS funguje nadherne i na notebooku a popravde z osobnich zkusenosti bych ja nesel do Reiseru . Na desktop prinese v porovnani s reiserem urcite spolehlivost.

Vami popisovane problemy jsem nepozoroval ani pred lety kdyz jsme intenzivne testovali XFS pred nasazenim do ostreho provozu na prvni server. Vyrvat kabel ze zdi byla bezna vec (zamerne) a svete div se, k zadnym ztratam dat nedochazelo. Naopak diky Reiseru a EXT3 jsem mel jiz hodne prace (hledat zalohy a obnovovat to co v nich nebylo) takze na nic jineho nez na /TMP bych je nepouzil a to uz radeji EXT2 at tam nestrasi zurnalovani.

Ono pomale mazani na XFS se Vam muze jednou hodit, "rm -rf /" na rychlem FS to je neco .

K puvodnimu dotazu: neni lepsi zalohovat, nez resit moznosti obnovy dat pomoci nejakych utilit?

[dustin]

Také mám lepší zkušenosti s XFS než EXT3. XFS po tvrdém vypnutí nám zatím (ťuky ťuk) filesystém nepoškodilo, zatímco u EXT3 se to již stalo.

[Ondroid]

XFS jsem měl před lety jen krátce tak těžko můžu pořádně srovnávat ale ext3 mi už ustál tvrdý výpadek tolikrát a bez problému že mu věřím víc než jakémukoli jinému FS. S XFS jsem to naschvál kdysi taky zkoušel a nastal rozpad. Ale jak píšu bylo to před pár lety, teď už je na tom XFS určitě líp než tenkrát. Podle toho co čtu a vím však pochybuju že XFS je momentálně odolnější proti výpadku než ext3.

[Michal Kubeček]

Cožpak jiné filesystémy alokují prostor na disku už při zápisu do cache?

Ano, přesně tak.

[Filip Jirsák]

Pokud tazatel trvá na spolehlivosti, jistě neočekává, že se mu bude server neočekávaně vypínat nebo zasekávat, takže použití XFS nic nebrání. Naopak bych jej v tomto případě doporučil.

[kafa]

Omlouvám se. Implicitně jsem nepředpokládal, že by administrátor čerpal informace z přehledů na wiki nebo pokládal takový dotaz a tak mi uniklo, že se týká specielně serveru. Pak souhlasím, že XFS je vhodným kandidátem.

[MiK[3]Zz]

Ja by som prave XFS doporucoval, zisiel by sa aj zalozny zdroj pre uplne dokonalu spolahlivost, kedze XFS kesuje do pameti a v pripade vypadku elektriny su nasledky o nieco viac horsie ako napriklad pri ext2/3. Ale rychlost, spolahlivost atd vsetko zvlada a myslim, ze aj velkosti suborov a takisto povet suborov, na male subory sa hodi idealne.

+1 pre XFS

[Andrej]

Řečnická otázka: Proč dopadne každý benchmark jinak?

Odpověď: Protože výsledky závisí na

1. specifických vlastnostech konkrétního disku — otáčky, přístupová doba, umístění oddílu na plotnách.

2. nastavení parametrů příslušného souborového systému.

3. rychlosti procesoru a sběrnic.

Proto už notnou dobu benchmarky nečtu ani nedělám. Takovýhle dotaz je sice dobrý námět na na flamewar, ale ne, děkuji, nezúčastním se.

Používal jsem reiserfs 3.6, ext2 a ext3. V prvním případě byly výsledky na rychlých strojích znatelně lepší než u ext3, ale na pomalém stroji byl reiserfs možná i dvojnásobně horší. Na serveru jsem měl vždy ext3, protože jeho nástroje pro kontrolu a opravu souborového systému se mi (subjektivně) zdály lepší než u reiserfs. Nikdy jsem nevyzkoušel JFS a XFS.

Od doby, kdy jsem si do notebooku koupil nový harddisk, který má 7200 otáček za minutu, používám výhradně reiser4. Funguje mi bez problémů. Žádné benchmarky jsem nedělal ani nehledal.

Nezajímá mě vůbec, jestli souborový systém X není náhodou o 10% lepší v disciplíně Y a o 10% horší v disciplíně Z. Především proto, že na mém hardwaru to může být přesně naopak.

Takže doporučuji jediné: Vytvořit na svém serveru a na svém disku vždy stejně velký a stejně umístěný souborový systém příslušného typu a pak na něm spustit nějaký benchmark. Jedině pak budou výsledky benchmarku opravdu použitelné pro daný systém. (Aspoň do další verze kernelu...)

[Olsen]

Jestli Reiser, tak možná radši stabilní verzi 3. Na malé soubory se vždycky doporučoval.

[maros]

Pocas googlovania som narazil na tieto skutocnosti ohladom XFS:

1. XFS nepodporuje creation timestamps
2. XFS nepodporuje Unicode v nazvoch suborov
3. XFS nedisponuje utilitou typu undelete

[Michal Kubeček]

Ad 1.: to sice nejspíš ne, ale taková vlastnost je u unixových filesystémů spíše netypická

Ad 2.: nejsem si jistý, co přesně míníte výrazem "nepodporuje", ale unicode názvy fungují stejně dobře jako třeba na ext3 nebo Reiserfs:

  mike@unicorn:/srv/http/kk> ls -l
  celkem 0
  -rw-r--r-- 1 mike users 0 2007-08-28 08:11 사무 응용프로그램
  -rw-r--r-- 1 mike users 0 2007-08-28 08:10 příliš žluťoučký kůň úpěl ďábelské ódy
  -rw-r--r-- 1 mike users 0 2007-08-28 08:11 Εφαρμογές Γραφείου
  -rw-r--r-- 1 mike users 0 2007-08-28 08:11 オフィス・アプリケーション

Ad 3.: takovou utilitou AFAIK nedisponuje žádný linuxový filesystém; pouze u XFS je případné ruční obnovení smazaného souboru těžší než jinde (a často nemožné)

[maros]

Ohladom Unicode som vychadzal z http://en.wikipedia.org/wiki/Comparison_of_file_systems , kde sa pise, ze podporuje any byte, co beriem ako 0..255.

[Filip Jirsák]

UTF-8 se zapisuje jako posloupnost jednoho nebo více bajtů, UTF-16 do posloupností 16bitových slov (dvojic bajtů), UTF-32 do posloupnosti 32bitových slov (čtveřic bajtů). Nebo chcete Unicode znaky kódovat ještě nějak jinak?

[Peter Lehotsky]

2. a co ufouni, rostou, rostou? 3. Kazdy administrator serveru ma disponovat zalohovacim zarizenim