ReiserFS

16.10.2005 13:39 | Přečteno: 1500× | Linux

Asi před čtyřmi lety jsem poprvé rozjížděl větší Linuxový server. Po prostudování různých benchmarků jsem se přiklonil k ReiserFS. Server běžel na jádře 2.4.10, tedy tento FS byl tenkrát v jádře ještě krátce. Po cca měsíčním používání se tento FS stal jedním z těch, které jsem definitivně zařadil na svůj black-list. Na serveru se ztrácely soubory, některé soubory, které se neztratily, nešly přečíst (I/O error) a log plný chybových hlášení od kernelu ohledně nedostupnosti FS.

Po nějakém čase jsem objevil XFS od SGI. Tehdy ještě nebyl v jádře, muselo se patchovat. Tento file systém mi byl doporučován od známých, jako jeden z nejspolehlivějších. Dal jsem se tedy do testů. Po napsání testovacích scriptů, které generovaly mraky souborů a adresářů různých velikostí jsem stroj začal vypínat a zapínat v okamžiku největších zátěží. XFS byl tehdy jediným FS, který veškeré mé hrátky přežil. Všechny ostatní FS začaly mít problémy.

Od té doby jsem si spokojeně používal XFS na všech strojích, které jsem měl na starosti, včetně svého desktopu. Až cca před půl rokem jsem si přečetl, jak je nový ReiserFS skvělý a veškeré problémy, které s ním kdy byly, jsou už dávno odstraněny a nyní patří mezi velmi spolehlivé a hlavně rychlé FS. Inu, podlehl jsem a vyzkoušel na svém desktopu jednu partition obětovat na ReiserFS. Používám kernel 2.6, většinou v jeho nejnovější podobě a ReiserFS byl tedy obhospodařován nejnovějším driverem v 2.6 kernelu. Vše vypadalo v pořádku a s FS nebyly žádné problémy. Už jsem začínal věřit, že ReiserFS opravdu dospěl do použitelného stádia. Až minulý týden...

Před nějakým časem jsem byl v Indii. Dovezl jsem si z tama hromadu obrazového materiálu v elektronické podobě. Vše jsem po návratu nahrál na svůj desktop a jal se tím postupně probírat. Postupem, jak jsem věci zpracovával, mi začalo ubývat místo na disku. Něco jsem tedy vypálil na CD, ale něco ještě nebylo ve finální podobě, tak jsem hledal kam s tím.

Rozhodl jsem se tedy, že si přes disky/partitions udělám LVM volume, čímž bych využil spousty "zbytků" volného místa na jednotlivých partitions. Jenže data na partitions, které jsem chtěl dát do LVM volume jsem musel nejdřív někam zazálohovat. I padla volba na jedinou partition, kterou jsem do LVM volume dát nechtěl - partition s ReiserFS.

Začal jsem na ni přesouvat všechna data z ostatních partitions. Bohužel jsem si špatně spočítal velikost dat a velikost ReiserFS partition. Data měla o cca 100MB více než kolik se na partition vlezlo. Čekal bych u normálního FS, že se nedokopíruje poslední soubor, který byl na tento FS kopírován a zahlásí chybu "disk full". Jenže ReiserFS je výjimečný FS, proto se i chová jinak. Při zaplnění FS mi "mv" zahlásilo "I/O error", kernel zalogovat totéž a zaplněnost FS byla najednou 1%.

Koukal jsem na to jak z jara. Reiser se prostě rozhodl, že když se mu na FS nic nevleze, tak smaže všechna data co na FS jsou a pokračuje v kopírování dalších.

Takže vše zůstává při starém. ReiserFS je i nadále na mém black-listu a asi už tam zůstane na věky a dále si spokojeně používám XFS. Akorát mi chybí cca 3GB obrazových dat, která už nikdy uvidím.

Nechci vyvolávat flame na téma který FS je lepší. Jen dávám k dispozici svou opakovanou zkušenost s jedním FS, až se bude někdo rozhodovat, co nasadit na produkčních serverech.

       

Komentáře

[#Tom]

Naivně jsem si myslel, že nahradit ext2/3 nečím údajně pokročilejším, totiž XFS, výtvorem SGI, bude lepší. Potom, co se mi několikrát narušily souborové systémy a systém mi mnohokrát bez varování spadl (vždy tak po měsíci provozu), jsem se rozhodl už dále neriskovat (data se mi totiž neztratila) a přejít na ReiserFS 3. Jsou asi tři měsíce a žádný problém jsem nezaznamenal. Sice mi vadí nekonečné kontroly kvót při spuštění, jenže to u serveru, který se moc často nerestartuje, zase tolik nevadí.

[Jan Kurik]

Asi záleží, kterému FS admin věří. Ten mu pak slouží nejlíp :)

[#Tom]

Všechno je potřeba vyzkoušet a potom používat osvědčené.

[Heron]

Na svém desktopu jsem přešel z ext3 na XFS a to na velkých partišnách, kde mám moc velkých souborů (právě na to je XFS přece stavěné). Výkon se při práci s těmito daty opravdu výrazně zvýšil. Teď uvažuju, že /home dám na reiserfs. Je tam kolem 200000 souborů, tak by to tomu pomohlo. Ale XFS mi opravu udělalo velkou radost už například tím, že po výpadku proudu se nemusí tak strašně dlouho fsckovat.

[Bubak]

Pustit fsck na ext3 se docela bojim.

[Jáchym Čepický]

No já si z toho beru, že to s ext3 ještě chvíli vydržím...

[David Watzke]

tak tak...

[David Watzke]

To je smutný. Taky všude možně čtu, jak má ReiserFS všechno možný extra. Používám ext3, zatím bez nejmenšího problému. O data jsem přišel jen jednou, taky kolem 3 GB, vlastní blbost - udělal jsem špatně symlink a pak smazal původní složku - vůbec mi to nedošlo.

[David Watzke]

PS: Jak tak čtu komentáře kolem, raději zůstanu u ext3.

[podlesh]

ext3 má problémy při častém nekorektním ukončování (výpadky produ atd.) Už jsem viděl i crosslinked soubory, což je velmi nepříjemné (hlavně když se objeví kus konfiguráku uprostřed libc.so)

[David Watzke]

O libc.so mi ani nevyprávěj. Jenže v mým případě to byla prostě hovadina, co jsem udělal...

[Mikos]

Já používam ReiserFS už asi rok a půl a jsem s ním naprosto spokojen, nikdy sem s ním neměl problémy. A to i když jsem měnil velikost (shrinkoval) existujícího filesystemu, atp. Naopak ext3 (který jsem měl na jiném PC) mi zkolaboval dvakrát. Tak jsem tam taky hodil ReiserFS a od té doby žádný problém.

Tudíž v mém případě se ReiserFS ukazuje jako mnohem stabilnější a kvalitnější FS (a zároveň i rychlejší). Holt každý asi máme jiné zkušenosti

[Bubak]

Jo jo. Ale takovou kravinu udelas kdekoliv a kdykoliv, kdyz prijde jeji cas.

[Abraxis]

Postavil jsem a mel jsem na starosti asi 400 ruznych Linuxovych serveru ve vsech moznych konfiguracich (od malych masinek s VIA C3 az po 2-Xeonove masiny s HT a 8 TB polem) a mam s XFS jen ty nejlepsi zkusenosti. Zkousel jsem ext3 a proste to nema tu stabilitu pri vypadku proudu (jine problemy s ext3 jsem nezazil). Co se tyce ReiserFS - tolik lidi kolem mne na desktopech prislo s Reiserem o data, ze proste bych si neco s tak spatnou povesti (ciste subjektivni pohled) dat na server.

[©]

XFS nekolik let zcela bez problemu.

[Michal]

Dovezl jsem si z tama hromadu obrazového materiálu

Tamo to je nejake indicke mesto?

[jose17]

Tama City ;)

[Jan Kurik]

No já čekal, kdy zase někdo začne rýpat s češtinou :))

[diverman]

My, co pocházíme z Moravy, tak tomu rozumíme...

[Bubak]

Ja ne su moravak, ale rozumim

[podlesh]

Já to přeložím do jiného nářečí: Dovezl jsem si vodtamcaď hromadu obrazového materiálu

No, asi jsem moc nepomohl, co?

[Michal Vyskočil]

Viz moje zkušenosti. Na novém hdd se mi zničily 2 reiserfs oddíly během pár dní. Naštěstí jsem nedělal mv, ale cp.

[Voidless]

No, kdyz to tady vsechno ctu... :( Chtel jsem ReiserFS vyzkouset ve verzi 4 (nitro-sources ji obsahuji), ale jak tak koukam, zkusim na nej prenest zatim jen /usr/portage, kdybych o ni prisel tak staci jen emerge --sync...

[David Watzke]

Nestačí, přijdeš o všechny už stažený balíky. Třeba když pak chce remergnout openoffice, nebo třeba nějakou KDE-věc, tak je zbytečný to znova tahat. Juj, to už tam mám 1,8 GB...

[Voidless]

Myslim ze by stacilo udelat distfiles jako symlink na nejakou jinou partisnu, ne?

[David Jaša]

Reiser4 má s ReiserFS společný jen kus jména a autora.

[Luboš Doležel (Doli)]

To je divný. Já mám ReiserFS na /, dělám tam všelijaký kejkle a nic se s tim nikdy nestalo. A to už jsem hodněkrát vypnul systém natvrdo...

[Michal Vyskočil]

Já ho mám taky na /, tam nemám problém. Ale na těch dvou ostatních partitions (stejného disku) to prostě slítlo! Třeba ten /mnt/abc se jen při startu připojil a vůbec nic ze z něho nečetlo a přesto ten oddíl po výpadku proudu odešel, kdežto / to přežil! Prostě, pokud si mám vybrat FS, tak reiser to určitě nebude.

[Michal]

Ja mam Reiser u sebe doma (uz od dob kdy se muselo patchovat jadro) i na serveru a zatim zadny problem.

Na obou pocitacich to dostava poradne zabrat ovsem na kjazdem trochu jinak... Kdyz testuju pretaktovani tak to je casto 20 restartu natvrdo za den. Na serveru zase bezi silena aplikace vytvarejici tisice souboru a v temer nahodnem poradi do nich zapisuje data. Datovy tok je 20MB/s ve spickach. V noci to projizdi a pro zmenu dela jeden giganticky soubor, pakuje ho a odesila siti pryc.

[martink]

Mám nejlepší zkušenosti s ext3. Jeho vývojáři hodně dbají na bezpečnost dat, z toho důvodu např. ve výchozím nastavení používá data=ordered (na rozdíl od ostatních filesystémů, které používají writeback).

Tahle "paranoia" má samozřejmě vliv na výkonnost na desktopu a proto je podle názoru některých lidí ext3 "pomalejší" než ostatní filesystémy.

Naštěstí je možné ext3 jednoduše vyladit. Na desktopu se mi osvědčilo zapnout dir_index, data=writeback a hodně zvýšit commit (default je 5 sekund...).

Vyladěný ext3 doporučuje i Con Kolivas (autor ck patchsetu) jako nejlepší low latency filesystem pro desktop.

[Luk]

Optimální délka commit periody na desktopu je přímo úměrná důvěře v dodavatele elektřiny, a nepřímo úměrná riziku bouřky a míře přetěžování příslušné elektrické sítě Ale kdo má UPS, je v pohodě...

[Bubak]

[David Watzke]

Prosím tě mohl bys mi poradit kde zapnout dir_index, data=writeback a zvýžit commit (na kolik ?) ? Souhlasím, že ext3 je super. Jednou za čas se fsckne, ale to přece nevadí.

[Martin Lebeda]

projdi si man tune2fs a man mount (=> též fstab).

[Bubak]

Ten cas si nastavis taky pomoci tunefs. Ja fsck na tomhle filesystemu neriskuju, takze jsem dal 0. (Ale treba uz je to dospele, prectu si dokumentaci, co vsechno je fsck na ext3 schopen udelat).

[Heron]

Please, jak se dá změnit commit interval?

[martink]

Takže:

dir_index je možné zapnout příkazem

tune2fs -O dir_index /dev/XXX

na odmountovaném filesystému.

Zkontrolovat zapnutí dir_indexu je možné příkazem

tune2fs -l /dev/XXX |grep dir_index

commit a data se zapisují do fstab. Takže něco jako

/dev/sda5 /home ext3 defaults,noatime,data=writeback,commit=666 0 2

[Nikola Ciprich]

mohu se zeptat na jakem jadre se Vam toto vsechno stalo? (ciste/distribucni, patche??)

diky

[Jan Kurik]

Poprvé, před cca 4 roky, to bylo 2.4.10 z nějakého Suse (myslím 7.3). Tentokrát to bylo 2.6.12-gentoo-r10, s distribučním patchem pro LVM2.

[Nikola Ciprich]

hmm, to jsem si myslel. zajimave, pamatuji si, ze nekdo docela nedavno na rootu brecel, ze na extradulezity xprocesorovy stroj s X terabajty ulozneho prostoru dal reiser, a jak se mu to cele pokazilo, a jak je ten reiser na h.... . a na dotaz co to bylo za distribuci a jadro kupodivu odpovedel take gentoo a jeste nejake obskurni patche. jestli nebude problem nekde jinde nez v samotnem reiseru.

mi teda bez problemu bezi na desitkach serveru, z toho nektere maji taky ulozny prostor v terabaitech, a ze by se mi nekde ztracela data pri zaplneni disku, tak to se mi opravdu jeste nestalo. nerikam ze jsem nikdy nenarazil u reiseru na problem, ale to jsem uz narazil i u ext3 a taky o nem nevykrikuju jak ho mam na blacklistu a jak je spatny.

no co, k tomu jsou nakonec blog urcene. jenom me muze dozrat, jak potom vidim ty reakce lidi okolo a'la "no zrovna jsem ho chtel zkusit, ale jak to tady tak ctu...."

[Heron]

Rád bych se vás něco zeptal: Reiserfs byl z vytvořen pro velký počet malých souborů. Vy píšete, že jej používáte pro TB pole (a viděl jsem jej na opravu hodně velkých polích -- pravda, průměrná velikost souborů byla kolem 0,5MB, ale to není zrovna tak málo). Změnilo se něco na tom, že reiser je pro malé soubory, nebo jsem to jen špatně pochopil? Není snad pro velká pole určen XFS?

[Nikola Ciprich]

ja si myslim, ze to neni tak, ze reiser je primarne urcen pro male soubory, ale pravda je takova, ze si s nimi vede velice dobre. o mnohem uspornejsim vyuziti mista ani nemluvim. videl jsem svazky, u kterych rozdil ext3/reiser delal stovky gigabajtu volneho mista navic, a to uz je celkem poznat.

[Bubak]

A skoncil jsi nekdy s tim terabytovym diskovym prostorem na nule?

[Nikola Ciprich]

u toho terabajtoveho nevim, ale ty o velikosti stoveg gigabajtu zaplnujeme na nulu temer pravidelne :)

[Nikola Ciprich]

aaaaa, s/stoveg/stovek/

[Xehyn]

Přemýšlel jsem o XFS na naš nový Oracle server, ale v Linux FAQ Oracle píše že není podporován. Tak ted tapu další volba byl ReiserFS. Co doporučujete?

[Bubak]

Nic. Kazdy se musi spalit sam. Jestlize jde o databaze, zaklad je zalohovat a zalohovat a zalohovat. Oracle je v tomhle docela slusny, tam se vzpamatujes z cehokoliv, jestlize mas zalohu db a logy (zjednodusene, ale predpokladam, ze vis, o cem mluvim). Pokud chces pokecat vic, napis mi na mail (z profilu). Nevim, jakou aplikaci provozujes, jestli jde jen o DB nebo i AS (v dnesnim oraclim pojeti uz to ale jinak asi ani nejde...)