Dotaz: Idealni FS pro raid 5

[Nuclear]

Zdravim,

planuju stavbu vetsiho raidoveho pole (cca 15 disku). Chtel bych pouzivat raid 5. Jaky si myslite ze bude idealni souborovy file system ? Potrebuju aby raid byl rozsirovatelny protoze pocitam s tim ze disky nebudu mit v jednu chvili ale budu je postupne dokupovat podle potreby.

Napiste prosim sve nazory ktery FS si myslite ze bude nejlepsi.

Odpovědi

[Robo]

15xHDD Raid5 ??? a to este rozsirovat ??? vela stastia... otazka: co sa stane ked mas Raid5 z 13HDD a pridas dalsi a pocas rebuildu padne jeden z 13-tich ?

[Jezus]

FS si vyber dle druhu aplikace, kterou chceš na poli provozovat. Téměř všechny FS umí online zvětšení.

Spíš si dej pozor na to, kolik chceš do jednoho RAID pole zapojit disků. Já bych doporučil maximálně 5-6 disků na jeden RAID 5. Vem si situaci, kdy ti jeden disk odejde, ty ho nahradíš a všechny ostatní disky se budou muset kompletně přečíst k dopočítání parity. U této operace hrozí, že některý z dalších disků nebude možné přečíst celý nebo že selže a máš po poli. Jsou metody jak tomu předcházet jako např. background patrol read, ale to vychází z vlastností RAID řadiče, který máš. Pokud máš solidní hw raid řadič, můžeš zauvažovat i o raid 50.

Takže rada zní: vytvoř si více polí a použij nad nimi LVM nebo zvol RAID 50.

[Max]

Přesně tak, RAID5 u 15 disků, to je podle mně cílená sebevražda.
Zdar Max

[Nuclear]

Ono to bylo mysleno ze ze zacatku bude disku treba 5 a pozdeji se bude rozrustat az do 15ti disku.

Jinak co se tyce HW bude pouzito Dell perc 5/E (radic)

a sas expander Dell powervalut MD1000

Podle manualu by mel radic podporovat raid 50. Jako sluzby tam pobezi par lvm pro virtualizovane systemy a hlavne to bude FilleServer pro zalohy.

[Jezus]

Tak si na začátku založ jeden RAID5 z pěti disků, vytvoř přes LVM volume group, kterou pak rozděl na logical volume pro virtuály, file server, ... . Pro rozšíření si založíš další RAID5 z dalších třeba 5 disků. Druhý raid budeš mít v systému jako sdb a ten přidáš do stejné volume group. Tím zvětšíš kapacitu volume group a tu pak můžeš přerozdělit jednotlivým logical volume.

[Šangala]

Ať mě někdo (p)opraví jestli kecám, ale například u FS ext3/4 je dobré dobře napočítat stripe-width, a vhodná hodnota pro různý počet disků je různá, takže pokud se udělá RAID5/6 (a na něm ext3/4), měl by být konečný takže RAID5 + [RAID5 [+ RAID5]] by mělo být lepší volbou. (Nevím jaké praktické dopady na výkon v zátěži nevhodná hodnota má.)
A k původnímu dotazu, výběr FS bych orientoval spíš podle druhu aplikace/dat, to že je tam RAID5 je nedůležité.

[lertimir]

Myslím, že pokud to není něco speciálního a disky jsou klasické s 512 bytovými sektory a je možnost této široké variability, volil bych RAID 5 na 4+1 discích. stripe-with bych volil na hodnotě 4*512 tedy 2k a LVM taky na stripy v násobku 2K a filesystém bych nastavil tak, aby měl základní blok o velikosti 2k. Tím při jakékoli operaci s polem se bude pěkně paralelně zapisovat nebo číst ze všech 4 disků.(Případně pokud to budou větší soubory mít bloky násobek 2k) Nešťastné je mít větší stripy než zapisované bloky filesystému.

[Šangala]

Přijde na to jaké má RAID „Čunky“, vycházím z (optimálního):
stride = Čunci / bloky
stripe-width = stride * ( (počet disků) - 1 )

Něco jako:
4 disky v RAID5, velikost Čunků=32kB
-b 2048 -E stride=16,stripe-width=48
-b 4096 -E stride=8,stripe-width=24


5 disků v RAID5, velikost Čunků=128kB
-b 2048 -E stride=16,stripe-width=64
-b 4096 -E stride=8,stripe-width=32

[trubicoid2]

posledni mdadm dela cuniky defaultne 512kB, mozna je to az moc velky, treba xfs se to nelibi:

http://blog.windfluechter.net/content/blog/2012/06/26/1475-confusion-about-mkfsxfs-and-log-stripe-size-being-too-big

[Šangala]

No kdybych tam měl roje malých souborů, tak bych možná nadával stejně jako xfs, ale těžko říct…
Ale stejně to co mám na mysli by pak bylo optimálně (ext3/4)
pro 4 disky v RAID5:
-b 8192 -E stride=64,stripe-width=256
a pro 5 disků v RAID5:
-b 8192 -E stride=64,stripe-width=192

[lertimir]

OK, napsal jsem to možná trochu nejasně a blbě. Spíše bych si nechal rád vysvětlit proč nemít při 5 discích stride = 1 ve velké většině případů. Potom čunci budou stejné velci jako bloky. A stripe-with = 4*blok. Což je hezká mocnina 2 a mohu ji předat do filesystému jako základní alokační jednotku - block size. Tím pádem cokoliv se bude z file systému dělat na disku bude se paralelně dělat na všech discích současně. A vyhnu se operacím, které při velkých čuncích jsou při zápisu menších dat, a to nejdříve načíst strip pak zmodifikovat a pak zapsat, což znamená 2x seek a tím pádem velké zpomalení. To jsem tím předchozím myslel.

[Šangala]

No to já nevysvětlím, ale v té tvé definici se ztrácím (,když bude mít RAID čunky 128 jak by to tedy mělo vypadat dál?), nicméně se snažím dodržet „optimální“ rozdělení, a jak jsem napsal, nevím jak velký rozdíl ve výkonu pak bude, pokud to tak nebude.

[trubicoid2]

a nenastavi ty stride/swidth mkfs samo? alespon u mkfs.xfs to uz nejakou dobu nastavuje sunit a swidth samo na spravne hodnoty

[Ivan Vecera]

mke2fs to (stride a stripe-width) nastavi taky samo.

[Šangala]

Nevím u XFS píšou, že se o to snaží a u EXT jsem to nestudoval, nicméně co si budeme povídat u XFS nastavit -d su=32k,sw=4' je jasnější, Čunci=32 „pracovní disk (R0:n,R5:n-1,R6:n-2 )=4“.
Zkoušel jsem to nastavit různě, ale pro RAID jsem použil /dev/ramX - a překvapivě to bylo jedno jak to je, rozdíl byl zanedbatelný, ale měl jsem něco jako „ECC RAM disk“…

[Ivan Vecera]

RAID nad ramdiskama? dobry... to me jeste nenapadlo.

[Šangala]

Nedostatek fantazie

[Šangala]

Jo, jsem si vzpomněl, k původnímu: ale hodnoty nastaví pro daný stav - tedy třeba 5 disků, a přidá-li se další disk, už je to „neoptimálně“.

[j]

Vubec nejde o to co ti umozni radic, (mimochodem md1000 uz snad nedodavaj ne?). Mam presne tuhle polici plnou disku a je nad tim R6, a povazuju to za naprosty max co dat do jednoho raidu. Na provoznim poli mam R5tky staveny jako 4+1 (sou 4 a spojeny do jednoho lunu) + je tam samo hotswap.

Uvedom si, ze 15ti diskova R5(6) se ti bude prepocitavat i nekolik dnu(a ne, HW radic to fakt nevyresi). Idealni je proto poskladat spis nekolik R5 - nebude se to prepocitavat tak neskutecne dlouho => radove nizsi pravdepodobnost ze se to podela.

Mimochodem, kupovat poloprazdnou polici je poradna blbost, ve finale zjistis, ze cena police + disky ted = 1/3 ceny police + disky casem. Pokud si pamatuju, md1k plna disku vysla na +- 100k (30k bylo za prazdnou polici).

[Nuclear]

S tema vice Raid 5 je to celkem dobrej napad.

MD1k uz se neprodava to je fakt ale sehnal jsem si ji z druhe ruky za pakatel :)

A co doporucujete jak FW bude v pohode fungovat ext4 ?

[Jezus]

FS je vetšinou otazkou sympatií každého admina. S ext4 nic nezkazíš, ale projdi si benchmarky a vyber si dle aplikace. Pokud budeš mít file server, kde budou převážně velké soubory, doporučil bych xfs nebo jfs. Pro virtuály si udělej logical volume a ty použij jako blokové zařízení přímo. Je to rychlejší než tahat další vrstvu mezi aplikaci a fyzický disk.

[j]

FS si vyber podle ucelu/preferenci, jak je vejs, ext nic nezkazis, je to IMO dobra volba i z toho duvodu, ze na provozni pole patri spis konzervativni FS (= nebude to mit sice pro danej ucel mozna nejlepsi vykon, ale na druhou stranu je zase dobra sance, ze se nic nepodela, a hromada nastroju na pouziti, pokud nahodou jo).