Dotaz: Jaký RAID na 6 disků?

[Zdeněk Štěpánek]

Zdravim

Mam v serveru 6x 36.4GB 10krpm U320 disku. Cilem je rychly fileserver pro tluste linuxove klienty. Predpokladam ze pri takovem poctu to asi bude mit nejaky failover disk, ale cilem je predevsim rychlost. Ani velikost neni dulezita. I kdyby to dalo jen 36Gb porad staci.

Napada me samozrejme RAID 5, ale nevim zda nebude mit moc velkou rezii na 6 discich.

Samozrejme to muzu zkouset a testovat, coz nejspis taky vyzkousim, ale stravim s tim pul dne a navic sedet u takovyho kravalu...

Zdenek

Odpovědi

[pht]

klasicke raidy:

R0 -> ~210G, asi nejvetsi rychlost, zadna redundance

R5 -> ~180G, taky slusna rychlost, redundance (musi odejit 2 disky)

R5E -> ~140G, jako R5, + jeden hotspare

R6 -> ...

kombinovane:

R10 -> ~100G, rychlost slusna jen pro cteni, redundance vynikajici

R50 -> ~140G, imho by mohl mit trochu vyssi rychlost i kapacitu, za cenu redundance

R15 -> ~70G, nevim jak s rychlosti, redundance ultra

R11E -> to je ten vas pripad kde mate jen tech 36G, ale muzete v podstate vyhodit tech zbylejch 5 disku a bezi to dal :)

[pht]

PS. pokud vam je mila rychlost, tak si kupte 15K RPM disky.

[Zdeněk Štěpánek]

ten server me stal 2380 penez, kde bych mel vzit penize na disky? Ma to dost ramky, takze pak bych jeste chtel resit nejaklou NFS server cache.

Kazdopadne dik za tipy.

[Michal Kubeček]

RAID6: velikost pole čtyřnásobek velikosti disku, odolnost proti současnému výpadku dvou disků.

[rozzzlobenej]

neprepocital ses trochu? mam 5 disku po 1TB , pole raid6 a kapacita je 3TB.

[Michal Kubeček]

To souhlasí - můj předchozí příspěvek se týkal pole o šesti discích. U RAID6 o n discích je velikost pole rovna (n-2)-násobku velikosti disku (funguje podobně jako RAID5, ale se dvěma různými paritami).

[frr]

To sedí. RAID6 je stripované pole, kde ekvivalent kapacity 2 disků (z libovolného celkového počtu) padne na paritu. Takže 5 - 2 = 3, krát terabajt.

[pht]

Jojo. Ty tři tečky tam byly ve smyslu "viz výše". Jediný rozdíl proti 5E je ten "současný výpadek".

[frr]

Ten server je evidentně "zbylé" staré železo: 36GB 10k disky už se snad neprodávají, U320 samo o sobě už je minulost.

Jaký je v tom RAID řadič? Je v tom už nějaký? Pokud ne, tak jeden z nejrychlejších U320 je Adaptec 2130.

Jakou čekáte velikost transakcí? Pro velké transakce (dlouhé přenosy) nevadí RAID 5 - nějakých 120 MBps na fileserver stačí (úzké hrdlo při zápisu je v XOR akcelerátoru). Pro drobné transakce doporučuji RAID 10 (RAID 5 má u drobných transakcí jedovatost kvůli přednačítání a zápisu celého stripe setu).

[Zdeněk Štěpánek]

To bezpochyby...

Je to dual CPU XEON 3Ghz s 2GB Ramky, IBM X346. U320 je sice mozna minulost, ale nevim co by na tom melo byt az zas tak zastaralyho. IMHO to bude predcit nejaky RAID ze SATA disku, ktery by me stal stejne vic penez. A budu tim nahrazovat raid 0 ze dvou sata disku v celeronu D 330 (2.66Ghz).

RAID radic tam neni. Onboard LSI.

Vyuziti bude predevsim pro cteni malych souboru. Budou z toho startovat linuxove pocitace. Ve spicce treba az 30. Home maj uzivatele na jinem serveru, tady bude pouze system. Takze zapisy budou spise minimalni.

Zdenek

[Zdeněk Štěpánek]

A on je to HW raid, LSI 1030. Ale jeste jsem nevykoumal jak se ovlada... je to nejaky ujety.

[frr]

LSI 1030 neni HW RAID - je to obycejny U320 HBA, zato naprosto bezproblemovy (na rozdil od Adaptecu). Architektura LSI Fusion MPT. Souhlas, pokud je U320 sbernice v poradku, tak na ni neni nic moc spatneho (300 MBps half duplex je fajn) - jenom uz se prestala vyrabet. Nedelejte si iluze, ze by dnesni desktopove SATA disky nakopaly zadek tem starym Cheetahum, nebo co to mate. Cekal bych opak. Moderni SATA disky maji naprosto nahodny seek cca 60-75 Tps, od 10k Cheetahu bych cekal tak 100 Tps, mozna i trochu vic. Nejnovejsi jednoplotnovy Cheetah 15k 73GB (nejmensi dostupny = nejrychlejsi na seeky) ma tak 130-140 Tps, pokud se pamatuju.

Schvalne zkuste hddtest (na sekvencni pruchodnost) a "hddtest -2" (na nahodne seeky podle /dev/urandom).

http://www.fccps.cz/download/adv/frr/hddtest-1.0.tgz

Nastupcem U320 jakozto enterprise disku neni SATA, ale SAS - a pozor na levne barracudy se SAS rozhranim, to podle meho nejsou enterprise disky. Cheetahy U320 je potreba srovnavat s Cheetahama na SASu. Jednotlivy disk (nejnovejsi Cheetah) ma tak do 150 MBps sekvencni prenos, takze jeden cheetah U320 sbernici nezahlti. Pri vetsim poctu disku se projevi vyhody point-to-point SASu. Jinak jsou to co do mechaniky, hustoty zapisu, rychlosti apod. stejne disky, jenom s jinym rozhranim. Nove generace disku maji vyssi hustotu dat na plochu plotny, proto maji vyssi sekvencni pruchodnost - ale seek time prakticky neroste. Na U320 byla vzdycky otrava hlavne s vaklama v kabelazi pri opakovane manipulaci, a s dostupnosti a cenou known-good kabelu, schopnych behat na U320 (a s dostupnosti U320 HBA jako karet do PCI slotu).

BTW, zrovna bootovani disklessu mi neprijde jako nejaka extremni zatez, kvuli ktere bych hrotil storage - tam by mela stacit velka RAMka v serveru 2 GB vubec nezni spatne, a ty Xeony se budou flakat. Tenhle server je staveny na databazi... Nemejte strach, ze by bylo uzke misto jinde nez v tom GbEth portu, co kouka do LANky

[pht]

Pokud bude malo zapisu, bral bych bud raid 0 nebo 10, a to softwarovy. Bude to stat minimum CPU a vykon bude vybornej.

[Zdeněk Štěpánek]

Tak jsem to zapnul a cteni hdparmem z jednotlivych disku se pohabolava mezi 56 az 63M. Disky jsou ruzneho typu. RAID 0 (softwarovy) na vsech discich dal 130M. Dalsi prakticke testy zitra. Rad bych aby to uzivilo gigabit, to by bylo fajn, ale asi to nevyjde

Zdenek

[Zdeněk Štěpánek]

Diky "frrr" za paradni komentar. Zitra dodam typy disku, je to pelmel, ale to jste asi pochopili.

V radici toho biosu bylo videt ze tam byl nejaky RAID nastaveny, hlasil ze mu chybi disky. Byla tam volba manage array a delete array, tak jsem to smazal, ale nikde jsem nenasel volbu pro vytvoreni pole. Jen lze u jednoho z disku zvolit ze je clenem raidu, u ostatnich se pak tato volba znepristupni a je moznost (opet pouze u jednoho) nastavit ze bude spare disk. At nastavim cokoliv, pokus o ulozeni hlasi ze definice raidu neni kompletni.

Jeste mam druhou otazku, jaky filesystem zvolit?

Jak uz bylo zmineno, bude se jednat predevsim o cteni malych souboru. Muj oblibeny je reiserfs, ale vpodstate je mi to jedno. Slisel jsem ze ke XFS je durazne doporucovana UPS. Tady UPS dost mozna nebude. Notabene ani ne 2 nezavisle napajeni, kdyz uz to ma 2 zdroje. Na jinem serveru mam RAID 5 s XFS a parkrat uz slitnul natvrdo a bezproblemu.

Zdenek

[Jarda.Suchy]

Jestli je tam IBM ServeRAID radic - zjisti model a hledej - podle P/N (XXXX-XXX)serveru nebo vlastniho radice http://www-304.ibm.com/systems/support/supportsite.wss/docdisplay?lndocid=MIGR-59936&brandind=5000008

No a pro jednoduchou konfiguraci doporucuju IBM ServeRAID Manager Support CD http://www-304.ibm.com/systems/support/supportsite.wss/docdisplay?brandind=5000008&lndocid=MIGR-60624

[frr]

XFS bych doporučil spíš tak na ukládání videa (velkých souborů) - i když i tady by bezpochyby splnil svůj účel, aplikace není nijak zvlášť náročná. Jinak na drobné soubory se tradičně doporučuje Reiser3 (protože Reiser4 není ve vanilce) - že umí maximálně 16 TB, to Vás trápit nemusí. Ale podle mého stejně dobře by v tomhle případě posloužila EXT3. BTW, ve 2.6.28 zmizel flag "experimental" u EXT4 - ta by měla mít oproti EXT3 některá vylepšení v efektivitě práce s malými soubory.

Že tam nebude UPSka, tím bych se moc netrápil - četnost změn na tom FS bude minimální, při bootování disklessů je filesystém v podstatě pouze čten (pokud tvrdíte, že home adresáře budou jinde). Takže riziko, že by Vám dirty buffery rozbily FS při výpadku proudu, je minimální. Potažmo pokud je v tom serveru HW RAID, tak bych v tomto případě možná neřešil, jestli je zapnutá WB cache - stejně se vlastně neuplatní (počet zápisů na disky bude minimální).

Ohledně IBM ServeRAIDu neporadím - nemám zkušenosti. Jestli je to zásuvná přídavná karta (ZCR), možná by šla vyndat, a zbyl by tam holý LSI 1030. Ale ten ServeRAID by neměl být úplná plácačka, pokusil bych se ho napřed rozhýbat.

Pokud máte disky rozdílných velikostí, tak ať už zvolíte RAID 10 nebo 5 nebo 6, použije se 6x velikost nejmenšího disku v množině. Nevím, jestli v tom ServeRAID BIOSu třeba není nutno začít při výběru disků právě tím nejmenším (nepřijde mi to moc pravděpodobné). Rozdílné značky disků by neměly vadit, jenom pozor, že "stejně velké disky" od různých značek můžou mít o pár sektorů rozdílnou kapacitu - pokud byste potřeboval vědět, který je nejmenší, dá se to dohledat v dokumentaci, nebo tuším i v dmesg. (Taky je na to jedno ioctl() volání, tuším READ_CAPACITY :-)

Jinak jsem už u některých LSI HBA (spíš SAS) pozoroval přibalený SoftRAID v BIOSu (jako adaptečí HostRAID) - u Adaptecu to jde vypnout (zbyde obyčejný HBA BIOS), u LSI se toho u některých modelů dost těžko zbavuje (tváří se, že jsou SoftRAID-only). Možná máte zrovna tenhle problém. V tom případě, možná by se v hlavním BIOS Setupu té IBMky dal zakázat "option ROM scan" pro tohle konkrétní PCI zařízení... ale pak byste musel bootovat z něčeho jiného než ze SCSI disku

[pht]

XFS bych se nebál. Máte k tomu "UPS" nějaký odkaz nebo to je systémem JPP? Zažil jsem několik kernel paniců s XFS (což je horší než nemít UPS) a nic hrůzného se nedělo. Jen jednou byl špatný HW RAID řadič a to pravda s tím systémem lehce zamávalo, ale xfs_repair pak vše obnovil. Podtrženo sečteno, myslím si, že jako jakýkoliv žurnálovací systém, který implementuje bariéry, bude mít s nekonzistencí při výpadku proudu minimální problém.

Pokud chcete mít ultra jistotu, mějte filesystem s daty namountovaný jako read-only a přemountujte na read-write jen pro nezbytně nutnou dobu (říkal jste, že zápisů bude málo). A samozřejmě zálohujte.