Dotaz: hw raid vs sw raid

[magnum]

helo

upgradujem file"server" na ktorom su dost dolezite udaje a chcem sa opytat na vas nazor ako je to so spolahlivostou sata radicov integrovanych na zakladnych doskach. viem ze na zaciatku s tym boli nejake problemy. je to tak spolahlive ako volakedy boli scsi raid radice? z sefa samozrejme peniaze nedostanem na serverovsku dosku takze to bude niektora z lacnejsich zakladnych dosiek (he tak do cca 2tis...) (v podstate chapem ze tieto dosky maju ten raid akoze a len kym sa procesor neprepne do chraneneho modu ale aj tak nevime - mozno ze existuje lacna doska s hw raid-om alebo spolahlivym ovladacom... - dakujem za kazdy napad)

aktualne mi bezi software raid s raiserfs na veeelmi nespolahlivej masine a ma za sebou niekolko vypadkov elektriky a zatial sa to bez hociakych problemov recoverovalo samo, bez jedineho zasahu po starte. vdaka

btw samozrejme sa mi jedna o mirrorovanie diskov.

Odpovědi

[Petr Šobáň]

Žádné levné desky nemají RAID, pouze aby to prodaly tak to píší a pro windows dodají ovladače co dělají SW RAID, (samozřejmě že v biosu jde jakoby raid povolit atd.....)

Takže pokud kupujete levnou desku tak potom Linux a SW RAID a nebo si budete muset koupit nějaký externí řadič který má HW RAID, ale většina těch levných jsou taky vlastně SW raidy.

[the.max]

mno man tu bezi na dvou pocitacich sw raid na nvidia cipsetech. Je pravda, ze je to "lepsi" deska, konkretne Tyan Tomcat K8E ale za 2 roky nebyl zadny problem, ani na zacatku, kdy se vsude jen nadavalo na nvidia cipsety. na jednom mam raid0 na dvou discich, na dlasich dvou raid1 a ve druhem je raid5 se ctyrmi disky.raid0 je 2x seagate 80gb, raid1 je 2x Western Digital 120gb a raid5 je 4x western digital 320gb (driv byly seagate 250,a le postupne odesli 2, tak jsem pro jistotu vymenil i ty dalsi). Jako filesystemy tam mam jfs, xfs a reiser. Nedavno jsem delal "fileserver" do firm zabyvajici se ucetnictvim, je tam obycejna levna mATX deska MSI a 2x250gb Western digital (kupovany cca 3 mesice po sobe), nejdulezitejsi data se denne zalohuji na DVD, ale take zadny problem neni.

[hates]

osobne bych tomu raidu na desce moc neveril. Osobne mam serverovou desku Sapello od Intelu (cena cca 8000), ktera by jej taky mela mit, ale ani tak jsem se na to nespolehal. radeji jsem udelal raid softwarovy a mam zaruku kdyz se neco pos... tak v tom budu mit aspon nejakou podilovou vinu v nastaveni. kdyz jsem stavel pole tak na disky byl samostatny radic od Intelu na ktery bylo poveseno 8 disku a raid 5. a cele se to ovladalo z biosu toho radice.

[koulinek]

A jaka je cena tech dat ze nestoji zato poridit slusny hardware? Hardware RAID SATA radic se da pro RAID1 dvou disku sehnat uz kolem 4,5k.

[AraxoN]

Nevidím absolútne žiadnu vlastnosť, v ktorej by takzvaný "hw RAID", ktorý je za 2k aj so základnou doskou predčil sw RAID, ktorý je v linuxovom jadre. Tento "hw RAID" je dobrý len na to, aby človek zabil 2 dni márnymi pokusmi o jeho inštaláciu a potom zažíval infarktové stavy pri každom pokuse o upgrade jadra.

[dustin]

Možná je to úplně mimo mísu, ale pokud se vyžaduje dlouhodová spolehlivost při větším zatížení, po zkušenostech bych již asi nešel do serveru poskládaného z normálních komponent. Neberte to jako reklamu, ale např. HP ML110 G5 stojí cca 14k, má dual core, ECC paměti (pravda má v základu pouze 512MB, ale na fileserver to stačí), spolehlivý řadič, obvykle výbornou podporu v jádře a z mé zkušenosti serverové železo drží nesrovnatelně déle než PC. Rozchodit novou desktopovou desku s rychlými pamětmi tak, aby běžela dlouhodobě stabilně při zatížení se všemi kartami, byl často nadlidský úkol.

Naposled jsme šli do stavěného serveru s desktopovou deskou (Asus P5KC), protože jsme potřebovali vysoký výkon a hlavně více paměti (min. 4GB) pro několik vývojářů najednou (větší paměť bývá u orig. serverů velice drahá) a byl to těžký porod.

[jirka]

podepisuju, jeste kdyz jsme se zivili dodavanim hw tak i pro firmicku s peti klienty jsme davali serverove zelezo, tenkrat to byly Intel desky vcetne case se zdrojem. Usetrilo nam to spoustu starosti. Jirka

[Ctirad Feřtr]

Mohl bys nstnínit v čem spočívaly ty problémy? Chystáme se tu teď na obdobné desce dělat stroj pro asterisk a CRM.

[dustin]

Protože na tom poběží několik instancí hladových javovských aplikačních serverů, chtěli jsme co nejrychlejší paměti. Zvolili jsme tudíž poměrně drahé Kingston 2x2048MB HyperX 800MHz DDR2 Non-ECC CL4 (4-4-4-12) DIMM Dual Channel v bláhové doměnce, že využijeme alespoň rychlé časování a 800MHz (deska sama umí více i pro DDR2, ale tak velké paměti myslím na té rychlosti ani nebyly). Po několika dnech testování a náhodných pádů jsme byli rádi, že jsme skončili na 667 MHz a standardním časování. Dokumentace k desce takové věci vůbec neřeší.

Nyní to již běží OK, uvidíme, jak dlouho.

[Ctirad Feřtr]

Takže ty problémy spočívaly v tom, že to nešlo přetaktovat tak vysoko, jak jste si původně mysleli? Nebo mi něco uniklo?

[dustin]

BIOS nenadetekoval správně parametry zakoupených pamětí, ač by je deska měla podporovat. Po jejich ručním nastavení to vůbec nenaběhlo. Po ručním snížení frekvence pamětí to naběhlo, ale po několika hodinách se deska restartovala nebo zasekla. Stabilně běží jen varianta, kterou si deska sama nadetekuje, což zdaleka neodpovídá parametrům (a ceně) pamětí (alespoň dle jejich specifikací). S běžnými pamětmi by to asi bylo rovnou OK, tam bych se asi nebál.

[Ctirad Feřtr]

A jseš si jistý, že za to může deska? Pokud mě paměť neklame, tak nejvyšší FSB u současných procesorů pro 755 je 1333 "Mhz", což odpovídá dvěma 667 DDR2 modulům. Což je, jak jsi psal výše, přesně hodnota, kterou si deska (zcela korektně) nastaví automaticky a běží korektně. Cokoliv navíc je už overclocking, kde se padání nebo dokonce nenajetí dá předpokládat.

[dustin]

Přiznám se, že v tomto poměrně plavu. Pokud se "frekvence" takto sčítají, pak je to zřejmě správně a deska je OK. Overclocking jsme samozřejmě neměli v záměru.

[Ctirad Feřtr]

To je holt marketingština. Intelácké CPU od P4 nahoru mají QDR FSB, takže lidi od marketingu si hned ponásobili skutečnou pracovní frekvenci čtyřma, protože to v prospektech hezky vypadalo (ve skutečnosti ale tyhle režimy odpovídají spíš zvýšení počtu drátů datové sběrnice, než zvýšení frekvence). Totéž u DDR, kde se to násobí 2x. Co se týče "sčítání" tak čipset kde dvěma DDR(2) modulům přistupuje jakoby k jednomu 2x tak širokému QDR modulu.

[dustin]

Díky moc za objasnění.

[Hobit]

dve pripominky:

1. ty pameti mozna maji mit krapet vyssi napeti. nastavi ho deska spravne?

2. v eeprom tech pameti je urcite nastaveno "standartni casovani", ktere je horsi nez 4-4-4-12. ty pameti ale tech 4-4-4-12 po rucnim nastaveni daji. otazkou je, jestli kvuli stabilite serveru balancovat na hrane. na hernim desktopu bez debat ano.

[dustin]

Od pátku se ten "server" sám rebootoval, až v sobotu umřel úplně (nenaběhne ani grafika). I kdybychom přišli na příčinu, jako server u nás končí, hned v pondělí objednávám HP ML110 nebo ML115. Znám lepší činnosti než v sobotu večer tvrdnout ve firmě :)

[rudiik]

Rozhodne vsemi deseti doporucuju jit do znackoveho serveroveho zeleza. Hlavni vyhodou je, ze mate care pack a kdyz uz se neco pos* tak to mate zpravidla druhy den zase na nohou. Delame jako firma Linuxove a Win servery. Na ty Windowsove se temer vzdy pouziva znackove serverove zelezo. Na tech Linuxovych si nekdy setri a pouzivaji se ruzne bastlene homemade "servery". Hadejte, ktere servery maji castejsi problemy zpusobene HW? Ano spravne, jsou to ony neznackove radoby servery i kdyz se treba pouzije nejaka ASUS server deska - i ta uz nam minimalne 1 odesla do vecnych lovist... Takze pokud to jen trochu jde, rozhodne doporucuju znackovy server!

[Michal Kubeček]

No, zní to sice logicky a u speciálních serverových sestav to asi i platí… Ale takové problémy, jaké zažívám se Sun pracovními stanicemi, jsem se svými vlastnoručními skládačkami nikdy neměl.

[R]

Falosny RAID, ktory sa vyskytuje na mnohych doskach, nepouzivat! Nastavit ako normalne disky a RAID urobit v Linuxe softwarovy.

Tiez mam zle skusenosti s HW RAIDom - konkretne Adaptec 2120S. Bol na tom RAID1 z dvoch diskov. Na jednom sa zacali robit zle sektory. Doslo k poskodeniu filesystemu napriek tomu, ze druhy disk bol 100% dobry! Nedalo sa dostat k SMARTu tych diskov. Po upgrade firmwaru sa vykon (prenosova rychlost) znizila tak na 1/3. Tak radic musel ist prec a bol nahradeny obycajnym SCSI radicom a Linuxovym SW RAIDom.

[dustin]

Souhlas. Dokonce i takový cenově rozumný držák, jako je 3ware HW Raid, je v některých případech nevýhodný. Např. jsem nepřišel na to, jak u základní verze (2 disky, RAID0/1) po postupném nahrazení disků v mirroru za větší zvětšit mirrorovaný prostor. Musel jsem pole vytvořit znovu, což je velice nepříjemné. U linuxového raidu s tím není žádný problém.

[Ctirad Feřtr]

Když už se tu rozejela takováto debata, zajímalo by mě, jak na SW raidech řešíte bootovací partition a vůbec rozdělení na oddíly. Hodlám dělat linuxový SW raid přes 4 disky (pravděpodobně to bude raid 5) a ten zaváděcí oddíl mi není úplně jasný vzhledem k tomu, že by asi měl být taky redundantní.

[dustin]

Velice hezký článek vyšel zde

http://www.howtoforge.com/software-raid1-grub-boot-debian-etch

Je to sice pro mirror, ale věci kolem grubu by šlo použít.

[AraxoN]

Sedliackym rozumom by som povedal, že RAID5 na boot oddiel neprichádza do úvahy, keďže sw RAID nad tými oddielmi sa vytvorí až neskôr keď už je kernel v pamäti. Takže na boot oddiel jedine RAID1, MBR potom treba nahodiť na každý z týchto mirrorovaných oddielov zvlášť. Ten boot môže mať aj viac diskov než 2, aj keď to je vlastne zbytočné, lebo keď odídu 2 disky naraz, tak RAID5 končí a to, že mašinka bude vedieť nahrať kernel je aj tak useless keď nemá ďalšie potrebné oddiely.

[Michal Kubeček]

Sedliackym rozumom by som povedal, že RAID5 na boot oddiel neprichádza do úvahy, keďže sw RAID nad tými oddielmi sa vytvorí až neskôr keď už je kernel v pamäti.

Pro LILO by to v principu fungovat mohlo - mapový soubor se bude vytvářet z běžícího systému. Vlastně i pro GRUB, pokud by někdo napsal příslušný stage 1.5 driver. Ale v praxi jsem to nezkoušel.

[Ctirad Feřtr]

RAID5 samozřejmě nechci dělat na tom boot oddílu. Jde mi o to, že jádro a initrd/initramfs musím odněkud bootnout a to něco nemůže být raid, protože ten v tu chvíli ještě neexistuje. Nicméně nějaký mechanismus musí udržovat redundantní i tu boot partition. A hádám, že ručně se to asi nedělá.

[AraxoN]

Robí sa to cez mirroring - rovnaký boot oddiel je na viacerých diskoch, akurát MBR je nutné zaviesť na každý disk zvlášť, keďže sw RAID pracuje s oddielmi a MBR leží mimo oddielu. V grube sa to robí takto (odskúšané, úspešne nasadené na niekoľko servrov):

grub> device (hd0) /dev/sda1
grub> root (hd0,0)
grub> setup (hd0)

grub> device (hd0) /dev/sdb1
grub> root (hd0,0)
grub> setup (hd0)

grub> quit

Funguje to tak, že za normálnych okolností sa bootuje z prvého disku (tu ako /dev/sda), ak by ten vypadol, tak prvým diskom pre grub sa stáva ďalší v poradí (tu ako /dev/sdb), atď (pre viac diskov analogicky), takže pre grub je každý z nich (hd0).

[AraxoN]

oops, zle... nejak mi to po polnoci už nemyslelo - takto to má byť:

grub> device (hd0) /dev/sda
grub> root (hd0,0)
grub> setup (hd0)

grub> device (hd0) /dev/sdb
grub> root (hd0,0)
grub> setup (hd0)

grub> quit

[Ctirad Feřtr]

Jasně. Mě stačilo jenom naznačit, že se to dělá poloručně ;) Díky.