Dotaz: Softwarový RAID pod Linuxem a RAID všobecně

[happymaster23]

Zdravím,

začal jsem se zabývat RAIDem nasazeným pod linuxem (mělo by to být slackware 11), chci to takto provozovat jako seriózní server s nějakým bezpečným typem RAIDu, tedy 1 nebo 5. Dopátral jsem se k tomuto článku http://www.linux.cz/noviny/2001-08/clanek04.html, ale jelikoš jeho stáří je úctyhodné, tak bych vás chtěl poprosit, jestli byste mě nemohlo odkázat někam na aktuální informace, popř. napsat co se dělá jinak a jak.

Taky se chci zeptat, jestli se dá považovat dejme tomu provozování dvou SATA disků ve softwarovém RAIDu 1 a zároveň bootování a swapování do tohoto pole za seriózní řešení.

Při studiu problematiky kolem RAIDu jsem narazil na takovou zajímavou věc. Implentaci RAIDu je možné dělit na plně HW, plně SW a potom "něco mezi".

Takže jestli to správně chápu, tak se to pokusím popsat vlastními slovy.

Plně HW RAID je velice finančně nákladné řešení, u kterého není potřeba žádný ovladač RAIDu, maximálně ovladač řadiče, ale jinak operační systém o tom že běží na RAIDu neví.

"Něco mezi" RAID funguje tak, že sice přímo v řadiči si můžu nakonfigurovat jaký typ RAIDu chci atd, ale (když to stáhnu na okna :) ) tak je potřeba ovladač takového stylu, že ho okna chcou ještě před započetím instalace (stiskněte klávesu F6, bla bla bla). Promiňte tu laickou definici ;) No a pokud dojde k havárii disku, tak je již zapotřebí onen ovladač a v případě RAIDu 5 se dopočítává pomocí CPU. Řadiče pro tento typ "něco mezi" se prodávají kolem 1000kč, popřípadě se nachází na jižních můstcích desek (např. nový ICH8R).

Plně SW RAID nepotřebuje žádný speciální řadič, dokonce dokáže dát do jednoho pole třeba PATA se SATA diskem. Jeho implentace v Linuxu byla už v roce 2001 (to byl napsanej ten článek) velice dobrá a dá se považovat za mnohem lepší řešení, jako typ "něco mezi" a je to plně profesionální řešeníí pro vytvoření diskového pole (pokud nejsou peníze na velice drahé HW řadiče).

A ještě poslední otázka a to, jestli se dá normálně na SW poli vytvořit více oddílů a nebo co oddíl to zvlášť pole.

To by bylo zatím vše všem moc díky dopředu za reakce

Odpovědi

[Láďa]

Napsal jsem něco pro Gentoo, prozatím se to válí zde: http://wiki.linuch.cz/gentoo:instalace:instalace-sw-raid1. Není to 100% aktuální, ale pořád dostatečně, například už používá mdadm místo raidtools. Další jsou na anglické Gentoo-wiki, neměl by být žádný problém si to přizpůsobit pro Slackware.

SW RAID v Linuxu funguje skvěle a uživatelé se shodují, že funguje mnohem líp než to, čemu říkáš "něco mezi". Hlavním problém levných HW RAIDů je, že všechny výpočty spojené s provozem pole přehazují na procesor. Takže výkon stejný, spolehlivost a flexibilita horší. Zkoušel jsem asi před 2 roky nějaký Kouwell, protože jsem si napoprvé na SW RAID nechtěl troufnout a nějaké "grafické udělátko" mi přišlo lepší. No, ani jsem ho nerozeběhnul a byl jsem moc rád, že jsem ho mohl vrátit. Teď už automaticky volím SW RAID.

A k poslední otázce - pro každý oddíl se vytváří vlastní pole. Opačný postup by asi taky šel (LVM2 nad RAIDem), návod je na http://gentoo-wiki.com/HOWTO_Gentoo_Install_on_Software_RAID_mirror_and_LVM2_on_top_of_RAID ale hned na začátku je velké varování, že to vede k velkému poklesu výkonu.

[Adnusem]

Taky se chci zeptat, jestli se dá považovat dejme tomu provozování dvou SATA disků ve softwarovém RAIDu 1 a zároveň bootování a swapování do tohoto pole za seriózní řešení.

IMO ano, osobně toto řešení provozuji na několika serverech (i multiprocesorových strojích v extrémních zátěžích), se SATA diskama se to dá poladit i "hot-swap", s bootem problém není (osobně jsem ho měl s GRUBem ale LILO to vyřešilo), se swapem je to horší - pokuď swap nezmirroruješ (což osobně vzhledem k poklesu výkonu nedělám - dávám swap 50/50 po obou diskách) nevyhneš se při výpadku jednoho z disků tvrdýmu restartu a možná pár ztracenejm datům (což je logický když kernel příde o kus odložený paměti), ale to už záleží jestli na serveru potřebuješ hrubej výkon nebo stabilitu.

Takže jestli to správně chápu, tak se to pokusím popsat vlastními slovy .....

Až na pár drobností který asi nemá cenu řešit to chápeš správně.

A ještě poslední otázka a to, jestli se dá normálně na SW poli vytvořit více oddílů a nebo co oddíl to zvlášť pole.

V SW RAIDu vytvoříš více oddílů tak, že do hotového pole který je např. udělaný z celých disků (oddílů o velkosti disku) vytvoříš "pododdíl" - nevím jak se to správně nazývá :o) pak je viďíš např. jako /dev/md0p1, /dev/md0p2. Tímhle řešením se u SATA disků dá vyhnout restartu stroje při výpadku jednoho z disků a pomocí skriptu lze pole udělat jak jsem již zmiňoval hot-swap.

[Láďa]

Na téma swap na mirroru nebo ne se toho diskutovalo docela dost Osobně jsem volil stabilitu, ještě z jednoho důvodu - pokud systém začne swapovat, tak jde výkon rapidně dolů tak jako tak. Jestli o "hodně" nebo "ještě o něco víc" už považuju za nepodstatný detail, logický řešení je zkrátka přikoupit víc paměti.

[Sajfi]

Já poprvé zkoušel rozběhat sw raid podle článku v jednom zdejším blogu. Používám to jak doma (2 disky, RAID 1), tak to máme nasazeno v práci (tam tedy máme 4 disky na plném hw RAID 5 pro data a systém na 2 diskách v sw RAID 1) a vše funguje bez nejmenších problémů. Systém je Slackware 10, kernel 2.6 kompilovaný pro náš server.

[Miňo]

Prvním předpokladem pro RAID (jakýkoli) je stabilní, nepadavý dobře chlazený hardware a UPS. I HW řešený RAID má v řadiči CPU a program (firmware), přesunutí jeho funkce na CPU Linuxu nijak nevadí, pokud je zachována stabilita celku. Ten RAID "něco mezi" spadá vždy do kategorie SW, v Linuxu jsem se s ním setkal jen u nějakých HighPoint řadičů a při modernizaci OS bylo stejně doporučeno migrovat vše na standardizovanou podporu SW RAIDu v jádře, realizovanou přes moduly Device-mapper. Zkušenosti mám s tím výborné (pod Gentoo a SUSE), doporučuju kombinovat Device-mapper i s nějakým systémem pro správu svazků, třeba LVM2 nebo lépe EVMS (ten používám já), bát se toho tedy nemusíš.

[happymaster23]

Díky za reakce!

Takže co se týče možnosti více svazků nad jením polem, tak se rozcházíte. Láďa píše, že to možné je ale dochází při použití téhle logical volume k poklesu výkonu, zatímco Mino píše, že se LVM používá. Habr píše, že se vytváří "/dev/md0p1" a celé toto nějak nechápu. Mě osobně by se líbilo řešení asi takové, že bych používal tři oddíly (systém+data+swap) a každý ten oddíl by fungoval jako samostatné RAID pole, nebo je tedy nějaké elegantnější řešení? Habr ale píše, že řešením více oddílů nad jedním RAIDem se dá dosáhnou toho, že PC při výpadku nespadne.

Takže teď fakt nevím co :(

Z těch dvou možností swapu se mi stejně více líbí ta mirrorovaná, jak píše Láďa, pokud systém potřebuje víc paměti, tak by se to tou pamětí mělo řešit...

To mimo: Mám pocit, že pod linuxem je každý hardware stabilní a nepadavý ;) (ale je to můj pocit), co se týče chlazení, tak to třeba "ucpu větráčkama", tohle mě pálit nebude a od doby, co jsem si z mého desktopu udělal topení, mám jednu UPS volnou ;) Jen abych tomu rozuměl, tak ten Device-mapper je ten SW RAID?

Zítra (vlastně dnes), se vrhnu na testování a tak bych se chtěl zeptat jaká podpora RAIDu je obsažena ve Slackware 10.2, budu si chtít zkusit minimálně 0, 1, 5 - na to mi zbyli tři 2GB disky po dědovi :D

Ještě bych měl jednu drobnou otázku, která se týká disků. Už dvakrát mě disk v serveru (zatím testuji) pozlobil tím, že při zapnutí PC se nerozběhl a tak bych se mu rád podíval na S.M.A.R.T., jaký je pro to nástroj (nejlépe něco co obsahuje Slackware 10.2)?

díky

P.S.: Ten hot-swap vypadá zajímavě, k tomu aby to bylo kompletní mi bude chybět ten rámeček :D, šroubování disku ze zapnuté stroje by možná působylo komicky, z toho bych ještě odvodil jednu otázku a to jak je to se spare-diskem, běží pořád nebo si ho jádro povolá do služby až jeden odpadne?

[Láďa]

Jenom co se týče mých odpovědí a ostatního:

1) Pokles výkonu jsem při použití LVM2 netestoval, všimnul jsem si toho jenom v gentoo-wiki.

2) PC při výpadku jednoho disku nespadne ani normálně, potom by RAID neměl smysl. Tohle jsem testoval na IDE discích, prostě jsem za běhu natvrdo odpojil jeden nich a všechno běželo dál, jádro si toho korektně všimnlo a označilo disk jako mrtvý. Potom jenom vypnout, připojit disk zpátky a pole se zrekonstruovalo (šlo o IDE, takže žádný hot-swap). Pokud je to u SATA jinak, tak budu nerad vyveden z omylu

3) Device mapper není SW RAID, je to používáno pro LVM2.

4) Chování hot-spare (a nejenom těch) disku můžeš upravit pomocí hdparm (sdparm). Normálně běží tuším všechny disky pořád.

[Adnusem]

ad 2) Tohle konkrétně není ani tak problém jádra, jde o to že umření disku za chodu nemusí pobrat řadič - starší IDE to nepobírají běžně (celý vytuhnou např. Intel 82801AA) a dokonce i některý nový SATA (např. Promise FastTrak S150 TX4 (v serverech od Fujistu Siemens)) s tím i přes specifikaci SATA rozhraní a pěknej hot-swap backplane má problémy.

2happymaster23:

K těm oddílům ... špatně jsi pochopil nebo jsem to špatně napsal :o) řešení jsou možný všechny a imho všechny i správný, to spadnutí systému při výpadku jsem myslel jen v případě když není zmirrorovanej swap což se dá vyřešit všema oddílama v jenom poli ale samozřejmě i samostanejma polema.

Nástroje na práci se S.M.A.R.T. jsou v balíčku (Gentoo, Debian - nevim jak Slackware) "smartmontools", na vytažení informací je to konkrétně binárka "smartctl".

No a takovej dodatek :o)
Rozhození jednotlivejch logickejch jednotek po samostatnejch polích má velkou výhodu v tom, že v případě potřeby se dá použít kombinace více disků (případ kterej jsem už zažil: jeden velkej disk na kterým je system a home v samostatnejch polích a pak dva menší samostatný disky na který se každý to pole mirroruje zvlášť) ale je to celkem nepraktický když je potřeba disk rychle vyměnit - musíš na každým disku vytvořit oddíly o příslušnej velikosti, přes mdadm je připojit do pole...

[happymaster23]

Díky,

co se týče toho tuhnutí řadičů, může to způsobit nějakou nekonzistenci filesystému a podobně?

Nad tím dodatkem jsem taky uvažoval a musím říct že tohle je perfektní věc. Osobně mám v plánu k 80GB disku koupit buď 160GB a nebo 250GB (mají výborný poměr GB/Kč), s tím že ten zbytek budu používat na nedůležitá data a až zas budou peníze, tak koupím třeba 320GB disk a budu to mirrorovat na oba disky. Tohle je ovšem bomba, čím víc linux poznávám, tím ho mám radši.

[happymaster23]

Omlouvám se za double-post, ale zapomněl jsem se zaptat, jak se díváte na disky WD CaviarRE? Zvýšené MTBF osobně považuju za reklamní trik a ten TLER (time limited error recovery) mi spíš připadá tak, že disk místo toho aby se pokusil chybu opravit, tak odpadne z pole... O dalších výhodách jsem se nedočetl, je tam ještě něco?

[Adnusem]

Vytuhnutí řadiče samozřejmě nekonzistenci filesystému způsobit může, taky většinou způsbí, ale pokud používáš nějakej moderní žurnálovací filesystém v kombinaci s krátkým commit-time tak tohodle konkretně není třeba se obávat (maximálně "nečistě" odpojenýho filesystému což fsck dá hned dokupy :o) ).

No a s těma WD RE SE a jánevimcoE bych to nějak nehrotil, to jsou _IMHO_ většinou technologie který prakticky ani nepocejtíš takže bych to považoval za reklamní žvásty kolem standardního vylepšování technologií.

[Honza]

to "RE" na WD discích bych doporučoval, na disky verze RE je prodloužená 5-letá záruka, takže jim asi trochu víc věří.

[dustin]

Při tom výpadku řadiče může dojít až k vytuhnutí jádra, občas se nám to stává.

Pro kritičtější aplikace bych osobně volil HW Raid, mám výborné zkušenosti s PATA řadiči RAID0/1 od 3ware. Dnes již dělají asi jenom SATA verzi za cca 4k, s tou zkušenosti zatím nemám. Určitě ji tu někdo používá.