Dotaz: CentOS: RAID10 - rozumím tomu dobře ?

[muficek]

Dobrý den,,
rád bych poprosil o vaše rady, rady odborníků, zda-li postupuji správně při vytváření "raidu 0" a poté "raidu 1".

Situace:
1x IDE disk = HDA = pouze systém (jeho záloha je formou "image")

1x SATA disk = SDA = 250 GB
1x SATA disk = SDB = 250 GB
1x SATA disk = SDC = 250 GB
1x SATA disk = SDD = 250 GB

VYTVÁŘENÍ "RAID 0"
Disky SDA a SDB spojím do RAIDU 0, čímž vytvořím zařízení/disk "md1" o velikosti 500GB:

mdadm --create /dev/md1 --level=0 --raid-devices=2 /dev/sda /dev/sdb

Disky SDC a SDD spojím do RAIDU 0, čímž vytvořím zařízení/disk "md2" o velikosti 500GB:

mdadm --create /dev/md2 --level=0 --raid-devices=2 /dev/sdc /dev/sdd

VYTVÁŘENÍ "RAID 1" - zařízení/disk "md0"
Mám tedy vytvořené dvě zařízení/disky "md1" a "md2", kde každý z nich má velikost 500GB. Chci je spojit do RAIDu 1, čímž bych chtěl zaručit to, že v případě, kdy mi lehne "md1" nebo "md2" bude existovat alespoň jedna jeho "důvěryhodná" záloha, ze které bude možné případně obnovit havarovaná data - mirroring.

mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/md1 /dev/md2

V tuto chvíli bych tedy měl mít RAID 0+1, dle zadání. Otázka zní, mám-li to dobře, nebo jestli je ještě potřeba udělat něco jiného. Musím potom pole ještě "nějak" inicializovat ?

Můj

/etc/mdadm.conf
DEVICES  /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/md1 /dev/md2
   ARRAY    /dev/md1 uuid=965f1a15:ae6f4946:1f1e6ffd:32f4b97a
   ARRAY    /dev/md2 uuid=5415c266:4f7b079b:f5151c5c:93ab1f9b
   ARRAY    /dev/md0 uuid=c25d0e8f:210ad27d:f59d369b:28f5e575

...kde UUID jsem si zjistil pomocí:

mdadm --detail --scan

a poté:

mdadm --assemble --scan

Stačí pak udělat...

mkreiserfs /dev/md0
mount -t reiserfs /dev/md0 /home/storage

Co si o tom myslíte ?
Přijde mi to "hodně jednoduchý"
Na "md0" budu denně pracovat s cca 150GB.
Vytvářím to dobře ?
Vytkli by jste mi něco ?
Nerad bych přišel v brzké době o data - HW RAID ještě chvíli mít nebudu

DĚKUJI ZA VAŠE NÁZORY/RADY

Odpovědi

[Adam Pribyl]

Zkuste kouknout na forum fedory, nemam silu to cele rekapitulovat.

[muficek]

Ahoj, díky, ale tam toho taky moc nedávaj

[Michal Kubeček]

Podle mne by to takhle mělo fungovat. Jen by asi bylo jednodušší použít

  mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/sd{a,b,c,d}

(a případně zvážit, zda místo 1+0 nepoužít RAID 5 nebo 6).

[muficek]

Dobrý den Michale,,
děkuji Vám za Váš příspěvěk.

...jestli mohu, rád bych se zeptal na rozdíly mezi RAID 10, RAID 5 a RAID6. Jde mi hlavně o stabilitu a kapacitu.

Co si o tom myslím já:
RAID5 = vyšší stabilita na úkor výkonu pole
RAID6 = ještě vyšší stabilita než RAID5, opět na úkor výkonu pole, parita je ukládána na dvou discích.

Pokud mám 4x disk o velikosti 250GB, jaká by byla výsledná kapacita pole při použití RAIDU5 a RAIDU6 ?

Děkuji za Vaši odpověď.

[Michal Kubeček]

(Píšu to z hlavy, takže možná něco spletu.)

Raid 1+0 bude mít velikost dvojnásobku velikosti disku, odolnost při výpadku určitě jednoho disku (za příznivých okolností i dvou), rychlost čtení (teoreticky) čtyřnásobná, zápisu dvojnásobná.

Raid 5 ze tří disků bude mít dvojnásobnou velikost, odolnost proti výpadku jednoho disku, rychlost čtení trojnásobná, zápisu 1.5-násobná. Výhodou oproti ostatním variantám je, že vám zbyde jeden disk jako spare, takže při výpadku lze okamžitě nahradit mrtvolu a rebuildnout pole a výměnu nechat na později. (viz poznámka 3)

Raid 5 ze čtyř disků bude mít trojnásobnou velikost, odolnost proti výpadku jednoho disku, rychlost čtení čtyřnásobná, rychlost zápisu dvojnásobná.

Raid 6 bude mít dvojnásobnou velikost, odolnost proti výpadku dvou disků (jakýchkoli), rychlost čtení čtyřnásobná, rychlost zápisu 1.33-násobná.

Poznámka 1: hodnoty rychlosti čtení a zápisu jsou teoretické hodnoty při čtení/zápisu dlouhého souvislého bloku za předpokladu, že procesor je dostatečně rychlý, s disky lze komunikovat paralelně a není tam nějaké úzké hrdlo (např. sběrnice).

Poznámka 2: co se týká RAID 5 a RAID 6, jsou náročnější na procesor (RAID 6 víc), ale pokud na systému neběží něco, co by procesor vytěžovalo na doraz, není to tak hrozné. Někdy v roce 1999 jsem dělal SW RAID 5 ze tří disků o rychlosti nějakých 15 MB/s na počítači, o který by se dneska člověk styděl opřít koloběžku, a rychlost čtení byla asi 28 MB/s (a to ještě byla na vině sběrnice a ne procesor).

Poznámka 3: poučky o odolnosti vůči výpadku disku platí jen v případě, že disk odejde civilizovaným způsobem. Podle zákona schválnosti se ale výpadky disků v poli mohou projevovat velmi svérázně: např. nedávno jsem zažil, že disk v mirroru vždy po startu hodinu zcela hladce fungoval a pak způsobil zatuhnutí systému. V takovém případě samozřejmě všechny teoretické poučky přijdou vniveč…

[muficek]

Dobrý večer,,
děkuji za Vaši rychlou odpověď.

Jen se tedy zeptám:
Pokud budu uvažovat o RAIDu 5 a RAIDu 6...

Mám 4x HDD, potom tedy:
RAID5 = 3x 250GB = 750 GB - jeden disk rovná se parita ?
RAID6 = 2x 250GB = 500 GB - dva disky rovnají se parita ?

Chápu to dobře ? Pokud ne, můžete mne prosím opravit ?
Děkuji

[Michal Kubeček]

V podstatě ano, jen ty parity nejsou na vyhrazeném disku (discích), ale jsou rovnoměrně prostřídané mezi jednotlivé disky (to je rozdíl RAID 5 oproti RAID 4). Navíc máte ještě možnost sestavit RAID 5 jen ze tří disků (pak je velikost 500 GB) a čtvrtý použít jako spare. Výhoda takového řešení je v tom, že když vám odejde jeden disk v pátek večer (někdy mám pocit, že všechny počítačové komponenty mají v sobě integrovaný kalendář), můžete ho za běhu systému nahradit spare diskem, pole se za chvíli rebuildne a nebudete muset až do pondělka běžet v degradovaném režimu a doufat, že další disk neodejde. Oproti Raid 6 ale takové řešení nic moc navíc nepřináší, snad jen nižší náročnost na procesor.

[svaca]

Raid calculator

[Dan Ohnesorg]

Na linuxu to s temi rychlostmi neni zas tak ruzove, napr RAID1 udelany ze 4 disku dava tohle:

md1 : active raid1 sde2[0] sdg2[3] sda2[2] sdb2[1] 9767424 blocks [4/4] [UUUU]

/dev/md1: Timing buffered disk reads: 158 MB in 3.02 seconds = 52.31 MB/sec

/dev/sda: Timing buffered disk reads: 184 MB in 3.03 seconds = 60.81 MB/sec

Ac by teoreticky mel cist 4x rychleji.

(Pro zvidave, raid1 se 4disky je to protoze je na nem system a konfigurace pole, cilem je dokazat spustit system a ziskat ssh pristup pri vetsine beznych HW poruch.)

[Michal Kubeček]

Asi by to chtělo zjistit, do jaké míry je to vlastnost Linuxu a do jaké míry použitého hardware (řadič, sběrnice).

[Dan Ohnesorg]

Tak cteni z MD5 na stejnem HW vypada takle:

/dev/md3: Timing buffered disk reads: 470 MB in 3.00 seconds = 156.64 MB/sec

Cili HW propustnost by tam byt mela. Raid0 4x rychlost udela take, jen tomu raid1 se nejak nechce rozkladat zatez mezi vice disku.

iostat na to rika tohle:

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               0,00         0,00         0,00          0          0
sdb             243,56     31427,72         0,00      31742          0
sdc               0,00         0,00         0,00          0          0
sdd               0,00         0,00         0,00          0          0
sde               0,00         0,00         0,00          0          0
sdf               0,00         0,00         0,00          0          0
sdg               0,00         0,00         0,00          0          0
sdh               0,00         0,00         0,00          0          0
md1               0,00         0,00         0,00          0          0
md0           15461,39     30922,77         0,00      31232          0

takze evidentne se rozklad zateze nekona

[Michal Kubeček]

Hm, tak můj mirror v serveru se chová podobně (SuSE 9.3, dva SATA disky, jeden 58 MB/s, druhý 50 MB/s, pole 55 MB/s). Že by chyba v driveru? Zdá se mi neuvěřitelné, že by si toho nikdo nevšiml…

Příští týden mám shodou okolností v plánu provádět upgrade toho stroje, tak při té příležitosti zkusím i nějaké úplně čerstvé jádro.

[merlik]

Co se tyce rychlosti, tak ani HW raid (at uz 1, 5, 10) na malem serveru od IBM neprinesl zvyseni rychlosti cteni/zapisu, spise naopak. Po konzultaci s podporou IBM mi bylo receno, ze je to tak ocekavane.

[svaca]

To je vseobecne znamy fakt, ze rozdil ve vykonu HW a SW reseni je 0. Mozna, ze SW vic zatezuje procesor, ale to je asi jedno pri dnesnim vykonu CPU.

[Michal Kubeček]

Tak jsem se ještě zběžně zkusil podívat do zdrojáků (drivers/md/raid1.c) a zdá se, že na vině je funkce read_balance(), viz komentář:

This routine returns the disk from which the requested read should be done. There is a per-array 'next expected sequential IO' sector number - if this matches on the next IO then we use the last disk. There is also a per-disk 'last know head position' sector that is maintained from IRQ contexts, both the normal and the resync IO completion handlers update this position correctly. If there is no perfect sequential match then we pick the disk whose head is closest.

Jestli jsem tu logiku dobře pochopil, tak by sice měla dávat lepší přístupovou dobu, ale u delšího souvislého bloku nutně povede k tomu, že se celý načte z jednoho disku.

[svaca]

Sorry nerozumim, rychlost RAID1 pres 50MB/s se mi zda zatracene dobre .... Co je tam za radic, ze se Vam to nelibi ?

[Michal Kubeček]

Podstatné je, že je ta rychlost přibližně stejná jako při čtení z jednoho disku, zatímco při chytré strategii by v tomto případě (mirror ze čtyř disků) mohla být rychlost čtení dlouhého souvislého bloku až čtyřnásobná.

[merlik]

Ahoj, jen jako dalsi mozne reseni se nabizi co jsem nedavno pouzil ve FC6. Za pomoci mdadm (ktery afaik umi jen raid 0,1,4,5,6) jsem vytvoril 2x RAID1 (vzdy ze dvou disku) a nasledne tyto tva mirrory spojil za pomoci LVM. Takze neco jako RAID0 pres dva RAID1.

[merlik]

A kdyz se tu jeste resil vykon, tak u tohoto reseni jsem "nameril" hdparmem pokles rychlosti cteni o cca 5% vuci samotnemu disku.

[muficek]

Ahoj všem,,
za tu kalkulačku děkuji !!! Dlouho jsem něco podobného hledal !!!

Takže, když tak na to koukám, je asi lepší jít do RAIDu 6 než do RAIDu 10.

Co vy na to ?

[svaca]

jestli ti jde o bezpecnost dat tak urcite ...

[muficek]

Takže moje poslední rekapitulace:

Místo RAIDU 10, který se v mém případě skládá z 2x RAIDu0 a poté je z toho uděláno RAID 1 není vhodné. Lepší je tedy použít RAID 6, kde je podstatně lépe zaručena stabilita pole a kde při použití 4x SATA disk o velikosti 250GB je výsledná kapacita pole RAID6 rovna 500GB.

Je to tak ? Rozumím tomu dobře ?