Software-RAID 0,1,5,6,10 - srovnání rychlostí (diskuse)

[Michal Fecko]

RAID5 (4d) rocks . ja som presiel na raid1 pri 2x160G SATA a subjektivne citim zrychlenie pri citani aj zapise.

[Michal Kubeček]

RAID1 je při čtení mírně pomalejší než přímý přístup na disk (režije RAID) ale urychluje zápis cca 1,5x

Napadá někoho, čím by mohl být tern rychlejší zápis? Vždyť se stejně musejí zapsat všechna data na každý z disků… Co se čtení týká, problémem je tu algoritmus volby disku v linuxové implementaci: volí disk podle toho, ze kterého se naposledy četlo nejblíže místu, ze kterého se má číst teď. To je sice výhodné pro přístupovou dobu u náhodného čtení krátkých bloků, ale nevhodné pro dlouhý souvislý blok.

[xvasek]

Moc pěkné. Ještě by mě zajímalo, jak je to s rychlostí v degradovaném režimu. Yenya kdysi psal, že degradovaný RAID5 je tragicky pomalý, tak z toho mám od té doby strach.

[Dan Ohnesorg]

Tragicky pomale je to pokud bezi obnova pole. Dokud je to jen degradovane, tak je to jeste v pohode.

Opet se potvrzuji vysledky RAID1, cteni je stejne rychle jako pri cteni z jednoho disku. Podle me je to ale spatne, prece muzu cist ze dvou disku, tak musi byt rychlost cteni srovnatelna s RAID0. Vi nekdo proc to je? Proste budu cist z disku A blok N z disku B blok N+1. Stejne jako to dela RAID0.

[Ritchie]

Takhle to fungovat nemůže. Ve většině případů byste nezískal nic, neboť po přečtení N-tého bloku na první disku byste čekal, až se N+2 blok dostane pod hlavičku prvního disku. Během neužitečného otáčení plotny by se mohl číst N+1 blok opět z prvního disku, takže číst N+1 blok z druhého disku je zbytečné plýtvání zdroji. Mnohem lepší mně přijde, že pokud k poli přistupují dva konkurenční procesy, tak každý si čte ze „svého“ disku. Ušetří se tím spoustu času, kdy by se musely hlavičky přemisťovat tam a zpět a čekalo by se na správné otočení plotny.

[Michal Kubeček]

Vím. Už jsem to tu psal dvakrát, z toho jednou přímo v této diskusi.

[trekker.dk]

Tragicky pomale je to pokud bezi obnova pole. Dokud je to jen degradovane, tak je to jeste v pohode.

Pochopitelně... Když je to jen degradované, tak se ty xory počítají jenom při čtení/zápisu. Když běží obnova pole, tak se počítají pořád, dokud se obnova nedokončí ... tedy nepřetržitě se vytěžuje procesor i všechny disky v tom poli - to se projevit musí.

[Ritchie]

Není mně příliš jasné, jak může být RAID 5 / tři disky rychlejší při čtení než RAID 0 / dva disky. Dokáže to někdo vysvětlit? Předpokládám totiž, že u každého disku fyzicky proteče pod hlavičkami disků o třetinu více dat, takže ve výsledku by měla být rychlost stejná.

Zápisy na disky mně přijdou docela pomalé. Čím to? Na RAID 5/LVM/XFS přes tři 250 GB SATA disky se dostanu při zápisu 1 GB na rychlost 85 MB/s.

[Marián André]

Zápisy na disky mně přijdou docela pomalé. Čím to? Na RAID 5/LVM/XFS přes tři 250 GB SATA disky se dostanu při zápisu 1 GB na rychlost 85 MB/s.

Povedal by som, že je to hlavne réžiou RAID5+LVM. Skutočne je prekvapivý výkon RAID5 nad 4 diskami - v praxi pozorujem pri RAID5 nad troma diskami skôr opak - citeľné spomalenie oproti RAID1.

[Ritchie]

Nemyslel jsem rychlost svého pole, ta je podle mého názoru zcela odpovídající, ale rychlost pole uváděnou v zápisku, která je podezřele nízká. Omlouvám se, že jsem se nepřesně vyjádřil.

[MartinT]

Zápisek jsem psal až z poznámek, samotný test byl dělán dříve, takže nemohu ty čísla ověřit (server už je nasazen). Výsledky jsem ukládal přímo z CLI přesměrováním výstupu druhé dvojice dd příkazů (via tee). A co si tak pamatuji, nikde nebyly hodnoty první dvojice dd "výrazně" odlišné od jejich druhého spuštění.

Vlivy paralelním zatížením systému něčím jiným lze IMHO taky vyloučit. Jediný daemon co tam běžel bylo pouze ssh a pump. Ta distribuce R.I.P. je záchranná a sama o sobě nic nespouští, nemountuje disky a byla nebyla použita verze s GUI.

Pokud je chyba, tak v následném zpracování dat. Mohl jsem špatně přepsat hodnoty z logu do tabulky a mohl jsem se dopustit chyby při seskupování údajů pro graf. Ale to by se asi poznalo konkrétně už z těch čísel.

A pokud jde o absolutní hodnoty rychlostí, může to být IMHO více věcmi. Můžete mít rychlejší disky, jinou cache, propustnější sběrnici, lepší SATA řadič .. .. . Prostě jiné železo. Právě proto vypisuji i údaje o PC na kterém jsem to testoval. Mne kupříkladu udivilo, že ten 160GB disk je "rychlejší" než ty 250GB (cca o 15%). A to má podle hdparm poloviční cache.

[alkoholik]

Uz to tu bylo milionkrat. Nepouzivejte XFS nad sw RAID5!

[Ritchie]

Děkuji za vaši reakci, ale já s výkonem XFS nad RAID 5 nemám sebemenší problém! Máte snad informace, že problémy s cache buffer size se týkají i aktuálních jader? Já jsem takové nenašel.

[Zdeněk Štěpánek]

Skvele srovnani, bohuzel jsem se nikdy nedostal ke stroji kde bych mel 4 stejne disky na hrani. Nejlepsi co mam k dispozici je 3x 15kot/s U160 a 3x 10kot/s U320. Ackoliv je radic U160 (vse na jednom kanalu), tak ty 10kot/s disky jsou citelne rychlejsi (hdparm to tvrdi...), netusim proc, jsou vicemene stejne stare.

Zdenek

[Jiri Bajer]

A jakou maji ty disky kapacitu/geometrii? Pocet ploten hraje vetsi roli, nez on-disk cache nebo max. rychlost radice. Pokud si dobre vzpominam, tak v polich od Hitachi byly doporucovany 36GB/15k disky oproti 72GB/10k prave kvuli rychlosti, 143GB/10k na tom byly jeste hur. Zkusil bych se podivat do specifikaci od vyrobce na fyzickej pocet ploten (logicky CHS si firmware vymejsli, takze nema zadnou vypovidaci hodnotu). Schvalne, zkus sem postnout vysledky...

[diverman]

Jeste k tomu dd. Nema smysl zapisovat 4MB nebo 1GB fajly. Ty se vlezou cele do RAM. Zapisuj treba 50GB soubor, at eliminujes vlivy RAM.

[MartinT]

Nemůžu souhlasit. Při dd přímo na diskovou oblast se IMHO vynechává jakákoli cache v RAM. Potvrdil mi to i výstup příkazu free občas spuštěného mezi jednotlivými testy (když jsem čekal na synchronizaci nově vytvořeného pole). Trvale ukazoval obsazeno okolo 80MB (a to i při testech 1GB)

Jediná cache která IMHO měla vliv na test byly cache v HDD (16MB u 250GB disků, 8MB u 160GB disku). A i to byl jeden z důvodů pro druhé kolo testů (s 1GB).

U druhého kola jsem zvažoval jak velká data zapisovat. Napoprvé jsem zkusil 40GB, ale vzhledem k tomu, že to trvalo poměrně dlouho a testů bylo taky dost, rozhodl jsem se pro 1GB.

[Karel]

No, s tou cache bych se hádal ;)
Dva po sobě puštěné testy:
[root@neuberk dev]# dd if=/dev/md3 of=/dev/null bs=16k count=40000 skip=10000
40000+0 records in
40000+0 records out
655360000 bytes (655 MB) copied, 6.9944 s, 93.7 MB/s
[root@neuberk dev]# dd if=/dev/md3 of=/dev/null bs=16k count=40000 skip=10000
40000+0 records in
40000+0 records out
655360000 bytes (655 MB) copied, 0.226366 s, 2.9 GB/s

[Michal]

Kdepak jsou vysledky RAID0 slozeneho ze 3 resp. 4 disku? :)

[MartinT]

Nejsou. Nepoužívám, tak mne to ani nezajímalo (a nezajímá).

[Zdeněk Štěpánek]

Me prekvapuje tech 30Gb u RAID5 (4d). U bezneho reseni s tremi disky ziskam 2/3 celkove kapacity, tak jak u 4 disku ziskam 3/4?

Zdenek

[Michal Kubeček]

Úplně stejně. U RAID 4 byste měl tři datové disky a jeden paritní, RAID 5 se liší jen tím, že parity nejsou všechny na jednom disku, ale jsou mezi ně rozložené. Obecně u RAID 5 dostanete velikost (n-1)s, kde n je počet (non-spare) disků a s velikost jednoho.

P.S.: je to 30 GB, ne 30 Gb, to je dost podstatný rozdíl.

[Mortal]

Oproti RAID10 však nabízí odolnost proti poruše dvou disků.

raid10 je take odolny proti poruse dvou disku (pokud se porouchaji ty spravne)
tak na 50% je odolny na 50% neni :)

[MartinT]

Asi jsem měl napsat: "Oproti RAID10 však nabízí 100% odolnost proti poruše dvou disků." .

Raid10 je taky "částečně" odolný na výpadek druhého disku, ale nesmí se porouchat jeden konrétní z těch tří zbylých, takže 66% ?.

[peto]

No a teraz by si mal urobit presne tie iste testy s poriadnym HW radicom, nech to mame s cim porovnat .

[MartinT]

Tam kde je HW RAID už nedělám SW RAID, takže nejsou data. Ale vyhrabal jsem něco z poznámek: server HP Proliant ML350 G5 s 4x160 SATA HDD 7.2k, řadič je "RAID bus controller: Hewlett-Packard Company Smart Array E200i (SAS Controller)" - v linuxu /dev/cciss/c?d?p? (IMHO to není "pořádný HW raid" jak píšete vy). Nejdříve na něm byl (nějakým omylem) udělán sw raid10 a nějakou dobu tak i jel. Když jsem jej pak předělával na hw RAID1+0 udělal jsem si test zápisu pomocí dd podobně jako tady v tom zápisku, ale jen s 40MB. Zápis/čtení na sw RAID10 bylo 22,5/127 MB/s, na hw RAID1+0 to bylo 13,3/139 MB/s. Zápisy na samostatné disky byly cca 11,7MB/s a čtení ze samostatných disků cca 55MB/s.