HW versus SW RAID (diskuse)

[Bilbo]

No nevim, "benchmark" kde se jen jednou zkusí vytvoření filesystému a vytvoření jednoho velkého souboru moc velkou vypovídací hodnotu nemá ...

Co takhle opakování měření, měření i v jiných případech (malé soubory? mix? čtení souborů?), na jiných FS (aspoň že u tohohle píše že to provede v budoucnu ...)? Zatím je to jen takový výkřik do tmy ....

[VSi]

Vidím to spíš jako námět k diskusi. Testy v odkazovaném článku skutečně nejsou moc vypovídající, testují jen výkon sekvenčního zápisu, resp. rychlost vytvoření fs. V reálném nasazení to je často druh zátěže, u kterého je výkon nejméně zajímavý. Vliv optimalizací, cache, readahead algoritmů apod. se projeví hlavně u náhodného čtení/zápisu.

Přesto k číslům z článku - zejména mi přijde zvláštní hodnota u zápisu (dd) na HW RAID, kde mi rychlost vychází jen cca 120 MB/s, to je na:

several 2TB WDC RE-4 black drives ... HW RAID-10 volume using 10 disks

podivně málo. Pro zajímavost jsem teď otestoval:

  HW RAID10, 4 × 500 GB SATA -- CentOS 5.5 / Xen Dom0 -- LVM -- DRBD -- Xen guest -- LVM -- ext3

a zápis 10 GB přes dd + sync trval 1m25s, tedy skoro stejně jako v testu v článku. Tady šlo o 2 stroje se SmartArray 212 + DRBD replikace přes GbE, což je úzké místo. Přímo na Dom0 to šlo cca dvakrát rychleji.

Obecně u většího množství disků může u sekvenční zátěže být HW RAID slabé místo a linuxový swraid ho překoná. Když ale přijde na náhodný zápis, kdy lze těžit z baterií zalohované write cache, chtěl bych vidět test, kde bude swraid lepší.

Jinak mám teď k dispozici stroj s HW RAIDem (HP SmartArray P410, 512 MB cache) a 8 kusů 146GB 10krpm SAS disků, a chystám testy srovnávající ext3/ext4/xfs a hwraid 5 / hwraid 10 / mdraid, a to hlavně při masivním náhodném čtení i zápisu souborů o velikostech v kB až jednotkách MB. Existuje na to nějaký vhodný nástroj nebo nějaké standardně používané testy?

[Miroslav Suchy]

Existuje na to nějaký vhodný nástroj nebo nějaké standardně používané testy?

http://phoronix-test-suite.com/

[hmm]

nehlede na to, ze o vykonu toho "uber" hw radice od LSI lze vice nez pochybovat... natoz o jeho true hw raid funkcich zas nekdo bohuzel objevuje ameriku s tim, ze nejaky radoby hw raid je pomalejsi, sam radeji dam sw raid, kdyz nemam jistotu o kvalite daneho "hw" raidu, o kvalite toolu na jeho pripadnou opravu nehlede o dostupnosti druheho hw radice v pripade havarie, naposled jsem to udelal treba u ***** smartarray E200 a rekl bych ze je to mozna i mensi ***** nez ten od LSI...

[Mti.]

Neryjte do neho, na konci pise, ze casem doda dalsi testy. ( a taky hned na zacatku priznava, ze je vyci HW raidum zaujaty :-P )

Ocekavam, ze sw raid se zacne trosku zadychavat, pokud bude masina pod velkou zatezi (ram/cpu). HW raid je v tomto pripade procesor navic. (ale jen teoreticky, protoze v takovem pripade ten system bude mit jine starosti i tak)

Vidina toho, ze mi odejde deska/radic a ja jen chytnu zbyle disky a rozjedu to na pockani temer v jakekoliv masine je proste silnejsi nez ja

HW raidu sem videl jen par (mylexy/adaptecy), levne nebyly a prijemna prace s nimi taky ne. Nastesti uz sem dlouho skutecny (novy) hw raid nevidel, mylexy byly vyrazeny vsechny (cast utopena) a adaptecy bezi posledni 2...

... jak to tak ctu... taky bych nedokazal vyplodit nezaujaty zapis v blogu

[alieno]

LSI hw-raid karty jsou skutecne jen pseudo-hw-raidy.. S poradnym kontrolerem nesrovnatelne. Z vlastni zkusenosti - debilni mgment, monitoring v linuchu nic moc (ale da se.. mtp-status, mozna i megacli, uz si nepamatuji jestli/jak to jde s tim). Kdyz dojde rebuild, tak vyuzije zdroje hostitele, proste super skoro-hw-karta... KDyz instaluji server s timto zmetkem, tak je SW raid jasna volba... snazsi mgment, a min (omlouvam se za tento projev) "pojebu". Alternativa, s kterou mam zkusenosti, jsou poradne hw raidy ala perc5i/6i, a pak novejsi H-ckova rada. A to je vazne rozdil jak... tam je ten resync hned o necem jinem. Mgment taky (megacli se mi zda byt jedine pouzitelne, od tusim ?4.2 verze?, kdo si to ma pamatovat ), a hlavne pri syncu netrpi system tak moc. Kdyz mate zelezo kde honite iopsy jak divy, pak vam odejde jeden sas disk, a nedejboze LSI radic + jeho hw raid, tak jde zelezo do kytek.. a co s tim udelate? U sw raidu alespon upravim rychlost resyncu, u poradneho hw raidu neresim, tam se s tim popere karta..

Omlouvam se za gramatiku... malo casu

[Blabla]

Cela tato vec vznikla na fore fi.muni, kde bolo studentom umoznene testovat sw/hw raid na vyclenenom stroji. Niekolko merani uz je vo fore vlozenych, tak predpokladam, ze casom pride aj nejake to zhrnutie.

[Pavel Čejka]

Víc než v rychlosti bych viděl výhodu SW RAIDu v tom, že v domácích podmínkách, nebo podmínkách malé firmy (řádově 10 - 30 lidí ) obvykle nemám rezervní řadič. A pokud se drahý a specielní řadič pokazí, tak jsem v hajzlu. SW RAID mám šanci sestavit v jiném linuxovém stroji (i když to má taky svoje úskalí, zvlášť zvolím příliš nové jádro - nedávno jsem jeden takový průšvih řešil).

[Kvakor]

Přesně tak, zatímco u linuxového SW RAIDu znamené nejhorší možný scénář v případě selhání řadiče nalezení nějakého dostastečně starého (tj. s jádrem, co ješte načte starý formát) záchraného CD, může být shánění několik let nevyráběného HW RAIDu noční můrou.

[brk]

Kdy došlo k nějaké změně formátu? Nějak jsem to vůbec nepostřehl.

[Mortal]

asi mysli: "man mdadm" a odstavec u --metadata
defaultne bez pouziti option --metadata se uz pouziva novy format
Ja tim byl nedavno taky prekvapen.

[pavlix]

Ja tim byl nedavno taky prekvapen.

Proč překvapen? Pokud vím, tak takhle se chová naprostá většina software, že jako výchozí používají nejnovější verzi svého formátu.

[Jiří J.]

Ale málokterý začne s novou verzí cpát metadata na začátek pole, když stará byla na konci

[Wylda]

> může být shánění několik let nevyráběného HW RAIDu noční můrou

Proč?? LSI například podporuje "Disk Migration" (a "Disk Roaming"), tzn. migraci virtuálních disků z jednoho řadiče na jiný a to dokonce bez nutnosti vypnout cílový řadič (server). Podporována je migrace na stejný nebo novější HW RAID, tzn. žádné shánění nevyráběných řadičů.

Ostatní výrobci na tom budou stejně. To by sis snad žádný výrobce nedovolil. Navíc si člověk před koupí HW RAIDu snad pořádně ověří podporované funkce a porová je s těmi, které požaduje...

[Marv-CZ]

U pořádných řadičů za x tisíc tohle asi funguje. Horší to bude s takovými těmi integrovanými na obyčejných základovkách.

[Mti.]

O tech se tu ted nikdo nebavi. To neni hw raid. To je pouze nejhorsi mozna kombinace tech dvou reseni.

[alieno]

do serveru se cpou velmi casto tyto pseudo zmetky skoda mluvit...

[pavlix]

Horší to bude s takovými těmi integrovanými na obyčejných základovkách.

Já měl za to, že je řeč o HW raidu.

[Kvakor]

Ovšemže radiče umějí migraci, ale jen mezi řadiči stejného výrobce. Pokud ale byl onen výrobce před několika lety koupen či zkrachoval, nebo se řada komatibilních řadičů už pár let nevyrábí a jediný typ, který data přemigruje, žádný dostupný dodavatel v Evropě zrovna nemá a musel by se nechat poslat z USA nebo Číny, může být migrace docela drsná.

Pokud se jedná o případ, kde se hardware inovuje každé dva roky a kde v se v případě selhání nic strašného neděje (typicky velké hostingy a datová centra), tak se benefity HW RAIDu vyplatí, ale v malé firmě, kde jediný server slouží tak dlouho, dokud není tlak na jeho výměnu dostatečne velký (což může být mnohem, mnohem déle než dva roky), si podobné eskapády nemůžou dovolit.

[gtz]

Dobré řadiče jsou nazpět kompatibilní a třeba QLOGIC/Arecca/3WARE apod. není problém rozchodit HW raid i s novou kartou. Tím myslím HW raid udělaný na mašině. Pokud jde o čistě HW řešení kdy je pole spojené přes SAS/FC tak tam tyto problémy odpadají, protože výrobci většinou garantují náhradní díly i po ukončení výroby.

[Wylda]

Sám používám Intel HW řadiče RS2BL080 (což je akorát v níže uvedením PDF "přejmenovaný" MegaRAID SAS 9260-8i) a na funkce jako:

• Patrol Read
• Consistency Check

nedám dopustit a za ty roky co HW Raidy používám mě sakra vyrhly trn ze sevřené prd.... když vykoply disk z pole při jakémkoliv zaváhání disku a nebo když se disk při pravidelných týdeních kontrolách nepodařilo "uzdravit" (recover). Zato takový SMART mi dal vědět, až když už byl disk mrtvý nebo jsem z něj nebyl schopen dostat všechny data :-/ Prostě následující hlášky mě ujišťují o vhodnosti HW RAIDů a o tom, že prevence u nich funguje perfektně:

• Consistency Check corrected medium error (VD 02/2 at 36e57a, PD 2d(e0x2a/s10) at 36e57a)
• Unrecoverable medium error during recovery on PD 28(e0x2a/s6) at 36e57a
• Puncturing bad block on PD 2d(e0x2a/s10) at 36e57a
• Consistency Check detected uncorrectable multiple medium errors (PD 2d(e0x2a/s10) at 36e57a on VD 02/2)

Při ceně dnešních disků a při ceně dat, rád vyhodím každý disk o kterém mi HW RAID ohlásí, že si vykopnutí zaslouží.

Dále je zde zajímavé PDF od LSI, které ukazuje kde jsou v systému slabá místa a mají i utilitku na různé druhy zátěže (Win Only s profily jako sekvenční, náhodný, mailserver, fileserver a různé velikosti STRIPE)

http://www.lsi.com/DistributionSystem/AssetDocument/Benchmark_Tips_Jan_2010_v2_0.pdf

Ukazuje též rozdíly mezi SAS a SATA.

[Michal Fecko]

Ok cize na to aby sa SW RAID vyrovnal HW raidu je treba popracovat na balicku smartmontools, hej?

[Wylda]

Tak je pravda, že i HW RAID má SW (přesněji firmware), který vyhodnocuje a řídí. Na otázku, zda to samé dokáží smartmontools nedovedu odpovědět. Nevím totiž zda dokáží testovat povrch HDD ("na badblocky") nebo "RAID checksums" i za plného provozu pod např. běžící databází a snadno omezit prostředky testu na 30% a zbylých 70% výkonu ponechat uživatelům, aby se "nerušeně" mohli vrtat v databázi svého informačního systému... A to vše jediným kratkým příkazem "CmdTool2 -AdpPR -Start -A0" ;)

Dále spoléhat se pouze na SMART po svých zklamáních a ztrátách už nechci. A proto jsem si pořídil HW RAID i domů - na takovéto domací video s maželkou a dítětem. Za 12tis na přímých 8 disků (bez "enclosure") - no neberte to :)

[Michal Fecko]

za 12 tisic na tvoj radic ja komplet postavim storage server

[Mti.]

zakladni test konsistence sw raidu jde udelat pomoci

echo check > /sys/block/md0/md/sync_action

... treba fedora uz to ma v tydenim cronu. (od F12 urcite., kdy to tam dali nevim)

Opet "zakladni" test disku jde online vyzadat pomoci

smartctl -t long /dev/sda

. (pokud se nepletu, je to jen cteci test a jeho vysledky zavisi hlavne na libovuli vyrobce disku)

pravdou je, ze oboji pak masinu zpomali, nemeril jsem jak. Delat se na tom da, interaktivita je znatelne horsi.

Samozrejme badblocks v rw modu na zivem poli spustit rozumne nelze.

Mimochodem - jsou uz nastroje na diagnostiku SSD disku? Kolik ma realokovane a podobne? (linux, pokud mozno)

[R]

SSD maju tiez SMART. Akurat to nemusi uplne fungovat, lebo ten firmware programuju asi dementi...(videl som Samsung SSD - long test presiel bez chyby, napriek tomu tam boli necitatelne sektory).

[alkoholik]

Napdobne. Intel SSD mi ted hlasi srandovnich Reallocated_Sector_Ct 2.
Dost pochybuju, ze to ma neco spolecneho s realitou.

[Kaacz]

Nejak jem nepochopil, co je na "Reallocated_Sector_Ct 2" smesneho. Naopak je to pro vas smutne. Disk jde do kopru, jiz 2 sektory jsou natvrdo vyrazeny a nahrazeny z poolu nahradnich sektoru.

S SSD zapisovou realokaci (rovnomerne rozlozeni poctu zapisu v sektorech) to nema vubec nic spolecneho.

[alkoholik]

Po roce provozu je to smesne cislo. V poolu mi porad zustava 99% bloku k realokaci. Navic na tom disku ted provozuju 1x linux a 3x windows vcetne swapu a relokovane bloky nepribyvaji.
Ten disk mi usetril tolik casu, ze uz se davno zaplatil.

[alkoholik]

Zpomaleni masiny pro prvni prikaz si muzete nastavit sam v /proc/sys/dev/raid/speed_limit_max.

[Mti.]

ano, ale nedokazu garantovat tech 70%, co psal predchozi pisatel, Nic vic sem tim nemyslel.

[Michal Fecko]

Osobne pouzivam na Linuxoyvh serveroch ktore spravujem vyhradne SW RAID (1,5). Jeden SW RAID 1 (2xRAID1+1xSPARE disk) pouzivam cca 7 rokov a prezil vymeny 2 serverov, 3 diskov a par "apt-get dist-upgradov". Dostupnost stale okolo 97 percent pre cca 20 uzivatelov sucasne. Cena bezkonkurencna, vykonnost nadpriemerna, prenositelnost vyborna, univerzalnost na nezaplatenie.

[otula]

S hodnocením naprosto souhlasím, mám to podobné. Mám samostatný PCI SCSI řadič, na něm 2 disky v RAID 1 od roku 2002. Nedostupný byl za ta léta 3×. Dvakrát asi na půlhodinku, když odešel zdroj, než jsem vypreparoval zdroj z jiného počítače. Jedenkrát asi na hoďku a půl, kdy mi umřela základní deska a přehodil jsem disky s řadičem do jiného PC a nainstaloval a nakonfiguroval tam Linux (systémový disk jsem nechal v původním počítači) - už jsou to asi 2 roky a ještě jsem se nedostal k tomu, abych je dal zpět do původního opraveného PC, na němž opět běží všechny ostatní serverové služby :)

Přistupuje na něj současně cca 30 PC a výkon je naprosto v pohodě. Akorát jsem jednou myslel, že mi odešel jeden disk, protože jsem v mdstat měl [U_], ale po vyjmutí a opětovném přidání se zatím tváří, že je v pořádku. Takže maximální spokojenost s SW RAIDem, který už patrně přežil i svou životnost :)

[Dan Ohnesorg]

[U_] je presne ten stav kvuli kteremu kolega nahore vyhazuje disk.

Vetsinou to nastane, kdyz disk ma vadny blok detekovany pri cteni a tim ze je vyhozen z pole a vracen zpet, nastane zapis do vsech bloku na danem disku a ten tak ziska sanci realokovat vadny sektor.

[otula]

Díky za info. Teď je otázka, zda je lepší spáchat to, co jsem udělal, nebo ten disk raději vyhodit.

A sakra. Odpovím si sám: vyhodit. Když jsem na něj teď kouknul, tak už asi nějakou dobu jedu zase na jeden disk. Měl bych si přihodit výpis mdstat do cronu. Naštěstí mám ještě pravidelné inkrementální zálohy na externí disk.

[Mti.]

pokud si rozjedes sendmail (nebo neco podobneho), tak na debianech i redhatech se to snazi hlasit zmeny rootovi... (v /etc/mdadm/mdadm.conf je jako default "MAILADDR root")

[otula]

Ono je to viz mou reakci na Michala - podělala se mi deska, vytáhnul jsem řadič s disky, namontoval do jiného PC, nainstaloval Linux, narychlo nakonfiguroval Sambu a spustil RAID a v tomto nouzovém řešení to od té doby běží. Už bych tam ani nic nedoinstaloval, protože už je to nehezky dlouho neaktualizovaný systém Sice mi vedle toho stojí opravený původní server se všemi ostatními službami, ale nějak se nemám k tomu, abych to překopnul zpět :)

[Sten]

Pokud na madam RAIDu používáte bitmapy, zapíše se jenom do změněných bloků. Reesynchronizace je tak mnohem rychlejší a vadné bloky se stejně realokují.

[Vskutečnosti Saýc]

Zajimalo by me porovnani s btrfs a ZFS, linuxovy md a LVM potrebuje umrit.

[Michal Kubeček]

A pročpak to?

[Pavel Francírek]

Btrfs má ještě dost práce před sebou. Viz. třeba http://www.phoronix.com/data/img/results/linux_2637_ext4btrfs/2.png

[pavlix]

linuxovy md a LVM potrebuje umrit.

Kromě toho, že k tomu nevidím jediný důvod, tak ani btrfs, ani ZFS nenahrazuje ani MD ani LVM.

Takže, těžko.

[vlastagf]

v cem konkretne nenahrazuji lvm?

[pavlix]

Přesně v tom, co LVM dělá, tedy rozdělení X blokových zařízení na Y blokových zařízení, což je jediný účel LVM.

Srovnáváš nástroje z úplně jiných vrstev, tedy filesystémy s formátama dělení disků (neboli jabka s hruškama).

Mimochodem LVM plní svoji úlohu velmi dobře a rozhraní je bezpečné a pohodlné.

[vlastagf]

ja nic nesrovnavam, ja se ptam -)

[vlastagf]

ale to uz je tady pomalu trestnej cin.

[pavlix]

Já odpovídám, což je zřejmě podle tebe ještě větší hřích, než se ptát :).

[Michal Kubeček]

Kromě jiného třeba v tom, že rozdělení pomocí LVM lze používat s jakýmkoli filesystémem (nebo spíš s jakýmikoli filesystémy), takže mohu zvolit filesystém podle vlastního uvážení a podle specifických vlastností toho, co na něm bude za data. Pro mne je tohle dost zásadní argument, proč takové věci jako přemapovávání bloků nebo šifrování řešit virtuálním blokovým zařízením a ne až na úrovni filesystému.

[Jiří J.]

LVM se pochopitelně hodí i pro další věci jako dynamické dělení disku pro virtuální guesty (daleko menší počet fragmentů, než v případě souboru na FS), "problém" je zřejmě v tom, že (nevím, jak btrfs) ZFS není jen filesystém, je to údajně kombinace něčeho jako LVM s filesystémem a co jsem pochopil, umožňuje použít i jiné FS nad svými "oddíly". Nikdy jsem to ale nezkoušel, takže se možná pletu. I tak bych nerad přišel o LVM, resp. o úžasnost device mapperu.

[Michal Kubeček]

ZFS není jen filesystém, je to údajně kombinace něčeho jako LVM s filesystémem a co jsem pochopil, umožňuje použít i jiné FS nad svými "oddíly"

Pořád ale nevidím výhodu spočívající v tom, že se něco, co velmi dobře funguje odděleně, integruje do filesystému.

[pavlix]

Pořád ale nevidím výhodu spočívající v tom, že se něco, co velmi dobře funguje odděleně, integruje do filesystému.

Volume management bych neintegroval, to nedává smysl. Ale to, že Sun psal, že volume management už není potřeba, jsou podle mě jen marketingové kecy, prostě PR.

Využití více zařízení pro jeden filesystém bez volume manageru (což samozřejmě není jeho jediná funkce), ale podle mě není úplně špatný nápad. I když teďka nedám dohromady výhody/nevýhody oproti LVM+FS.

[Sten]

Třeba v tom, že filesystém ví, jaká data tam cpe, a tak může optimalizovat, kam je dá. Například může na RAID 0 nebo RAID 5, dokud je dost místa, hodně používané soubory mirrorovat místo stripovat. Dále díky checksumům na RAID 5 a RAID 1 pozná, který z disků je corrupted (tj. vrátí data, ale ta jsou vadná). Implementace něčeho jako ReadyBoost (často používané soubory se zmirrorují na malý SSD disk, zbytek se udržuje jenom na velkém HDD) je další možnost.

[pavlix]

Třeba v tom, že filesystém ví, jaká data tam cpe, a tak může optimalizovat, kam je dá.

Teoreticky ano. Ale zajímala by mě praktická implementace, kde to (dobře) funguje.

Například může na RAID 0 nebo RAID 5, dokud je dost místa, hodně používané soubory mirrorovat místo stripovat.

Tak něco takového bych rozhodně nedoporučoval. Dělat bordel v technologii, jejímž účelem zabezpečení dat... granularita RAIDu na úrovni souborů... mno je to pouze můj názor, ale rozhodně se mi to nelíbí a nikomu nic takového nedoporučuju.

Dále díky checksumům na RAID 5 a RAID 1 pozná, který z disků je corrupted (tj. vrátí data, ale ta jsou vadná).

Rovněž věc, kterou mi přijde zbytečné řešit na úrovni FS.

Implementace něčeho jako ReadyBoost (často používané soubory se zmirrorují na malý SSD disk, zbytek se udržuje jenom na velkém HDD) je další možnost.

Na to se mi implementace RAIDu uvnitř FS moc nezdá jako výhoda.

[pavlix]

"problém" je zřejmě v tom, že (nevím, jak btrfs) ZFS není jen filesystém, je to údajně kombinace něčeho jako LVM s filesystémem a co jsem pochopil, umožňuje použít i jiné FS nad svými "oddíly".

Mezi náma, v kombinaci s podporou loop device, umožňuje použít jiné FS nad svými "oddíly" (soubory) každý FS.

Ale u speciální podpory cizích oddílu na ZFS si myslím, že se pleteš (pokud se pletu já, někdo mě opravte), nemůžu takovou informaci nikde najít a byla by to pro mě novinka.

I tak bych nerad přišel o LVM, resp. o úžasnost device mapperu.

Na device mapperu i hezky navrženého LVM se shodnem.