Dotaz: Volba raid pro vysoce zatížený systém

[lodovik]

Mám před sebou veliké dilema. Mám systém  s 4x1TB SAS disky. Sloužit to bude jako server pro tenké klienty. Hardwarový raid nemám, takže musím to udělat softwarově, ale teď jaký raid zvolit? Určitě bude potřeba častého sekvenčního čtení, když bude na serveru pracovat třeba 60 lidí najednou. Co se rychlosti týče s ohledem na sekvenční čtení je vhodnější RAID10 nebo RAID1 se 4 disky? Nebo úplně něco jiného?

Odpovědi

[artec]

 

Co se rychlosti týče s ohledem na sekvenční čtení je vhodnější RAID10 nebo RAID1 se 4 disky?

Urcite jste mel namysli RAID1? To je na stejne vykonove urovni jako pouziti samotneho disku

 

[lodovik]

Neřekl bych. Na mém osobním pc mi raid1 s 2 disky znatelně zvedl výkon. Jak je na tom tedy RAID10 se sekvenčním čtením/zápisem?

[petr_p]

RAID1: záleží na způsobu čtení:

/*
 * This routine returns the disk from which the requested read should
 * be done. There is a per-array 'next expected sequential IO' sector
 * number - if this matches on the next IO then we use the last disk.
 * There is also a per-disk 'last know head position' sector that is
 * maintained from IRQ contexts, both the normal and the resync IO
 * completion handlers update this position correctly. If there is no
 * perfect sequential match then we pick the disk whose head is closest.
 *
 * If there are 2 mirrors in the same 2 devices, performance degrades
 * because position is mirror, not device based.
 *
 * The rdev for the device selected will have nr_pending incremented.
 */
static int read_balance(conf_t *conf, r1bio_t *r1_bio)

[dustin]

Nejlepší by asi bylo nabootovat na tom stroji liveCD a jednotlivé varianty si vyzkoušet a porovnat.

[lodovik]

To dost dobře nejde. Cokoliv nasimulovaného nebude odpovídat skutečnosti a za měsíc až na tom budou uživatelé tak už to musí v jednom kuse fungovat. Proto se tady ptám. Hodily be se nějaké zkušenosti. Sice jsem našel tady na abíčku porovnávací tabulku rychlostí raidů ale tam nebyl brán ohled na současné čtení/zápis mnoha souborů.

[linuxik]

Ahoj,

jestli cekavas opravdu velkou zatez, tak by jsi mel investovat do HW  raidu. Ono to neni jen o rychlosti cteni nebo zapisu, ale spise o IO prerusenich  a s tim ti zadny SW raid nepomuze. Taky jsi vubec neuvazoval o Raid5, budes mit 3TB a vykon, hlavne u sekvecniho  cteni taky neni spatny, pokud to nebude hlavne  pro databazi, tak raid5 je dnes standart a se soucasnym vykonem  vicejadrovych procesoru, ani zadne zpomaleni pri  pocitani parity pro ctyri disky nepoznas.

[dustin]

Myslím si, že když vyrobíš RAID0, RAID1 a RAID10 (vždy otázka jednoho příkazu) a na všech spustíš např. http://www.linux.com/archive/feature/131063 , tak získáš docela představu, jak se to chová. Obecné pravdy nemusí v praxi fungovat, když do hry vstoupí konkrétní parametry - rychlost disků, SATA řadiče, sběrnic, čipsetu, atd. Přijde mi, že takový test bude vypovídat více, než něčí zkušenosti s úplně jiným HW a typem zátěže.

[FooBar]

RAID1 se 4 disky je pitomost, hod tam 1+0. Stejnetak je pitomost hazet to na sw raid, kdyz jde o "vysoce zatizeny system". Obzvlastni pitomost je pouzivat sw raid na vysoce zatizenem systemu, kdyz zaroven hazis penize do terovejch sasovejch disku.

[lodovik]

Na hw raid nejsou peníze. Se dvěma 4jádrovými xeony na 2.5GHz by SW raid neměl znamenat znatelné zpomalení. Raid 5 je docela risk na 4 discích. Ten bych dal maximálně tak na 3. Na 4 disky spis raid 6, ale zase nevim jak ten je na tom se sekvencnim ctenim.

[FooBar]

Marne hledam, kde jsem rikal raid5. Hlasku s "RAID 5 risk na 4 discich" radsi komentovat nebudu:P

Jinak ale doporucuju HW raid nepodcenovat. Podle mne nastupujes na cestu do pekel, pokud nejsi ochotnej investovat nejakejch sedm litru za blbej ctyrportovej 3ware.

[lodovik]

O raid 5 na 4 discich se zminil linuxik. HW raid v zadnem pripade nepodcenuju, ale uz jsem dostal mnoho rad at radeji pouziju kvalitni sw raid nez nejaky laciny hw raid.

[lodovik]

Tak asi nejrozumější bude zrušit objednávku těch 4 disků(to že je mám jsem myslel že jsou objednané) a místo nich vzít nějaké svižnější a strčit je do raid1. Vyplatí se WD velociraptory?

[FooBar]

Uz jsem to jednou rikal, ale je to pitomost -- natolik, ze doufam, ze te za to nikdo neplati. Ztratis polovinu vykonu na zapis, polovinu kapacity, a neziskas zadnej vyraznej bonus oproti 1+0. Jaka je tvoje motivace k tomuhle vskutku unikatnimu reseni?

Co se tyka levnejch HW raidu, s tim souhlasim. Proto taky nedoporucuju levnej smejdatej raid;)

[lodovik]

Tak pises ze sw raid je pomaly, tak proto jsem si rikal zvolit rychlejsi disky a dat je jen do raidu 1, kde se nepocita parita. Nebo ta "pomalost" neni zpusobena paritou? SW raid ma pro me obrovskou vyhodu, ze kdyz se neco na serveru podela, mohu disky strcit nouzove do nejakeho krapu do ktereho se hw radic neza pripojit a mohu jet nouzove dal.

[chinook]

Proc by mel byt u RAID1 pomalejsi zapis? A co se ti nelibi na softwarovym RAIDU? Ja bych rekl, ze na linuxu je lepsi nez ten HW. Navic i levnejsi. Podle me kupovat HW RAID na linux, tak akorat vyhodis penize z okna. Nevidim tam jedinou vyhodu. Spise naopak.

[FooBar]

No otazku "Proc by mel byt u RAID1 pomalejsi zapis?" snad nemyslis vazne. Podivej se, jak RAID10 funguje a pak si to porovnej s RAID1... Abych to shrnul, RAID10 je kombinaci RAID1 (tzn. mirrorovani, kde se - zjednodusene receno - simultalne zapisuje na vsechny disky) a RAID0 (tzn. stripovani, kde se - opet zjednodusene receno - zapisuje spojitej blok dat na stridacku na vic disku, tzn. kdyz zapisujes 10MB dat, tak se zapise 5MB na jeden disk, 5MB na druhej disk, a to simultalne). Kdyz zahodis stripovani (tzn. z RAID10 udelas zas RAID1), ztracis vykon pri zapisu, ponevadz se ty zapisy neprokladaji nastridacku na vic disku, tudiz tam delaji ty disky IO bottleneck.

 

Co se tyka HW raidu, uznavam, ze tam muze byt vyhodnost investice diskutabilni a zavisejici na milionu ruznych faktoru, ktere samozrejme tazatel neuvedl. Presto, oznacit to za vyslovene kontraproduktivni (snad s vyjimkou opportunity cost, kde by ty penize jinak mohl dat za neco jinyho) je pomerne zajimavy;) Hlaska, ze SW raid je "na linuxu lepsi nez ten HW" je taky zajimava -- mas nejaky konkretni podklady pro tohle tvrzeni, tedy vic nez jen placnuti do vody? (Opet, s vyjimkou neoddiskutovatelneho faktu, ze SW raid na linuxu je rozhodne levnejsi nez HW raid).

[FooBar]

Mimochodem, priznam se, ze RAID1 implementaci na Linuxu jsem nezkoumal, ale budu verit ostatnim pisatelum ze neumi cteni z vice zarizeni zaroven. Areca, 3ware, Adaptec (neklame-li mne pamet), atd. tohle samozrejme umi. Dalsi drobnou vyhodou je, ze to neni smejdatej lowendovej radic - ktery bych dost ocekaval v momente, kdy se musi setrit - kterej sam o sobe muze vest k vyraznemu zpomaleni... No nic, rad si poslechnu vecne a konkretni protiargumenty.

[chinook]

No otazku "Proc by mel byt u RAID1 pomalejsi zapis?"

Ja to srovnaval se samotnym diskem. Ne s RAID0. To je jasne, ze RAID0 bude rychlejsi jak na zapis, tak i na cteni. 
Rychlost softwaroveho raidu jsem nemeril, takze nemoho posoudit, zda je rychlejsi RAID1 na cteni nez samotny disk.
Mas ty nejake argumenty proc je HW raid lepsi nez SW? A nerikej, jen vyhodu, ze setri procesor.
Navic SW RAID ma v LINUXU daleko vetsi podporu nez HW.

BTW: Sel by udelat napr HW RAID 5 na 2x discich + 1 disku a to tak, ze ten 1 disk je zaroven systemovej disk (bez R) a je na nem partition v raidu s tema dvema diskama?

[wolf09]

RAID 5 na 2 discich je podle mne sebevrazda

[chinook]

Byl to priklad a jsou to 3 disky

[cronin]

Budete sa cudovat, ale ziadna samovrazda sa nekona. Raid 5 na dvoch diskoch je ekvivalentna raidu 1 s tym rozdielom, ze jedno zrkadlo ma invertovane bity.

[qk]

No vzhledem k tomu, ze RAID5 je definovanej minimalne pro 3 disky tak nesel

[cronin]

Nie je ziadny technicky dovod nemat RAID 5 na dvoch diskoch: na jednom data, na druhom ich paritu. Sice to nema ziadnu vyhodu proti RAID 1, ale mozne to je.

[FooBar]

Teoreticky by to samozrejme slo, ale i tohle je neuveritelna pitomost. Co bys tim presne mel ziskat? (V porovnani s tim, co ztracis, coz je vykon a redundance)

Co se tyka nejakejch beznejch argumentu pro HW raid:

• radove lepsi management (a OS-independent management, v nekterych pripadech taky zcela nezavisly mgmt, treba radice Areca s mgmt konzoli dostupnou zcela nezavisle na vlastim portu)
• vlastni cache
• nevisi to na nejakym (potencialne) divokym radici
• BBU je prijemna vec:) (ano, existujou UPS, existujou zalozni generatory, ale vsichni taky vime, ze muzou selhat a redundantni reseni u dat je vzdy prijemne)
• mezi RAIDovanim (+ cachovanim) a diskama neni tri prdele zbytecnejch vrstev (jako treba OS)

A co argumenty, proc je "SW raid na Linuxu lepsi nez HW"? Odpoved "Mas nejaky argumenty o opaku ty?" ve mne vyvolava dojem, ze zadne technicke argumenty nemas a fakt jen placas do vody... coz je v pohode, kazdej ma na svuj nazor pravo, ale je bad science michat to s konkretnimi vecnymi argumenty :)

[chinook]

radove lepsi management (a OS-independent management, v nekterych pripadech taky zcela nezavisly mgmt, treba radice Areca s mgmt konzoli dostupnou zcela nezavisle na vlastim portu)

Predem rikam, ze osobni zkusenosti s RAIDama nejak moc velke nemam. Jen jsem vice v linuxu spokojen se SW raidem, protoze je mozna jednodussi na monitoring. Mam HW raid PERC 6 a v linuxu se mne ho nedari nijak monitorovat. Na druhem serveru je SW RAID a nikde zadny problem. Muzes poradit jak na to? Treba je chyba nekde u me, ze jsem spatne hledal nejaky soft co by to umel.

nevisi to na nejakym (potencialne) divokym radici

Nevim proc by ten radic mel byt divokej. Pokud mne odejde ten divokej radic, tak bez jakychkoliv problemu vytahnu disky, nabootuju na jakem koliv PC a namountuju raid a mam data. Jak to vyresis ty s HW raidem, pokud odejde?

BTW: Firmware v HW RAID je otestovany. RAID v Linuxe je taky otestovany. Je pravda, ze verzi Linuxoveho jadra je vic jak verzi firmwaru nejakeho HW RAIDu. Ale zase jadro jadro Linuxu je open source, takze tam muze chyby hledat kazdy.

vlastni cache

Jakou to ma presne vyhodu

BBU je prijemna vec:) (ano, existujou UPS, existujou zalozni generatory, ale vsichni taky vime, ze muzou selhat a redundantni reseni u dat je vzdy prijemne)

Co je BBU?

mezi RAIDovanim (+ cachovanim) a diskama neni tri prdele zbytecnejch vrstev (jako treba OS)

Nikde jsem necetl, ze by byl SW RAID nejak vyrazne pomalejsi nez HW. Krome tady te diskuse. Nemeril jsem to, tak se ani o rychlosti nebudu hadat. Asi kdybych dal na SW raid 10disku do RAID5, tak by asi byla poznat zatez CPU a rychlost. Jen hadam. Cemu jinemu jeste muzou ty zbytecne vrstvy vadit?

Vse jsou moje nazory a rad se priucim. Take budu rad pokud mne nekdo argumenty vyvrati a budu mit duvod verit, ze HW RAID je lepsi a nebo naopak.

Strucne:

• U SW RAID snadna obnova RAIDU po padu radice u HW opak
• SW RAID snadna konfigurace a monitoring v LINUXu s HW raid tu zkusenost nemam
• Nulova porizovaci cena
• Vice moznosti napr. udelani RAIDU na 1dnom disku. Je to priklad, tak mne neberte za slovo vim, ze to je k nicemu, ale muzete takto vyuzit pulku disku na raid a dalsi na neco jineho. S HW raidem by to podle me neslo

[dustin]

Kvalitní (tedy drahý) HW raid má bez debat svůj smysl, obzvláště v kombinaci s rychlými výkonnými SAS disky, a SW raid jej nenahradí. Je to ale samozřejmě otázka potřeb vs. cena. 

S pohodlím správy SW raidu také souhlasím. Mimochodem, je již pro 3ware open source management? S tím jejich binárním 3dm2 byl vždycky docela boj. Ani nástroje pro HW raidy do HP Proliant (často ještě pod značkou compaq) mi neučarovaly.

[FooBar]

tw_cli, pracuje se s nim docela pohodlne

[dustin]

Pro ruční kontrolu ano, ale jak budu automaticky posílat maily o problému s disky, když nevím, jak budou vypadat případné chybové hlášky a chování tw_cli na vadném poli, abych si to ručně v cronu vyparsoval?

[FooBar]

Do budoucna... "Ja bych rekl, ze na linuxu je [SW raid] lepsi nez ten HW." v kontrastu s "Predem rikam, ze osobni zkusenosti s RAIDama nejak moc velke nemam." je taky dost bad science. Kdyz bys rekl, ze se SW raidem nemas problemy, je to nenapadnutelny, ale porovnavat to s necim s cim zaroven priznavas ze v podstate nemas zkusenosti rozhodne neni dobre...

Co se tyka toho PERC6, rekl bych (bez toho abych to nejak vic resil), ze chces tohle: MegaRAID SAS CLI, popr. se podivat na info od Dellu. Bohuzel tenhle radic jsem v rukou nemel, takze konkretni zkusenosti ti dat nemuzu.

Ad divokej radic, neslo mi ani tak o jeho smrt, spis o jeho vykon. Nezridka ty onboard radice nejsou zrovna nejlepsi, a i bez RAIDu dosahnes jinym radicem lepsiho vykonu per disk. Neni to optimalni, nemelo by to tak byt, ale bohuzel to tak je...

BBU je Battery Backup Unit, zalozni baterka ktera udrzuje cache radice nazivu (dost dlouho) i kdyz chcipne proud.

Cache na radici je, oproti spolehani se na cache od OS, dobra krom tech ocividnejch vyhod taky prinejmensim v tom, ze mas vzdy jistotu ze tam tu cache mas. Mas ji tam i v momente, kdy mas zaroven spustenej firefox, openoffice a kryptoanalyzu zaveti sveho bohateho strycka na smrtelne posteli.

Co se tyka tech vyjmenovanejch vyhod SW raidu:

• Snadna obnova je v podstate pravda, nejsi vazanej tim ze by to melo jit na obdobnej radic, jsi vazanej tim ze by to melo jit na stejnej OS -- coz bude obvykle daleko mensi problem.
• Snadna konfigurace a monitoring vs "tu zkusenost nemam"... no... viz prvni odstavec, tohle neni moc argument. Nabidka je v tomhle samozrejme hodne rozmanita, coz muze byt nezvyk od mdadm ktery "funguje vsude stejne, at to hodim na jakykoliv zelezo"... Ale krom toho, ze je to nove a je to nezvyk, bych v tom nic implicitne spatneho nevidel, poridis si produkt ktery ti svou nabidkou managementu vyhovuje.
• Nulova porizovaci cena je absolutni pravda, a je to dost podstatna a neoddiskutovatelna vyhoda, obzvlast pro takove to domaci raidovani. V momente, kdy to ma byt "vysoce zatizene" atd. a strkaji se tam SASovy disky, tak uz bych zas predpokladal, ze i na radic zbudou penize.
• Vice moznosti... jo, vetsi versatilnost je samozrejme vyhoda SW reseni obecne. Muzes si vyrobit mirror mezi svoji USB flashkou a zarizenim na druhym konci planety zpristupnenym pres NBD a vubec te to nesere Na druhou stranu, tyhle blbosti jsou taky spis pro takove to domaci raidovani...

Zaverem, SW raid jako takovej nezatracuju. Ma svoje misto na svete, neni spatnej a celkem bych ho asi i preferoval vuci takovym tem pseudoHW raidum... ale v momente, kdy se ma jednat o sdilene datove uloziste ktere je od zacatku stavene pro poskytnuti vysokeho vykonu, prijde mi to jako setreni na nepravym miste. Daleko spis bych se u toho datoveho uloziste vykaslal na jeden ten Xeon:) Na druhou stranu mam takove tuseni, ze to neni ani tak datove uloziste, jako spis all-in-wonder reseni vsech IT problemu v jedne pohodlne krabicce, ale to uz je v podstate problem tazatele.

[chinook]

S tvym zaverem souhlasim. Presvedcil jsi me, ze HW RAID je rychlejsi a do drahych reseni se hodi. Jdu zkusit nainstalovat MegaRAID at vidim jak vypada jeho monitoring. Jen pro info. Od kolika KC je ten HW RAID opravdu kvalitni?

[chinook]

Tak jsem si ten MegaRaid zprovoznil.
Ad1) nemuzu zjistit nijak teplotu disku. Jde to nejak
Ad2) chybi mne tam nejake upozorneni pokud dojde k vypadku napr. poslani infa emailem. Jak se to resi u HW raid?

[dustin]

Ad 1) - někdy pomůže vhodný parametr smartctl - viz dole http://smartmontools.sourceforge.net/

ad 2) Výrobci mívají démony, které toto lépe či hůře umí. Buď přímo (3ware), nebo přes snmp události (např. HP smartarray), nebo jinak u ostatního HW, který neznám :)

[AraxoN]

Skús popozerať /dev, či Ti to tam nesprístupnil. Napríklad u IBM ServeRAID okrem zariadení /dev/sd* pre logické disky vytvorí aj zariadenia /dev/sg* pre fyzické disky. Takže sa niektoré veci dajú čítať smartom:

masina ~ # smartctl -a /dev/sg1
...
Current Drive Temperature:     32 C
Drive Trip Temperature:        65 C
...

[AraxoN]

Pod BBU pravdepodobne myslel batériou zálohovanú pamäť na radiči. Ta znamená, že keď niekto vytrhne kábel od napájania serveru, tak nezapísané dáta naďalej sú v buffri na RAIDovej karte a zapíšu sa po obnovení napájania. To je jeden celkom dobrý argument pre HW RAID. Druhým sú RAID 5 a RAID 6 - tam už celkom dáva zmysel pokukovať po RAIDovej karte.

[venoosek]

WD velociraptor do serveru silne nedoporucuji ... mame s nimi velmi neblahe skusenosti;  je mozne ze problem byl ve  spojeni deska/disk (intel showhill/wd welociraptor 150GB) ale na 10 stejnych strojich se to projevovalo stejne vzdy cca po mesici a pul disky vytuhly a nepomohlo nic nez reboot stroje; tim ze disky vytuhly vzdy v urcitou dobu vsechny najednou jsme si pomerne zadelali na problem ... ( redundance stroju nefungovala; redundance raidu nezafungovala....)

[cronin]

SW raid vobec nie je blbost. Vela hw raidov nie je nic ine, iba karta s mini Linuxom, na ktorom bezi ... chvila prekvapenia ... sw raid.

[dustin]

Proč ne, nějaký firmware tam dát musí. Výhodu ale spatřuji v nižší zátěži sběrnice.

[Zdeněk Štěpánek]

Osobne bych vubec nevidel tak velkej vykonovej rozdil mezi SW a HW raidem, zejmena na tak vykonnem stroji. Ono u LTSP stejne jde hodne po pameti, protoze se ctou porad ty stejny soubory.

Minimalne u SW RAID1 plati ze neprinasi navyseni vykonu pri cteni, i kdyz by teoreticky mel. Zkopusel jsem to vicekrat. Takze RAID1 je ze hry.

Ja teda na podobne pouziti mam 6 disku v RAID0, az mi jeden klekne tak si na me vzpomente. Tohle by slo doporucit asi jen pokud chces obravdu velkej vykon a zaroven budes dobre zalohovat nekam jinam.

V uvahu pripada RAID10 / 01 (nevim ktery je v cem lepsi, prijde mi to podobny). Ziskas vykon jako pri RAID0 ze dvou disku s malinko pomalejsim zapisem, ale u LTSP jde stejne zejmena o cteni.

Nebo zbyva RAID5, kterej bych asi nevidel jako spatnou volbu. Neztratis polovinu kapacity, ty tvoje procaky spocitaj XOR levou zadni mnohonasobne rychlejc nez disky stihnou zapsat a rychlost cteni je taky velmi dobra.

Opravdu doporucuju si to vyzkouset. Staci nabootovat nejaky LiveCD a ty RAIDy si muzes vytvaret a rusit za behu. Otestujes bude jednoduse sekvencni cteni/zapis pres "dd if=/dev/md0 | pipemeter > /dev/null" a "dd if=/dev/zero | pipemeter > /dev/md0", nebo taky cteni "hdparm -Tt /dev/md0". Na nahodny cteni/zapis je nejlepsi pouzit nejaky sofistikovanejsi nastroje, ale s nima jsem se teda moc nezkamaradil a navic to dlouho trva.

Zdenek

[petr_p]

Minimalne u SW RAID1 plati ze neprinasi navyseni vykonu pri cteni, i kdyz by teoreticky mel. Zkopusel jsem to vicekrat. Takze RAID1 je ze hry.

Otestujes bude jednoduse sekvencni cteni/zapis

To je právě způsobeno tím, co jsem výše citoval. Linux u raid1 nemá prokládané čtení (jak jsem pochopil ze zdrojáků). Čte vždy z disku, o kterém se domnívá, že má hlavičku nejblíž. Takže v podstatě pouze minimalizuje vystavování hlavičky.

Určitého zrychlení by se tedy mělo dosáhnout paralelním čtením. To je totiž typická operace, kterou bude terminálový server dělat – víc uživatelů dělá různé věci na různých místech.

Nicméně, jak píšete, pro vyšší propustnosti bych opravdu zvolil jinou formu raidu, která má prokládání.

[Zdeněk Štěpánek]

Neni to "nezrychleni" RAID1 zpusobene treba taky tim ze cte oba disky a porovnava? Jak jinak by se zajistila ta redundance. Nebo spoleha ze data jsou OK pokud je disk online? Zas tak dohloubky jsem to nezkoumal.

U RAID0 pozoruju zrychleni zhruba o 95% s kazdym diskem. A skoro to plati i pro RAID5. Pred casem tady byl test RAIDu, nize je odkaz a RAID5 me velmi mile prekvapil.

Z nize uvedeneho testu vychazi jako vitez RAID5. Ma 2 klady: nejvetsi kapacita ze zminovanych variant a nejrychlejsi cteni (zhruba jako raid0 ze 3 disku) a jeden zapor - lehce pomalejsi zapis, ktery IMHO na LTSP pouziti neni kriticky. Ja bych volil RAID5.

http://www.abclinuxu.cz/blog/MartinT/2007/9/software-raid-0-1-5-6-10-srovnani-rychlosti

Zdenek

[petr_p]

Taky jsem si myslel, že RAID1, který se dělá kvůli spolehlivosti, bude porovnávat všechny kopie. Jenže když se zrcadlí jen na dva disky, jak se pozná, která kopie je v pořádku a která je poškozená? To by musely být někde bokem kontrolní součty, jenže ty si linuxový RAID1 nedělá. Nebo by musel být lichý počet disků, avšak hlasování také není neomylné.

Prokládané čtení u RAID1 nemá při jednovláknovém čtení smysl, protože jediný způsob proložení by byl přečíst spodní polovinu z prvního disku a horní polovinu z druhého disku. To by sice celkově přineslo dvojnásobné zrychlení, ale taky by se musela horní půlka načíst spekulativně a udržovat v diskové keši a kdo ví, zda-li by se vůbec spekulace využila. Proto nemůže být velikost spekulativně načítaného bloku příliš velká.

Jenže když se s ní jde dolů, narazí se na režii vystavování hlavičky, kde logická hranice užitečnosti je jedna stopa/cylindr. Pod touto hranicí by operace disků vypadala následovně: disk A čte 1. sektor a zároveň disk B čte 2. sektor; disk A čeká, až se plotna otočí na 3. sektor, a disk B čeká na vystavení 4. sektoru; disk A čte 3. sektor a disk 4. sektor. Takže tahle šaškárna s přerušovaným čtením je stejně drahá (pokud plotna nepřejede n+2. sektor) a možná ještě dražší (pokud přejede a musí se čekat na otočení plotny). Stejnou práci tedy zastane jediný disk. Navíc by řadič musel umět scatter-gather DMA, čehož si nejsem vědom.

Tudíž když to shrnu, tak prokládané čtení RAID1 má smysl, až když velikost spekulativně načítaného bloku je v násobcích velikosti plotny/cylindru. A to už jsou ale celkem velká čísla, která se vyplatí snad jen u lineárního zpracování velkých souborů (video a tak).

Něco jiného je, když bude z pole číst několik vláken na různých místech. To se pak dá čtení rozdělit mezi disky, což bych řekl, Linux dělá. Tohle si ale musím experimentálně ověřit.

Co určitě Linux umí, je když z pole bude číst jedno vlákno, ale pokaždé na jiném místě. Pak si Linux vybere nejlépe vystavený disk. Otázka ale je, nakolik je heuristika čísla LBA spolehlivá s dnešními disky, o jejichž geometrii se můžeme jen dohadovat.

[petr_p]

Tak jsem si dělal jednoduchý test na dvou stejných discích připojených přes IDE do stejného řadiče, ale každý jako master na jiném kanále, a jsem docela rozčarovaný.

Nejprve jsem chtěl použít přímé čtení bez cachování operačním systémem (O_DIRECT), jenže z nějakého důvodu mi dd dává poloviční rychlost oproti jinak úplně stejnému čtení. Co to sakra je? Tak jsem vypnul přímé čtení a testoval jsem čtení vždy nové oblasti.

Četl jsem ve dvou vláknech stejné množství dat (souvislých 500 MB po 1MB kusech), která byla od sebe poměrně vzdálená. Čtení z raid1 mi dalo 29,5 MB/s. Čtení z obou fyzických disků mi dalo 33,5 MB/s. Kam se ztratil rozdíl?

Pro doplnění čtení ve dvou vláknech z jednoho fyzického disku mi dalo 23,5 MB/s pro každé vlákno zvlášť, čtení jediným vláknem mi dalo 57 MB/s.

Všechny testy jsem několikrát opakoval.

Napadá mě jediné vysvětlení: moje deska stojí za prd. Nevím, jak si vysvětlit tato divná čísla.

[pet]

 

Tak jsem si dělal jednoduchý test na dvou stejných discích připojených přes IDE do stejného řadiče, ale každý jako master na jiném kanále, a jsem docela rozčarovaný.

Problem je v tom IDE. Kazda diskova operace na IDE zablokuje sbernici az do jejiho dokonceni, takze na IDE nejen ze nebezi dve diskove operace na dvou discich paralelne, ale dokonce i pocitac ceka, az operace dobehne. Hruza.

Priste to zkus se SCSI / SATA / SAS, a budes koukat, jak to pofrci.

 

[petr_p]

Fakt? Když bych pominul imbecilitu některých řadičů, tak komunikace mezi diskem a řadičem je na jiném kanále, takže tady k žádnému soupeření nedochází.

Mezi řadičem a pamětí je jen jedna PCI sběrnice s jediným DMA kanálem, takže tady pravděpodobně k soupeření dojde. Ale každá půlka IDE řadiče má vlastní IRQ, takže když by se přenos mezi řadičem a pamětí udělal prokládaný, respektive operační systém nechtěl přenášen na jeden zátah moc velké bloky dat, tak by se dva 50MB/s proudy měly na PCI sběrnici vejít. Navíc tímhle problémem snad bude trpět jakýkoliv řadič na PCI bez ohledu jestli za ním je disk připojen po SATA nebo jinak. Nebo se snad pletu?

[pet]

Narazili jsme na to už před lety na desce ktera měla ještě i ISA sbernu, ale myslím, že onboard EIDE řadič byl interně na PCI. Dali jsme tam 3 rychlé EIDE disky do RAID 5 a bylo to tak neskutečně pomalé, že jsme tam museli dát Adaptec UW SCSI se třema diskama. Práce s jedním diskem byla citelně pomalejší než před tím, ale v RAIDu to už byla raketa Jiné vysvětlení, než vzájemné blokování EIDE disků mne nenapadá.

Servery se SW RAIDy provozujeme už cca 15 let, některé dokonce bez UPS, dříve RAID 5, dnes RAID 1 nebo 10 a jediná ztráta dat byla, když si kolega spletl stroj

[trekker.dk]

Vzhledem k příspěvků výše - pokud sem hodíš přesný postup testu (popř. zdrojáky toho, čím jsi testoval nebo odkaz), tak to večer můžu vyzkoušet na RAID1 složeného ze 3 SATA disků.

[petr_p]

export OFS=5000; export COUNT=500;
dd if=/dev/md2 of=/dev/null iflag=fullblock bs=1M count=$COUNT skip=$OFS &
dd if=/dev/md2 of=/dev/null iflag=fullblock bs=1M count=$COUNT skip=$((OFS+5000))

Proměnnou OFS jsem se přesouval do nových oblastí, abych četl nová data (příznak direct měl divný dopad na výkon). Pak stačí měnit hodnotu if. Testy byly paralelní čtení ze stejného pole (/dev/md2, /dev/md2), paralelní z obou disků (/dev/hda, /dev/hdc), paralelní z jednoho disku (/dev/hda, /dev/hda) a pro srovnání výkon jednoho disku (/dev/hda, druhý dd nepouštět).

Smyslem je prokázat, jak Linux čte z RAID1, jestli dělá prokládání, jestli výběr nejbližší hlavičky má smysl a jak se s tím popere řadič. Pokud máš pole ze tří disků, měl bys číst ve třech vláknech.

Stále nerozumím, proč čtení z pole je pomalejší než čtení z disků (asi o 5 MB/s na každé vlákno). Má Linuxový md takovou režii?

[chinook]

chtel jsem to zkusit zmerit take, ale:

root@firewall:~# dd if=/dev/md1 of=/dev/null iflag=fullblock bs=1M count=500 skip=5000
dd: invalid input flag: `fullblock'

[petr_p]

Tak si nainstalujte novější verzi coreutils nebo ten příznak smažte. On stejně asi má v tomto případě pramalý vliv.

[chinook]

Nemeri nahodou hdparm -t to stejne? Jinak kdyz jsem spustil

dd if=/dev/md1 of=/dev/null bs=1M count=500 skip=5000

podruhe, tak jsem nameril 1.2GB/s. Jak je to mozne? On to pak taha z ramek?

[linuxik]

Presny odhad, jestli chces dostat nejake rozumne vysledky, musis pred testem smazet cache  `echo 3 > /proc/sys/vm/drop_caches`

[Heron]

Takže, moje výsledky:

Paralelní čtení z /dev/md1 (mdadm --level mirror):

524288000 bytes (524 MB) copied, 6.98883 seconds, 75.0 MB/s
524288000 bytes (524 MB) copied, 7.02107 seconds, 74.7 MB/s

Paralelní čtení ze členů (sdb1, sdc1):

524288000 bytes (524 MB) copied, 6.52552 seconds, 80.3 MB/s
524288000 bytes (524 MB) copied, 6.78038 seconds, 77.3 MB/s

Tato čísla potvrzuje i čučení do dstatu behěm testu.

Jedná se o stejné SATA II (WD1000FYPS - WD 1TB Raid Edition, Greep Power) disky na Intelácké desce (Intel DP35DP), interní řadič. Čtení přímo z disku se zdá být o něco rychlejší, 1000 testů pro statistiky dělat nebudu.

Celý skript vypadá následovně:

export OFS=5000; export COUNT=500;

echo 3 > /proc/sys/vm/drop_caches
dd if=/dev/md1 of=/dev/null bs=1M count=$COUNT skip=$OFS &
dd if=/dev/md1 of=/dev/null bs=1M count=$COUNT skip=$((OFS+5000))

echo 3 > /proc/sys/vm/drop_caches
dd if=/dev/sdc1 of=/dev/null bs=1M count=$COUNT skip=$OFS &
dd if=/dev/sdb1 of=/dev/null bs=1M count=$COUNT skip=$((OFS+5000))

[petr_p]

Takže opět stejný mírný 5MB/s propad u čtení z pole.

Čtení přímo z disku se zdá být o něco rychlejší

Výrobce udává 84 MB/s na jediném disku. Tudíž paralelní čtení ze dvou disků si z každého vezme asi 5 MB/s. To je sice mnohem lepší, než můj příklad s IDE, ale stále to ukazuje, komunikace mezi řadičem a pamětí není ideální, že dochází ke kolizím. No, ten můj IDE řadič (nějaké ICH5) je na tom o dost hůř.

Nicméně z měření vyplývá, že při paralelním přístupu na linuxový raid1 se čtou z obou disků zároveň různá data a že se obsah disků neporovnává (disk bude z pole vykopnut, až když z něj selže čtení).

[artec]

 

Nicméně z měření vyplývá, že při paralelním přístupu na linuxový raid1 se čtou z obou disků zároveň různá data a že se obsah disků neporovnává (disk bude z pole vykopnut, až když z něj selže čtení).

Toto presne souhlasi i s mou teorii. Rychlost RAID1 je podle me vzdy rovna rychlosti pomalejsiho disku v raidu minus rezie.

 

[trekker.dk]

Moje výsledky:

Paralelní čtení z pole:

524288000 bytes (524 MB) copied, 10,5563 s, 49,7 MB/s
524288000 bytes (524 MB) copied, 11,2356 s, 46,7 MB/s
524288000 bytes (524 MB) copied, 11,4679 s, 45,7 MB/s

Paralelní čtení z disků:

524288000 bytes (524 MB) copied, 7,77607 s, 67,4 MB/s
524288000 bytes (524 MB) copied, 8,24408 s, 63,6 MB/s
524288000 bytes (524 MB) copied, 8,77884 s, 59,7 MB/s

Paralelní čtení z jednoho disku

524288000 bytes (524 MB) copied, 25,8709 s, 20,3 MB/s
524288000 bytes (524 MB) copied, 26,7223 s, 19,6 MB/s
524288000 bytes (524 MB) copied, 26,9858 s, 19,4 MB/s

Samostatné čtení jednoho disku

524288000 bytes (524 MB) copied, 8,21727 s, 63,8 MB/s

Testováno na quadcore Phenomu X2 (performance governor), deska Gigabyte s čipsetem od AMD, SATA řadič ATI SB700/SB800 v režimu AHCI

Propad ještě větší než těch 5MB/s, co naměřili ostatní.

[Pavel]

Pokud mate 4 disky a potrebujete vykon tak bych sel do RAID 0+1 pripadne RAID10. RAID5 bych ja osobne nedaval.

BTW, WD Velociraptor je SATA disk ne? SAS (Serial Attached SCSI) jsou samozrejme o hodne vykonejsi nez SATA disky.

[dustin]

Koukal jsem, že jsou i SAS 7200rpm. V kapacitě 1TB jsou ještě za rozumné peníze. Je tedy otázkou, jaké vlastně disky autor dotazu objednal. Nevím, zda by byl velký výkonostní rozdíl mezi SAS a SATA na 7200rpm.

[snajpa]

Na obou serverech s VPS (vpsFree.cz) máme RAID10 (4 disky v každém z nich). Dělali jsme nějaké testy (zápis, čtení), RAID10 není vůbec špatný. RAID5 bych nedoporučoval, tam může kleknout jenom jeden disk. U RAIDu10 je to tak, že když mám víc štěstí, můžou mi kleknout dva disky, když smůlu, může kleknout jenom jeden, abych nepřišel o data. BTW - co takhle zkusit RAID6, tam je jedno které 2 disky kleknout, a vybavit ten server množstvím RAMky, kvůli cache? Nebo - případně - pokud nejsou data až tak klíčová, udělat RAID0 a často zálohovat.

[AK-81]

U serverů platí všeobecně platné pravidlo, že by měl být každý disk z jiné výrobní série. Tím se eliminuje to, že by např. nějakou skytou výrobní vadou umřelo více disků najednou. Potom je RAID 5 v podstatě velmi bezpečný. Nikdy jsem nezažil, že by v serveru odešlo několik disků najednou. A v případě, že jeden vypadne, po výměně disku je ONLINE rebuild RAID 5 pole záležitostí několika málo hodin. V případě, že existuje nějaký rozumný "disaster recovery plan" a data se zálohují, není se vůbec čeho bát.

Pokud budou všechny disky z jedné série, pak v případě že se bude jednat o vadnou sérii disků nepomůže ani ten nahoře, natož RAID 10...

[Heron]

Nikdy jsem nezažil, že by v serveru odešlo několik disků najednou.

To já už bohužel ano.

A v případě, že jeden vypadne, po výměně disku je ONLINE rebuild RAID 5 pole záležitostí několika málo hodin.

U 1TB disků je to 1 celý den (přes 24h, u SATA disků jsem viděl i 36h). Jeden den, kdy jedou všechny disky v poli naplno. Druhý lehce nemocný disk v poli toto nemusí přežít.

[cronin]

Aj mne uz odisli dva disky po sebe v sw raide 1 v intervale menej ako 20 minut po sebe. Boli dokonca od roznych vyrobcov.

[cronin]

Ak tam bude 60 pouzivatelov pracovat naraz, bude treba vsetko ine, len nie sekvencne citanie.

[VM]

Pokud je hlavní výkon, tak bych tam asi dal dobře nastripovaný RAID5 na 4 discích. Nemyslím že by byl nespolehlivý - výpadek jednoho disku přežije. Samořejmě že někde poblíž může praštit blesk a odejde víc disků najednou, ale proti takovým případům vás ochrání jen záloha v jiné budově, nejlépe v jiném městě.

RAIDu5 na 4 discích bych se nebál - IBM má ve svých strojích běžně RAID5 na 16 (byť HW RAID), takže by s tím neměl být problém.

Kdyby vám byla ukradená integrita dat, tak můžete použít LVM,  lépe se spravuje.

Pokud jde o výkon, rozhodně nezapomeňte nastavit vhodnou velikost stripů, jinak budete na výkonu jednoho disku.

Co se spolehlivosti týče, je třeba si uvědomit, že SW RAID jiný než RAID1 (a sem patří i většina tzv. RAID řadičů v PC) paradoxně snižuje spolehlivost při výpadku napájení. Dokonce se může rozbít i žurnálovaný filesystém, který by se jinak nerozbil. Takže velmi doporučuju dát server na UPS (funguje i jako přepěťová ochrana), a samořejmě používat maximálně stabilní HW i SW. I tak nemáte šanci dostat se na spolehlivost velkých (a drahých) HW RAIDových řešení.

Zkuste zvážit, zda disky vůbec spojovat - pokud by je šlo připojit každý zvlášť, a jednotlivé klienty mezi ně rozhodit, tak by to možná bylo lepší řešení.

[svaca]

Myslim, ze FooBar to to vysvetlil jasne ... : -) Nicmene:

pokud nekdo koupi SAS disky, ma na HW RAID (ktery je samozrejme ve vsem lepsi naz SW RAID), pokud rika, ze nema, je to blazen ... S prominutim ... SW raidy pouzivam a hodne, ovsem nejvetsi problem SW raidu je oproti poradnemu HW raidu ZALOSTNY vykon ... HW raid je VZDY rychlejsi ... dneska je dobre pouzivat tyto kombinace RAID5, RAID6, RAID10:

RAID5 + SPARE:

HW reseni: pro obecne pouziti, treba mailserver, klasika, rychle cteni, rozumny zapis
SW reseni: pomalejsi nez HW, zbytek stejny

RAID6: 

HW reseni: jistota, muzou vypadnout dva disky, haorsi zapis, tezko sehnat, drahy radic
SW reseni: levny, dost pomaly zapis, jistota

RAID10: 

HW reseni: rychle, dobre na databaze, rychle cteni a zapis
SW reseni: to same jako HW, ale pomalejsi - az o 50 procent ...  

HLAVNI vyhody HW: Presne jak psal Foobar:

+vykon
+jistota
+kvalitni managment
+ cache a BBU (batery backup unit)
- v pripade zniceni radice = fatal problem
- drahe

HLAVNI vyhody SW:

+prehositelnost mezi HW (desky a radice) - proste vymenim MB a jedu dal
+levne
+spolehlive
- vykon, vykon a zase vykon
- moznost ztraty dat pri zaple write cache - neni BBU 

SHRNUTI:

SAS disky a SW raid je kravina = brzda vykonu (STACI SATA)
SAS disky a HW je drahe, ale rychle jako prase ...  
RAID1 na vyce nez dvou diskach je uplny nesmysl ... 
RAID1 je super kvuli zaloze, ale to je tak vse
RAID5 radsi jedine s hotspare
RAID10 taky radeji s hotspare 
RAID6 muze byt bez hotspare 
na maildir JFS, reiserFS, ext4 (v budoucnu)

[trekker.dk]

Jenom takové malé doplnění k poslednímu řádku - když už "v budoucnu", tak jsi možná do seznamu měl přidat btrfs

[dustin]

Osobně bych tu výhodu kvalitního managementu přesunul z HW raidu do SW, ale vycházím jen ze zkušeností s lowendovými 3ware a HP SmartArray do 15kKč

Proč RAID10 raději s hotspare a RAID6 i bez hotspare, když obojí unese pád jednoho disku?

[svaca]

RAID 6 unese pad dvou disku, pole se rozpadne az po padu tretiho, ale zalezi jaky disk presne vypadne ... toto se tyka i radi 10, kde muze vypadnou jeden ze stripu a druhy z mirroru, nebo treba 4 disky z mirroru a pole porad bezi ...

Raid 5, vypadnou dva disky a je konec ... Kdyz vezmu v potaz slaby zapis na raid 5 pri spatnem, nemoznem nastaveni, tak raid 5 radsi ani ne ...

[lodovik]

1/ když se kupoval server původně s 2 sas disky v software raid, tak bylo v plánu, že tam bude v budoucnu hw raid, potom totátlní krach co se týče financí. Teď mám možnost sehnat něco místo těch původních disků, které se podělaly(vadný firmware)

2/ po projetí alza.cz jsem našel jenom SAS hostraid řadiče, což je podle mě software raid

[AraxoN]

V alze majú aj RAIDové karty (poznáš podľa ceny - začínajú okolo 300€ s daňou), ale vrelo neodporúčam od alzy pýtať čokoľvek špeciálne. My sme od nich objednali server - dodali niečo úplne iné, tak sme im to vrátili, potom zistili, že to čo majú na webe dodať vlastne ani nevedia, vrátenie platby zdržiavali 2 mesiace, nedalo sa ku nim dovolať, na maily nereagovali. Nakoniec sa to vyriešilo, ale stálo to veľa úsilia a vlastne úplne zbytočne. Keby sme rovno išli do kamenného obchodu, vyšlo by to lacnejšie.

[lodovik]

Např. http://www.alza.cz/radic-adaptec-3805-bulk-d102865.htm http://www.alza.cz/radic-adaptec-5445-kit-d102879.htm http://www.alza.cz/radic-adaptec-31605-kit-d102872.htm, všude píšou hostraid. U alzy kupovat nechci, ale mají dobrej eshop a dobře se tam hledá.

[lodovik]

Kde seženu seznam opravdu hardwarových raid karet? Kdysi jsem to našel když jsem to nehledal, ale teď to nemohu najít. Podle alza.cz je všechno hostraid

[AraxoN]

Keď pozeráš na Alze, tak väčšina z tých 3WARE čo tam majú by mala byť HW RAID.

[lodovik]

Jsou to alespoň kvalitou a rychlostí porovnatelné karty s adaptecem?

[FooBar]

Vybiral-li bych mezi Adaptecem a 3ware, vybral bych (na zaklade zcela subjektivnich zkusenosti) 3ware.

[lodovik]

A co software pro linux, mají nějaký funkční pomocí kterého se dá pole monitorovat?

[svaca]

mdadm

[lodovik]

Mdadm je ale pro linuxový sw raid. Z manuálu:

mdadm - manage MD devices aka Linux Software Raid.

[svaca]

jo spatne jsem to pochopil ...

pouzivam taky 3ware ,,

je na to tw_cli a web ksicht ....

[Brud]

Musim priznat, ze resit dilema na 4 diskach v jakem soft raidu mi to cte rychleji, je opravdu komicke.

V jakemkoliv soft raidu vam pro 60 soucasnych uzivatelu daji to same.

[DD]

Jak jsem pochopil, půjde o server LTSP. Jelikož něco takového provozuji s cca 50 tenkými klienty, tak bych si dovolil napsat svoji zkušenost. Když jsem s tím začínal, tak jsem taky volil SAS disky a důraz jsem kladl na velikost RAM. V praxi je pořadí důležitosti následující : CPU, RAM, propustnost sítě, HDD. Dále doporučuji plánovanou kapacitu pro začátek násobit dvěma - jakmile zjistí, že systém funguje, začnou se připojovat nejrůznější starší PC a systém se začne rozšiřovat, přičemž se výrazně šetří finance. Dále doporučuji server hned "nastrojit" do plné konfigurace - pozdější HW upgrade bývá trošku problém vzhledem k dostupnosti velmi specifických serverových dílů. Nakonec - kombinace  64bit_SERVER X 32bit_KLIENT má (subjektivně) rychlejší výstup u klientů.

[Zdeněk Štěpánek]

Trochu k tematu:

http://www.abclinuxu.cz/blog/uz_mam_taky_blog/2009/8/trampoty-s-raidem