Dotaz: Rychlost raid pole

[gepard]

Ahoj, dostal jsem se k tvrzení, že rychlost raid pole je tak velká, jako nejrychlejší disk v poli. Bohužel nevím, co přesně je tím myšleno. IOPS? Různé typy disků?

Příklad.: předpokládejme sw raid mdadm Mám 6x Intel SSD D3 S4610, 2,5" ... 6x 960GB (raid-6) Pokud bych použil 12x intel ... 12x 960 GB (raid-6) Navýší se hodnota IOPS? O kolik?

A to samé v případě 6x 960GB (raid-10) vs 12x 960GB (raid-10)

Děkuji za odpověďi.

Odpovědi

[gepard]

Je to nepřehledné, takže dotaz znova:

Ahoj, dostal jsem se k tvrzení, že rychlost raid pole je tak velká, jako nejrychlejší disk v poli.
Bohužel, nevím, co přesně je tím myšleno. IOPS? Různé typy disků?

Příklad.: předpokládejme sw raid mdadm 

Mám 6x Intel SSD D3 S4610, 2,5"  ...  6x 960GB (raid-6)
Pokud bych použil 12x intel  ...  12x 960 GB (raid-6)
Navýší se hodnota IOPS? O kolik?

A to samé v případě 6x 960GB (raid-10) 
vs 12x 960GB (raid-10) 

Děkuji za odpověďi. 

[NN]

Pochopil jsem to tak, ze tvrzeni ma byt spravne "..jako nejpomalejsi disk v poli." a vstahuje se k poli sestavenem z ruznych disku v tom smyslu, ze pomaly disk brzdi vykon celeho pole. V uvedenem prikladu je to tedy irelevanatni.

[gepard]

A když bychom se podívali na uvedený příklad, navýší se tím hodnota IOPS?
Vždycky jsem si myslel, že ano, výše uvedená věta mě však zmátla.

Ad zde: http://arcom.cz/index.php/servis/56-kapacita-disku-vykon-disku-iops

RAID penalty ... je to skutečně tak?
RAID 1 = 2
RAID 10 = 2
RAID 5 = 4
RAID 6 = 6

Intel SSD D3 S4610, 2,5" - 960GB ... IOPS read = 96 000; IOPS write = 51 000

Takže kdybych použil 12 disků, tedy 12x 1 TB v raid-6, tj. celkem 10 TB
IOPS read = 8x 96 000 = 768 000
IOPS write = 8x 51.000 / 4 = 102 000

Počítám správně?

[gepard]

nějak mi to nemyslí. Nepočítám správně.

Kdybych použil 12 disků, tedy 12x 1 TB v raid-6, tj. celkem 10 TB
IOPS read = 10x 96 000 = 960 000
IOPS write = 10x 51.000 / 4 = 127 500

Je to správně? (alespoň teoreticky)

[lazywriter]

Ne :) Protože pro potvrzení operace budete potřebovat její potvrzení na všech diskách. Navíc, nejen datových (10x), ale i paritních (takže na všech 12) odtud "rychlost jako _nejpomalejší_ disk".

Takže u RAIDu roste propustnost (např. rychlost lineálního zápisu) a zůstává stejná (resp. spíš klesá kvůli režii) latence (IOPS).

[PetebLazar]

Pozn. U RAID1 snad teoreticky může nastat (dle implementace) i situace kdy se latence (při náhodném čtení) může snížit. To v případě, kdy se logika pole s vyřízením požadavku na čtení obrací na různé členy RAID (v konzistentním stavu všechny obsahují stejná data).

Pozn2. U běžně používaných RAID5(6) je(jsou) paritní informace rozloženy na všech členech tj. nerozlišují se (ne)paritní HDD.

[gepard]

Děkuji za odpovědi. Takže jedině v raid-1 a to ještě pouze při čtení může být IOPS mírně vyšší.
A co v případě raid-0, bude hodnota IOPS dvojnásobná při čtení i v zápisu?

[PetebLazar]

To asi nelze prohlásit, záležet bude na charakteru zátěže možná i také na velikosti stripe a typické velikosti modifikovaných dat.

RAID (pomineme-li RAID0) je primárně cestou k diskové (případně řadičové) redundanci (z pohledu zastánců ZFS asi ani to ne). Cestu za vyšším IOPS(sekvenčním výkonem) je třeba hledat jinde.

Při řešení problému bývá zvykem popsat požadavky(zadání), ne řešení.

[gepard]

No mým cílem je maximalizovat IOPS. Ano, počítám s nvme, není podstatné jestli ten princip pochopím na sata nebo na nvme.
Myslel jsem, že když použiju velké množství malých disků sata, bude to stejné, jako menší počet disků nvme. Možná i levnější. Uvažoval jsem, že bych se nvme vyhnul. Pro nvme není k dispozici hardwarový raid.

Dobře. Tak tedy mějme disky nvme v software raidu mdadm. Existuje nějaká možnost, jak sestavit pole tak, aby mělo větší hodnotu IOPS, než IOPS jednoho disku? Jde mi o maximalizaci rychlosti čtení/zápisu velkého množství malých souborů.

[PetebLazar]

Asi existují i NVMe RAID řadiče, ale asi míří na jiný segment (WS). http://www.highpoint-tech.com/USA_new/series-ssd7101a-1-overview.htm

Problém s SSD/NVMe v SW RAIDu může být TRIM a či jeho další techniky ovlivňující okamžitý výkon (SLC cache, wear leveling, zaplnění, ...). Zatímco u nešindelových HDD se asi lze vcelku spolehnout na jistotu přístupové doby XXms a klesající sekvenční rychlost se vzálenost okraje disku.

O jaké průchodnosti MB/s, frekvenci files/s je tu řeč, nakolik paralelně, zda jde o dlouhotrvající zátěž, zda jde o data generovaná v reálném čase, případně co je zdrojem souborů?

[gepard]

Ano, HighPoint SSD7120 NVMe RAID Controller (4x NVMe U.2 RAID) by byl super, jen není kompatibilní v serverech.
Když nebudu řešit TRIM, jaké to bude mít následky? Snížení rychlosti zápisu? Čtení to neovlivní? Doposud jsem TRIM neřešil, nechal jsem vše na raid řadiči. Teď to však vypadá na software raid.
Vstupem je databáze v řádech několika TB a časem bude narůstat. Čtení bude dlouhotrvající zátěž, zápisy jen občas.
Průchodnost? Kdybych se s 12-ti disky (např. Intel SSD DC P4610) dostal na hodnotu 12x 3200 = 38 400 MB čtení / 25 200 MB zápis tak by to bylo skvělé
a IOPS čtení v raid-6 = 620 000, IOPS zápis v raid-6 = 200 000. Ideálně, kdyby to mělo 7 440 000 IOPS pro čtení, což asi nehrozí.
Přemýšlím, jestli raid-0 / raid-10 / raid-60 ten IOPS zvýší. Příp. jak to nastavit, aby byl přínos maximální. Je tohle ta cesta?

[PetebLazar]

Ty hodnoty ze specifikací SSD budou patrně pro sekvenční přenosy a to za laboratorních podmínek (tedy pouze za omezené zátěže, kde se možná značně projeví účinek SLC cache) jež v reálném provozu prakticky nehrozí. Ty disky jsou technologie TLC, takže budou zamýšlené asi především na čtení.

Otázkou je zda vůbec režie a schopnosti OS/FS nezastropují dosažitelný výkon (bez ohledu na případný dostatek IOPS).