Dotaz: Virtualizace nad raid 6 sw diskovým polem

[nomany]

Ahoj. Z důvodu nedostatku finančních prostředků se chystám pořídit místo značkového serveru s hw raid 6 radičem a baterkou levný značkový server a udělat na něm software raid 6 z normálních sata disků. Mělo by to sloužit pro virtualizaci nad KVM. Běžely by na tom zatím 5 virtuálních mašin: web server (návštěvnost cca 40000 stránek (600 MB dat) / den, databáze mysql, několik webů s redakčním systémem joomla), mail server pro cca 200 schránek (postfix/dovecot/amavis/spamassassin), dns cache server, zabbix server, windows server s mssql databází (pro účetnictví). Disky bych tam dal 4x Seagate Constellation ES.3, protože mají 128 MB cache, což se asi u sw raid může hodit (???).

Myslíte, že je reálné to provozovat na serveru s linuxovým SW raid 6? Nic jiného než raid 6 bych tam po předchozích zkušenostech s kvalitou současných hdd nedával.

Odpovědi

[pet]

Raději bych použil RAID10, protože má menší systémovou režii a pravidelně zálohoval. Disky bych koupil nadvakrát, aby v každém páru byly z různých sérií. Pokud bude systém monitorován a na UPS která ho dokáže při výpadku napájení včas zahaltovat neměl by být problém.

[vdusek]

Osobně bych za každou cenu nešetřil.

Zrovna diskové pole je základ vší virtualizace a raději bych začal na něčem takovém QNAP TS-470 - http://www.qnap.com/en/index.php?lang=en&sn=822&c=351&sc=513&t=520&n=19629

[Dumak]

Hm. A co tak zazracneho na tom malem pc s linuxem je? Ten software? Je odzkouseny jako sw raid v kernelu? Nebo ze by to dokonce pouzivalo ten samy sw raid? Takze si kupuju jen web rozhrani? To je pak dost drahy.

[ondro]

Urcite tam je SW RAID. Pre toho, kto si vie postavit vlastny server, tak je to nezaujimave a trochu drahe. NAS z klasickeho zeleza je v takomto pripade lepsi

Ak sa v tom QNAPe nieco pokazi, tak to napr. s opravou to bude horsie.

K otazke. Nic taketo na raid6 som neksusal ale neviem, ci to tych 5 virtualov potiahne. Tiez by som sa skor priklanal raid10. Uzkym hrdlom budu disky a uz len pri trochu vyssej zatazi nebudu stihat (IOps nepusti). Pri tychto diskoch ti ani HW Raid neurobi zazraky. HW raidom neoblbnes IOps. Len tomu trochu pomozes cache pametou a inteligenciou HW raidu. Otazne je aku zataz budu generovat, to z popisu nieje jasne. Ak by hlavnu zataz generoval ten web server, tak by to mohlo stacit. Ak bude trochu intenzivnejsia zataz aj z inych (napr. to MS SQL), tak to uz bude drhnut.

[PanZvedavy]

mysql, mssql, zabbix(mysql sucker), x juMba, nejake mail harampadi(jaky bude celkovy objem dat u mailboxu?)...na 4xSata s 7200rmp v sw raidu 6? Pane vy budete asi ftipalek. Takze minimalne 5x 600GB SAS(jeden jako hot spare) do hw raid10. Na ebay jdou sehnat sas radice kolem 150-200$. Dale spousta ram(32-64GB) mimojine na provoz 2 sql serveru. To bude v zakladu stacit a pak lze rozsirovat az budou stoupat naroky. Ty seagate bych vzal dva do raid 1 klidne i sw, pro zalohy.

[nomany]

Co je špatné na těch SATA seagatech? Jsou to 1 TB 24/7 raidové disky se 128 MB cache, které se dělají i se SAS rozhraním. Vzhledem ke kapacitě (vyšší nahuštění dat) + velikosti cache si myslím, že s 7200 rpm můžou být výkonnější než kapacitně menší disky s vyššími otáčkami.
Jinak mě ještě napadlo celé to postavit na SSD discích. Konrétně software raid 5 pole s 3 disky by asi mělo stačit co se týče zabezpečení (ssd disky jsou snad méně poruchové než rotační) a co se týče rychlosti nevím. Zkoušel někdo provozovat podobnou konfiguraci?

[PanZvedavy]

a tady necteme pozorne obsah reakci. Jak uz tu bylo nekolikrat! zmineno, tak je to cele o ""IOPS""...píšu to velkýma písmenama, aby to nešlo přehlédnout.
4x SAS s 7200 rpm se zkratka netoci dost rychle! na to, aby obslouzily popsane naroky a kor ne, kdyz budou v raid6. Zrovna pred mesicem jsem predelaval raid6(na raid5) z 10xSAS 600GB-10000rpm v IBM 3524 poli, protoze to byl neskutecne pomalej odpad a to tu mluvime o specialnim dedikovanem HW, ktere je cele zamereno jen na diskove operace...tak i v teto konfiguraci pri raid6 i uplne obycejny windows 2008 DC na tom lagovaly tak, ze me to prinutilo to predelat.
S raid 5 si aspon toto pole rozumi podstatne lepe a uz na tom masiny vrněj mnohem spokojeneji. Raid 6 se primarne pouziva pro vetsi raidova pole, ktera slouzi spise na ukladani velkeho mnozstvi dat(zalohy, archivy etc), ale ne pro provoz virtualu a nedejboze databazi uvnitr. Raid6 ma zkratka prilis velkou rezii pro efektivni provoz virtualizovaneho prostredi.

SSD pro enterprise segment do raid pole stoji 100000,-kc jeden kus. To co bezne nabizi v obchodech je urceno do desktopu nikoli pro provoz v raidu a virtualizovani sql databazi. Tohle uz par lidi zkouselo a ze zlou se potazalo. Uvadene Io u ssd sou totiz jen PR zvasty, ale pri realne zatezi a konkurencnim zapisu to jde do kytek velmi rychle. Nekde sem mel link, jak si jeden typek koupil 10-15 samsungu 840(velmi vychvalovane pro pouziti v PC), dal je do raidu a pustil tomu plnou zilou...tusim za jeden mesic mu to cele odeslo a smart hlasil chyby, ze uz bylo prealokovano tolik pametovych bunek, jak za pet let provozu :)
Nicmene pokud by se uvazovalo o provozu ssd bez raidu a bez virtualizovani sql serveru na nem, tzn. nejakej ten web, mail, spise veci ktere intenzivne nehrabou na disk, tak by to slo. Treba nejakej ten intel 510 je za pusinku a ty 2-3 virtualy by to mohlo zvladnout, zalezelo by dle mnozstvi pozadavku na hostovane virtualy. Takhle to pouzivam doma, kdy mam na intel ssd hypervisor, 5 vecne flakajicich se virtualu. Sql server me ale bezi na plotnach, abych to ssd moc neskadlil. Nicmene, kdyby to byl placenej byznys, tak bych si tohle nedovolil a sel do plotnovych sas viz vyse. Je to overene a osvedcene reseni. Cenove dostupne SSD, ktere nahradi dnesni vysokootackove SAS z enterprise sfery tu jeste par let nebude.

[trekker.dk]

4x SAS s 7200 rpm se zkratka netoci dost rychle! na to, aby obslouzily popsane naroky

Pokud se to dá do RAID10, mělo by to popsané nároky obsloužit s prstem v nose.

[dustin]

Nevím, 8 x 7200 SATA SW raid10 v našem testovacím serveru utaháme snadno, zato 2 x 15k SAS HW RAID1 v produkčním entry-level serveru (Proliant ML350) je znatelně odolnější. Obojí XFS a stejná verze jádra.

Samozřejmě jedno SSD je všechny strčí do kapsy, otázkou je na jak dlouho

[pangora]

Zlatá slova ... tesat do kamene - nebo raději do hlav borců, co mají pocit, že 7k2 SATA v SW RAID6 přece MUSÍ pohodlně obsloužit sql server pro firemní IS - vždyť jsou přece z BLACK (red, gold, green - doplň dle libosti) edice!

[Jendа]

Myslíte, že je reálné to provozovat na serveru s linuxovým SW raid 6?

Určitě.

[Max]

Pokud máš spočítáno, že ti to zvládne IOPS všech mašin (jejich vytížení znáš jen ty), tak proč ne. Nicméně osobně bych se být tebou uchýlil k RAID10, fakt nemá cenu řešit RAID5/6.
Zdar Max

[nomany]

IOPS dost dobře můžu těžko spočítat, teď něco běží na dost ubohých samostatných fyzických strojích, ale zatížení se dost mění (od "fláká se" až po "webové stránky se načítají strašně pomalu"). Raid 10 má zásadní nevýhodu, když vypadnou nesprávné 2 disky a u raid 10 minimálně v linux softwarovém podání nemůžu dělat pořádné zálohy běžících virtuálních strojů, respektive u LVM snapshotů nikdy nezjistím jejich konzistenci (2x md5sum vrátí něco jiného) po odzálohování kvůli mismatch_cnt na linux raid 1/10 (vyzkoušeno na raid 1), toto by u sw raid 5/6 nemělo být.

[trekker.dk]

OPS dost dobře můžu těžko spočítat, teď něco běží na dost ubohých samostatných fyzických strojích

Munin.

respektive u LVM snapshotů nikdy nezjistím jejich konzistenci (2x md5sum vrátí něco jiného) po odzálohování kvůli mismatch_cnt na linux raid 1/10

Není tohle náhodou spíš chyba hardware než toho raidu?

[nomany]

Není tohle náhodou spíš chyba hardware než toho raidu?

Bohužel tohle je typická vlastnost linuxové implementace. Podle internetu se tak dokonce chovají některé hardwarové raid 10 bez baterky.

[trekker.dk]

protože mají 128 MB cache, což se asi u sw raid může hodit

IMO je to jedno. DB a mailserver při zápisových operacích čekají, až se data skutečně zapíší, takže tomu cache moc nepomůže (pokud disk nelže o tom, že operace je dokončena.) Čtená data zase má v cache přímo OS. Tím nechci říct, že cache na disku je k ničemu, jenom to, že nemá cenu přikládat jí nějaký enormní význam.

[nomany]

Tak co se týče aktuálního zatížení všech dosud samostatných strojů, tak součet pro všechny je:

Zápis: MAX 431 operací za sekundu, průměr 125 operací za sekundu
Čtení: MAX 15 operací za sekundu, průměr 1.5 operací za sekundu

Podle dlouhodobé statistiky od pondělí do čtvrta stoupá vytíženost webu asi 2x, ale to na diskovou zátěž bude mít minimální vliv vzhledem ke kešování statických stránek na web serveru.
Nicméně asi to HW raid chtít bude, na tom by se dalo ušetřit např. kombinací adaptec 6405 se zero maintenance cache modulem AFM-600, čímž by se alespoň ušetřilo za náklady na baterie.

[Jendа]

Nicméně asi to HW raid chtít bude

HW RAID nezrychlí otáčení disků ani pohyb hlaviček, maximálně může optimalizovat NCQ při zápisu. 430 IOPS ale s jedním rotačním diskem (protože při zápisu do RAID6 se zapisuje na všechny disky stejně) nedáš.

[Jendа]

(jinak jestli se to AFM-600 používá jako write cache, tak by mě zajímalo, jak dlouho to vydrží)

[nomany]

Ne, AMF-600 je jen jakousi náhradou baterky. Obsahuje kondenzátor, díky němuž se po výpadku napájení stačí zkopírovat do NAND paměti všechno, co bylo v cache na řadiči. Podle manuálu to má typickou životnost 7 let.

[nomany]

No z těch 431 zápisů/s bylo přes 200 na "zabbix serveru" (běží tam monitoring celé sítě - všechny servery + switche + routery) a tam jsou 2 nízkootáčkový desktop raid disky v software raid 1. Měřeno to bylo na /dev/md0 pomocí vyčítání /proc/diskstats, konkrétně tato hodnota je "sloupec" "# of writes completed". Pravděpodobně do toho bude asi zasahovat nějakou cachí někde jádro, protože ty disky by to nedaly. Jinak i při hardwarovým raidu by bylo lepší použít Raid 10? Procházel jsem nějaké benchmarky, podle kterých je raid 6 srovnatelný s rychlostí raid 10 ale to bylo 8 a více disků v raidu a to je podle mě dost podstatný rozdíl oproti 4.

[kyytaM]

RAID6 na 4 diskoch je uplny blud, ked potrebujes nejaky vykon na zapis. RAID penalty...