HP MSA P2000 G3 - je to v háji

20.7.2015 00:24 | Přečteno: 3118× | plky

Tak, to už je druhé zklamání od P2000 G3, tentokrát ovšem trochu smutnější.

HP P2000 G3 FC - spolehlivost

Před nějakým časem nám začal padat Oracle RAC (2x DL380G7 + 1x P2000 G3 připojené pomocí FC). Vše se zdálo býti dobré, až na jednu věc. V logách bylo celkem často info, že nějaký disk má chybu, ale po scrubu vše ok, viz :

Bohužel evidentně ne, Oracle prostě 1x týdně padnul při procesu kompletní zálohy. S dodavatelem jsem domluvil postupnou výměnu disků, které se v logách opakovaly a provedl jsem jejich výměnu. Od té doby klid. To bylo pro mně velkým zklamáním, protože vše se tvářilo, že je 100% ok a nebylo, navíc tyto hlášky padaly do prostých info a kdo by si je nechal posílat, warn a err přeci stačí...

HP P2000 G3 SAS - výpadek proudu

Do záložní lokality jsme pořídili SAS verzi tohoto pole pro standalone zálohy. Vytvořil jsem na něm pro větší spolehlivost RAID50 ze 3x4 disků + 2x spare. Celkem tedy 14x 2TB SATA disky. Nedávno to ovšem pole lehce nerozdejchalo. Po výpadku proudu nenaběhlo 5x HDD, pole je nevidělo. Po rescanu disků je pole uvidělo, ale měly na sobě Global SP. Prostě se z 5 disků staly Spare disky. Na podpoře HP nám sdělili, že pole je po HW stránce plně ok, ale toto se prý prostě stává a máme po datech. Poradili ještě upgrade FW, který vyšel asi před cca 14 dny, než se pole rozbilo. Lze tedy říci, že pole mělo aktuální fw.

Ve finále jsem dohledal tento dokument : HP P2000 G3 MSA Systems - Disk Drive Failure During Reconstruct Scenarios, kde radí v případě jakýchkoli problémů neupgradovat fw ani nemazat unwritable cache. Škoda, že jsem to nenašel dřív, ale obávám se, že by to stejně nepomohlo. Zkoušel jsem zmíněný trust, ale bohužel, ten na pole v takovém stavu nemá.

Závěr

Nějak nevím, co si o tom všem myslet, ale moje důvěra v taková pole značně klesla :-/. Nj., čekat na koupi dalšího pole pro zálohy záloh se zjevně nevyplácí :-/. Apropo, má někdo podobnou zkušenost?

Zdar Max

       

Komentáře

[Miriam]

Posral jsi to Maxi a svádíš to na pole.

[Lubomír]

Mám podobnou zkušenost, ale né s polem, jen s HP řadiči P800 a P400. Pole na nich vytvořené se tváří OK, surface scany na discích nic nehlásí a najednou mám filesystem jen pro čtení, protože chyba zápisu. Postupným testováním disků, jsem odhalil disky které HP označovalo za OK, ale které dokázali spolehlivě sestřelit filesystém bez jakéhokoliv varování.

[Max]

My jedeme převážně HP DL380 servery G5,6,7,8,9 s řadiči P400,410i,P420i a několikrát i šly dolu (třeba vlivem špatné UPS, nebo chybě v nastavení apod.) a zatím vše ok. Snažím se držet aktuální verze fw apod.
Zdar Max

[alkoholik]

2TB SATA disky a ty se divis?

[Max]

Proč? Běžně tu používám 4TB SATA v RAID10 úplně bez problémů (linux mdadm). Navíc je to oficiálně podporováno, takže nevím, proč bych se měl zdráhat. Chci velkou, bezpečnou a pomalou kapacitu, nevidím důvod nepoužít 2TB, nebo 4TB hdd.
Dále na poli běží pravidelně kontroly, aby se eliminovala chyba HW + tam standardně byly 2x SPARE. Mně to přijde plně ok. Navíc výpadek pole a ztráta metadat nemá co dělat s kapacitou disků. Neřeknu, kdyby se objevily v logu nějaké chyby, že disky nejsou fit, ale toto je evidetně sw problém.
Zdar Max

[alkoholik]

bezpečnou
;)
Obecne stoji velke (>1TB) WD a Seagate za vylizprdel a jine se tu blbe shani.
BTW: existuje pekna studie, ktera rika, ze mas pomerne velkou sanci, ze v degradovanem poli nad 1TB chcipne dalsi disk driv, nez se synchronizuje na spare. Jestli to chces skutecne spolehlive, tak jedine RAID6.

[Max]

Jsou to HP disky, nevím, od koho. Jinak ty studie znám.
Zdar Max

[Lubomír]

Studie jsou pěkný, realita je jinde. Ale to sis jistě u toho Backblaze které používá právě ty největší disky přečetl, ne?

ADG na P800 (což je RAID6) mělo s rozpadnutím pole kvůli neidentifikaci problémových disků stejné potíže jako RAID5.

[R]

A boli tie disky vadne? Podla mna neboli, len tieto "enterprise redundantne" riesenia su schopne za okamih znicit tolko dat, co by si cez dd prepisoval niekolko hodin :D

[Max]

Vadné nejsou ani pole jako takové nevykazuje vadu hw.
Zdar Max

[majales]

A jak je to u těch SATA disků s TLER? Jsou ty SATA disky RAID edition? Pokud ne, tak by mohl být zakopaný pes v tomto. Normálně se stává, že disk potřebuje realokovat nějaký sektor tak se na chvíli hodí do offline a po přealokování je opět řadiči k dispozici. Pokud to trvá delší dobu tak se to ovšem nelíbí RAID řadičům, a ty ten disk většinou vykopávali z pole jako vadný. Ovšem novější řadiče, jak jsem nedávno zjistil ten disk občas nevykopnou a ve scrubu se také neobjeví žádná chyba. Raid edice disků se vyrábí proto, že mají časově omezený ten https://en.wikipedia.org/wiki/Error_recovery_control#Desktop_computers_and_TLER a to na jednotky sekund. HW RAID řadiče a SATA neraid disky spolu prostě dobře nefungují.

[Max]

TLER znám, ale nezkoumal jsem, co ty disky všechno umí, protože to je dodané řešení all-in-one by HP a vše je kompatibilní a doporučená konfigurace by HP.
Každopádně tebou popsaný proces by rozhodně nevedl k tomu, aby se z disků s RAID metadaty staly globální spare disky.
Zdar Max

[majales]

Nedalo mi to ještě abych se nepodíval jaké disky jsou u zákazníka (jedná o HP MSA 2040). Jsou tam 2.5" 300GB SAS disky 15k rpm. Model disku je EH0300FBQDD. Jestli píšeš, že to máš sestavené a dodané HP, tak bys na to měl mít taky nějaký carepack a pánové z HP by se na to měli přijít podívat, nebo se pletu? Ověřil bych vendora a model u každého disku a konfrontoval to přímo s HP supportem.

Tohle pole (MSA 2040) monitoruju nagiosem přes SNMP pomocí takového šíleného PHP pluginu, který je schopen ukázat přes performance data i vytížení řadiče a jednotlivých vdisků. Zatím (klep, klep) všechno jede jak má.

[Max]

My máme vesměs všude SAS 2,5" 10k, nebo 15k od kapacit 147GB až 1,2TB. Dívám se na tyto SATA disky a jejich modelové označení je ST2000NM0011, takže Seagate (Seagate Constellation ES pro 24/7 a TLER samozřejmě mají). Pole je v záruce, ale support nás poslal tak nějak do háje s tím, že je vše po HW stránce plně ok a to, že vypadl proud a padlo pole se prý prostě stává a máme po datech.
Zdar Max

[flakon]

Pole je v záruce, ale support nás poslal tak nějak do háje

Jo, poslední dobou se HP support RAPIDNĚ ZHORŠUJE!

[Max]

V tomto případě se supportu snad ani nedivým. Co jiného mohou dělat, když po HW stránce je vše ok a ten úplně poslední fw jsme tam neměli, protože pole padlo 14 dní po vydání současného fw.
Zdar Max

[flakon]

Zažil jsem trapnou chybu fw u P2000 - odešel jeden zdroj a firmware se rozhodl, že musí vypnout i ten druhý 8-()

[sigma]

Dnes podobná chyba na DL385G7 - vypnul se, iLO dostupné, ale v logu nic krom "Server reset" a "Server power removed". Přes iLO zapnout nešel. Status LED svítila červeně, tlačítkem zapnout nešel. až po odpojení obou zdrojů od sítě a znovuzapojení normálně najel. Firmware tam teda není nejnovější, ale stejně... tady asi nebyl ani problém že by odešel zdroj nebo vypadl jeden přívod, prostě se rozhodl že se vypne.

Dotyčný stroj už je po záruce, což je snad i lepší, protože v případě podobného problému v záruční době nastane akorát kolečko upgradů firmware a čekání až se to stane znova, takže pak mám HW pod zárukou, na který se stejně nedá spolehnout.

[drunkezz]

nevyjadrim sa k msackam tie u nas idu (klop klop) celkom stabilne...ale asi 3 tyzdne dozadu sme boli svedkami ked sa zburala P9500vka ....HP supp to riesil a odpoved prisla taka ze toto je 2hy krat co sa to stalo na svete  s tym, ze sa zda, ze sa to deje vtedy ked su splnene tieto 3 podmienky

- port je v host mode

- vo fabriku  je logout event

- bezi upgrade mikrokodu kontrolera

 

Major outage bola na svete

Dnes crashol bez dovodu Netapp E-series....jedna vec je ze sme o data neprisli..cize tak zle ako u teba to nebolo.  ....aj vyssie ako u MSA sa deju zle veci...

 

D.

[jk001]

mám podobnou zkušenost s dvoucontrollerovym polem od HP. Po výpadku proudu jeden z řadičů prostě odejde. Jejich technik to řešil celý den, stejně na to nepřišel :). Výpadky proudu jsou dle mého pro ta jejich pole nejhorší scénář. Vytahnout proud a pak se hodně modlit, aby to vůbec šlo.

Vypadá to, že mají kopu "prima" vlastností. Třeba v RAID5 je výpadek jednoho disku jen WARN (není to CRIT), a to tam nebyl ani spare. Občas označí disk za špatný, ale ve stejném poli vedle se jeví naprosto OK. Úplnej magic box.