Nekonečně spolehlivé diskové pole (diskuse)

Obávám se, že neexistuje způsob, jak se vyhnout plnohodnotnému zálohování. I když bych vzal dvě velmi kvalitní disková pole, připojil je každé k jinému počítači a zajistil jejich mirrorování, dostávám pouze systém, který mě s vysokou mírou spolehlivosti chrání před jakoukoliv myslitelnou hardwarovou závadou nebo jejich různými kombinacemi. (Nechrání samozřejmě úplně dokonale, protože se může stát, že odejde najednou 2xN disků ve dvou polích, ale to je natolik nepravděpodobné, že to můžeme vyloučit.)

V této fázi je značně eliminováno riziko hardwarového selhání a na povrch vystupuje nezanedbatelné riziko chyby lidského faktoru / softwarového selhání.

Pokud "master" té dvojice polí usoudí, že mají být obě smazána, jste prostě v háji. Přičemž k tomu může dojít z naprosto prozaické příčiny, například příkazem delete from xxx, kde člověk zapomněl dopsat where yyy - to se mi skutečně podařilo :-( .

Pokud máte celé zálohovací řešení online, k takovéto situaci dříve či později dojde. Proto by tam měl být vždycky nějaký offline prvek, který vaši chybu ihned slepě nezreplikuje, a vy budete mít šanci odněkud data získat zpět...

28.4.2006 16:51 krnoha | skóre: 10 | blog: prizpevy
Rozbalit Rozbalit vše Re: Nekonečně spolehlivé diskové pole

V této fázi je značně eliminováno riziko hardwarového selhání a na povrch vystupuje nezanedbatelné riziko chyby lidského faktoru / softwarového selhání.

Pokud máte celé zálohovací řešení online, k takovéto situaci dříve či později dojde. Proto by tam měl být vždycky nějaký offline prvek, který vaši chybu ihned slepě nezreplikuje, a vy budete mít šanci odněkud data získat zpět...

Samozřejmě. Tím není řečeno, že to nemůže být chytřejší robot. V našem řešení to dořešeno nebylo, to uznávám.

28.4.2006 18:08 coques | skóre: 21 | blog: FailSystem
Rozbalit Rozbalit vše Re: Nekonečně spolehlivé diskové pole

Problem pri online zalohovani este moze vzniknut ak sa ti ktokolvek nepovolany dostane na server :)

Polívčička byla..

Znamy ITik z male firmy si taktez myslel, ze si podobnym zpusobem usnadni praci se zalohovanim. Nebudu zde popisovat celou historku, to je myslim zbytecne. Postaci myslim posledni veta pribehu se spatnym koncem: "A pak jednoho krasneho dne vyhorela serverovna."

Alternativni a nemene humorna zakonceni teto pohadky pro zlobive deticky: "... se tam naboural cracker a vsechno smazal." "... udelal root preklep v prikazu." "... se zblaznil ovladac radice a zacal zapisovat na disk na pozici pozadovana_pozice modulo 128GiB" (toto jsem BTW skutecne jednou zazil) ...

Povinne cist vsem detem inklinujicim k pocitacum u kterych hrozi, ze se stanou spravci serveru protoze pak jim nocni mura z detstvi mozna pripomene, ze, jak napsal klasik: Tudy ne, pratele! :-)

V práci se nám vyskytl nestabilní raid... podezření padlo na řadič, disky.. OS.. na všechno. Nakonec se zjistilo že za to mohl vadý hotswap backplane. Náhodou v té době ležely vedle nové servery, ještě nenainstalované, tak se z nich jeden autobus i s backplanem vypůjčil a bylo to tu.. řešení.

Server běží dodnes, třebaže je mu 6 let, má v sobě 3 generaci disků a autobus diskového pole je z intel case o 4 generace novější.. tj připevněno jak se dá.

Někdy fakt stačí trivialita jako nestabilní oddělovače v backplane. Zkoušeli jste zaměnit ty pole? Tj jejich disky?

Jinak projev chyb... z počátku klesání výkonu raid, pak timeouty, pak divné hlášky.. pak občasné zamrznutí systému.. na závěr totální výtuh co se už neprobral (nějakou dobu pomáhalo k částečnému obnovení funkčnosti i delší vypnutí serveru (jen fyzické odpojení od veškerého napájení).

29.4.2006 02:35 Radek Hladik | skóre: 20
Rozbalit Rozbalit vše Re: Proč to zlobí?

No, to my tady ted delame diskove pole s Highpointem 2220 a SATA Seagaty. Cele to fungovalo, dokud se nezacalo hodne kopirovat, pak to nahlasilo "hpt_reset" a konec, cely pocitac mrtvy, pomohl jedine restart. Castecne pomahalo nepouzivat backplane, ale problem byl porad...

Jen tak namatkou jsme zkusili vymenit SATA kabely a ehjle... Originalni od highpointu (takove pekne, modre) zlobi a obycejne noname cervene (zatim) fungujou jako po masle...

Ted jeste zkusim zapatrat, zda do toho nejak nevstupuje SATA1/SATA2. Treba ze by to zlobilo pri SATA2 a na tech obycejnych kabelech by si to troufalo maximalne SATA1...

Ale co se tyce online zaloh, tak uz jsem zazil nekolik padu filesystemu, takze vzdycky k RAIDu doporucuju nejaky zpusob zalohy na jiny filesystem a u dulezitych dat i nekolik dni zpatky.

Radek

Taky bych se pripojil k nazoru, ze bez offline zaloh nepomuze sebechytrejsi online mirrorovani mezi vice poli. Ztratu dat typicky zpusobuji dve varianty prusvihu: korektni pozadavek na odstraneni/prepsani dat (chyba administratora/sw) a hw chyba controlleru. U automagickych policek, kde clovek nema sanci dostatecne videt do vnitrni architektury a nenedokaze externe zazalohovat rozlozeni LUNu a RAID levely se dost casto stava, ze pri vypadku controlleru se v poslednim zachvevu zivota pokusi umirajici controller vnutit svemu protejsku to, ze spravnou kopii konfigurace ma on a nestesti je na svete...

To, ze obcas umre disk, by si melo kazde rozumne pole ohlidat a tady vetsinou nebyvaji problemy, nejvetsi prusvihy byvaji s firmware v controlleru a prave automagickou architekturou pole. Rozhodne bych se tedy nespolehal na to, ze kdyz je ridici logika (controller) zdvojena, ze se nemuze nic stat.

Jen mala perlicka na okraj: uz jsem videl ztracena data jen proto, ze administrator pri odstavce nespravnym zpusobem vypnul pole. Pole melo nekolik shelfu, jeden mel na sobe controllery i disky, zbyle byly jen JBODy (just a bunch of disks - tj. sbernice bez ridici logiky) - a jemu se podarilo povypinat nejprve JBODy a az nakonec controller. Obnova nekolika TB dat z Ultrium pasek pak trvala minimalne cely vikend. Nemit ty offline zalohy, mohli se rozloucit s datama...