Dotaz: Kontrola RAID1 pola - nepreháňam to?

[Peter]

Dobrý deň vám prajem.

Každú nedeľu v noci ked sú disky čo najmenej vyťažené dávam robiť najprv na jednom a potom na druhom long smart test a nakoniec urobím repair md poľa. V podstate hoci som prečítal X článkov o check vs. repair, tak do teraz si niesom úplne istý rozdielom. Je mi jasné, že check len kontroluje a repair tiež v podstate len číta, ale ak nájde chybu tak ju na rozdiel od check aj opravi, ale nepochopil som to, že repair nepoužíva bitmap a check žeby áno? Disky sú WD Raid Edition 4 - 1TB. Neškodím týmto (najprv long smart test a potom v podstate resync) voľajako neúmerne diskom? Ešte raz - deje sa to raz za týždeň ked sú disky vyťažené najmenej.

Vopred vám veľmi pekne dakujem za odpovede.

Odpovědi

[dustin]

Dle http://www.thomas-krenn.com/en/wiki/Mdadm_checkarray se check při zjištění nekonzistence pokouší blok opravit.

[Peter]

Tak teraz som už z toho blbý - skús mi prosím ťa vysvetliť rozdiel medzi check a repair z tohto: https://raid.wiki.kernel.org/index.php/RAID_Administration

[trubicoid]

nepokousi

[Andrej]

Je to naprosto zbytečné. Když má RAID1 poškozená data na jedné z kopií, neexistuje spolehlivý způsob, jak zjistit, která kopie je ta správná. RAID1 naivně počítá s tím, že jediné selhání, které může nastat, je úplné selhání jednoho z disků. V takovém případě se data zkrátka budou číst jenom z druhého (resp. z ostatních) a nebudou se číst (až tolik) prokládaně. (Tedy throughput při čtení bude nižší.) Když všechny disky (přinejmenším zdánlivě) správně fungují, nikdo nikdy neodhalí poškozená data. Dokonce se může klidně stát, že se při každém čtení téhož souboru (s dostatečně dlouhým odstupem v čase i v objemu přečtených dat, aby původní data už nebyla v RAM) vrátí jiná data.

Pokud jde o klasický softwarový nebo hardwarový RAID 1, který nemá nic společného s filesystémem, jeho opakované kontroly nemají v podstatě žádný smysl. Když se na jednom z disků poškodí data, kontrola může klidně způsobit, že se poškozená data odpropagují na nepoškozené disky. Nebo taky naopak, při troše štěstí. Když má člověk RAID 1 se třemi disky, může se při kontrole alespoň použít ta verze dat, která převažuje. Nicméně se 2 disky nic takového nejde. Hlasování se sudým počtem hlasujících je vždy problém. Při třech discích a třech rozdílných verzích dat je taky každá rada drahá.

Řešením je jedině RAID 1 na úrovni filesystému (Btrfs, ZFS). Atomické checksumy zajistí, že při poškození dat na jedné z replik je vždy možné zjistit, která replika má pravdu, a (především) odhalit, že jsou data nějak poškozená. To vše při zachování (téměř) N-násobného throughputu při čtení, kde N je počet disků v RAID 1 konfiguraci.

[Peter]

No, toto mi je všetko jasné, ale ja som bol v tom, že kontrola, respektíve oprava v mdadm funguje na princípe sektorov - to znamená, že ak zistí poškodený sektor na jednom disku, tak ho povedzme premapuje a obnoví z druhého. Každopádne to neodpovedá na moju otázku, že či long smart test a následne repair týždenne voľajako veľmi nad mieru tomu disku neškodí. Mimochodom, ak je to s tým check a repair až také nanič, tak načo to potom vlastne je?

[Heron]

Kontrola ano, oprava ne. Pokud z každého disku přečte jiná data, tak není možnost jak by poznal, která jsou ta správná.

Já bych doporučil check (určitě ne neustálou rekonstrukci pole, tím spíš se chyby zpropagují), po checku kontrolu /sys/block/md0/md/mismatch_cnt (skripty v některých distrech to ostatně dělají automaticky), long test je v pořádku.

A pokud mismatch_cnt nebude 0, tak hodně štěstí. A funkční zálohy.

[Andrej]

On většinou nepřečte z každého disku jiná data, protože čte data jenom z jednoho disku, tedy z několika disků prokládaně, aby se četlo rychleji. Na rozdíl v datech přijde leda až při nějaké explicitní kontrole, což už je zoufale pozdě, protože tou dobou už se poškozená data mohla přečíst a zapsat jinam, vrátit aplikacím a podobně. RAID na úrovni filesystému přijde na chybu v datech hned při čtení (i při prokládaném čtení), protože v případě chyby nesedí checksum. Pak lze podle checksumu najít na ostatních RAID1 discích kopii, která je platná.

[Heron]

On většinou nepřečte z každého disku jiná data, protože čte data jenom z jednoho disku, tedy z několika disků prokládaně, aby se četlo rychleji.

Tak při běžné činnosti jistě, tazatel se ale ptá na raid check / repair.

[drtic vakua]

Naivnim pristupem bych to nenazval. Poskozeni dat ve smyslu nekonzistence vznikle poruchou ci chybou na plotne odhali interni checksum disku, takze disk vrati sektor jako chybny a system pouzije druhy mirror. Coz je presne to, kvuli cemu mirror puvodne vymysleli. Takze to rozhodne nemiri jen na uplne selhani disku.

Pokud jde o nekonzistence vznikle platnym ale nepatricnym zapisem sektoru na disk, tak kdo vam zaruci, kterou vrstvu pro zapis takovy idiotsky program/proces/cokoli pouzije? Pokud pouzije vyssi vrstvu, tak vam to tam mlaskne i se vsemi checksumy a nazdar bazar.

Takze tyhle pokrocile filesystemy jsou urcite uzitecne a ochrani pred situaci, ze neco zapisuje primo sektory na disk kam nema, ale takova situace je urcite radove mene casta nez poruchy disku a osobne jsem to tedy jeste nezazil (a to uz jsem v oboru za dinosaura) Dle meho spise miri na dementy vseho druhu, co prepisou pomoci dd cokoli aniz by se zamysleli.

[Heron]

Naivnim pristupem bych to nenazval. Poskozeni dat ve smyslu nekonzistence vznikle poruchou ci chybou na plotne odhali interni checksum disku, takze disk vrati sektor jako chybny a system pouzije druhy mirror.

A toto funguje? Co jsem se setkal, tak nastávají dva případy. Buď se to disku podaří přečíst sektor a realokovat (což je činnost vlastního firmware disku) nebo disk vrátí chybu, potom ho raid vyřadí (a vrací data z jiného disku).

To co popisuješ afaik platí až pro systémy souborů s interním checksumem, kde chybná data zjistí až právě FS a ten se může pokusit ono vadné zrcadlo (obecně redundanci) opravit tím, že na nej zapíše správná data (potom opět nastane to, že disk to buď po vlastní ose zapíše, nebo je vadný a vrátí chybu).

Dle meho spise miri na dementy vseho druhu, co prepisou pomoci dd cokoli aniz by se zamysleli.

Zažil jsem hw řadič, který si výměnu disku po havárii starého interpretoval tak, že ten nový disk do mirroru prostě přidal a vůbec mu nevadilo, že oba disky v mirroru obsahují něco úplně jiného. Jaksi přeskočil synchronizaci. V tomto případě šel fs a data do kytek.

[drtic vakua]

A toto funguje? Co jsem se setkal, tak nastávají dva případy. Buď se to disku podaří přečíst sektor a realokovat (což je činnost vlastního firmware disku) nebo disk vrátí chybu, potom ho raid vyřadí (a vrací data z jiného disku).

Ano, i po chybe jednoho sektoru je disk z mirroru vyrazen. Zcela spravne a po zasluze. Spravce dostane email nebo cokoli a musí se situaci zabyvat. Jen jsem psal, ze raid1 nechrani jen pred uplnym selhanim disku. Jeste mozna poznamka - pokud se dobre pamatuji, kdyz je disk rozdelen a zmirrorovan po castech, je vyrazen jen prislusny oddil.

Zažil jsem hw řadič, který si výměnu disku po havárii starého interpretoval tak, že ten nový disk do mirroru prostě přidal a vůbec mu nevadilo, že oba disky v mirroru obsahují něco úplně jiného. Jaksi přeskočil synchronizaci. V tomto případě šel fs a data do kytek.

Souhlas, chrani to take proti levnemu smejdu z vesmiru.

[trubicoid]

ja mam jednou tydne check a kontrola mismatch_cnt, jak tu uz radi

repair bych nedaval, nevim jak to je ted, ale v nekterych jadrech to bylo tak, ze kdyz se prislusne dva bloky v RAID1 lisi, tak se nahodne rozhodne, ktery je "spravny" a ten druhy se tim "spravnym" prepise

ted ten repair asi nedela nic, asi i vynuluje mismatch_cnt, takze je to kontrola dost na prd

a ty mas zapnuty write-intent bitmap? to se asi hodi pro pripad, kdy je rebuild super dlouhej, alespon den, a mezitim potrebujes stroj restartovat, tak aby pokracoval rebuild tam kde jsi prestal; jinak v beznem zivote a pro periodicky tydenni test je to IMHO na prd a zdrzuje to

a smart long test delam jednou za mesic, to asi staci, kazdy tyden mi prijde moc casto

[Peter]

No najväčší problém je, že všade píšu, že mismatch_cnt môže dávať a aj dáva hausnumerá pri raid1 a ekvivalentoch (raid10). Preto napríklad aj v oficiálnom skripte raid-check v RHEL je na konci toho skriptu pri výpise mismatch_cnt kontrolované, že či daný md nie je typu 1 a ak áno, tak preskočí toto zariadenie. Teda toto je dosť naprd, lebo pri check sa tým pádom tak či tak nedozviem, že je nejaké chyba.

[Šangala]

To je sice pravda, ale pokud v průběhu „check“ dojde k selhání tak o tom víš, bo to disk vyhodí - tak aspoň něco .

Pokud nebude swap na tom poli, tak false positive se vyskytnou jen ve specifických případech, takže lze mismatch_cnt normálně kontrolovat (tak jsem to pochopil a vyšlo mi to…).

Mám starší Raid1 na kterém je swap, který se i používá a běží na tom virtuály (XEN) a nikdy mismatch_cnt nebylo rozdílené od 0. Zkoušel jsem to na jiném stroji (RAID1) s virtuály a vyvolanou pseudo zátěží, a podařilo se mi toho docílit 1× (při pseudo-testování asi 6hod), pokud jsem hostitelský swap zahltil a systém se v zásadě uchlastal, ale není to jen tak, protože zmiňovaný script (raid-check) běží s nízkou prioritou a parametry (speed_limit_min, speed_limit_max) jsou/mám taky relativně nízké, takže k souběhu těch událostí nedochází. Je to o více paramtrech, takže ano, může to hlásit false positive, ale není to pravidlo, že bude (a komu se to děje pravidelně ať mě nekamenuje…).

Na základě toho kontroluji mismatch_cnt a protože to do swapu nechodí (ani virtuály), tak už několik měsíců a žádný mismatch se nezjevil (CentOS-í default - kontrola v neděli v noci…).

Ale souhlasím, je to naprd, ¡spravte to někdo!

[trubicoid]

jak tady uz zaznelo, mne to funguje i na raid1, jednou za tyden se mi to napise do logu a jen malo kdy vidim, ze tam nejsou nuly

jednou byl problem s casovanim pameti, normalne memtest86+ nekolik dni nic a mistmatch_cnt byl stale 128, takze asi tak :)

jinak check disk z raid1 nevyhodi, kdyz najde rozdil, to proto, ze nevi, kterej ma vyhodit; naopak ho vyhodi, kdyz z nej nejdou zadna data, jen chyby

takze nic lepsiho neni, proste jednou za tyden check, kontrola mistmatch_cnt, kdyz neni nula, tak nabootovat systemrescuecd a udelat check znova, jestli zase neni 0, tak je problem a kontroluju smartem oba disky a potom podle okolnosti

ten repair na raid1 moc nefunguje, von teda vynuluje mistmatch_cnt, takze by si nekdo naivne mohl myslet, ze to neco udelalo, ale nasledny check ukaze ze nikoliv

co ale obcas pomohlo byl zapis velkeho prazdneho souboru do volneho mista, tedy jako premazani volneho mista dd if=/dev/zero bs=1M of=/bigfile;sync;sync;rm /bigfile