Dotaz: Rozpadlý RAID6 - výpadek 4/6 disků najednou

[tark]

Zdravím,

stala se taková nemilá situace a v RAID6 poli mi vypadly čtyři ze šesti disků. Je důležité říct, že se to všechno stalo v jednom okamžiku, tzn. zřejmě nějaká HW chyba řadiče a disky samotné s daty by měly být nedotčeny.

Pole je momentálně po resetu serveru ve stavu inactive, failed a podle mě by jen stačilo říct mdadm, aby ty disky považoval za OK... jen nevím, jaký příkaz použít, jestli stačí -add, nebo -re-add, nebo jestli to celé znovu složit pomocí assemble... Každopádně nechci to pole rozbořit, proto se radši ptám tady.

Díky za pomoc.

Detail pole:

/dev/md1:
        Version : 1.2
  Creation Time : Fri Jul 22 15:39:03 2011
     Raid Level : raid6
  Used Dev Size : 1455076864 (1387.67 GiB 1490.00 GB)
   Raid Devices : 6
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Tue Feb  7 18:04:09 2012
          State : active, FAILED, Not Started
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : serverdoma:1  (local to host serverdoma)
           UUID : 87b01abd:44c19919:2dbe4045:3a98d1aa
         Events : 297338

    Number   Major   Minor   RaidDevice State
       0       8       18        0      active sync   /dev/sdb2
       1       0        0        1      removed
       2       0        0        2      removed
       3       0        0        3      removed
       4       0        0        4      removed
       7       8        2        5      active sync   /dev/sda2

Odpovědi

[AraxoN]

Zdar.

Spravil som teraz narýchlo pokus vo VirtualBox-e:

1. vytvoril som raid6 z 6 diskov po 40MB (pole veľkosti 160MB), vytvoril tam ext3 a namountoval

2. nahral som tam súbor o veľkosti 117MB (t.j. zabral väčšiu časť poľa, určite viac než 2 disky)

3. spočítal som MD5 sumu tohto súboru

4. označil som 4 disky ako --fail a odobral ich z poľa

(V tejto chvíli sa to tvárilo ako stav v ktorom si teraz.)

5. reštart

6. našiel mi pole md127, ktoré nebol schopný dokončiť, lebo nedal dohromady superblock.

7. nedokončené pole som zastavil, aby mi uvoľnilo jednotlivé zariadenia:

mdadm --manage /dev/md127 --stop

8. vytvoril som pole tak ako som si ho pamätal:

mdadm --assemble /dev/md1 /dev/sdb1 /dev/sdb2 /dev/sdb3 /dev/sdb5 /dev/sdb6 /dev/sdb7

9. nenabehlo, lebo o štyroch diskoch mal pochybnosti

10. pridal som postupne tieto štyri disky cez --re-add:

mdadm --manage /dev/md1 --re-add /dev/sdb2

11. a nakoniec spustil pole:

mdadm --manage /dev/md1 --run

12. mount a kontrola checksumu prebehla úspešne, takže dáta by mali byť v poriadku

Kúzelné slovíčko, ktoré hľadáte, je v tomto prípade pravdepodobne --re-add

[tark]

To znamená, že jestli to dobře chápu, mohl bych se fázi s --asemble úplně vyhnout (protože pole se detekuje v pořádku, chybí v něm jen ty čtyři disky) a použít jen prostý re-add. Zkusím to vyzkoušet ve VirtualBoxu a uvidíme, zda je to dobrá myšlenka. Díky za inspiraci!

[AraxoN]

áno, to by mohlo fungovať

[vasek]

Úplně by mělo stačit zastavit pole a sestavit ho s parametrem --force, příp. vyjmenovat všechny disky.

[tark]

Tohle mi ve VirtualBoxu fungovalo.

mdadm --assemble /dev/md1 /dev/sda2 /dev/sdb2 /dev/sdc2 /dev/sdd2 /dev/sde2 --force
mdadm: forcing event count in /dev/sde2(4) from 134 upto 138
mdadm: clearing FAULTY flag for device 4 in /dev/md1 for /dev/sde2
mdadm: /dev/md1 has been started with 3 drives (out of 5).

[AraxoN]

Tak ako to dopadlo? Dajte nám vedieť, aby sme aj my s istotou vedeli čo treba urobiť, keď sa nám to tiež stane...

[Michal Makovec]

funkcnim resenim je obnova dat ze zalohy ...

pokud se neprihodilo nic jineho, tak za teto situace --re-add funguje, mam prakticky odzkouseno

[AraxoN]

Mám z vlastnej neblahej skúsenosti, že obsah 6TB poľa sa dosť zle zálohuje a dosť zle sa zo zálohy obnovuje. Len nakopírovanie súborov zobralo viac ako 12 hodín po gigabitovej sieti. Znovuspustenie existujúceho poľa môže byť lepšia alternatíva.

[tark]

Jo, rád bych to uvedl na pravou míru. Měl jsem ve VirtualBoxu nějaké problémy právě s příkazem --re-add, psalo mi to, že ten disk přiřadit nejde (ani s parametrem --force), takže jsem to nechtěl testovat na ostré mašině, tak jsem vzhledem k okolnostem (výpadek 4/6 disků v RAID6) zkusil přimountovat právě jen ty čtyři vypadlé disky (pomocí --assemble) a to fungovalo bez problémů. Nějak mám totiž strach pouštět cokoliv s parametrem --force na ostrém poli, pouze jako poslední řešení.