Dotaz: RAID5 - opetovne rozjeti

[B0biN]

Zdravim vsechny ...
Mam takovy problem: Existuje server na kterem bezela "Fedora Core release 3 (Heidelberg)", jsou na nem 4 ATA disky v RAIDU podle teto puvodni konfigurace
/etc/raindtab

raiddev /dev/md10
        raid-level              1
        nr-raid-disks           2
        nr-spare-disks          0
        persistent-superblock   1
        chunk-size              0

        device          /dev/hda1
        raid-disk               0
        device          /dev/hdb1
        raid-disk               1

raiddev /dev/md0
        raid-level              5
        nr-raid-disks           4
        nr-spare-disks          0
        persistent-superblock   1
        chunk-size              64

        device          /dev/hda2
        raid-disk               0
        device          /dev/hdb2
        raid-disk               1
        device          /dev/hdc2
        raid-disk               2
        device          /dev/hdd2
        raid-disk               3

Majitel serveru rozhodl o preinstalovani server (s tim, ze tam nejsou data), takze se na disk /dev/hda nainstaloval novy system (Debian Etch). Po preinstalaci si najednou vzpomnel ze tam data byly :o(.
Data se samozrejme nachazely na /dev/md0 (RAID5), ktere se staly nepristupne.
Jedine co dokazi namountovat je /dev/hdb2, kde se kompletne nachazi puvodni distribuce Fedora, ale data jsou podle me na /dev/hdc2 a /dev/hdd2.
Zkousel jsem pres mdadm sestavit znovu RAID5 pole (hdb2, hdc2 a hdd2) pomoci prikazu
mdadm -A -f /dev/md0 /dev/hd[bcd]2 ale vysledkem je hlaska
mdadm: superblock on /dev/hdc2 doesn't match others - assembly aborted a nevim jak dal ...:o((
Posilam vypis z prikazu mdadm -E /dev/hdX2 ze vsech disku

/dev/hdb2:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 80c1f6ab:5b3702ac:a1613777:8402e4a8
  Creation Time : Mon Jun  4 19:31:32 2007
     Raid Level : raid5
    Device Size : 730122048 (696.30 GiB 747.64 GB)
     Array Size : 2190366144 (2088.90 GiB 2242.93 GB)
   Raid Devices : 4
  Total Devices : 3
Preferred Minor : 0

    Update Time : Tue Mar 25 09:51:49 2008
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0
       Checksum : 645b4200 - correct
         Events : 0.1420

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     1       3       66        1      active sync   /dev/hdb2

   0     0       0        0        0      removed
   1     1       3       66        1      active sync   /dev/hdb2
   2     2      22       66        2      active sync   /dev/hdd2
   3     3      22        2        3      active sync   /dev/hdc2

/dev/hdc2:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 80c1f6ab:5b3702ac:965dd12a:3afd60d1
  Creation Time : Mon Jun  4 19:31:32 2007
     Raid Level : raid5
    Device Size : 730122048 (696.30 GiB 747.64 GB)
     Array Size : 2190366144 (2088.90 GiB 2242.93 GB)
   Raid Devices : 4
  Total Devices : 3
Preferred Minor : 0

    Update Time : Tue Mar 25 09:51:49 2008
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0
       Checksum : 105257b3 - correct
         Events : 0.1420

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     3      22        2        3      active sync   /dev/hdc2

   0     0       0        0        0      removed
   1     1       3       66        1      active sync   /dev/hdb2
   2     2      22       66        2      active sync   /dev/hdd2
   3     3      22        2        3      active sync   /dev/hdc2

/dev/hdd2:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 80c1f6ab:5b3702ac:965dd12a:3afd60d1
  Creation Time : Mon Jun  4 19:31:32 2007
     Raid Level : raid5
    Device Size : 730122048 (696.30 GiB 747.64 GB)
     Array Size : 2190366144 (2088.90 GiB 2242.93 GB)
   Raid Devices : 4
  Total Devices : 3
Preferred Minor : 0

    Update Time : Tue Mar 25 09:51:49 2008
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0
       Checksum : 105257f1 - correct
         Events : 0.1420

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     2      22       66        2      active sync   /dev/hdd2

   0     0       0        0        0      removed
   1     1       3       66        1      active sync   /dev/hdb2
   2     2      22       66        2      active sync   /dev/hdd2
   3     3      22        2        3      active sync   /dev/hdc2

Podle vseho tri disky z RAID5 by mely stacit, ale jak vyresit tu hlasku, prosim o pomoc ... diky vsem

Odpovědi

[AraxoN]

A čo na to cat /proc/mdstat ? Podľa toho výpisu to vyzerá tak, že sa pole poskladalo a je funkčné, na primountovanie treba už len zistiť aký device to je...

[artec]

Zdravim,

predpokladam, ze na starym OS se pouzival RaidTools a ted na novym se pouziva mdadm. Napsal jste, ze jde namountovat /dev/hdb2, coz by urcite jit podle toho konfiguraku nemelo, protoze je to na RAID5. Namountovat by melo jit pouze /dev/hdb1 - na RAID1.

Podle toho konfiguraku jsou data ulozena na "/dev/hd{a,b,c,d}2". Jestli jsou v systemu jenom tyto 4 disky, tak by mel mdadm s OS na /dev/hda1 rozjet pole v degradovanem rezimu na /dev/md0.

Co mate ted v "/proc/mdstat"?

Pokud to pole /dev/md0 tam mate, tak bych zkusil z nej odebrat "/dev/hda2":

mdadm --fail /dev/md0 /dev/hda2
mdadm --remove /dev/md0 /dev/hda2

Artec

[AraxoN]

Podľa toho čo písal už /dev/hda padol za obeť novej inštalácii, ale tri zo štyroch diskov by na beh RAID-5 mali stačiť. Síce sa už nedá hovoriť o redundancii, ale filesystém by sa mal dať v pohode namountovať.

[B0biN]

Uuuuf dostal jsem se k tomu az ted...

Ano mate pravdu, slo o uspesne namountovani /dev/hdb1 a ne /dev/hdb2, nicmene ted jsem si vsiml, ze /dev/hdb2 ma jine:

UUID : 80c1f6ab:5b3702ac:a1613777:8402e4a8

nez /dev/hdc2 a /dev/hdd2
...neni tohle ten problem ...???

[B0biN]

Co takhle zkusit:

mdadm --zero-superblock /dev/hdb2
mdadm --zero-superblock /dev/hdc2
mdadm --zero-superblock /dev/hdd2

... aby to melo stejne UUID?

[AraxoN]

Čo keby si prestal furt strieľať naslepo a konečne zadal to čo sme Ti tu už dvaja poradili a postol sem výsledok?!

cat /proc/mdstat

Výsledkom by mal byť nejaký takýto výpis, kde je všetko čo potrebuješ:

md1 : active raid5 hdd1[3] hdc1[2] hdb1[1] hda1[0]
      32000 blocks [3/4] [UUU_]

To md1 je názov zariadenia, ktoré máš namountovať aby si sa dostal k dátam, to active je stav, v akom sa pole nachádza (u Teba asi nie active, ale niečo ako degraded), potom tam je zoznam fyzických diskov toho poľa - hdd1[3] hdc1[2] hdb1[1] hda1[0] a nakoniec počet blokov, počet diskov prítomných a celkovo, a stav tých diskov, kde U znamená, že to je dobre a akékoľvek iné písmeno, že to je zle.

[B0biN]

Omlouvam se, tady to je:

Personalities : [raid1] [raid6] [raid5] [raid4] 
md0 : inactive hdb2[1]
      730122048 blocks
       
md10 : active raid1 hdb1[1]
      2449792 blocks [2/1] [_U]

[AraxoN]

Zaujímavé... Vyzerá, že detekoval len ten jeden zväzok s odlišným UUID, a tie ďalšie dva s rovnakým vôbec nedetekoval. Čo vraví tento príkaz?

dmesg | grep md:

[B0biN]

Uuups nemuzu se vdalene dostat na ten server, asi ho zakaznik vypl :o(. Ale presto se ptam, jde nejak docilit toho, aby disky meli stejne UUID? Treba ja jsem psal viz. nahore pomoci

mdadm --zero-superblock /dev/hdx2

[artec]

Timhle si moc nepomuzete, tim pouze smazete superblock z konce disku na /dev/hdb

[B0biN]

Aaaaha, diky za vysvetleni ...

[artec]

Zkusil bych asi s timto stavem jako prvni vyhodit /dev/hdb2 z pole /dev/md0, nasledne to pole md0 uplne stopnout. A potom bych z tech tri disku disku zkusil sestavit nove pole v degradovanem rezimu....