Dotaz: mdadm raid5 inactive po přesunu na jiný hw

[Max]

Ahoj,
mám docela problémek, který moc nechápu :-/.
Mám 2x 1TB v RAID1 (reiserfs + metadata 0.90) a 3x 2TB v RAID5 (btrfs - /dev/md5 - metadata 1.2).

Provedl jsem výměnu desky, cpu a ram z Gigabyte GA-870A-UD3 + Phenom II X6 na GA-990XA-UD3 + FX-6300
Taková banální operace, po které mám ovšem nefunkční RAID5 pole. Ostatní pole, co mám, jsou ok, ale ty nejsou pětkový, ale jedničkový.
Na diskách mám vytvořenou jednu velkou partition a ty partition mám pak v poli.

Po výměně desky nechtěl systém naběhnout, protože bylo nejdříve potřeba zapnout v biosu IOMMU kvůli usb, viz :
[Solved] usb err = -32 and -22 with GIGABYTE 990XA-UD3 motherboard
Poté mi ještě zlobilo nové jádro 4.6.4 (problémy se smbus aj.), tak jsem ještě naladil LTS 4.4.15.
Až poté mi systém bez problémů najel a výsledkem je toto (aktuální ArchLinux 64bit):

[root@davepc ~]# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4] 
md5 : inactive sdf1[1] sdd1[0] sdb1[3]
      5859139584 blocks super 1.2
       
md3 : active raid1 sdc2[1] sde3[0]
      914066304 blocks [2/2] [UU]
      
md4 : active raid1 sdc3[1] sde4[0]
      4099008 blocks [2/2] [UU]
      
unused devices: <none>

WDC WD20EARX-00PASB0
[root@davepc ~]# mdadm -E /dev/sdd1 
/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 3402c29f:cf94d26d:bd67efab:ecb5a9e0
           Name : davepc:5  (local to host davepc)
  Creation Time : Sat Nov  1 23:05:52 2014
     Raid Level : raid5
   Raid Devices : 3

 Avail Dev Size : 3906093056 (1862.57 GiB 1999.92 GB)
     Array Size : 3906093056 (3725.14 GiB 3999.84 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262056 sectors, after=0 sectors
          State : clean
    Device UUID : 360e553f:3f546be9:b8c87bc5:6b070842

    Update Time : Sun Jul 24 09:45:46 2016
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 8bae6fd0 - expected 8bae6fcf
         Events : 9382

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)

WDC WD20EARX-00PASB0
[root@davepc ~]# mdadm -E /dev/sdf1 
/dev/sdf1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 3402c29f:cf94d26d:bd67efab:ecb5a9e0
           Name : davepc:5  (local to host davepc)
  Creation Time : Sat Nov  1 23:05:52 2014
     Raid Level : raid5
   Raid Devices : 3

 Avail Dev Size : 3906093056 (1862.57 GiB 1999.92 GB)
     Array Size : 3906093056 (3725.14 GiB 3999.84 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262056 sectors, after=0 sectors
          State : clean
    Device UUID : b90dba47:c913dca7:f35e4219:8b4e62af

    Update Time : Sun Jul 24 09:45:46 2016
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 13a50c39 - expected 13a50c38
         Events : 9382

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)

SAMSUNG HD204UI
[root@davepc ~]# mdadm -E /dev/sdb1
/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 3402c29f:cf94d26d:bd67efab:ecb5a9e0
           Name : davepc:5  (local to host davepc)
  Creation Time : Sat Nov  1 23:05:52 2014
     Raid Level : raid5
   Raid Devices : 3

 Avail Dev Size : 3906093056 (1862.57 GiB 1999.92 GB)
     Array Size : 3906093056 (3725.14 GiB 3999.84 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262056 sectors, after=0 sectors
          State : clean
    Device UUID : 93d4097a:01d8ad0b:8bc2d4b4:1e095d10

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jul 24 09:45:46 2016
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : a653b577 - correct
         Events : 9382

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)

[root@davepc ~]# mdadm --detail /dev/md5
/dev/md5:
        Version : 1.2
  Creation Time : Sat Nov  1 23:05:52 2014
     Raid Level : raid5
  Used Dev Size : 1953046528 (1862.57 GiB 1999.92 GB)
   Raid Devices : 3
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Sun Jul 24 09:45:46 2016
          State : active, Not Started 
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : davepc:5  (local to host davepc)
           UUID : 3402c29f:cf94d26d:bd67efab:ecb5a9e0
         Events : 9382

    Number   Major   Minor   RaidDevice State
       0       8       49        0      active sync   /dev/sdd1
       1       8       81        1      active sync   /dev/sdf1
       3       8       17        2      active sync   /dev/sdb1 

[root@davepc ~]# mdadm --examine-badblocks /dev/md5 
mdadm: No md superblock detected on /dev/md5

Při pokusu o nahození pole dmesg vyplivne toto :

[root@davepc ~]# dmesg
[ 1460.036397] md: bind<sdf1>
[ 1460.036613] md: bind<sdb1>
[ 1460.036812] md: bind<sdd1>
[ 1460.048093] md/raid:md5: device sdd1 operational as raid disk 0
[ 1460.048097] md/raid:md5: device sdb1 operational as raid disk 2
[ 1460.048099] md/raid:md5: device sdf1 operational as raid disk 1
[ 1460.048514] md/raid:md5: allocated 3316kB
[ 1460.048553] md/raid:md5: raid level 5 active with 3 out of 3 devices, algorithm 2
[ 1460.048555] RAID conf printout:
[ 1460.048557]  --- level:5 rd:3 wd:3
[ 1460.048560]  disk 0, o:1, dev:sdd1
[ 1460.048562]  disk 1, o:1, dev:sdf1
[ 1460.048564]  disk 2, o:1, dev:sdb1
[ 1460.048655] md5: invalid bitmap file superblock: bad magic
[ 1460.048659] md5: bitmap file superblock:
[ 1460.048661]          magic: ffffffff
[ 1460.048662]        version: -1
[ 1460.048665]           uuid: ffffffff.ffffffff.ffffffff.ffffffff
[ 1460.048666]         events: 18446744073709551615
[ 1460.048667] events cleared: 18446744073709551615
[ 1460.048669]          state: ffffffff
[ 1460.048670]      chunksize: -1 B
[ 1460.048671]   daemon sleep: -1s
[ 1460.048673]      sync size: 9223372036854775807 KB
[ 1460.048674] max write behind: -1
[ 1460.048676] md5: failed to create bitmap (-22)
[ 1460.049192] md: md5 stopped.
[ 1460.049198] md: unbind<sdd1>
[ 1460.138064] md: export_rdev(sdd1)
[ 1460.138108] md: unbind<sdb1>
[ 1460.178065] md: export_rdev(sdb1)
[ 1460.178104] md: unbind<sdf1>
[ 1460.208107] md: export_rdev(sdf1)
[ 1460.259085] md: bind<sdb1>
[ 1460.261105] md: bind<sdf1>

[root@davepc ~]# cat /etc/mdadm.conf
...
ARRAY /dev/md3 metadata=0.90 UUID=9e8631d1:d8d31420:e6f3cdbf:45ef6cca
ARRAY /dev/md4 metadata=0.90 UUID=4bbbff9c:a1e21a95:e6f3cdbf:45ef6cca
ARRAY /dev/md5 level=raid5 num-devices=3 metadata=1.2  UUID=3402c29f:cf94d26d:bd67efab:ecb5a9e0

Disky jsou po hw stránce plně ok. I extended SMART testy jsou ok.

Netušíte někdo důvod takového stavu?

díky
Zdar Max

---

---

Odpovědi

[fish]

Čistě od pohledu mě napadá jen to, že na sdb1 je zapnutá bitmapa, kdežto na ostatních discích ne. Možná se to nakoplo při experimentech s jádrem nebo je problém v tom použitém. Nemáš možnost to připojit jinde, s původním jádrem?

[Max]

Hmm, to už jsem zkoušel. Nabootil jsem system rescuecd s kernelem 3.18.34
Původní jádro před poslendím updatem už nemám, ale nebylo to vlastní, bylo distribuční.
To pole už docela dost let žije, je tedy možné, že jsem historicky dělal nějaké pokusy a zaponěl na to. Většina problémů, které řeším, jsou zapomenuté workaroundy z dob minulých.
Zdar Max

[dustin]

Google napovídá např. zkusit http://marc.info/?l=linux-raid&m=124476052128723. Jinak dle Neila Browna (autora mdadm) tam byly nějaké chyby kolem bitmap filu, ale diskuse jsou z roku 2012 http://www.spinics.net/lists/raid/msg37777.html, to už je dost dávno na tvoje jádra.

[Max]

To jsem našel také, ale "zkusit" / experimentovat se mi moc nechce. Sice tam nejsou důležitá data, ale přecijen nějaký čas zabere obnova multimediální sbírky.
Navíc ten týpek nedopadl moc šťastně.
Zdar Max

[dustin]

Tak bitmapa není nic kritického, snažil bych se ji buď úplně vypnout, nebo zresetovat (jak je v tom linku), nebo při startu ignorovat, aby ji driver vůbec nečetl. Slouží jen pro rychlejší synchronizaci disků, které už v poli byly. Na funkčních polích ji běžně mažeme a vytváříme znovu.

[NN]

Ja vidim:

md5: failed to create bitmap (-22)

a podle manualu bych sel do:

--update=no-bitmap

Samozrejme nerucim za vysledek, ale ignorovat bitmap vidim jako vice safe postup, nez prepisovat minor pole..

Mimochodem je tam celkem dobry popis.

[Max]

Nakonec jsem se přiklonil k šetrnějšímu řešení a provedl jsem vypnutí bitmapy :

mdadm --stop /dev/md5
mdadm -A --update=no-bitmap /dev/md5

Vše vypadá ok.
Zdar Max

[NN]

Parada.