Dotaz: obnova RAID 6 s LVM po tvrdem vypnuti

[Halis]

Ahoj,

mam stroj obsahujici 9 x 1 TB Disk. Cast disku byla v RAID 1, na kterem byl /boot. Druha cast vsech disku byla spojena do RAID 6, na kterem bylo LVM.

Po tvrdem vypnuti stroje se onen RAID 6 odmital sestavit, a ja ted mam problem obnovit puvodni data. Nepamatuju si vsak puvodni rozdeleni RAID 6, tak jsem predpokladal ze byl sestaven ve stejnem poradi jako RAID 1. Po rucnim sestaveni s --force se dokonce objevily jednotlive LogicalVolumes v LVM, nejsem je vsak schopen pripojit. Momentalne jsem uz v koncich, a vyzkousel jsem kde co. Napada nekoho neco?

cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] 
md126 : active (auto-read-only) raid1 sdb1[1] sde1[0] sdd1[2] sdi1[7] sda1[3] sdc1[4] sdj1[8] sdg1[5] sdh1[6]
      131008 blocks [9/9] [UUUUUUUUU]
      
md127 : active raid6 sdi2[7] sdh2[6] sde2[0] sda2[3] sdj2[8] sdd2[2] sdg2[5] sdb2[1] sdc2[4]
      6836404736 blocks super 1.2 level 6, 512k chunk, algorithm 2 [9/9] [UUUUUUUUU]
      
unused devices: none

mdadm --detail /dev/md127
/dev/md127:
        Version : 1.2
  Creation Time : Fri Mar  8 17:59:49 2013
     Raid Level : raid6
     Array Size : 6836404736 (6519.70 GiB 7000.48 GB)
  Used Dev Size : 976629248 (931.39 GiB 1000.07 GB)
   Raid Devices : 9
  Total Devices : 9
    Persistence : Superblock is persistent

    Update Time : Fri Mar  8 19:00:21 2013
          State : clean 
 Active Devices : 9
Working Devices : 9
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : (none):bigraid
           UUID : ef70f5ee:08429b31:e105ed20:ccad2f12
         Events : 2

    Number   Major   Minor   RaidDevice State
       0       8       66        0      active sync   /dev/sde2
       1       8       18        1      active sync   /dev/sdb2
       2       8       50        2      active sync   /dev/sdd2
       3       8        2        3      active sync   /dev/sda2
       4       8       34        4      active sync   /dev/sdc2
       5       8       98        5      active sync   /dev/sdg2
       6       8      114        6      active sync   /dev/sdh2
       7       8      130        7      active sync   /dev/sdi2
       8       8      146        8      active sync   /dev/sdj2

pvdisplay 
  --- Physical volume ---
  PV Name               /dev/md127
  VG Name               vg0
  PV Size               5,46 TiB / not usable 5,00 MiB
  Allocatable           yes 
  PE Size               4,00 MiB
  Total PE              1430608
  Free PE               1059408
  Allocated PE          371200
  PV UUID               6lQD1G-0Cne-CerT-RPQh-1uwg-u1iD-yDyKbO

vgdisplay 
  --- Volume group ---
  VG Name               vg0
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  21
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                10
  Open LV               0
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               5,46 TiB
  PE Size               4,00 MiB
  Total PE              1430608
  Alloc PE / Size       371200 / 1,42 TiB
  Free  PE / Size       1059408 / 4,04 TiB
  VG UUID               DXrYtl-6n6W-bPgO-HW6U-hPg7-BJiU-f3vljl

lvdisplay 
  --- Logical volume ---
  LV Path                /dev/vg0/root
  LV Name                root
  VG Name                vg0
  LV UUID                YQhDGY-9gVJ-ke2d-vPo0-YZXg-jYkt-SyNb7S
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                512,00 MiB
  Current LE             128
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:0
   
  --- Logical volume ---
  LV Path                /dev/vg0/tmp
  LV Name                tmp
  VG Name                vg0
  LV UUID                O3y348-IZZ8-WbYN-lOF9-khX9-dsxV-nWwBjI
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                512,00 MiB
  Current LE             128
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:1
   
  --- Logical volume ---
  LV Path                /dev/vg0/usr
  LV Name                usr
  VG Name                vg0
  LV UUID                lQ8SeY-qerd-HZqZ-t4O3-ii0G-qTbP-dBwnve
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                10,00 GiB
  Current LE             2560
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:2
   
  --- Logical volume ---
  LV Path                /dev/vg0/var
  LV Name                var
  VG Name                vg0
  LV UUID                m709Wa-2jWs-xT2R-22Fj-gfjL-MYqQ-ErQJFA
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                4,00 GiB
  Current LE             1024
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:3
   
  --- Logical volume ---
  LV Path                /dev/vg0/vartmp
  LV Name                vartmp
  VG Name                vg0
  LV UUID                oUBEOy-PTqp-JNeH-qQ2p-WLQI-hJuy-rmt2qS
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                10,00 GiB
  Current LE             2560
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:4
   
  --- Logical volume ---
  LV Path                /dev/vg0/swap
  LV Name                swap
  VG Name                vg0
  LV UUID                1v9ZKy-l3K9-GP07-bHsL-y9u6-ZkGB-a7DYba
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                4,00 GiB
  Current LE             1024
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:5
   
  --- Logical volume ---
  LV Path                /dev/vg0/home
  LV Name                home
  VG Name                vg0
  LV UUID                IMwHjS-yrUS-4Kf4-4oaE-WmX4-UTRY-hl5zPS
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                1,00 GiB
  Current LE             256
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:6
   
  --- Logical volume ---
  LV Path                /dev/vg0/backup
  LV Name                backup
  VG Name                vg0
  LV UUID                bvs04f-g0Hn-hDI6-FrCF-a80f-iSck-LM4SvW
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                410,00 GiB
  Current LE             104960
  Segments               3
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:7
   
  --- Logical volume ---
  LV Path                /dev/vg0/mirror
  LV Name                mirror
  VG Name                vg0
  LV UUID                7XdjCE-sJaC-rTiH-aGtX-2Djz-Zvha-mTcD4a
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                810,00 GiB
  Current LE             207360
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:8
   
  --- Logical volume ---
  LV Path                /dev/vg0/privbackup
  LV Name                privbackup
  VG Name                vg0
  LV UUID                bmDC34-JJFc-sjP5-3w4L-60zg-QVWn-a3NEk9
  LV Write Access        read/write
  LV Creation host, time , 
  LV Status              available
  # open                 0
  LV Size                200,00 GiB
  Current LE             51200
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     14336
  Block device           253:9

mount /dev/vg0/mirror /mnt/mirror/
NTFS signature is missing.
Failed to mount '/dev/mapper/vg0-mirror': Invalid argument
The device '/dev/mapper/vg0-mirror' doesn't seem to have a valid NTFS.
Maybe the wrong device is used? Or the whole disk instead of a
partition (e.g. /dev/sda, not /dev/sda1)? Or the other way around?

fdisk -l /dev/vg0/mirror 

Disk /dev/vg0/mirror: 869.7 GB, 869730877440 bytes
255 heads, 63 sectors/track, 105738 cylinders, total 1698693120 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 524288 bytes / 524288 bytes

fsck /dev/vg0/mirror 
fsck from util-linux 2.21.2
e2fsck 1.42.6 (21-Sep-2012)
ext2fs_open2: Bad magic number in super-block
/sbin/e2fsck: Superblock invalid, trying backup blocks...
/sbin/e2fsck: Bad magic number in super-block while trying to open /dev/mapper/vg0-mirror

The superblock could not be read or does not describe a correct ext2
filesystem.  If the device is valid and it really contains an ext2
filesystem (and not swap or ufs or something else), then the superblock
is corrupt, and you might try running e2fsck with an alternate superblock:
    e2fsck -b 8193 device

fsck jsem bezvysledne zkousel i pro jine superbloky, vlastne pro vsechny ktere mi doporucil mkfs.ext3 -n /dev/vg0/mirror

Nejsem si ani poradne jisty, jestli ma byt vubec RAID pole sestavene v takovemto poradi, ale na druhou stranu si myslim ze by se potom uspesne nenadetekovaly vsechny LVM nalezitosti.

Prosim zkusenejsi o radu.

Odpovědi

[Max]

Pokud nejsi sebevrah, tak jsi skládal pole pomocí mdadm.conf, ne? V takovém případě by měl být mdadm.conf v initrd na boot partition. Z něho by jsi mohl vyčíst, jak to pole vypadalo. Stejně tak by jsi měl mít mdadm.conf někde v záloze, nebo nezálohuješ?
Zdar Max

[Halis]

K initramfs mam pristup, ale v mdadm.conf toho moc neni. Presneji toto:

ARRAY /dev/md/0 metadata=1.2 UUID=908f590a:c9357316:88f6147a:c138afae name=livecd:0
ARRAY /dev/md/1 metadata=1.2 UUID=ea36c652:52abc4ed:a96b5aaf:3948c97e name=livecd:1
   spares=1

Zalohu od toho samozrejme nemam, protoze to co ted obnovuju je zalohovaci stroj :(

[Nikola Ciprich]

mi to přijde, že LVM je v pohodě, co mně trochu mate (a co neupřesňujete), jaký je FS na tom svazku mirror který se snažíte nahodit? mount zkouší NTFS, ale vy poučtíte e2fsck, jaký tam je teda FS? co ho zkusit vynutit u toho mountu? co se po pokusu o připojení objeví v dmesg?

[Halis]

Nevim na zaklade ceho rozpoznat jestli je LVM v pohode.

Co se tyce FS, pravdepodobne je tam ext4, ale jisty si nejsem. Urcite tam ale bude nejaky ext.

root@slax:~# mount -t ext3 /dev/vg0/mirror /mnt/mirror/
mount: wrong fs type, bad option, bad superblock on /dev/mapper/vg0-mirror,
       missing codepage or helper program, or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

root@slax:~# mount -t ext2 /dev/vg0/mirror /mnt/mirror/
mount: wrong fs type, bad option, bad superblock on /dev/mapper/vg0-mirror,
       missing codepage or helper program, or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

root@slax:~# mount -t ext4 /dev/vg0/mirror /mnt/mirror/
mount: wrong fs type, bad option, bad superblock on /dev/mapper/vg0-mirror,
       missing codepage or helper program, or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

A dmesg zareagoval jen jedinou hlaskou:

kernel: EXT3-fs (dm-8): error: can't find ext3 filesystem on dev dm-8.

[Nikola Ciprich]

no nevypadá to dobře nevím jak jsem to včera četl, ale přehlídl jsem tu část s --force :(

tipoval bych to, že ten raid se přecejen nesestavil dobře, co to přesně dělalo/psalo, že se to nesestavilo samo přes --auto?

další věc, co tam máte za kernel? před časem se řešil nějaký problém s kernelem, který mohl způsobit poškození MD zařízení při pádu systému, nemůže to být Váš případ?

[Halis]

Pri pokusu o autosestaveni se 4 disky identifikovaly spravne ("raid-header" obsahoval jmeno a typ raidu, i pozici tohoto konkretniho disku). I pres --examine. Ostatnich 5 disku se sice asociovalo k tomu samemu raidu, ale prohlasily se za spare zarizeni.

Raid byl pravdepodobne sestavovan na jadru 3.3.4, pote byl stroj dlouhodobe provozovan, a nekolikrat uspesne vypnut a zapnut s jadrem 3.4.4 (gentoo-sources). Po nespravnem vypnuti se raid odmitl sestavit jak na tomto jadre, tak na liveUSB Slax 7.0.5 (kernel 3.6.11), ze ktereho stroj bezi ted. Variantu problemu kernelu bych tedy vyloucil.

[Skřivy]

To se bezne stava, kdyz nesedi casy posledniho updatu. --force to vsak vetsinou vyresi.

[Halis]

Jestli se pamatuji dobre, tak ani --force nezabral. Pokud ale LVM vidim, tak to znamena ze je raid sestaven uspesne ne?

[Nikola Ciprich]

ok, variantu chyby kernelu muzeme tedy asi vyloucit, ale ne proto, ze to v pohode dlouho fungovalo (psal jsem ze se to tykalo crashe), ale proto, ze chyba ve 3.3.4 byla opravena. pokud tam tedy byl novejsi kernel, je to v pohode..

pokud ten header obsahoval i pozice tech disky, sestavil jste to teda predpokladam ve stejnem poradi? nahodou ulozny ten vystup z examine nekde nemate??

[Halis]

Vystup z examine nemam, header 4 disku obsahoval spravne umisteni, header ostatnich byl z nejakeho duvodu poskozeny, a propagoval se jako spare device. Nicmene jsem to slozil ve stejnem poradi jako zachovany raid1, a predpokladam ze nikdo pri smyslech by ty raidy nestavel ruzne. (snad)

[host]

prve, co si vyskusal bol fsck? no, je nacase dat zbohom datam.

[Halis]

Ne, prvne jsem zkusil mount. Fsck bez parametru provadi dle meho jen cteci operace, takze by vse melo zustat jak bylo.

[Milan Roubal]

jakym prikazem bylo nakonec to pole sestaveno do funkcniho pole? Pomoci --assemble nebo --create?

Jsou k dispozici na tom funkcnim RAID1 logy z posleniho korektniho nabootovani, tedy jeste pred tim vypnutim systemu? Pokud ano, tak budou potreba logy z posledniho fukncniho bootu a z aktualniho. Podle toho by slo zjistit, zda jsou disky ve spravnem poradi, nebo zda neni problem treba ve verzi superbloku etc.

[Halis]

Byl pouzit prikaz

mdadm --create --assume-clean --level=6 .... 

protoze pri pokusu o sestaveni s --assemble nebo --assemble a --force se polovina disku nahlasily jako spare.

RAID1 obsahuje pouze /boot, takze logy neobsahuje.

[Milan Roubal]

no tak pri pouziti --create bez logu, to uz je velke vareni z vody. Jeste mozna zkusit uhadnou system a typ z vypisu parted, napriklad u me

> parted /dev/vg1/volume_1 print
Model: Unknown (unknown)
Disk /dev/mapper/vg1-volume_1: 5986GB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags:

Number  Start  End     Size    File system  Flags
 1      0.00B  5986GB  5986GB  ext4

urcite by to chtelo videt examine vypis alespon jednoho disku pred tim --create.

[Halis]

Bohuzel, parted je na tohle kratky.

parted /dev/vg0/mirror print
Error: /dev/dm-8: unrecognised disk label

[R]

Logy by sa dali najst na tych diskoch priamo podla textu - nejakym disk editorom. Neviem, ci take nieco existuje aj pre Linux, ale bezne editory nie su schopne pracovat s celym diskom ako suborom.