Dotaz: Pomoc s obnovou rozbiteho RAID1 (mdadm)

[Joe Doe]

Včera jsem upgradoval server na novější verzi a v půlce se aktualizace zasekla.

Nešlo nic, jen reboot. Bohužel po rebootu mě to hodilo do busyboxu s tím, že md0, ze kterého měl bootovat, nejede. Byl jsem úspěšný s editací grubu a změnil na sda2, čímž jsem nabootoval do samotného oddílu, ne však raidového md0.

Pro ilustraci - mám 2 disky (sda a sdb, oba s jednou partition na data a druhou na swap) a původní situace vypadala takto:

cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sdb2[1] sda2[0]
      975587200 blocks [2/2] [UU]
     
md1 : active raid1 sda1[0] sdb1[1]
      1172608 blocks [2/2] [UU]

Bohužel jsem v nějakém amoku přeformátoval celé sdb, vč. mdadm --zero-superblock, obávám se, že superblock jsem udělal i nad (namountovaným) sda.

Stávající situace je tato:

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sda1[0] sdb1[1]
      1172608 blocks [2/2] [UU]
      
unused devices: none

Fdisk vypisuje toto:

Disk /dev/sda: 1 000,2 GB, 1 000 204 886 016 bajtů
hlav: 255, sektorů na stopu: 63, cylindrů: 121 601
Jednotky = cylindry po 16065 * 512 = 8 225 280 bajtech
Identifikátor disku: 0x00088b12

Zařízení Zavádět   Začátek       Konec    Bloky    Id  Systém
/dev/sda1               1         146     1172713+  fd  Linux RAID samorozpoznatelný
/dev/sda2   *         147      121601   975587287+  fd  Linux RAID samorozpoznatelný

Disk /dev/sdb: 1 000,2 GB, 1 000 204 886 016 bajtů
hlav: 255, sektorů na stopu: 63, cylindrů: 121 601
Jednotky = cylindry po 16065 * 512 = 8 225 280 bajtech
Identifikátor disku: 0x000485cf

Zařízení Zavádět   Začátek       Konec    Bloky    Id  Systém
/dev/sdb1               1         146     1172713+  fd  Linux RAID samorozpoznatelný
/dev/sdb2   *         147      121601   975587287+  fd  Linux RAID samorozpoznatelný

Disk /dev/md1: 1 200 MB, 1 200 750 592 bajtů
hlav: 2, sektorů na stopu: 4, cylindrů: 293 152
Jednotky = cylindry po 8 * 512 = 4 096 bajtech
Identifikátor disku: 0x00000000

Na disku /dev/md1 není korektní tabulka rozdělení disku.

Jak lze vidět, zformátovaný sdb jsem rozdělil stejně jako sda a nastavil tam samorozpoznatelný RAID oddíl.

Ještě výpis /etc/fstab, který jsem editoval a nejsem si jistý, jestli je dobře :/:

# file system> mount point>   type>  options>       dump>  pass>
proc            /proc           proc    defaults        0       0
# /dev/md0
UUID=48d95eb0-844b-56ac-37e4-4c7c17054917 /               ext3    relatime,errors=remount-ro 0       1
# /dev/md1
UUID=734d2dca-2684-4d81-aef8-fd60e0adcb7a none            swap    sw              0       0

Dále výpis /etc/mdadm/mdadm.conf, který vygeneroval skript (uuid si našel sám):

DEVICE partitions

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays
ARRAY /dev/md0 level=raid1 num-devices=2 UUID=48d95eb0:844b56ac:37e44c7c:17054917
ARRAY /dev/md1 level=raid1 num-devices=2 UUID=2cb86b23:7fecd615:be16f5f3:4d6838b1

A detailní info o sda2:

mdadm --query --examine /dev/sda2
/dev/sda2:
          Magic : a92b4efc
        Version : 00.90.00
           UUID : 48d95eb0:844b56ac:37e44c7c:17054917
  Creation Time : Sat Dec 20 20:01:05 2008
     Raid Level : raid1
  Used Dev Size : 975587200 (930.39 GiB 999.00 GB)
     Array Size : 975587200 (930.39 GiB 999.00 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 0

    Update Time : Wed Feb 10 22:36:23 2010
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0
       Checksum : 946a1abf - correct
         Events : 2418802


      Number   Major   Minor   RaidDevice State
this     0       8        2        0      active sync   /dev/sda2

   0     0       8        2        0      active sync   /dev/sda2
   1     1       8       18        1      active sync   /dev/sdb2

Detailní info o sdb2:

mdadm --query --examine /dev/sda2
/dev/sda2:
          Magic : a92b4efc
        Version : 00.90.00
           UUID : 48d95eb0:844b56ac:37e44c7c:17054917
  Creation Time : Sat Dec 20 20:01:05 2008
     Raid Level : raid1
  Used Dev Size : 975587200 (930.39 GiB 999.00 GB)
     Array Size : 975587200 (930.39 GiB 999.00 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 0

    Update Time : Wed Feb 10 22:36:23 2010
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0
       Checksum : 946a1abf - correct
         Events : 2418802


      Number   Major   Minor   RaidDevice State
this     0       8        2        0      active sync   /dev/sda2

   0     0       8        2        0      active sync   /dev/sda2
   1     1       8       18        1      active sync   /dev/sdb2

Můžete prosím někdo poradit co s tím? Budu moc vděčný, trápil jsem se s tím do 3 do rána a pak jsem to vzdal.

---

---

Odpovědi

[asf]

Vytvor si naspat manualne ten druhy array.

[AraxoN]

To on práve asi nevie ako.

Teoreticky by to mohlo ísť takto:

1. Nabootovať z liveCD (t.j. nie z sda2)

2. Vytvoriť degradované pole s jedným diskom:

mknod /dev/md0 b 9 0
mdadm --assemble --verbose /dev/md0 /dev/sda2 missing

3. Doplniť chýbajúci disk:

mdadm --manage --verbose /dev/md0 --add /dev/sdb2

4. Skontrolovať či to dobre dopadlo, počkať na ukončenie rebuildu, nabootovať z RAID-u.

[Joe Doe]

Myslel jsem si, že je problém s tím, že jedu z sda2, a proto s ním nemůžu pracovat v poli.

Co udělá ten mknod?

Každopádně díky za jasný postup, jdu sehnat nějaké live cd.

[AraxoN]

mknod vytvára nody ... je možné, že to nebude treba. Mám to z nejakého veľmi starého návodu k mdadm a je možné, že sa to dnes už vytvára automaticky. Možno cez udev, neviem, nikdy som to neštudoval... Skús to bez mknod a uvidíš - ak to pôjde bez toho daj vedieť, aby som to vyhodil zo svojej knowledgebase. Thanx

[Joe Doe]

Tak jsem musel na nějakém starém livecd (ubuntu 7.04) doinstalovat mdadm a ten si ty nody vytvořil sám.

/proc/mdstat hned našlo pole md0 s diskem sda2, takže jsem ho nemusel sestavovat, jen jsem k němu přiřadil sdb2.

Zvláštní ale je, že tam není zobrazen md1 (tedy swap z sda1 a sdb1), přitom po zadání příkazu mdadm --examine --scan se md1 najde.

Každopádně se teď synchronizuje pole, takže v mezičase mám prostor na další dotaz:

až restartuju počítač a spustí se grub, bude už moci zavádět z /dev/md0, nebo mi to zase vyhodí chybu?

Mohl bys prosím laicky vysvětlit, jak probíhá bootování raidu? Tozn. kdy se využívá menu.lst, mdadm.conf, etc/fstab atp. Moc nevím, jak spolu tyhle věci navzájem souvisí...

Mockrát děkuju!

[AraxoN]

Po reštarte by si už mal vedieť naštartovať z md0.

Bootovanie pri SW RAID prebieha tak, že najprv sa bootuje len z jedného disku (podľa poradia v BIOSe), prečíta a spustí sa bootsektor, v Tvojom prípade grub. Ten ďalej pokračuje tým, že nahrá a spustí jadro, RAID vôbec nerieši. Preto sa bootsektor (pri RAID-1) dáva na obe disky, lebo keď jeden vypadne, tak sa nabootuje z toho druhého.

Jadro potom pri inicializácii podľa superblokov na všetkých diskových oddieloch autodetekuje jednotlivé RAID polia, zostaví ich a spustí, čo v dmesg vyzerá takto:

[    1.711731] md: Scanned 14 and added 14 devices.
[    1.711813] md: autorun ...
[    1.711891] md: considering sdb8 ...
[    1.711973] md:  adding sdb8 ...
[    1.712056] md: sdb7 has different UUID to sdb8
[    1.712135] md: sdb6 has different UUID to sdb8
[    1.712214] md: sdb5 has different UUID to sdb8
[    1.712294] md: sdb3 has different UUID to sdb8
[    1.712373] md: sdb2 has different UUID to sdb8
[    1.712453] md: sdb1 has different UUID to sdb8
[    1.712533] md:  adding sda8 ...
[    1.712609] md: sda7 has different UUID to sdb8
[    1.712689] md: sda6 has different UUID to sdb8
[    1.712768] md: sda5 has different UUID to sdb8
[    1.712847] md: sda3 has different UUID to sdb8
[    1.712926] md: sda2 has different UUID to sdb8
[    1.713005] md: sda1 has different UUID to sdb8
[    1.713178] md: created md8
[    1.713253] md: bind<sda8>
[    1.713333] md: bind<sdb8>
[    1.713412] md: running: <sdb8><sda8>
[    1.713629] raid1: raid set md8 active with 2 out of 2 mirrors
[    1.713724] md8: detected capacity change from 0 to 256003473408

V tomto prípade našiel ako prvé sdb8, potom prešiel všetky oddiely, či nemajú rovnaké UUID, našiel sda8, z toho spravil md8 a spustil toto pole. A tak dookola pre všetky ostatné oddiely.

Na konci inicializácie jadra sa potom primountuje root filesystém (v grube parameter kernel xyz root=/dev/md0) a zvyšok vecí tak beží už z RAID-u.

Do väčších detailov neviem ísť, lebo o tom viac ani neviem. Ale určite na to existuje niečo na wikipedii.

[Joe Doe]

Díky za info, plus mínus je mi to jasnější. Jenom s tím uuid jsem pořád trochu mimo. A taky nevím, čemu slouží všechny ty konfiguráky.

Každopádně jsem po synchronizaci, grub projel, ale skončil jsem opět v busyboxu :/

Gave up waiting for root device. Common problems:
....
...
...
ALERT! /dev/md0 does not exist. Dropping to a shell!

Pomoooc, nevím si rady :/

[Sinuhet]

Vypsalo to nejakou chybovou hlasku? Mela by byt nekde pred tim "Gave up waiting for root device." Nebo spustte mdadm v busyboxu rucne, schvalne co to udela.

Vidim, ze jste menil UUID, zkuste pregenerovat initramfs, aby v nem byly nove konfiguraky.

[Joe Doe]

Díval jsem se do kern.log i syslogu a žádnou hlášku jsem tam nenašel...kde by to mělo být vypsáno? Při startu to nestíhám, ikdyž mi tahle konkrétní hláška něco říká.

V busyboxu mdadm nepsustím, protože nemám připojený disk, kde je mdadm nainstalováno. Když ho zase připojím, tak nemůžu pracovat s připojeným diskem (v rámci mdadm). Araxon mi poradil, ať to provedu z livecd, což jsem udělal a pole tam sestavil...Bohužel ho ale stále nemůžu namountovat bři bootu :/

[AraxoN]

Skús v tom busyboxe

dmesg | less

tam by mali byť tie hlášky, čo si nestihol prečítať.

[asf]

Zapisali ste ten vytvoreny, novy raid do configu mdadm?

[AraxoN]

Na autodetekciu zariadení /dev/mdX by to nemalo mať vplyv, lebo tá sa robí ešte skôr než sa spustí mdadm a dostane sa ku prečítaniu konfiguráku...

[Joe Doe]

Tak jsem úplně v háji..(ikdyž data tam snad ještě jsou).

Teď sice začne /dev/md0 bootovat, ale vypisuje chyby a za chvíli to skončí s kernel panic

Naštěstí mám v grubu několik jader:

• 31 panic, 31 (failsafe) - panic
• 28 busybox
• 27 panic

Zrovna teď jsem v busyboxu (jádro 2.6.28), namountoval jsem sda2 a v /proc/mdstat není nic, /dev/md0 ani /dev/md1 neexistují.

Co se stalo:

1. po synchronizaci pole md0 z livecd jsem nemohl do md0 nabootovat, tak jsem nabootoval z grubu do sda2
2. v /proc/mdstat jsem viděl, že je pole md0 neaktivní a pouze s diskem sdb2
3. tak jsem dal mdadm --assemble --scan /dev/md0
4. /proc/mdstat vypadal krásně - obě pole, oba disky
5. restart, z grubu najel md0, ale při startu nějaké chyby. myslel jsem, že je to něco kolem synchronizace
6. druhý restart - současný stav - kernel panic po bootu z grubu, naštěstí 2.6.28 pustí do busyboxu

Co teď?

[Joe Doe]

Mimochodem ten panic u ty 2.6.31 je:

Kernel panic - not syncing: VFS: Unable to mount root fs on uknown block(9,0)

Nic víc :(

Nemá to něco společného s tím vytvářením nodu (mknod...)?

[Joe Doe]

Teď jsem v rámci chrootu do sda2 (z busyboxu) (/proc/mdstat neukazuje nic) spustil update-initramfs -u a vyhodilo to strašně moc chybových hlášek (musel jsem restartovat) něco jako:

... ext-fs freeing block ....

Přesně si to samozřejmě nepamatuju..doufám, že jsem nepřišel o data :/

[Joe Doe]

Po rebootu (viz vypis tech ext freeing chyb) jsem opet najel do busyboxu pro 2.6.28 (failsafe).

Ten toho při startu vypisuje více, ale chyby tam nejsou žádné.

Mimochodem jsem zjistil až teď, že i z toho busyboxu můžu pracovat s mdadm :)

Každopádně v busyboxu v /proc/mdstat není nic, po pokusu o sestavení (mdadm --assemble --scan) se sestaví pouze md0, po rebootu ale opet kernel panic, takže zase busybox a v /proc/mdstat opět není nic.

Jak je to možné? Fakt se už nechytám :(

[Joe Doe]

Takže opět zkouším v busyboxu sestavit md0 pole:

mdadm: CREATE user root not found
mdadm: CREATE group disk not found
[   365.663359] md: md0 still in use.
[   356.798021] md: bind<sdb2>
[   356.798335] md: bind<sda2>
[   356.803833] raid1: raid set md0 active with 2 out of 2 mirrors
mdadm: /dev/md0 has been started with 2 drives.
[   356.807185] md0: unknown partition table

Co to znamená? Co mám teď dělat?

[Joe Doe]

Zkusil jsem v busyboxu připojit to právě sestavené md0 (neopisuji časy):

[     ] kjournald starting.  Commit interval 5 seconds
[     ] EXT3-fs warning (device md0): ext3_clear_journal_err: Filesystem error recorded from previous mount: IO failure
[     ] EXT3-fs warning (device md0): ext3_clear_journal_err: Marking fs in need of filesystem check.
[     ] EXT3-fs warning: mounting fs with errors, running e2fsck is recommended
[     ] EXT3 FS on md0, itnernal journal
[     ] EXT3-fs: recovery complete.
[     ] EXT3-fs: mounted filesystem with ordered data mode.

[Joe Doe]

Opět jsem zkusil update-initramfs -u a opět to vypsalo ty chyby, tentokrát jsem něco z toho opsal:

[       ] EXT3-fs error (device md0): ext3_fee_blocs: Freeing blocks not in datazone - block = 3998202515, count = 1
........... tady toho se vypisuje hromada, jen jine cislo bloku, pak nasleduje:
[       ] attempt to access beyond end of device
[       ] md0: rw=0, want=12230710120, limit=1951174400
[       ] EXT3-fs error (device md0): ext3_free_branches: Read failure, inode=25853995, block=1528838764
........... opet hromada, opet jen jine cislo bloku a inode

[AraxoN]

Ťažko povedať aký je rozsah škôd. Každopádne, keď máš disky v raide, tak by si mal mountovať vždy len to RAID zariadenie /dev/mdX. Fyzický disk len v móde read-only (mount -o ro). Ak Ti teda nejde mountovať to mdX, tak by som z liveCD pozrel na sda2 a sdb2 (v read-only móde), či ešte je čo zachraňovať, alebo či už súbory odišli na večnosť. Ak už odišli, tak sa s tým ďalej nemusíš trápiť a môžeš to rovno preinštalovať na novo.

K tej hláške: unknown partition table - každé nové blokové zariadenie linuxové jadro pozrie, či neobsahuje ďalšie oddiely. V prípade blokových zariadení-oddielov už ďalšie vnorené partition tabuľky neobsahujú. Takže to je OK.

[Joe Doe]

Tak nakonec se podařilo!

Mockrát díky všem, hlavně Tobě, AraxoNe :) Máš u mě reálné pivko, jestli se někdy potkáme ;)

Postup byl následující:

1. nechat si najet busybox
2. v busyboxu nejsou připojené žádné disky, takže s nimi můžeme manipulovat pomocí nástroje mdadm (věděli jste, že je v busyboxu?) - super!
3. vytvořit NOVÉ pole přes to stávající - někde na francouzském mailing listu jsem se dočetl, že data zůstanou zachována, protože je mdadm automaticky rozpozná
4. bohužel při prvním startu najela kontrola s chybami, takže šup na livecd a namountovat md0 (nikoliv samostatný oddíl)
5. spuštění e2fsck nad md0, vyhodilo to docela velké množství špatných inode, což by dle mých znalostí nemělo ničemu vadit
6. reboot a z grubu již najíždí md0

Někde v mezifázi jsem ještě upravoval /etc/fstab tak, aby nepoužíval uuid, ale normálně odkazy typu /dev/sda2 atp.

Doporučuji také prostudovat následující:

• GRUB tutorial
• Raid Tutorial
• Obnova pole po vymazani superbloku (s odkazem na fr mailing list)

[AraxoN]

Teda, po pravde, už som neveril, že to ešte dáš dohromady. Mal som výčitky, že sa Ti to podarilo rozbiť aj vďaka mne. Keď to ide, tak to Ti gratulujem.

Ad pivo - nepredpokladám, že by k takémuto vyúčtovaniu niekedy došlo. Ale ďakujem.

[Heron]

man mdadm:

       -a, --auto{=no,yes,md,mdp,part,p}{NN}
              Instruct  mdadm  to  create  the device file if needed, possibly allocating an unused minor
              number.  "md" causes a non-partitionable array to be used.  "mdp", "part" or "p"  causes  a
              partitionable array (2.6 and later) to be used.  "yes" requires the named md device to have
              a ’standard’ format, and the type and minor number  will  be  determined  from  this.   See
              DEVICE NAMES below.

[AraxoN]

Btw, možností ako to urobiť je viacero - išlo by to aj bez livecd. Napríklad si vytvoriť pole z toho sdb2+missing, vyrobiť tam nový filesystém, vypnúť všetky démony ktoré nie sú v tej chvíli nevyhnutné (mysqld, a tak podobne) primountovať, prekopírovať všetky súbory z sda2, bootnuť z poľa sdb2+missing (asi by sa to v tej chvíli tvárilo, že PC nebolo korektne vypnuté, ale malo by to ísť) a po boote doplniť do toho poľa aj sda2.

Alebo možno stačí na tom sda2 vytvoriť ten superblok, jadro ho potom pri štarte rozozná ako degradované pole a normálne naštartuje. Ale to si nie som istý, či by to naozaj fungovalo a neprišiel by si o dáta... predpokladám, že nechceš prísť o dáta?

[Joe Doe]

O té první možnosti jsem četl na netu, ale trochu se toho bojím...to livecd mi přijde takové "čistší".

Data právě potřebuju za každou cenu :) Je to fileserver a bohužel ani nemám kam zálohovat (přeci jen dalšími 1 TB disky neoplývám).

Doufám, že to pojede...třetí možnost je pak čistý reinstall, ruční synchronizace dat, nastavování atp.