Dotaz: Problem se softwarovym RAIDem v novem stabilnim Debianu 4.0

[Lubos]

Mam nove nainstalovany stabilni Debian. Po rebootu do noveho systemu skoncim v shellu ramdisku. Problem je sestaveni RAIDoveho pole. Oddil /dev/sda1 je root filesystem. /dev/md0 je Raid1 slozeny z /dev/sdb1 a /dev/sdd1, ktery se pripojuje do /var. Pak mam jeste zalozni disk sdc. Nedari se mi spravne nastavit /etc/mdadm/mdadm.conf ani rucni sestaveni RAIDu v shellu ramdisku(dostanu se tam pres parametr break=mout v grubu). Disk sda je na radici desky, sdc-sdd jsou na externim radici. Zajimave je, ze nekdy po nejake hw zmene(vypojeni usb ctecky) se pole sestavi dobre, po dalsim rebootu to skonci tak, ze je pole sestaveno z /dev/sda1 a /dev/adc1. Tato sestava jela s predchozim stabilnim Debianem(jadro 2.6.8, mdadm 1.9). Muzete mi poradit jak ma vypadat mdadm.conf, pripadne jak sestavit pole v shellu ramdisku. Snazil jsem se postupovat podle navodu u mdadm 2.5 pro prehod v verze 1.9, ale asi mi neco uniklo.

Odpovědi

[VP]

Zkuste spustit /usr/share/mdadm/mkconf, ktery vam vygeneruje "spravny" mdadm.conf, tim nahradte ten vas puvodni. Pokud toto nepomuze ctete toto: http://svn.debian.org/wsvn/pkg-mdadm/mdadm/trunk/debian/README.upgrading-2.5.3?op=file

[Michal Kubeček]

Mělo by stačit

  DEVICES    /dev/sd*
  ARRAY      /dev/md0 uuid=...

kde místo tří teček doplníte UUID toho pole, zjištění např. pomocí 'mdadm --detail /dev/md0'.

Není problém v tom, že se vám systém po startu nedetekuje disky pokaždé ve stejném pořadí? Pak byste měl dvě možnosti: za prvé se s tím smířit - mdadm podle persistentních bloků správně pozná, která partition patří do kterého pole a jakou tam má funkci a to, že je jednou pole složeno z /dev/sdb1 a /dev/sdc1 a podruhé z /dev/sdb1 a /dev/sdd1, vás trápit nemusí. Za druhé můžete persistentní pojmenování blokových zařízení zajistit nastavením pravidel pro udev.

[svaca]

Proc neresite ten raid autoraidem ?? Proc na to pouzivate vubec nejake konfiguraky ??

[Láďa]

Souhlas, mdadm.conf u mě taky chybí. Partition type fd tohle řeší k plné spokojenosti.

[Michal Kubeček]

Ne vždy a ne všechno.

[svaca]

v pripade hellgasta by ale toto pomohlo, nebot ja mam vyzkouseno, ze cim mam komplikovanejsi pole, tim je lepsi to nechat v automatice. kdyz treba kompletne musim menit distro, hw. Ve vetsine situaci tedy.

[Michal Kubeček]

A jak to víte? Já jsem z jeho popisu nepoznal ani to, co má přesně za problém. Dokonce bych si netroufl s jistotou vyloučit ani to, že to má tak, jak navrhujete.

[svaca]

No ja pochopil, ze se mu ruzne pletou zarizeni - mapovani ... Tak jak to navrhuju ja to nema, protoze etch jadro ma raid zakompilovany jako moduly a on nic neprekompilovaval. Takze ma treba chybu v kom konfigu, ale treba i vnastaveni grubu, ci ramdisku,ci jadra.

Ja jen tvrdim, ze autoraid a prekompilovane jadro tim padem, mi dnes pripada lepsi. a ten problem by treba nemel/vyresil. Nicmene bych to vyzkousel. Vy ne ?

[Michal Kubeček]

Ja jen tvrdim, ze autoraid a prekompilovane jadro tim padem, mi dnes pripada lepsi. a ten problem by treba nemel/vyresil. Vy ne?

Ale ano. Jenže původně jste tvrdil něco trochu jiného než teď:

v pripade hellgasta by ale toto pomohlo

Netvrdil jsem, že to pomoci nemůže. Jen jsem se zeptal, proč tak kategoricky tvrdíte, že to pomůže, když není vůbec jasné, jaký má tazatel problém, a dokonce ani to, jestli už to právě takhle nemá.

[svaca]

Pane Kubecek ....

"Proc neresite ten raid autoraidem ?? Proc na to pouzivate vubec nejake konfiguraky ??"

Kde tvrdim kategoricky ze to pomuze a ostatni veci ????

[Michal Kubeček]

Ve větě, kterou už jsem vám tu jednou ocitoval.

[Láďa]

Vždy a všechno samozřejmě ne, třeba násilí v Iráku by to určitě nevyřešilo Špatné mapování partition do RAID pole by to ale možná vyřešit mohlo... Samozřejmě nemůžu si být jistý pro tuhle konkrétní situaci, Debian nepoužívám, v Gentoo ale RAID přímo v jádře a partition type Linux RAID autodetect tvoří naprosto spolehlivou kombinaci.

[Michal Kubeček]

Za prvé: "naprosto spolehlivou" je příliš silný výraz, už jsem viděl situace, se kterými si to neporadilo. Za druhé: už asi počtvrté se (zatím marně) snažím upozornit, že z dotazu vůbec není jasné, že došlo ke špatnému sestavení (nebo nesestavení) pole; naopak, zdá se mi daleko pravděpodobnější, že pole se sestavilo správně a tazatel má problém s něčím úplně jiným.

[Láďa]

Moc slovíčkaříme, samozřejmě jsem psal "naprosto spolehlivé" v rámci mých zkušeností. A jinak je pravda, že nějaké upřesnění od tazatele by se hodilo, ostatně vzal jsem první možnost, která byla ráně

[svaca]

Uf. Dneska je to s Vama sila ....

"Zajimave je, ze nekdy po nejake hw zmene(vypojeni usb ctecky) se pole sestavi dobre, po dalsim rebootu to skonci tak, ze je pole sestaveno z /dev/sda1 a /dev/adc1"

BTW, ten muj prvni post nebyla jen odpoved, byla to taky zaroven otazka .... Je uplne putna s nim ma problem, napsal co napsal, mi jsme poradili jak jsme uznali z toho co jsme pochopili a muze zkouset. Zaroven jsem se zaptal ja, proc pouziva konfig ...

Nechapu proc se v tom porad rypete a kor vy ...

[Michal Kubeček]

Ano, přesně o ten citát mi jde. Pokud totiž tazatel píše "je pole sestaveno", znamená to, že je buď úplně mimo (a v tomto ohledu zastávám zásadu presumpce neviny) nebo se pole sestavilo. A protože vámi vylučovaná možnost, že zcela automatická detekce selže, je pořád řádově pravděpodobnější než varianta, že mdadm bez hrubého násilí sestaví pole z disků/oddílů, které do něj nepatří, zbývá mi jediný závěr: že celý problém (je-li to vůbec problém) není v tom, že by se pole nesestavilo, ale v tom, že přiřazení jednotlivých disků blokovým zařízením /dev/sd* není persistentní. Proto jsem hned na začátku doporučil řešení pomocí udev rules a proto se vám celou dobu (zatím marně), snažím vysvětlit, že vaše přesvědčení, že nastavení id oddílů problém vyřeší, je neodůvodněné, tím spíš, že je dost dobře možné (a při použití automatických nástrojů dokonce pravděpodobné), že už to tak tazatel má.

[Michal Kubeček]

Mimochodem, že problém může souviset spíš s přiřazením speciálních souborů, to naznačuje i zmínka o USB čtečce (asi paměťových karet) - ta se totiž také chová jako SCSI disk.

[David Jaša]

Pánové, máte-li etch s mdadm, přečtěte si (oba dva) /usr/share/doc/mdadm/README.upgrading-2.5.3.gz. Pak pochopíte, jak že to s tou autodetekcí a konfiguráky je...

[David Jaša]

Taky jsem měl po upgradu na etche rozbitý raid. Kuchařku, jak systém upravit, aby se nerozbil, je v /usr/share/doc/mdadm/README.upgrading-2.5.3.gz.

Pokud je už raid rozbitý, zde je postup, jak ho spravit jen s pomocí ramdisku:

1. Odpojit všechna zařízení, která mohou dělat zmatek v názvech v /dev
2. Bootnout do ramdisku pomocí parametru break=mount
3. Znovu vytvořit (pomocí echo a přesměrování) jednoduchý /etc/mdadm/mdadm.conf . V mém případě vypadal takto:

   DEVICES=/dev/hd[ac][1235]
   ARRAY /dev/md0 devices=/dev/hda1,/dev/hdc1
   # podobně pro zbytek polí

4. Pomocí už zmíněného /usr/share/mdadm/mkconf si vygeneruj nový popis RAIDových polí. Ten je založený na UUID, takže ho nerozhodí případné příští změny v pořadí disků a přitom zachová jména zařízení /dev/md* podle toho, jak jsi je nastavil v ramdisku. Podle nich uprav svůj /etc/mdadm/mdadm.conf. V mém případě vypadá nějak takto:

   DEVICES partitions
   ARRAY /dev/md0 level=raid1 num-devices=2 UUID=ea27fba0:2b3e1587:8ee259d8:14122aa7
   # zbytek konfigurace

5. Smaž soubor /var/lib/mdadm/CONF-UNCHECKED
6. Znovu vygeneruj ramdisky např. pomocí dpkg-reconfigure linux-image-2.6.18-4-486 (dosaď si název nainstalovaných balíčků s jádry)
7. Máš-li lilo, tak je potřeba ho znovu spustit.

A z live CD (nutnost v případě poškozeného kořenového systému souborů):

1. Bootni do live CD (já použil Desktop CD Dapper Drake) a pusť si shell s právy roota pokud se tak nestane automaticky
2. Vypni automaticky detekovaná MD pole pomocí:

   mdadm --stop /dev/md*

   V /proc/mdstat ověř, že jsou všechna pole vypnutá
3. Znovu sestav pole tak, aby názvy /dev/md* zařízení odpovídaly tvé konfiguraci. Pokud je dané pole v pořádku, stačí něco na způsob:

   mdadm --assemble /dev/md0 /dev/hda1 /dev/hdc1

   Pokud v pořádku není, je potřeba pole spustit postupně (samozřejmě jako první spustit partišnu se zdravými daty). V mém případě to vypadá takto:

   mdadm --assemble /dev/md0 /dev/hda1
   mdadm --add /dev/md0 /dev/hdc1

   Pole se automaticky začne synchronizovat. Pokud je potřeba synchronizovat i jiné pole, tak čeká, až se dokončí sync prvního. Postup lze sledovat v /proc/mdstat
4. Teď je ta pravá chvíle na kontrolu a případnou opravu filesystému. Já ztratil den na tom, že jsem ji neprovedl a pak mě to furt blblo a nemohl jsem přijít na to, proč.
5. Připoj /, do něj všechny důležité adresáře a chrootni se tam. Příklad:

   cd /mnt; mkdir md1
   mount /dev/md1 md1
   cd md1
   for dir in dev proc sys; do mount /$dir $dir ;done
   chroot .

6. další postup je stejný jako od bodu 4. předchozího postupu. Díky přimontování /dev, /proc a /sys by neměly být žádné problémy ani s lilem
7. zbývá reboot do opraveného systému

PS: hodilo by se to přepsat a přidat do FAQ, jak se tak na to dívám...

[David Jaša]

FAQ

PS: Jako "vyřešeno" to tu označil tazatel nebo někdo jiný?

[Lubos]

Postupoval jsem podle postupu z mdadm 2.5(pro prechod z 1.9), kdyz po upgradu nenajel system s omezenim DEVICES na /dev/sd[db]1 i ARRAY devices=/dev/sdb1,/dev/sdd1 plus/nebo UUID. Po ciste instalaci znovu presne podle Vaseho postupu pro ramdisk, ale stejne se nezadarilo. Pole se vetsinou tvorilo pomoci sda1 + sdc1 a pak nesel root fs, protoze byl v RAIDu. Ve fs ramdisku mohl byt soubor mdadm.conf s omezenim na s[db]1 nebo UUID. Po par dnech jsem tam byl nucen vratit Sarge.

[Michal Kubeček]

A jste si jistý, že /dev/sda (b, c, d) je pokaždé stejný fyzický disk? Není nakonec problém skutečně v tom, co jsem naznačoval hned v první odpovědi?

[Lubos]

Ano jsem si jisty, pole byvalo sestaveno z sda1 + sdc1 i pres omezeni v mdadn.conf. Vcera odesel disk sdc. Netusim jestli to mohla byt pricina problemu nebo spis dusledek.

[Michal Kubeček]

Zkusím to ještě jednou, zdá se, že mi pořád nerozumíte. Všechno, co jste zatím napsal, podle mne naznačuje, že problém není v tom, že by se vám po restartu pole sestavilo z jiných disků/oddílů, než z kterých jste ho původně vytvořil (opravdu nevěřím, že by mdadm něco takového bez velké míry přemlouvání udělal), ale spíš na to, že se vám po restartu jinak přiřadila bloková zařízení /dev/sd? jednotlivým fyzickým diskům. Zkuste např. porovnat výstup

  scsi_id -g -s /block/sda
  scsi_id -g -s /block/sdb
  scsi_id -g -s /block/sdc
  scsi_id -g -s /block/sdd

při jednotlivých spuštěních systému.

[Lubos]

Kdyz jsem do grubu nedal break=mount, tak to vetsinou koncilo tim, ze nesel pripojit /proc a /sys a nenalezl se init. madadm --detail /dev/md0 vypsal pole slozene z sda1 a sdc1. Ja si take myslim, ze se prehodila sd blokova zarizeni, ktere nacetl mdadm, ale pak se vse muselo nastavit zase spravne(informace ziskane v ramdisku).

[Michal Kubeček]

V tom případě doporučuji podívat se na Writing udev rules. Nedávno jsem podobný problém řešil u jednoho zákazníka (tam šlo o jeden interní SCSI disk a externí pole s multipath přístupem) a řešením bylo právě nastavení udev rules tak, aby se fixovala jména speciálních souborů. Měli tam ale SLES, kde stačilo po změně udev rules přegenerovat initial ramdisk, aby to fungovalo i s kořenovým filesystémem, nevím, jestli to na Debianu půjde stejně snadno.

Pokud byste nenašel dostatečné rozlišovací prvky ve výstupu udevinfo, zkuste tenhle článek, tam jen ukázka, jak se dá použít výstup scsi_id (jen tam nerozlišují '==' a '=').

[Lubos]

Dik za pomoc, ale jak uz jsem napsal v nekterem z predchozich prispevku, dal jsem tam zpet Sarge. Vami navrhovany postup je asi nad me moznosti.

[David Jaša]

Zkuste to ještě z livecd podle té FAQ. Tím, že všechna pole sestavíte ručně byste měl ošetřit všechny možné chyby v konfiguraci (i možnost záměny názvů zařízení, jak píše Michal Kubeček).