Trampoty s RAIDem

7.8.2009 02:03 | Přečteno: 1411× | Linuxové báchorky | poslední úprava: 7.8.2009 02:06

Zdravim

Puvodne jsem to psal do diskuze k RAIDu na SASech, ale nakonec mi doslo, ze blog bude lepsi.

Kdyz uz je rec o SW RAIDech, tak me se ted muj mily zlaty RAID5 v serveru rozpad. Zaloha samozrejme nikde. Server poslednui dobou zacal zlobit, byl nestabilni a padal (IBM xSeries 340). Jeden zdroj pres UPS, druhy naprimo, elektrinou to nebude. No mam jich vic, tak jsem prendal RAM a HDD do jineho a jelo se dal. Nacez zacal padat taky. A to doslo az tak daleko, ze se mi snad poprve rozpadlo pole a nechtelo se slozit s hlaskou asi "couldnt start dirty degraded array". Nakonec pomohl navod, pole jsem nahodil degradovany, pridal vykopnutej disk, pockal az se sesynchronizuje a restartzoval. Nacez jel par hodin az do vecera, kdy se seknul. To uz jsem toho mel dost a vrazil jsem do nej jeste dva vetsi ale podobny disky, ze na nich udelam RAID1 pro jistotu. Par minut po bootu se to zase kouslo. No sundal jsem dekl, vyndal jeden vetrak na boku, tudiz ostatni se rozjeli na plnej kotel a restart. To uz to nastesti chvili vydrzelo a umrelo to doslova par minut pote, co jsem rsyncem presunul celej / na /mnt/md2. To uz jsem si rekl dost, vytahl repasovanej IBM xSeries 335, vrazil do nej ty dva disky v raidu1, pres liveCD nahodil GRUB, rebootnul a skoro to jede. skoro kvuli tomu, ze po inicializaci druheho disku to zacne rvat uplne sileny chyby plny silenych cisel, pak ten disk nejak vyresetuje a pak se normalne chyti.

S tim souvisi jina extra zabavna vec. Z ceho to nabootovat, kdyz vlastni system je na tom poli. Jasne ze z LiveCD. System je tam ArchLinux, tak vemu Archovo instalacni CD a ejhle, kernel je panic, protoze nemuze najit CDromku a na ni filesystem. Proste to nema driver na intel serverworks. Tak zkusim CD po kterem by asi sahl temer kazdy - SystemRescueCD. Z neznameho duvodu se to sosalo pul hodiny, bootuju a ejhle, nemuze najit CDromku. Zkousim alternativni kernel a cdromka opet nikde. Uzasny... Zkousim jeste sosnout aktualni Arch a vysledek je identicky. V zachvatu zoufalstvi a s poslednim prazdnym CD v ruce sosam SLAX, ve sve nejnormalnejsi verzi. A BINGO!!!, SLAX nejenze ma ovladace pro intel serverworks, ale i pro adaptec scsi radic ve starsim serveru a i pro LSI v tom novem. A to vse vcetne mdadm nastroje. Jedine co mu chybi je grub, ale to jsem vyresil chrootem na arch na tom poli.

Takze si tak sedim ve dve hodiny v noci v serverovne/skladu/kancelari, zejtra rano musim do prace, jsem unavenej a nasratej, sda sdb sdc sdd sde se mi mihaj pred ocima a huci tady nejaka masina... Brr...

Muzete se modlit i za me at uz to jede.

Zdenek        

Komentáře

[pasmen]

Slax je dílo boží, to musím taky přiznat. Jediná věc, která mě dost (fakt dost) prudí je, že v řadě 6 není netcat. Chápete to? Já teda ne... Z toho důvodu musím používat řadu 5 a to už asi moc dlouho nepůjde.

[9002]

A co ti brani ho pridat do 6ky ako modul?

[Zdeněk Štěpánek]

Ja mam v praci nejakou 4.x.y s dodanym grubem, etherboot drivery pro LTSP a malym skriptem, kterej mi pomuze rozdelit disk, naformatovat, hodit tam ty ovladace a grub.

Nejak to nebylo moc slozity. Snad na to byl skript, kterej ISO rozbalil do adresare, pak jsem si dalsimy skripty vyrobil vlastni modul s tema ovladacema a skriptem, spolu s modulem grubu to nahral do ty adresarovy struktury a zase nejakym skriptem z toho vypadlo bootovatelny iso.

Nejvic me na tom dostalo, ze SystemRescueCD (distro pro geeky a hackery) si na tom vylamalo zuby a SLAX, uplne desktopovy system pro mainstreamovy pocitace to zvladlo.

Zdenek

[Zdeněk Štěpánek]

Zdravim

Tady je vypis te silene chyby s druhym diskem. Vpodstate jsem nepochopil co se tomu nelibi. Nejprve jako by disk nereagoval a napodruhe se chyti. Udelalo to pokazdy po teplem restartu. Z elektriny jsem to odpojovat nezkousel. Jednou se zaopnul a uz bezel. Ocividne je neco spatne, staci se podiovat jak rychle to z toho disku cte. Pritom ale server vykonovym problemem netrpi, asi to honi jen jeden disk. Odpoledne to jeste zkusim dat do jineho serveru, mam tam jeste jeden stejny a snad i jiny disky stejne velikosti. Je fakt ze jeste bych se mohl podivat do nastaveni radice a zkusit to vyresetovat.

/dev/sda:
 Timing buffered disk reads:  422 MB in  3.02 seconds = 139.84 MB/sec
 Timing buffered disk reads:  270 MB in  3.02 seconds =  89.50 MB/sec

/dev/sdb:
 Timing buffered disk reads:    6 MB in  3.23 seconds =   1.86 MB/sec
 Timing buffered disk reads:    6 MB in  3.32 seconds =   1.81 MB/sec

ioc0: LSI53C1030 B2: Capabilities={Initiator}                                                                                                     
scsi2 : ioc0: LSI53C1030 B2, FwRev=01000e00h, Ports=1, MaxQ=222, IRQ=22                                                                           
scsi 2:0:0:0: Direct-Access     IBM-ESXS MAU3073NC     FN BC12 PQ: 0 ANSI: 4                                                                      
scsi target2:0:0: Beginning Domain Validation                                                                                                     
scsi target2:0:0: Ending Domain Validation                                                                                                        
scsi target2:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU HMCS (6.25 ns, offset 127)                                                                  
scsi 2:0:1:0: Direct-Access     IBM-ESXS MAT3073NC     FN B411 PQ: 0 ANSI: 4                                                                      
scsi target2:0:1: Beginning Domain Validation                                                                                                     
mptscsih: ioc0: attempting task abort! (sc=f73f7700)                                                                                              
scsi 2:0:1:0: CDB: cdb[0]=0x12: 12 00 00 00 a4 00                                                                                                 
mptscsih: ioc0: Issue of TaskMgmt failed!                                                                                                         
mptscsih: ioc0: task abort: FAILED (sc=f73f7700)                                                                                                  
mptscsih: ioc0: attempting target reset! (sc=f73f7700)                                                                                            
scsi 2:0:1:0: CDB: cdb[0]=0x12: 12 00 00 00 a4 00                                                                                                 
mptscsih: ioc0: target reset: SUCCESS (sc=f73f7700)                                                                                               
mptscsih: ioc0: attempting task abort! (sc=f73f7700)                                                                                              
scsi 2:0:1:0: CDB: cdb[0]=0x0: 00 00 00 00 00 00                                                                                                  
mptscsih: ioc0: Issue of TaskMgmt failed!                                                                                                         
mptscsih: ioc0: task abort: FAILED (sc=f73f7700)                                                                                                  
mptscsih: ioc0: attempting target reset! (sc=f73f7700)                                                                                            
scsi 2:0:1:0: CDB: cdb[0]=0x0: 00 00 00 00 00 00                                                                                                  
mptscsih: ioc0: ERROR - Received a mf that was already freed                                                                                      
mptscsih: ioc0: ERROR - req_idx=beaf req_idx_MR=55 mf=f64447e0 mr=f6441220 sc=(null)                                                              
mptscsih: ioc0: target reset: SUCCESS (sc=f73f7700)                                                                                               
mptscsih: ioc0: attempting bus reset! (sc=f73f7700)                                                                                               
scsi 2:0:1:0: CDB: cdb[0]=0x12: 12 00 00 00 a4 00                                                                                                 
mptscsih: ioc0: bus reset: SUCCESS (sc=f73f7700)                                                                                                  
mptscsih: ioc0: attempting task abort! (sc=f73f7700)                                                                                              
scsi 2:0:1:0: CDB: cdb[0]=0x0: 00 00 00 00 00 00                                                                                                  
mptscsih: ioc0: Issue of TaskMgmt failed!                                                                                                         
mptscsih: ioc0: task abort: FAILED (sc=f73f7700)                                                                                                  
mptscsih: ioc0: attempting target reset! (sc=f73f7700)                                                                                            
scsi 2:0:1:0: CDB: cdb[0]=0x0: 00 00 00 00 00 00                                                                                                  
mptscsih: ioc0: target reset: SUCCESS (sc=f73f7700)                                                                                               
mptscsih: ioc0: attempting host reset! (sc=f73f7700)                                                                                              
mptbase: ioc0: Initiating recovery                                                                                                                
mptscsih: ioc0: host reset: SUCCESS (sc=f73f7700)                                                                                                 
scsi 2:0:1:0: Device offlined - not ready after error recovery                                                                                    
scsi target2:0:1: Domain Validation detected failure, dropping back                                                                               
scsi target2:0:1: Domain Validation detected failure, dropping back                                                                               
scsi target2:0:1: Domain Validation skipping write tests                                                                                          
scsi target2:0:1: Ending Domain Validation                                                                                                        
scsi target2:0:1: asynchronous                                                                                                                    
scsi 2:0:8:0: Processor         IBM      25P3495a S320  1 1    PQ: 0 ANSI: 2                                                                      
scsi target2:0:8: Beginning Domain Validation                                                                                                     
scsi target2:0:8: Ending Domain Validation                                                                                                        
scsi target2:0:8: asynchronous                                                                                                                    
Driver 'sd' needs updating - please use bus_type methods                                                                                          
sd 2:0:0:0: [sda] 143374000 512-byte hardware sectors: (73.4 GB/68.3 GiB)                                                                         
sd 2:0:1:0: [sdb] 143374000 512-byte hardware sectors: (73.4 GB/68.3 GiB)                                                                         
sd 2:0:0:0: [sda] Write Protect is off                                                                                                            
sd 2:0:0:0: [sda] Mode Sense: cf 00 00 08                                                                                                         
sd 2:0:1:0: [sdb] Write Protect is off                                                                                                            
sd 2:0:1:0: [sdb] Mode Sense: cf 00 00 08                                                                                                         
sd 2:0:0:0: [sda] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA                                                          
sd 2:0:1:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA                                                          
 sda:<6> sdb: sdb1                                                                                                                                
 sda1                                                                                                                                             
sd 2:0:0:0: [sda] Attached SCSI disk                                                                                                              
sd 2:0:1:0: [sdb] Attached SCSI disk                                                                                                              
md: raid1 personality registered for level 1                                                                                                      
md: bind<sda1>
md: bind<sdb1>                                                                                                          
raid1: raid set md2 active with 2 out of 2 mirrors                                                                                                
 md2: unknown partition table                                                                                                                     
 md2: unknown partition table                                                                                                                     
REISERFS (device md2): found reiserfs format "3.6" with standard journal

[Radek Hladik]

Já docela hodně používám RIP Linux. Je postavený na Slackware, takže se do něj dá dointalovat hodně modulů ze Slaxu. Ale co je jeho hlavní výhoda je, že celej běží z initrd ramdisku. Tzn. stačí aby mi grub zavedl dva soubory a tradá. Nemusí hledat žádnou cdromku, odkud se spustil, můžu ho nabootovat třeba ze sítě, atd... Dokonce mám udělané RPMko, které mi ho na Fedoře nainstaluje do /boot a přidá do grub.conf.

[Zdeněk Štěpánek]

Takhle to je perfektni, driv takhle byly i instalacni CD Slackwaru a mozna i stary verze Archu. Blb

Zdenek

[Radek Hladik]

No například Fedora má na svých instalačkách PXE images, což je přesně initrd a vmlinuz, který stačí nabootovat z grubu a on si zbytek stáhne ze sítě. Nebo třeba z ISO na disku, možnosti tu jsou . Při instalaci to je "jen" příjemné, ale při nějaké havárii je to opravdu k nezaplacení...

[Limoto]

Už jsem viděl BIOSy, který jenom obraz jádra (třeba slaxu) z USB natahovaly minimálně minutu, takže to zas tak perfektní nebude...