Dotaz: HW raid řadič s baterkou nebo bez?

[vasek]

Ahoj. Koupili jsme IBM server s řadičem IBM ServeRaid M5014. K řadiči je možné připojit baterka. Raid manager píše do logu warningy Battery Not Present, BBU disabled; changing WB logical drives to WT. Server má 4 SAS disky v raid 10, je připojen k ups. Potřebuju tu baterku k řadiči? Je tam nějaká výkonová penalizace bez baterky? Příkaz dd dá cca 290 MB/s jak čtení tak zápis.

---

---

Odpovědi

[Jakub Lucký]

Baterka nemá vliv na rychlost, ale na funkčnost v případě elektrického proudu. Pokud vám vypadne elektrický proud nyní, všechna data na cestě z RAM do disků (v dané chvíli v tom RAID řadiči) nenávratně zmizí. V případě, že má řadič baterii, vydrží tam tato data v napájené paměti do obnovení elektřiny v celém serveru nebo do vybití baterie (minimálně hodiny, možná spíše dny)

[linuxik]

Na rychlost cteni batarka vliv nema, ale se zapisem to bude horsi. "changing WB logical drives to WT" WB=write-back a WT=write-through. Vlasten to znamena ze pri zapisu se cache na radici pouzivat nebude (pri vypadku napajeni, by se data v cache smazala a doslo by k poskozeni filesystemu). Na vykon to bude mit vliv hlavne pri zapisu malych casti dat a to opravdu vyznamny. Pokud planujes nasazeni nejake databaze, budes muset baterku koupit.

[vagojan]

To neni tak úplně pravda - vzhledem k tomu, že to píše, že to přepíná disky do write through módu, tak ten řadič tu cache vypnul - právě z toho důvodu, aby se z ní při výpadku nemohli ztratit data. A když není cache, tak je výkon výrazně horší. Takže možnosti jsou dvě:

• přesvědčit řadič, aby tohle nedělal - pak ten výkon bude vyšší i bez baterky, ale v případě výpadku napájení to může udělat dost bordel na discích (zvláště když OS si myslí, že má zapsáno a ono prd) - a je otázka, jestli řadič k tomu půjde připojit
• nebo připojit tu baterku a je klid :)

[Jakub Lucký]

Wow, díky za osvětlení, to mě nenapadlo, že to je až tak chytré...

[vasek]

No ale podle "changing WB logical drives to WT" to vyplo nějaký buffer ne? Jinak s tou ztrátou dat je to vážný problém u raid 10? V principu je jasné že se něco ztratí (i kdyby tam ta baterka byla), důležité je, aby se nerozbilo pole. Mimochodem v případě linux soft raidu jsou rizika stejná, nebo linux k soft raidu přistupuje jinak?

[linuxik]

Na raidu nazalezi, problem je v tom ze moderni filysystemy jsou dost komplexni a proto maji take velmi dobre reseny problem s vypadkem napajeni. Vsechna tahle ochrana je ale k nicemu v pripade ze HW bude tvrdit OS, ze data zapsal na disk a nebude to pravda. Pokud pouzijes extX filesystem, tak ho skoro urcite opravis, ale dost souboru bude poskozenych. Pokud to budou mp3 nebo filmy, tak se na to muzes vy...., ale v pripade databazi nebo nejakych dokumnetu to bude problem.

[Ivan]

Protoze mas v radici pamet, ktera je chranena baterii, jsou data povazovana za "zapsana" pokud jsou prijata to cache. Co se pak deje s daty dal, tak to je uz problem radice a jeho FW.

Takovahle cache muze napr. vyhladit peaky pri zapisech pri checkpointech u PostgreSQL databaze. Tzn. dlouhodobe to zrychleni neprinese, pouze ve spickach.

Velky fibrechannel pole maji cache v radech desitek GB RAM a umi navic efektivne preskupovat zapisy na disk. V realu to pak vypada, ze neni az tak velky rozdil mezi RAID5 a RAID10.

V pripade soft raidu jsou rizika podobna, napr. nektere disky WD posilaji potvrzeni, ze data byla zapsana uz v okamziku kdy byla zasana do cache na disku. Dlouho se myslelo, ze je to nejaka buga v EXT3, protoze se XFS s necim takovym dokazalo v pohode vyporadat.

[vagojan]

Rozhodně dokoupit. I při velmi mírném vytížení DB byl rozdíl po výpadku zálohovací baterie propastný. Bez tohoto modulu jste si mohli koupit levnější model serveru.

[BigWrigley]

Rozhodne baterku ano. Kdyz napr. odejde nebo radic nahodou pozna, ze neni v poradku, vypne se zapisova cache na poli a je to hned znat na i/o waitech ve vytizeni CPU a to sakra hodne. Aspon tedy na HP serverech. Kdyz mate cache zapnutou, do velikosti cache zapisete data prakticky okamzite: Tohle je nad 6 SAS disky v raid 1+0:

debian:/opt# dd if=/dev/zero of=/opt/test bs=2G count=1
0+1 records in
0+1 records out
2147479552 bytes (2.1 GB) copied, 2.12187 s, 1.0 GB/s
debian:/opt# 

[vasek]

A jakým způsobem se pak vadná baterie vyměňuje? Pokud se dává nová, tak asi není co řešit a mohu server vypnout z napájení, ale při výměně tam může být nějaká neuložená cache ne? A co se týče stáří je lepší vyndat baterku která je extrémně stará (ale řadič si myslí že je ještě dobrá) nebo jí tam nechat?

[Petr Šobáň]

Nevím jak u tohoto.

Ale u některých zařízení po vypnutí a odpojení baterie a připojení nové a zapnutí to udrží kondenzátory tu chvilku (v řádu sekund).

Ale jak je to zde nepovím - mělo by to být popsáno v návodu jak vyměňovat baterku.

[SPM]

Skoro si myslím, že s trochou šikovnosti ta baterka půjde vyměnit i za běhu, ikdyž se to podle manuálu nesmí :) Jinak když se ten server vypne korektně (tj ne vytažením powercordu), tak se samozřejmě všechny ty data z cache uloží a lze baterku odpojit. Tenhle problém jenom nastává při náhlém výpadku napájení. A pokud si chceš být naprosto jist, že ta baterka bude ok, tak je lepší ty hodně staré vyměnit - přeci jen je to nádoba s kyselinou a čert ví co to časem dělá...

[BigWrigley]

Asi bych to neresil. Dokud si radic mysli, ze je baterie OK, tak je OK. Stejne drzi jen RAM radice (a mozna neco malo k tomu). Kazdopadne, vymena se provadi pri vypnutem serveru. V praxi to funguje tak, ze pokud baterie odchazi, radic write cache vypne. Baterii pak zkusim odpojit a zase zapojit, ale kdyz se to objevi znovu, baterii menim. Jeste malickost: kdyz tam date baterii novou, neni nikdy nabita na 100% a radic sam zapne write cache az kdyz se baterie zcela dobije.

[dustin]

Dá se nějak dozvědět v linuxu status baterky Smart Array E200i ? Díky za info.

[BigWrigley]

Nevim, jak na E200i, ale na P410i to pochopitelne lze, hadam, ze na P200i to pujde taky. Treba mit nainstalovanou HP utilitu hpacucli. Pote pouzijete prikaz nize:

=> controller all show config detail

Smart Array P410i in Slot 0 (Embedded)
   Bus Interface: PCI
   Slot: 0
   Serial Number: 5001438009DBA1A0
   Cache Serial Number: PBCDF0CRHZF1OT
   RAID 6 (ADG) Status: Disabled
   Controller Status: OK
   Hardware Revision: Rev C
   Firmware Version: 3.66
   Rebuild Priority: Medium
   Expand Priority: Medium
   Surface Scan Delay: 15 secs
   Surface Scan Mode: Idle
   Queue Depth: Automatic
   Monitor and Performance Delay: 60 min
   Elevator Sort: Enabled
   Degraded Performance Optimization: Disabled
   Inconsistency Repair Policy: Disabled
   Wait for Cache Room: Disabled
   Surface Analysis Inconsistency Notification: Disabled
   Post Prompt Timeout: 0 secs
   Cache Board Present: True
   Cache Status: OK
   Accelerator Ratio: 25% Read / 75% Write
   Drive Write Cache: Disabled
   Total Cache Size: 1024 MB
   No-Battery Write Cache: Disabled
   Cache Backup Power Source: Capacitors
   Battery/Capacitor Count: 1
   Battery/Capacitor Status: OK
   SATA NCQ Supported: True

   Array: A
      Interface Type: SAS
      Unused Space: 0 MB
      Status: OK



      Logical Drive: 1
         Size: 279.4 GB
         Fault Tolerance: RAID 1
         Heads: 255
         Sectors Per Track: 32
         Cylinders: 65535
         Strip Size: 256 KB
         Status: OK
         Array Accelerator: Enabled
         Unique Identifier: 600508B1001CF56AA5394733608324E3
         Disk Name: /dev/cciss/c0d0
         Mount Points: /boot 486 MB, none 3.7 GB, / 23.3 GB, /var 23.3 GB
         OS Status: LOCKED
         Logical Drive Label: A00F93B65001438009DBA1A0624F
         Mirror Group 0:
            physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SAS, 300 GB, OK)
         Mirror Group 1:
            physicaldrive 1I:1:2 (port 1I:box 1:bay 2, SAS, 300 GB, OK)

      physicaldrive 1I:1:1
         Port: 1I
         Box: 1
         Bay: 1
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 300 GB
         Rotational Speed: 10000
         Firmware Revision: HPDE
         Serial Number: 6SE16X6A0000B1100F02
         Model: HP      EG0300FAWHV     
         Current Temperature (C): 25
         Maximum Temperature (C): 39
         PHY Count: 2
         PHY Transfer Rate: 6.0GBPS, Unknown

      physicaldrive 1I:1:2
         Port: 1I
         Box: 1
         Bay: 2
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 300 GB
         Rotational Speed: 10000
         Firmware Revision: HPDE
         Serial Number: 6SE16CXF0000B1102Z01
         Model: HP      EG0300FAWHV     
         Current Temperature (C): 24
         Maximum Temperature (C): 38
         PHY Count: 2
         PHY Transfer Rate: 6.0GBPS, Unknown


   Array: B
      Interface Type: SAS
      Unused Space: 0 MB
      Status: OK



      Logical Drive: 2
         Size: 838.1 GB
         Fault Tolerance: RAID 1+0
         Heads: 255
         Sectors Per Track: 32
         Cylinders: 65535
         Strip Size: 256 KB
         Status: OK
         Array Accelerator: Enabled
         Unique Identifier: 600508B1001CF6F7067AE6C28D69C355
         Disk Name: /dev/cciss/c0d1
         Mount Points: /opt 838.1 GB
         OS Status: LOCKED
         Logical Drive Label: A00F86195001438009DBA1A06859
         Mirror Group 0:
            physicaldrive 1I:1:3 (port 1I:box 1:bay 3, SAS, 300 GB, OK)
            physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SAS, 300 GB, OK)
            physicaldrive 2I:1:5 (port 2I:box 1:bay 5, SAS, 300 GB, OK)
         Mirror Group 1:
            physicaldrive 2I:1:6 (port 2I:box 1:bay 6, SAS, 300 GB, OK)
            physicaldrive 2I:1:7 (port 2I:box 1:bay 7, SAS, 300 GB, OK)
            physicaldrive 2I:1:8 (port 2I:box 1:bay 8, SAS, 300 GB, OK)

      physicaldrive 1I:1:3
         Port: 1I
         Box: 1
         Bay: 3
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 300 GB
         Rotational Speed: 10000
         Firmware Revision: HPDE
         Serial Number: 6SE15H510000B1093AMF
         Model: HP      EG0300FAWHV     
         Current Temperature (C): 24
         Maximum Temperature (C): 39
         PHY Count: 2
         PHY Transfer Rate: 6.0GBPS, Unknown

      physicaldrive 1I:1:4
         Port: 1I
         Box: 1
         Bay: 4
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 300 GB
         Rotational Speed: 10000
         Firmware Revision: HPDE
         Serial Number: 6SE16ZSP0000B11042XY
         Model: HP      EG0300FAWHV     
         Current Temperature (C): 26
         Maximum Temperature (C): 40
         PHY Count: 2
         PHY Transfer Rate: 6.0GBPS, Unknown

      physicaldrive 2I:1:5
         Port: 2I
         Box: 1
         Bay: 5
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 300 GB
         Rotational Speed: 10000
         Firmware Revision: HPDE
         Serial Number: 6SE166WJ0000B1092FS9
         Model: HP      EG0300FAWHV     
         Current Temperature (C): 23
         Maximum Temperature (C): 37
         PHY Count: 2
         PHY Transfer Rate: 6.0GBPS, Unknown

      physicaldrive 2I:1:6
         Port: 2I
         Box: 1
         Bay: 6
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 300 GB
         Rotational Speed: 10000
         Firmware Revision: HPDE
         Serial Number: 6SE168FV0000B1102EX0
         Model: HP      EG0300FAWHV     
         Current Temperature (C): 24
         Maximum Temperature (C): 38
         PHY Count: 2
         PHY Transfer Rate: 6.0GBPS, Unknown

      physicaldrive 2I:1:7
         Port: 2I
         Box: 1
         Bay: 7
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 300 GB
         Rotational Speed: 10000
         Firmware Revision: HPDE
         Serial Number: 6SE16APT0000B1101MKV
         Model: HP      EG0300FAWHV     
         Current Temperature (C): 23
         Maximum Temperature (C): 37
         PHY Count: 2
         PHY Transfer Rate: 6.0GBPS, Unknown

      physicaldrive 2I:1:8
         Port: 2I
         Box: 1
         Bay: 8
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 300 GB
         Rotational Speed: 10000
         Firmware Revision: HPDE
         Serial Number: 6SE16XY00000B1101N5Q
         Model: HP      EG0300FAWHV     
         Current Temperature (C): 25
         Maximum Temperature (C): 40
         PHY Count: 2
         PHY Transfer Rate: 6.0GBPS, Unknown


   SEP (Vendor ID PMCSIERA, Model  SRC 8x6G) 250
      Device Number: 250
      Firmware Version: RevC
      WWID: 5001438009DBA1AF
      Vendor ID: PMCSIERA
      Model:  SRC 8x6G       

=> exit
debian:# 

HP podporuje i Debian a agenti a utility jsou dostupne jako .deb

[ikarr]

proč by se při výměně baterky řadiče mělo vypínat napájení serveru?

Jinak rozumný řadič má vlastní webové rozhraní, přes které se dá mj. naplánovat testy baterie. Jednou za čas nechá baterii úplně vybít a změří její kapacitu. Vzhledem k tomu, že nejsme v KLDR se dá předpokládat, že během toho nevypadne napájení. Ostatně server je ještě na UPS. Takže tahle baterečka vlastně chrání data v cache řadiče a data týkající se stavu pole před výpadkem způsobeným poškozením zdroje, ne výpadkem v síti, od toho je normální UPS.

[BigWrigley]

Protoze to vyrobce doporucuje? Vazne, nevim, mozna to neni "hotswap"... Baterka se nepripojuje jen dvema vodici, je tam (konkretne u HP) takovy maly konektor, kde je pinu docela dost.

Jinak souhlas.

[SPM]

Vzhledem k tomu, že nejsme v KLDR se dá předpokládat, že během toho nevypadne napájení.

No, nicméně Murphyho zákony tady pořád fungují, takže celkem vzato to pořád nebezpečné je