Konfigurace HW RAIDu na serveru SunFire T2000

28.3.2008 20:46 | Přečteno: 1237× | solaris | poslední úprava: 29.3.2008 12:24

Před nějakou dobou jsem stál před problémem, jak dokonfigurovat HW RAID na serveru SunFire T2000 s OS Solaris 10. O tom, jak se mi to povedlo, jsem se rozhodl podělit.

Původní stav byl dva 72GB disky c0t0d0 a c0t1d0 v RAID 1 jako c0t0d0. Mým cílem bylo ze zbývajících dvou disků c0t2d0 a c0t3d0 vytvořit také RAID 1.

Zjištění současného stavu
root@srv-01 # raidctl

Controller: 0
        Volume:c0t0d0
        Disk: 0.0.0
        Disk: 0.1.0
        Disk: 0.2.0
        Disk: 0.3.0

root@srv-01 # raidctl -S

0 "LSI_1064E"
c0t0d0 2 0.0.0 0.1.0 1 OPTIMAL
0.0.0 GOOD
0.1.0 GOOD
0.2.0 GOOD
0.3.0 GOOD

root@srv-01 # raidctl -l c0t0d0

Volume                  Size    Stripe  Status   Cache  RAID
        Sub                     Size                    Level
                Disk
----------------------------------------------------------------
c0t0d0                  68.3G   N/A     OPTIMAL  N/A    RAID1
                0.0.0   68.3G           GOOD
                0.1.0   68.3G           GOOD

Vytvoření RAID 1 z disků c0t2d0 a c0t3d0
root@srv-01 # raidctl -c c0t2d0 c0t3d0

Creating RAID volume will destroy all data on spare space of member disks, proceed (yes/no)? yes
Volume c0t2d0 is created successfully!

Kontrola
root@srv-01 # raidctl -S

0 "LSI_1064E"
c0t0d0 2 0.0.0 0.1.0 1 OPTIMAL
c0t2d0 2 0.2.0 0.3.0 1 SYNC
0.0.0 GOOD
0.1.0 GOOD
0.2.0 GOOD
0.3.0 GOOD

root@srv-01 # raidctl -l c0t2d0

Volume                  Size    Stripe  Status   Cache  RAID
        Sub                     Size                    Level
                Disk
----------------------------------------------------------------
c0t2d0                  68.3G   N/A     SYNC     N/A    RAID1
                0.2.0   68.3G           GOOD
                0.3.0   68.3G           GOOD

Přetypovani labelu
root@srv-01 # format

Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c0t0d0 <LSILOGIC-LogicalVolume-3000 cyl 65533 alt 2 hd 16 sec 136>
          /pci@780/pci@0/pci@9/scsi@0/sd@0,0
       1. c0t2d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424>
          /pci@780/pci@0/pci@9/scsi@0/sd@2,0
Specify disk (enter its number): 1
selecting c0t2d0
[disk formatted]


FORMAT MENU:
        disk       - select a disk
        type       - select (define) a disk type
        partition  - select (define) a partition table
        current    - describe the current disk
        format     - format and analyze the disk
        repair     - repair a defective sector
        label      - write label to the disk
        analyze    - surface analysis
        defect     - defect list management
        backup     - search for backup labels
        verify     - read and display labels
        save       - save new disk/partition definitions
        inquiry    - show vendor, product and revision
        volname    - set 8-character volume name
        !<cmd>     - execute <cmd>, then return
        quit
format> t


AVAILABLE DRIVE TYPES:
        0. Auto configure
        1. Quantum ProDrive 80S
        2. Quantum ProDrive 105S
        3. CDC Wren IV 94171-344
        4. SUN0104
        5. SUN0207
        6. SUN0327
        7. SUN0340
        8. SUN0424
        9. SUN0535
        10. SUN0669
        11. SUN1.0G
        12. SUN1.05
        13. SUN1.3G
        14. SUN2.1G
        15. SUN2.9G
        16. Zip 100
        17. Zip 250
        18. Peerless 10GB
        19. LSILOGIC-LogicalVolume-3000
        20. SUN72G
        21. other
Specify disk type (enter its number)[20]: 0
c0t2d0: configured with capacity of 68.00GB
<LSILOGIC-LogicalVolume-3000 cyl 65533 alt 2 hd 16 sec 136>
selecting c0t2d0
[disk formatted]
format> l
Ready to label disk, continue? y

format> q

Kontrola změny labelu
root@srv-01 # format

Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c0t0d0 <LSILOGIC-LogicalVolume-3000 cyl 65533 alt 2 hd 16 sec 136>
          /pci@780/pci@0/pci@9/scsi@0/sd@0,0
       1. c0t2d0 <LSILOGIC-LogicalVolume-3000 cyl 65533 alt 2 hd 16 sec 136>
          /pci@780/pci@0/pci@9/scsi@0/sd@2,0
Specify disk (enter its number): ^C

Výpis /var/adm/messages (dmesg)

Feb  7 11:14:59 srv-01 scsi: [ID 193665 kern.info] sd3 at mpt0: target 2 lun 0
Feb  7 11:14:59 srv-01 genunix: [ID 936769 kern.info] sd3 is /pci@780/pci@0/pci@9/scsi@0/sd@2,0
Feb  7 11:14:59 srv-01 scsi: [ID 193665 kern.info] sd4 at mpt0: target 3 lun 0
Feb  7 11:14:59 srv-01 genunix: [ID 936769 kern.info] sd4 is /pci@780/pci@0/pci@9/scsi@0/sd@3,0
Feb  7 11:18:07 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:07 srv-01        Physical disk 2 created.
Feb  7 11:18:08 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:08 srv-01        Physical disk 3 created.
Feb  7 11:18:08 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:08 srv-01        Volume 2 created.
Feb  7 11:18:08 srv-01 scsi: [ID 365881 kern.info] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:08 srv-01        Volume 0 is optimal
Feb  7 11:18:08 srv-01 scsi: [ID 107833 kern.warning] WARNING: /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:08 srv-01        Volume 2 is degraded
Feb  7 11:18:09 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:09 srv-01        Volume 2 is |enabled||optimal|
Feb  7 11:18:09 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:09 srv-01        Volume 2 is |enabled||optimal|
Feb  7 11:18:09 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:09 srv-01        Physical disk (target 3) is |out of sync||online|
Feb  7 11:18:09 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:09 srv-01        Volume 2 is |enabled||degraded|
Feb  7 11:18:09 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:18:09 srv-01        Volume 2 is |enabled||resyncing||degraded|
Feb  7 11:18:09 srv-01 genunix: [ID 408114 kern.info] /pci@780/pci@0/pci@9/scsi@0/sd@3,0 (sd4) offline
Feb  7 11:47:41 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:47:41 srv-01        Physical disk (target 3) is |online|
Feb  7 11:47:41 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:47:41 srv-01        Volume 2 is |enabled||resyncing||optimal|
Feb  7 11:47:41 srv-01 scsi: [ID 107833 kern.notice] /pci@780/pci@0/pci@9/scsi@0 (mpt0):
Feb  7 11:47:41 srv-01        Volume 2 is |enabled||optimal|

       

Komentáře

[cthulhu]

spis by me zajimaly performance testy a porovnani s UltraSPARC IIIi/IV+, z 'openssl speed' (jo jasne, neni to zadny benchmark, ale prece) jsem byl uprimne rozcarovany (i pres starsi verzi openssl oproti linuxu). imho mi prijde ze RAID1 na Sun serverech se Solarisem a HW RAIDem je trosku overkill, sw raid (aka solaris volume manager) je dost spolehlivy a lety provereny (a poskytne lepsi variabilitu konfigurace)

[jazz]

HW RAID ma vyhodu v tom, ze se o nej OS nemusi starat (i kdyz se z OS konfiguruje). Odpada i nutnost detach/attach zarizeni z OS pri poruse a nasledne vymene, vse funguje zcela automaticky. O zmene stavu je vzdy Solaris notifikovan, takze staci kontrolovat logy a administrator se o vsem dozvi (messages/dmesg).
Pokud je potreba mirror na urovni celeho disku (viz popis), tak si myslim, ze je to nejjednodussi reseni.
Souhlasim ale s tim, ze v pripade potreby komplikovanejsich "hratek" je jako jedina moznost pouzit Solstice DiskSuite (SVM) nebo Veritas volume manager. Tedy jeste ZFS, ktery sice pouzivam, ale nekdo muze namitnout, ze neni jeste dostatecne overen pro produkcni prostredi - to same se da rict i o SF T2000.

Vystup z `openssl speed` by z me strany asi nebyl vypovidajici, protoze na serverech jiz bezi uzivatelske aplikace. Bohuzel nemam system s cistou instalaci Solarisu 10. To same plati i pro UltraSPARC IV (z hlavy tusim IV+), kde mame Solaris 9. Pokud nejsou porovnavane systemy stejne nakonfigurovany (OS, aplikace), tak se takovemu porovnavani dost branim.

[cthulhu]

pokud je metadevice degradovan, meli bychom se to dozvedet take - ze spravne nakonfigurovaneho monitoringu:) DiskSuite je je jeste stary nazev, pochazi z doby kdy nastroj vyvijela firma Solstice (od ktere to pak Sun koupil a integroval). ano, vymena je komplikovanejsi (metadetach, metadb, cfgadm -c unconfigure, metadb, metattach nejsou zrovna nejintuitivnejsi commandy ale clovek uz to musi mit nachozeny - po tolika chciplejch discich:) ZFS melo celou radu bugu (sveho casu, momentalne to nejak extra nesleduju) a bylo docela overhyped, cetl jsem vysledky benchmarku, kde na UFS (natoz na VXFS) nemelo sanci. zatim asi fakt ne.

[jazz]

Solaris Volume Manager (SVM) pouzivam na serverech, kde neni HW raid, a nebo je potreba vytvaret slozitejsi konfiguraci (RAID 0,1 pres slice; RAID 5; partitioning).

U HW RAID 1 me napada jeste jedno pouziti: pokud chci rychle aplikovat nejaky novy patch nebo upgradovat aplikaci, a nemam cas na odzalohovani, staci odpojit COPY:1 disky a nechat instalovat na COPY:0. Kdyz vse funguje tak jak ma, pripoji se COPY:1 a system si bez zasahu vse zesynchronizuje, v opacnem pripade mam rychle dostupnou zalohu.
To se muze hodit i firmam, ktere nechteji investovat do dalsich testovacich zarizeni, ktere pouziji jednou za rok. _{Co si budeme povidat... "savings" vladnou modernimu svetu :)}