preamble

8.9.2007 20:27 | Přečteno: 3071× | cluster | poslední úprava: 10.9.2007 11:13

Dnes jsem se rozhodl se zacit s Vami delit o kroky vedouci k vytvoreni clusteru v jeho plne funkcionalite, tak jak ho mozna neznate, ale jak se pouziva v komercni sfere ( neco vic nez je jen failover ) Vzhledem k tomu, ze v oblasti Linuxu je to pro mne "pole neorane", soubezne s timto projektem budu mit spoustu dilcich otazek i na tomto foru.

Jak by to melo vypadat:
-  2-5 nodovy linuxovy (RedHat EL5) cluster, kde jednotlive nody nebudou mit lokalni
   disky ( max. pro swap ), ale budou bootovat z sharovaneho pole (FC/SCSI), 
   budou mit spolecnou jednu instanci operacniho systemu + lokalni configuracni soubory
   ( tzn, patche, updaty, nove programy se instaluji pouze jednou pro vsechny nody
    clusteru najednou ). Uzivatel se loguje jen na cluster alias a v podstate nevi
   na jakem realnem nodu je prihlaseny.
   Komunikace mezi jednotlivymi nody bude zajistena separatni siti ( TCP,FDDI, apod.)
   ( v nasem pripade nejaky "bonding", treba na 10kove adrese )

- datove pole bude dostupne pro vsechny nody clusteru transparentne, tzn. vsichni
   vsechno uvidi a zaroven to budou mit "namontovane"
  ( realita je takova, ze realne sdileny filesystem servruje pouze jeden nod a ostatni
   to vidi jen pres interconnect(heartbeat),RW samozrejme ( fakt to neni NFS).
   Pokud jeden z nodu ma IO pozadavek na tento filesystem, cluster zmeni servrovani na
  danny nod aby IO operace zbytecne nechodily pres sitovy interconnect a tudiz se 
  necourali ( tato funkcionalita musi byt dynamicky laditelna ) ale ne vzdy je tento 
  pozadavek opravdu nutny.

- sluzby clusteru ( servisy, grupy, je jedno jak se to nazve), musi byt premistitelne
  z jednoho serveru na druhy ( podle urcitych pravidel), musi mit start/stop/monitor
  scripty ( je jedno jestli to bude oracle, vmware, sap, web-statistika ) a sluzby
  musi mit moznost byt mezi sebou hierarchicky provazane. Kdyby to umelo i
 loadbalancing byl bych potesen.

- no a na cem to postavime ?
  3x DL380 + MSA1000(fiber) + nejake switche (2ks) + nejake disky ( asi 2,5 TB )

       

Komentáře

[paf1]

Jak by to melo vypadat:
-  2-5 nodovy linuxovy (RedHat EL5) cluster, kde jednotlive nody nebudou mit lokalni
   disky ( max. pro swap ), ale budou bootovat z sharovaneho pole (FC/SCSI), 
   budou mit spolecnou jednu instanci operacniho systemu + lokalni configuracni soubory
   ( tzn, patche, updaty, nove programy se instaluji pouze jednou pro vsechny nody
    clusteru najednou ). Uzivatel se loguje jen na cluster alias a v podstate nevi
   na jakem realnem nodu je prihlaseny.
   Komunikace mezi jednotlivymi nody bude zajistena separatni siti ( TCP,FDDI, apod.)
   ( v nasem pripade nejaky "bonding", treba na 10kove adrese )

- datove pole bude dostupne pro vsechny nody clusteru transparentne, tzn. vsichni
   vsechno uvidi a zaroven to budou mit "namontovane"
  ( realita je takova, ze realne sdileny filesystem servruje pouze jeden nod a ostatni
   to vidi jen pres interconnect(heartbeat),RW samozrejme ( fakt to neni NFS).
   Pokud jeden z nodu ma IO pozadavek na tento filesystem, cluster zmeni servrovani na
  danny nod aby IO operace zbytecne nechodily pres sitovy interconnect a tudiz se 
  necourali ( tato funkcionalita musi byt dynamicky laditelna ) ale ne vzdy je tento 
  pozadavek opravdu nutny.

- sluzby clusteru ( servisy, grupy, je jedno jak se to nazve), musi byt premistitelne
  z jednoho serveru na druhy ( podle urcitych pravidel), musi mit start/stop/monitor
  scripty ( je jedno jestli to bude oracle, vmware, sap, web-statistika ) a sluzby
  musi mit moznost byt mezi sebou hierarchicky provazane. Kdyby to umelo i
 loadbalancing byl bych potesen.

- no a na cem to postavime ?
  3x DL380 + MSA1000(fiber) + nejake switche (2ks) + nejake disky ( asi 2,5 TB )


 Damy a panove, jdem na to, mame na to cca mesic. 

[mess]

Tohle jsi mohl klidně dopsat do toho blogpostu.

[Luk]

...a hlavně bez použítí <pre>

[paf1]

panove, je mi uplne jedno jak to tam napisu, podstata tkvi jinde, az se budu zivit webovyma strankama tak mi to zacne zajimat.

Ovsem pokud ma nekdo nejake realne napady jak toto realizovat, budiz vitan.

[Josef Kufner]

Realizace by mohla vypadat tak, ze bys pouzil tagy <ul> a <li>. Tím by jsi si ušetřil ruční zalamování řádek a vypadalo by to lépe.

[Josef Kufner]

s/jsi si/sis/

[Luk]

Píše se to takhle:

<ul>
<li>2-5 nodovy linuxovy (RedHat EL5) cluster...</li>
<li>datove pole bude dostupne...</li>
<li>...</li>
</ul>

A bude to vypadat takhle:

• 2-5 nodovy linuxovy (RedHat EL5) cluster...
• datove pole bude dostupne...
• ...

Na zatloukání hřebíků je také lepší vzít kladivo než kleště

[paf1]

Jako neperspektivni se zatim ukazaly Lifekeeper (SteelEye) ServiceGuard (HP) - failover only & komercni

[Marián André]

Lifekeeper naozaj neodporúčam. Ako dobrý začiatok sa mi vidí pozrieť sa na klasickú kombináciu: heartbeat v2 (crm-based konfigurácia) a drbd v spojení s OCFS/GFS.

[paf1]

Po vecernim studiu by bylo mozno castecne pouzit OCFS nebo RedHatCF+tools(CLVM apod).

Jeste jsem nasel OpenSSI - to by byla absolutne nejlepsi varianta, ale nevim nakolik je to pouzitelne - ma nekdo nejake zkusenosti ?

[michich]

Myslím, že Red Hat nepodporuje OCFS, ale GFS. Nevím, co je RedHatCF. Má to být Red Hat Cluster Suite?

[paf1]

jj, RHCF = RHCS - priste pouziji tento nazev

[paf1]

- chvili to trvalo, ale konecne jsem se dostal k prvnim krokum

cast prvni - Fiber channel - multibus
======================================
rpms:
device-mapper-multipath-0.4.7-8.el5
device-mapper-1.02.13-1.el5

modules:
dm_round_robin         36801  1
dm_multipath           52433  2 dm_round_robin
dm_mirror              60993  0
dm_mod                 93841  31 dm_multipath,dm_mirror
qla2xxx               791725  34
scsi_transport_fc      73161  1 qla2xxx
scsi_mod              184057  5 sg,qla2xxx,scsi_transport_fc,cciss,sd_mod

SCSI devices na MSA1000:
- vytvorit virt.disky na MSA1000 a NEZAPOMENOUT nastavit typ disku "Linux" - default je Windows !!!!
- MSA1000 latest FW 7.00 - multibus (5.20 + 4.48 jsou jen failover !!)
#cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
  Vendor: HP       Model: MSA CONTROLLER   Rev: 7.00
  Type:   RAID                             ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 01
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 02
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 03
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 04
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 05
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 06
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 07
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 08
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi0 Channel: 00 Id: 00 Lun: 09
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 00
  Vendor: HP       Model: MSA CONTROLLER   Rev: 7.00
  Type:   RAID                             ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 01
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 02
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 03
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 04
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 05
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 06
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 07
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 08
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04
Host: scsi1 Channel: 00 Id: 00 Lun: 09
  Vendor: HP       Model: MSA VOLUME       Rev: 7.00
  Type:   Direct-Access                    ANSI SCSI revision: 04

dmsetup:
# dmsetup ls --target=multipath
mpath2  (253, 2)
mpath1  (253, 1)
mpath0  (253, 0)
mpath8  (253, 8)
mpath7  (253, 7)
mpath6  (253, 6)
mpath5  (253, 5)
mpath4  (253, 4)
mpath3  (253, 3)

multipath:
# multipath -ll
mpath2 (360060b0000854b00a7b4fafaa2c40023) dm-2 HP,MSA VOLUME
[size=1000M][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:3 sdc 8:32  [active][ready]
 \_ 1:0:0:3 sdl 8:176 [active][ready]
mpath1 (360060b0000854b00ad74caf18db30022) dm-1 HP,MSA VOLUME
[size=1000M][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:2 sdb 8:16  [active][ready]
 \_ 1:0:0:2 sdk 8:160 [active][ready]
mpath0 (360060b0000854b00a334dad487370021) dm-0 HP,MSA VOLUME
[size=16M][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:1 sda 8:0   [active][ready]
 \_ 1:0:0:1 sdj 8:144 [active][ready]
mpath8 (360060b0000854b00ab945bd2ba560029) dm-8 HP,MSA VOLUME
[size=957G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:9 sdi 8:128 [active][ready]
 \_ 1:0:0:9 sdr 65:16 [active][ready]
mpath7 (360060b0000854b00a894abaf10730028) dm-7 HP,MSA VOLUME
[size=410G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:8 sdh 8:112 [active][ready]
 \_ 1:0:0:8 sdq 65:0  [active][ready]
mpath6 (360060b0000854b00aeb4bb31e52d0027) dm-6 HP,MSA VOLUME
[size=39G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:7 sdg 8:96  [active][ready]
 \_ 1:0:0:7 sdp 8:240 [active][ready]
mpath5 (360060b0000854b00a4748b26c4dd0026) dm-5 HP,MSA VOLUME
[size=29G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:6 sdf 8:80  [active][ready]
 \_ 1:0:0:6 sdo 8:224 [active][ready]
mpath4 (360060b0000854b00aa349b13fef80025) dm-4 HP,MSA VOLUME
[size=498M][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:5 sde 8:64  [active][ready]
 \_ 1:0:0:5 sdn 8:208 [active][ready]
mpath3 (360060b0000854b00a1f4eb0551160024) dm-3 HP,MSA VOLUME
[size=1000M][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
 \_ 0:0:0:4 sdd 8:48  [active][ready]
 \_ 1:0:0:4 sdm 8:192 [active][ready]

partition
# fdisk -l /dev/dm-? | grep Linux
/dev/dm-0p1   *           2        1020       16304   83  Linux
/dev/dm-1p1   *           1        1017     1023580   83  Linux
/dev/dm-2p1   *           1        1017     1023580   83  Linux
/dev/dm-3p1   *           1        1017     1023580   83  Linux
/dev/dm-4p1   *           1        1016      509494+  83  Linux
/dev/dm-5p1   *           1       29998    30717936   83  Linux
/dev/dm-6p1   *           1       39999    40958960   83  Linux
/dev/dm-7p1   *           1       53547   430116246   83  Linux
/dev/dm-8p1   *           1      124944  1003612648+  83  Linux


Vychazel jsem z popisu na tehle strance
http://kbase.redhat.com/faq/FAQ_51_7170.shtm

[paf1]

Dalsim krokem bylo nainstalovani HP-CSP(7.90) ( HP-CustomerSupportPack )pro RHEL5 http://h18023.www1.hp.com/support/files/server/us/locate/1147_6381.html

Po instalaci se ale projevil drobny nedostatek,ze po rebootu nebyl iniciovany multipath prestoze vse bylo nakonfigurovano. Dodatecne ho lze iniciovat pomoci "/sbin/multipath" bez parametru. Kontrolni vypis "/sbin/multipath -ll".
Iniciaci jsem pridal do "/etc/init.d/multipathd" a je vse OK.
Pokud zna nekdo "cistejsi" reseni ( tzn. mel cas a chut hledat co se kde pak zmenilo, at da vedet )