Dotaz: Pomoc s doladěním GFS2 clusteru

[OgeeN]

Ahoj,

snažím se rozběhat následující scénář:

Na diskovém poli připojeném do sítě pomocí iscsi jsou vytvořeny tři různě veliké svazky. Na svazcích je vytvořen GFS2 filesystém. Svazky jsou připojeny k deseti serverům (ubuntu server 12.04).

Podařilo se mi rozběhat iscsi, multipath a v základní konfiguraci i GFS2 (cman, cluster.conf, gfs_controld, dlm_controld). Na serverech dále běží corosync, který jsem ovšem nijak nekonfiguroval. Svazky s gfs2 jdou připojit a je možné na ně zapsat data. Bohužel se celý systém chová dost nepředvítatelně.

Potýkám se s těmito problémy:

1. Připojení největšího GFS2 svazku po rebootu trvá velmi dlouho (cca 30 minut). Na tomto svazku je velké množství dat v malých souborech (stovky GB a milióny souborů).

2. Pokud vypnu jeden ze serverů v clusteru(v tuto chvíli v něm jsou 3 nody), tak na ostatních serverech při pokusu o přístupu do adresáře na iscsi svazku vytuhne terminál a data nejsou přístupná. Tento stav trvá dokud není svazek připojen na všech serverech.

Co může být příčinou dvou výše zmíněných problémů?

Co bych měl na serverech dále nastavit, aby byl provoz clusteru stabilní?

Jak správně nastavit fencing, aby při vypnutí jednoho nodu clusteru byla data dostupná zbylým nodům?

Konfigurace cluster.conf:

<?xml version="1.0"?>
<cluster name="cluster" config_version="2">
 <!-- post_join_delay: number of seconds the daemon will wait before
 fencing any victims after a node joins the domain
 post_fail_delay: number of seconds the daemon will wait before
 fencing any victims after a domain member fails
 clean_start    : prevent any startup fencing the daemon might do.
 It indicates that the daemon should assume all nodes
 are in a clean state to start. -->
 <logging debug="on"/>
 <fence_daemon clean_start="0" post_fail_delay="0" post_join_delay="3"/>
 <clusternodes>
 <clusternode name="w10" votes="1" nodeid="10">
 <fence>
 <!-- Handle fencing manually -->
 <method name="human">
 <device name="human" nodename="w10"/>
 </method>
 </fence>
 </clusternode>
 <clusternode name="w11" votes="1" nodeid="11">
 <fence>
 <!-- Handle fencing manually -->
 <method name="human">
 <device name="human" nodename="w11"/>
 </method>
 </fence>
 </clusternode>
 <clusternode name="w12" votes="1" nodeid="12">
 <fence>
 <!-- Handle fencing manually -->
 <method name="human">
 <device name="human" nodename="w12"/>
 </method>
 </fence>
 </clusternode>
 </clusternodes>
 <!-- cman two nodes specification -->
 <cman expected_votes="3"/>
 <fencedevices>
 <!-- Define manual fencing -->
 <fencedevice name="human" agent="fence_manual"/>
 </fencedevices>
</cluster>

Díky za postrčení správným směrem.

Odpovědi

[OgeeN]

Tak problém je pravděpodobně popsán v tomto postu:

https://www.redhat.com/archives/linux-cluster/2011-December/msg00055.html

Systém během mountování obnovuje zámky pro všechny soubory na svazku. V mém případě je to cca 9 milionů souborů.

Nějaký nápad co s tím?

[pupu]

V prvni rade dodelat ten fencing. V druhe rade bych se podival na direktivu 'cman expected_votes="3"' - pokud mne pamet neklame, znamena to, ze s mene jak tremi hlasy cluster proste nepobezi. A pak mi tam nejak chybi definice failover domeny.

[host]

v testovacom rezime moze byt fencing manualny, cluster pobezi. V produkcii je samozrejme potrebne fencing dorobit. Expected votes moze sposobovat dany problem, hoci man cman hovori, ze cluster je "uznasaniaschopny" ak je sucet hlasov aktivnych nodov vyssi ako polovica hodnoty expected_votes. Tu pomoze asi len vyskusanie znizenia hodnoty. Samozrejme je potrebne pri akejkolvek zmene zvysit verziu v cluster.conf