clusterovy filesystem

17.2.2007 23:30 | Přečteno: 1675× | Linux | poslední úprava: 17.2.2007 23:38

Tak jsem si pred par dny zacal hrat s diskovym polem IBM DS4700. Je to moc pekna hracka a protoze jsem potreboval, aby k tomu pristupovalo vice serveru najednou, bylo treba se zacit zajimat o nejaky filesystem, ktery mi toto nabidnul.

Jako prvni padla volba na GFS2. RedHat mi prijde jako firma, ktera kdyz neco dela, tak to dela poradne. Kouknul jsem do kernelu, tam jsem podporu pro GFS2 objevil. Zaradoval jsem se, ze to nakonec bude docela easy a zacal kompilovat kernel. Pak jsem zacal hledat gfs2_tools a narazil na docela zasadni kamen urazu. Pro muj debian etch je k dispozici pouze gfs_tools, ktere se s GFS2 co jsem mel v kernelu prekvapive nekamaradily. Po chvilce patrani jsem objevil CVS repository s gfs2_tools, stahnul a par hodin se tu vec snazil prekompilovat. Nakonec jsem se rozhodl, ze moudrejsi ustoupi a s tim, ze GFS2 jeste neni dostatecne odladena vec jsem si rekl, ze starsi verze snad bude ok.

Starsi verze GFS ma sice gfs_tools v balickach ( verze 1.0.3 ), ale zato v kernelu podpora chybi. Tak jsem stahnul zdrojaky 1.0.3 z webu Cerveneho klobouku a zacal kompilovat moduly do jadra. Zrejme nova verze GCC zpusobila, ze se to nepodarilo. Tak jsem zase trosku hledal, az jsem objevil vyvojovou verzi gfs_tools. Zde vse probehlo relativne hladce a moduly se najednou objevili v mem kernelu. Pak zacala dlouha faze konfigurovani vsech podpurnych daemonu, ktere mely cluster drzet pohromade. Zde jsem postupne prekonaval nespocetne mnozstvi problemu, az jsem to po 3 dnech neuspechu definitivne vzdal. Resp. rozum mi rekl, ze neco co se mi za nekolik dni nepodarilo dostat do funkcniho stavu neni ta spravna vec pro nasazeni v produkcnim prostredi. Dalsi z veci ktera me odrazovala byl fakt, ze i pres vcelku velke mnozstvi lidi z meho okoli, kteri spravuji podobne veci jsem nenasel jedineho cloveka, ktery by prisel do kontaktu s GFS nebo GFS2.

Dostal jsem se do tezke situace, GFS nechodilo a ja jsem neznal zadnou alternativu, takze jsem zacal prochazet jadro a zkoumat dokumentaci ke kazdemu filesystemu, ktery jsem objevil. Me studovani skoncilo u OCFS2, kde jsem se rozhodl, ze je to to spravne. Podpora v kernelu byla k dispozici, ocfs2_tools v distribuci, tak jsem se rozhodl, ze za vyzkouseni nic nedam. Znovu jsem prekompiloval kernel a nasledne jistil ze veci co jsem mel primo v jadre musim dat jako modul, protoze inicializacni skript ocfs2 s tim jinak neumi pracovat a napise chybu. Po prekonani techto podornich bolesti se po par hodinach ( venovane predevsim kompilaci kernelu a paralelni konfiguraci na 2 testovacich serverech ), jsem se dostal do uspesneho stavu:

lsmod:
ocfs2                 344744  1
ocfs2_dlmfs            23632  1
ocfs2_dlm             177864  2 ocfs2,ocfs2_dlmfs
ocfs2_nodemanager     186632  7 ocfs2,ocfs2_dlmfs,ocfs2_dlm
configfs               31900  2 ocfs2_nodemanager

dmesg:
OCFS2 Node Manager 1.3.3
OCFS2 DLM 1.3.3
OCFS2 DLMFS 1.3.3
OCFS2 User DLM kernel interface loaded
o2net: connected to node storage1 (num 0) at 10.30.0.1:7777
OCFS2 1.3.3
ocfs2_dlm: Nodes in domain ("XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"): 0 1
JBD: Ignoring recovery information on journal
kjournald starting.  Commit interval 5 seconds
ocfs2: Mounting device (254,0) on (node 1, slot 1) with ordered data mode.


mount:
/dev/sda1 on / type ext3 (rw,noatime)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
configfs on /sys/kernel/config type configfs (rw)
ocfs2_dlmfs on /dlm type ocfs2_dlmfs (rw)
/dev/dm-0 on /storage type ocfs2 (rw,_netdev,heartbeat=local)

df:
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1              8063392   5177024   2476772  68% /
tmpfs                  4088800         0   4088800   0% /lib/init/rw
udev                     10240        48     10192   1% /dev
tmpfs                  4088800         0   4088800   0% /dev/shm
/dev/dm-0            6404677632   3412992 6401264640   1% /storage

Jsem nadsen, OCFS2 dela presne co potrebuju, zakladni konfigurace a rozbehnuti se da zvladnout relativne snadno. Vzdy jsem si myslel, ze veci od Oracle jsou ve vsem zbytecne slozite a tezkopadne. OCFS2 me presvedcilo o opaku. Pokud vsechny zatezove testy dopadnou dobre, bude OCFS2 zrejme vitezem vyberoveho rizeni.

       

Komentáře

[Abraxis]

Ahojky, zrovna pred nedavnem jsem odevzdaval bakalarku s prehledem clusterovych souborovych systemu - mozna by te to mohlo zajimat - http://is.muni.cz/th/4051/fi_b/

[Věroš]

Ta bakalářka vypadá (na první proběhnutí) docela zajímavě.

Nebyl by zájem ze strany abclinuxu to vydat jako článek?

[rpajik]

Ta prace je moc pekna, naprostou souhlasim. Vydani jako clanku je dle meho nazoru otazkou. Tohle nejsou veci, ktere si muze nekdo jen tak zkusit doma. Vyuziti je velmi specificke a krome toho, ze je to pro spoustu lidi zajimava kuriozita by jim to asi z praktickeho hlediska mnoho neprineslo.

[V.Moravek]

Zdravim, mozna by Vas zajimaly, z profesniho hlediska, i prakticke zkusenosti s GPFS. Pracuji pro IBM a tento fs mam nasazen v clusteru na Linuxu i Aixu.

Pokud byste mel zajem muzeme o tom hodit rec.

S pozdravem Vojtech Moravek vmoravek(zavinac)atlas.cz