Jaký sdílený souborový systém ?

25.7.2013 14:47 | Přečteno: 1896×

Stavíme si čtyřčlenný klastr na strojích Sun Blade s debianem Wheezy. Všechny stroje budou přistupovat ke sdílenému prostoru na FC diskových polích a budou sloužit jako qemu hostitelé pro řadu virtuálních hostů, v současné době už běžících kdesi jinde. Pro administrátory by měl být filesystém /usr/local/ sdílený pro všechny čtyři hostitele. Může být taky na diskovém poli, ale klidně i třeba distribuovaný mezi žiletkami. Jaký filesystém zvolit?

Tu věc už jsme začali dávat dohromady a rozhodně si přejeme, aby to všechno bylo uděláno z Wheezy nabalíčkovaných komponent. Zatím je tam rozběhnutý cman a nad ním cLVM a v něm děláme jednotlivé image hostů. Migrujeme je odjinud ručně, protože to je každý host výrazně jiný než všichni ostatní. Hlavní pracovní nástroje jsou zatím virsh a virt-install. Image v cLVM nejsou v pravém slova smyslu sdílené, každý běží nejvýše na jednom hostiteli. V tom sdíleném souborovém prostoru budou spouštěcí skripty, XML konfigurace hostů a tak podobně. Byli bychom rádi, kdyby to bylo symetrické, ne že na jednom bude nějaký server a ostatní si to budou od něj montovat. Taky bych nechtěl natahovat extra síť k vůli heartbeatu. Nemáme nároky na výkon, jen to chceme mít stabilní a pokud možno jednoduché. Nebyl bych ani proti nějakému CEPH nebo sheepdog, složenému z kousků interních disků žiletek, a nad tím sdílený souborový systém. Nevím ale proč, když máme k dispozici SAN.

Protože jsem v klastrování začátečník, prosím kolemjdoucí o nějaké tipy nejlépe z vlastní zkušenosti.

       

Komentáře

[Lenny_]

http://www.gluster.org/

[Miriam]

Mně se docela osvědčil dropbox, synchronizuju pomocí něho noťas, windwsy i linuxy na desktopu a mobil, je to úplná nádhera.

[Entomolog]

+1 Taky může použít Google disk. Nebo Flickr. Stačí jen ty data kódovat do png a má 1TB zdarma. A to se vyplatí!

[jk001]

můžeš použít GFS2, ten splňuje všechno, co požadujes a sám vyžaduje cman, který ti tam už běží, a doporučené je ho mít nad cLVM svazkem. GFS2 je ve všech nových kernelech (už pár let).

[kyytaM]

A RedHat na nom aktivne maka a proges vidiet. :)

[krnoha]

Na debianské stránce ke GFS2 je napsáno, že kernel moduly GFS2 jsou experimentální a nehodí se do produkčního prostředí. Na analogické stránce ke GFS je to zopakováno. Takže se mi zdá, že půjdu do GFS. (Snad se mi to nezdá.)

[jk001]

no GFS již není podporované, bylo v RHEL4, RHEL5, v RHEL6 už je jen GFS2. Nevím, jak to podporuje debian, ale já bych si vybral GFS2 :). Red Hat to normálně podporuje pro produčkní nasazení (od RHEL5 a to už je nějaký ten pátek).

[pavlix]

Spíš nějaký ten prosinec ;).

[snajpa]

Stare dobre NFS poslouzi uplne nejlip, je administratorsky nejmin narocne a nejmin se to rozbiji. Clusterove FS jsou na zesediveni, vsechny do jednoho.

[alkoholik]

Pan si neprecetl zadani, ze? FC pole nejspis pripojene ke vsem serverum..
U Oracle se na tohle pouzivalo OCFS2.

[snajpa]

Pan si zadani precetl. Nicmene pouziti NFS to nebrani, jenom se musi chtit. Inspirace napr tady (trochu postarsi, ale pekne demonstruje, co mam na mysli).
Po vsech zkusenostech, co jsem s clusterovacimi FS kdy mel, jsem nad nimi proste zanevrel. Nestoji mi za ty nervy.

[Ivan]

OCFS2 neni stabilni a asi nikdy nebude. Oracle ukoncil vyvoj a nadale pracouje na AdvFS - to je port distribuovaneho FS puvodne od Digitalu - a je za prachy.

Distrubovanych FS je malo a kazdy ma svoje limity - osobne neznam zadny ktery by fungoval a byl by zadarmo. Z tech komercnich tu jsou VxFS(Veritas), GPFS(IBM), AdvFs(Oracle).

[kolcon]

... aneb na co Oracle sahne, tam trava neroste...

[Nikola Ciprich]

mně trochu šokovalo, že není možné aby cLVM uzel čistě opustil cluster a cLVM by na ostatních dál fungovalo, přestože cluster je v quorate stavu.. Vám to funguje? Je na to i patch, bohužel jen pro corosync-based clustery, pokud je cluster nad CMAN, tak (zatím) smůla. s clusterovými FS nějaké zkušeností mám, ale nebyl jsem nadšen ani z OCFS2, ani z GFS, tak jsem se nakonec obešel bez nich.. ale to cLVM mně štve..

[jk001]

musí to být clvmd stop a současně opustit cluster (service cman stop). Pak vše funguje jak má. Pokud jen clvmd spadne a node je pořád v clusteru, je to problém (nedostane global lock).

Pokud Vás toto trápí, doporučuji udělat bug normálně v bugzille, určitě se na to někdo podívá.

[kolcon]

mozna by bylo dobre to (celou tu migraci) nejak dokumentovat a udelat z toho tady clanek?

[AsciiWolf]

+1