sheepdog - hrajeme si v hampejzu

11.11.2011 10:29 | Přečteno: 1452× | Za vším hledej Linux | poslední úprava: 11.11.2011 12:24

Při testování nejrůznějších typů blokových zařízení s nimiž umí pracovat QEMU jsem narazil i na sheepdog. Z principu fungování by se však tento systém distribuovaného blokového zařízení měl spíš jmenovat "hampejz".
Výsledky nebyly špatné, tak mě zajímá, zda-li i někdo z vás má s tímto nějaké zkušenosti. Dokumentace je totiž velmi sporá a pravděpodobnost, že jsem některé věci nepochopil správně - vysoká.

Nejprve malé entrée..

Název "sheepdog" (ovčácký pes), je skutečně trochu zavádějící, i když v podstatě správný. Neboť "dog" se jmenuje collie a ovečky (sheep) jsou démoni co běhají na jednotlivých strojích zapojených do systému. Všechny stroje dohromady tvoří cluster.
Pojmenování "hampejz" pro tento cluster by však z hlediska principu fungování celého systému bylo přesnější, neboť v každém "pokojíčku" (rozuměj - počítači), žije minimálně jedna "šlapka" (démon sheep), která nabízí ten svůj "adresář" každému VM který píchá přes QEMU. Těch "šlapek" však v onom pokojíku může být i více. Co a jak mají dělat jim přikazuje "bordelmamá" - collie. Každá partička děvčat vůči klientovi vystupuje pod jedním jménem, jako např. v níže uvedeném příkladu - JANA

Kudy do něj...

S osazenstvem hampejzu lze obcovat (zatím) pouze přes QEMU, resp. jeho utility - qemu-img a qemu-nbd, jinak ne. Výhodou je, že vrznout si může každý kdo je v hampejzu aniž by musel řešit, ve kterém kutlochu sedí - vždy je mu k dispozici "slečna" JANA se kterou může obcovat a vyměňovat data, aniž by řešil, které z děvčat se aktuálně za oním jménem skrývá. Viz příklad níže, který demonstruje zkopírování image virtuálního disku do systému sheepdog...

qemu-img convert /virtual_image.raw sheepdog:JANA

Něco o tom jak to funguje pod pokličkou...

Během konverze se postupně rozkopírovávají datové bloky přes zainteresované slečny do pokojíků ve kterých je místo. A tady je bod kde jsem přesně nepochopil optimální konfiguraci. Při formátování clusteru lze uvést parametr --copies. Pochopil jsem to tak, že se jím udává na kolik strojů se má každý blok vždy zkopírovat. To by pak mělo zajistit relativní dostupnost, když nějaká ta ovce zběhne.

..a jak to šlape.

Já si zkusil sestavit jenom malý bordýlek o čtyřech strojích. Podle toho co jsem našel na netu - výkon s počtem strojů narůstá a optimální maximum je schopno podat 64 strojů. Strojů může být i více ale na výkon to už pak nemá vliv.

Do prostředí jsem nakonvertoval jednu virtuální mašinu - Debian amd64 o velikosti 10GB. Do ní jsem měl zpropagovaný přes p9, adresář sdílený přes NFS a pak přehazoval za běhu 500MB soubor tam a zpět, dokud stroj neexnul. Aby to bylo veselejší, tak jsem mu zkoušel za běhu, během těch přesunů postupně "ustřelovat" a znova nahazovat děvčátka, která si zrovna užívala pod přezdívkou JANA.

Dlužno říci, že to výkonově nebylo špatné - i když v porovnání s řešením přes NBD byla rychlost při přenosu dat cca poloviční. Je ovšem nutno vzít v potaz, že rychlost I/O operací v tomto případě a podobných, je dána zatížením síťové komunikace v rámci clusterové infrastruktury. Takhle se mi po jednom drátě honily jak data pro sheepdog, tak NFS, což se nutně muselo projevit. Navíc sheepdog provádí současně replikaci dat, takže je počet přenesených dat skrze síť ve skutečnosti ještě vyšší

Ve stínu těchto faktů tedy vypadají čísla cca takto:

• Když jsem prováděl první pokus, s image zpropagovanou přes NFS server, a umístěnou v adresáři, který byl současně zpropagovaný dovnitř přes p9 tak mi skončilo NFS kolapsem.
• Při druhém pokusu, kdy byla image zpropagovaná sice přes stejný NFS server ale mimo sdílený adresář, byla rychlost I/O kolem 2MB/s. Virtuál ustál i přehození NFS na druhý stroj (s úložištěm sdíleným přes DRBD)
• Při použití jednoho NBD zařízení se kolísala mezi 40-80MB/s, podle toho jestli data NBD zařízení tekla stejným drátem co NFS, nebo tím druhým. Ale po "ustřelení" datové disku stroj virtuál skončil, neboť QEMU nedokáže NDB připojení znovu navázat.
• Při použití dvou NBD zařízení v SW RAID 1 se pohybovala kolem 20-24MB/s v obou směrech. "Ustřelení" jednoho NBD stroj ustál v pohodě, ovšem nové přidání disku za ten co vypadnul je nutné ještě pořešit.
• Při použití sheepdog se pohybovala kolem 16-20MB/s při natahování dovnitř a 8-10MB/s při ukládání ven na NFS. Ustřelení jedné ovečky se projevilo malým zaváháním, ale stroj jinak pokračoval v akci. Chyby začaly vyskakovat ve virtuálu až když jsem ji zase nahodil - ovšem to může být problém vývojové verze sheepdog, kterou jsem použil.

P.S.: Na stránce o blokových zařízeních v QEMU mám připravené i nějaké ilustrační obrázky, ale zatím k nim chybí příslušné texty.

       

Komentáře