| poslední úprava: 19.1.2012 12:50
Portál AbcLinuxu, 7. května 2025 08:57
19.1.2012 12:35
| Přečteno: 1563×
| Za vším hledej Linux
|
| poslední úprava: 19.1.2012 12:50
Chcete-li používat bloková zařízení po síti, máte několik možností. Můžete použít buď NBD nebo iSCSI. O NBD se tady zatím nikdo moc nerozmazával a tak by se někomu mohlo subjektivně zdát, že je iSCSI lepší. Záleží však na úhlu pohledu a podmínkách použití. iSCSI má tu výhodu, že již existuje v jádře podpora i pro target (server), a vypublikované zařízení lze použít i pro MS Windows. Na druhou stranu, podle toho co jsem vyšťáral na netu by mělo mít NBD menší režii a snad i o chlup lepší výkon. Každopádně však NBD není mrkev.
Více se o NBD rozmazávám v naší wiki. Nechci se opakovat, tudíž bych zde pouze upozornil na několik zajímavých vlastností, které má soubor utilit xNBD.
Zkoušel jsem u QEMU různé způsoby zprostředkování blokových zařízení virtuálním strojům skrz síť (viz kupř. můj starší zápis na téma sheepdog ), a nakonec se ukázalo jako nejefektivnější použití NBD. Bohužel však mělo jednu vadu. Možná jde pouze o mou neznalost, ale když virtuálnímu stroji "upadlo" blokové zařízení, tak ho nebyl schopen připojit znovu. Domnívám se, že tohle by mohlo uspokojivě řešit právě iSCSI, jenže v době kdy jsem to zkoušel jsem neměl podporu pro iSCSI target v jádře zakompilovanou.
Po konzultaci s Pavlem Píšou mě napadlo zkusit využít SW RAID, sestavený ze dvou NBD zařízení. V případě výpadku jednoho z nich se uvnitř virtuálu problém neprojeví a zařízení lze pak znovu do raidu přidat, aniž by bylo nutné virtuální stroj vypnout. Výsledek se choval uspokojivě. A tak, jelikož virtuály provozuji v clustrovém prostředí, jsem použil SW RAID6, sestavený ze čtyř NBD zařízení, přičemž páté funguje jako SPARE.
Díky tomu mohu postupně aktualizovat všechny virtuální stroje v clusteru, aniž by bylo nezbytně nutné odstavit spuštěné virtuály.
Pro lepší názornost přidávám i odkazy na dva schématické obrázky - jsou použité v neveřejné části naší wiki, tudíž byste se k nim zatím asi neproklikali. Na prvním schematu je normální stav a na druhém stav při výpadku dvou nodů. Pochopitelně, že když upadne nod na kterém virtuál zrovna běží, tak lehne. Nicméně lze obratem tentýž raid sestavit a stroj znovu spustit na přeživších nodech.
Výše uvedené řešení funguje výborně, ale má přeci jenom jeden háček. Jak ošetřit situaci kdy NBD zařízení upadne? Raid totiž zjistí, že je ve stavu FAIL až ve chvíli, kdy se na ně pokusí něco zapsat. A v tomto okamžiku se velice hodí parametr --recovery-command, kterým disponuje xnbd-client. Ten totiž umožňuje v případě kdy upadne NBD server spustit skript, který provede příslušnou sanaci zařízení v raidu, a případně spustí akci, která zajistí jeho přidání v okamžiku, kdy je server znovu připojen.
No jo, ale co si počít, když je NBD zařízení připojeno přes jiného klienta, který tuto volbu nemá, případně v situaci, kdy v době připojení zařízení nebylo ještě známo co se má v případě jeho odpojení řešit? I pro takový případ nabízí xNBD pomocnou ruku - jeho součástí totiž není jenom NBD server a klient, ale také další nástroje. Mezi jinými utilita xnbd-watchdog, která je-li spuštěna může udělat stejnou službu.
xNBD server nabízí ještě jednu pěknou vlastnost. Lze jej pustit v režimu proxy, čehož lze využít k bezbolestnému přestěhování, či zkopírování virtuálních strojů za běhu i po relativně pomalé síti, aniž by to vyžadovalo delší odstávku virtuálního stroje.
Tiskni
Sdílej:
Chce to také síť s podporou jumbo paketů aby to bylo rozumě rychlé (při standardním mtu 1500 to dělalo jen něco kolem 10MiB/s).Tak mi to při ukládání přes NBD na disk bez raid6 dělalo něco kolem 18MiB/s a teď to dělá zhruba 28MiB/s, alespoň podle toho co při kopírování hlásí mc. Při čtení je rychlejší to dělá 42MiB/s.
21.1.2012 14:35
frEon | skóre: 40
| Praha
Domnívám se, že tohle by mohlo uspokojivě řešit právě iSCSI, jenže v době kdy jsem to zkoušel jsem neměl podporu pro iSCSI target v jádře zakompilovanou.Jedné testovací instanci RHEVu jsem jednou omylem vypl tgtd. Prvním příznakem byly pauznuté VM, po pohledu na storage jsem si uvědomil, odkud vítr vane. Po znovunahození tgtd se všechno znovu rozjelo... Takže přesně toto iSCSI řeší. BTW když zmiňuju RHEV, blíží se vydání oVirtu 1.0.
Takže přesně toto iSCSI řeší.No. Je otázkou, jestli to řeší iSCSI, nebo infrastruktura RHEVu. Je-li totiž virtuál zapauzován dříve, než jeho kernel zaregistruje chyby na blokovém zařízení, je to v pohodě - to jsem zkoušel. Jenže pokud zapauzován není, tak se objeví chyby při práci s blokovým zařízením a je konec. On sice dál jede, ale fakticky je kaput a žádný reconnect už nepomůže. Navíc já nepotřebuji aby se stroje zapauzovaly, ale aby jely při odstavení libovolného stroje a to mi právě zajišťuje ten raid.
ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.
