VDE- Virtual Distributed Ethernet

6.10.2011 16:24 | Přečteno: 1829× | Jen tak na okraj | | poslední úprava: 6.10.2011 16:31

V diskuzi pod mým minulým blogpostem na téma Networking v QEMU se pht ptal, jestli VDE používám. Výsledkem byla má poměrně obšírná odpověď, která však ani zdaleka nemohla zmínit všechny důvody proč ho používám a k čemu je vlastně dobré. Proto tedy následuje tento blogpost, věnovaný VDE

Hned úvodem však přidám opět link na stránku v naší wiki, kde se o různých částech VDE a jejich použití rozepisuji podrobněji. Jednak se nechci opakovat a také doufám, že mne případní zkušení uživatelé upozorní na faktické nedostatky. Důrazně však upozorňuji, že stránka ještě není ani zdaleka kompletní a některé věci ještě čekají na důkladnější prozkoumání. Od minula však přibyly nějaké obrázky, které se pokoušejí naznačit, kde leží kritické body síťové komunikace při použití VDE. Tady bych však rád upozornil na některé "blbinky", kterými disponuje VDE a přijdou mi z hlediska síťových hrátek jako zajímavé.

I v oficiální dokumentaci VDE jsou zmínky o některých utilitách poměrně sporé, takže mi chvíli trvalo než jsem zjistil, že některé věci s distribučního balíku jsou již zastaralé (např. wrapper vdeq pro qemu), jiné zbytečné ( vdeterm lze docela dobře nahradit přes wrapper rlwrap) a některé nefunkční ( jako vdecmd, který neumí pracovat s jiným, než výchozím soketem ).

Vytvořil jsem proto vlastní verzi balíku, která je založena na poslední revizi VDE z oficiální repozitory (r507), která má jednotlivé části VDE rozděleny podle účelu. Kupř. v balíčku vde2-plugs jsou veškeré věci, které souvisí s připojením virtuálních switchů a sestavováním virtuálních drátů. Včetně takových zvířecích utilit, jako je vde_over_ns - která umožňuje tunelovat spojení dvou virtuálních switchů přes DNS protokol.

Balíček vde2-utils zase obsahuje věci, které mohou mít - podobně jako virtuání switche - k dispozici soket přes který lze měnit jejich konfiguraci a řídit tak nejenom kvalitu virtuálního drátu (wirefilter), ale také realizovat shapping na úrovni třetí vrstvy (vde_l3).

Asi největší výhodou VDE z mého pohledu, je fakt, že umožňuje každému uživateli vytvořit svou vlastní virtuální síť, na které lze testovat nejrůznější situace z hlediska sítě, aniž by bylo nutné mít administrátorská práva k systému jako takovému. Každý si tak může vyzkoušet a natrénovat řešení situací, které by jinak mohly vést k nabourání vnější síťové instrastruktury.

Záhadné tuhnutí virtualizovaného stroje v QEMU verze 15.50

Jako perličku na závěr bych zmínil, že se mi podařilo přijít na stopu problému, který způsobuje v QEMU verze 15.50 záhadné tuhnutí stroje. Zmiňuji tento problém proto, že nepřímo souvisí s VDE

Minulý týden (přesně 28. října 2011) nám záhadně uhnil virtualizovaný stroj, který předtím běžel bez problémů téměř měsíc. Tendenci uhnívat měl i dříve, ještě když byl virtualizován ve VMware, ovšem soudili jsme, že je to hlavně tím, že je špatně navržená aplikace co na něm běží - Moodle. Ta mizerně navržená bezesporu je, ale po aktualizaci se jevila relativně stabilně.

Tentokrát už jsme ale tomu virtuálu fakt dopřáli. Dva procesory, 2GB paměti a 2GB swapovacího prostoru a navíc (po analýze možností síťování v QEMU) i opravdu rychlé připojení. Jenže ouha! Stroj opět vyhnil a co bylo nejpodivnější - v době kdy prakticky vůbec nebyl zatížený. Byl jsem v tu dobu zcela mimo a kolegovi, ketrý nebyl moc obeznámen s tím jak je řešená na tom stroji virtualizační infrastruktura nezbylo než přesunout image virtuálu jinam. A vida - ve starší verzi QEMU (14.0) stejný virtuál jede naprosto bez potíží.

Tento přesun mi však umožnil provést s původním strojem nějaké experimenty - ovšem díky VDE bez připojení do vnější sítě. S překvapením jsem zjistil, že bez vnější konektivity cca po dvou hodinách ntpd uvnitř stroje "ustřelil" daleko do minulosti (až do r. 1915! ) což vedlo následně právě k problémům, které mi popisoval kolega co řešil tu prekérní situaci. některé příkazy fungovaly bez problémů (např. ps, nebo mc) a jiné, jako např. pokus o vypsání aktuálního stavu z /var/log/auth.log přes tail, zůstávaly spolehlivě viset.

Nevím jak došlo k tomu, že virtuál zůstal bez konektivity, ale jelikož VDE switch má defaultně aktivovaný STP (Spanning Tree Protocol), je možné že nějaký "špatný" paket vedl k tomu, že byl virtuálu ustřelen port skrz který byl napojen na vnější síť. Než to však stihnul kolega pořešit, uplynuly kritické dvě hodiny, což následně vedlo k časovému úskoku, jak jsem zjistit ze záznamu v souboru auth.log Zajímavé na tom je, že v jiném logu se tento časový posun neprojevil.

Další pátrání mne dovedlo k další stopě - a jak se zdá, "viníkem" je časovač uvnitř virtuálního stroje. Když jsem totiž spustil virtuál s volbami --no-hpet a --no-acpi, přestal tuhnout.

       

Komentáře

[cynic_asshole]

28. října 2011?

[Aleš Kapica]

Jejda.. Pochopitelně že září

[George]

To bude ten problem s casem :)

[Radek Hladik]

Chápu správně jako největší výhodu fakt, že můžu udělat virtuální síť aniž bych potřeboval administrátorská práva? Tedy pro realné nasazení (rozuměj ne testování nějakých divokých konfigurací a topologií) s administrátorským přístupem mi to moc nepomůže? Resp. jakou výhodu to bude mít proti reálnému ethernetu, který si přes nějaké ty tunely probrdiguju (brr to je slovo ), pokud nebude možné, aby byly na jedné infrastruktuře?

[Aleš Kapica]

Tak já osobně bych viděl jako výhodu kupř. to, že VDE switch lze za běhu přepnout z režimu switch do režimu hub a naopak. Takže lze v případě síťových problémů operativně přes připojené tap zařízení zjistit, o čem si stroje mezi sebou kecají, resp. při připojení přes jiný kanál ověřit že je spojení přes VDE funkční.

Další věc je, že ne vždy je k dispozici tolik fyzických síťových karet, aby bylo možné stroje od sebe oddělit. Jedna z možností je macvtap. Přes VDE to však není vůbec žádný problém. Vývojáři VDE navíc vytvořili i kvde_switch, který může běžet v kernelspace, Vyžaduje však vlastní modul ipn, který má fungovat jako běžný bridge, s tím rozdílem, že by měl umožnit honit data i přes sokety. Bohužel jsem to ale nemohl zatím odzkoušet, jelikož tento modul nejde s verzí 3.1.0-rc6 zatím zkompilovat, neboť používá funkci, která byla z jádra nedávno odstraněna a tato část rozhraní ještě není z hlediska dalšího vývoje v jádře hotová, tudíž asi zatím nemá smysl něco řešit.

[Radek Hladik]

Zajímavé... Já to právě srovnávám s řešením (podle mně "klasickým"), kdy hostitel má jednu síťovku, nad ní bridge a do něj připojuje jednotlivé virtuální síťovky. T.j. ani macvtap, prostě obyčejný bridge. Tím do současné ethernetové infrastruktury prostě přidám nové zařízení, které de facto sdílí ethernetový segment s hostitelem a se všemi ostatními stroji na něm. Resp. nesdílí přímo ten segment jako takový, protože nedochází ke kolizím, ale sdíli jeho pásmo a případně jeho další prostředky...

Nu ještě si to pořádně prostuduju a asi i nějak pozkouším

[Aleš Kapica]

Tak pro mne to má především ten význam, že mohu prostřednictvím VDE dostat vnější konektivitu skrz interní síť clusteru až jednotlivým k virtuálům, aniž bych musel jakýmkoliv způsobem laborovat s konfigurací jejich hostitele. Virtualizační stroje mají (na rozdíl od datových) pouze 2 fyzické síťovky. Jednu do interní sítě, přes kterou běhá konektivita a datové přenosy virtuálů a druhou do vnější sítě pro administraci, kontrolu a řešení případných problémů s interní sítí.

Virtualizačních strojů je víc a k virtuálům netahám celý trunk, ale vždy už pouze potřebný segment. Přehození virtuálu ze stroje A na B tedy ze síťového hlediska znamená pouze nahodit a připojit vde switch na stroji B, , přemigrovat virtuál a pak shodit původní switch na stroji A.

Nemusím tak řešit jestli je příslušný síťový segment na stroji B dostupný, nebo ne, protože mi konektivita leze ze stejného bodu.

Na druhou stranu pokud něco potřebuji řešit se strojem A, mohu jednoduše odpojit vnější konektivitu z jeho virtuálního switche, a připojit všechny virtuály ze záložního datového stroje, aniž by bylo třeba cokoliv dalšího řešit.

[Dan Ohnesorg]

Ten navod je moc peknej a asi jsem ani v anglictine takovy jeste nepotkal.

S tim parametrem vlan jsem si u kvm pekne nabehl. To je ukrutne nebezpecna vec, ktera neni v originalni dokumentaci temer popsana. Pritom se to chova uplne obracene, nez bych cekal.