Virtualizovaný cluster ve virtuálním prostředí

19.4.2016 15:13 | Přečteno: 2105× | Za vším hledej Linux | | poslední úprava: 20.4.2016 10:01

Virtualizovaný cluster ve virtuálním prostředí.

To je děs jak ten čas letí. Před rokem a půl jsem zde publikoval blogpost na téma - virtualizovaný cluster. Ten měl vzápětí následovat tento blogpost, ale protože koncem září je v našem prostředí nejvíc práce už nebyl čas na doladění důležité komponenty - virtuálního hostitele. Cílem blogpostu totiž je - nabídnout, všem co mají zájem - virtuální stroj, ve kterém by si mohli v izolovaném prostředí vyzkoušet jak se pracuje s Pacemakerem. Virtualizovaný cluster v prostředí virtuálního hostitele.

V minulém blogpostu jsem uvedl že si corosync a Pacemaker raději kompiluji sám. Jelikož nemám k dispozici zase tak moc volných fyzických strojů, chtěl jsem si již předloni udělat virtualizované testovací prostředí, ve kterém bych si mohl zkoušet zda všechno funguje jak má ještě před ostrým nasazením na produkční stroje.

První verzi takového virtuálního stroje jsem měl k dispozici již 13. září 2014, ale nestihnul jsem k němu dopsat tenhle blogpost a pak už nebyl na hraní čas.

Verze o které budu psát dále je udělána od základu znovu. Obsahuje aktuální Debian unstable s distribučním jádrem 4.5.0-1-amd64, a poměrně čerstvou kompilaci corosyncu 2.3.5 s pacemakerem verze 1.1.14.

Virtualizační hostitel je normální grafický desktop, a vše se dá průběžně aktualizovat, takže si nadále můžete jak hostitele, tak virtální nody udržovat sami.

To, v čem se obsah výchozího nodu liší od normální instalace přes debootstrap je především můj skript s duchaplným názvem virtual (což je ve skutečnosti symlink na bashový soubor /etc/virtual.sh, který je určen pro práci s virtuálními nody.

Virtuální nody se vytváří jako snapshoty výchozího btrfs subvolume root-default, který obsahuje předinstalovaný mnou vytvořený binární balík crm a předkonfigurovaný soubor corosync.conf. I ten lze průběžně aktualizovat a případně před naklonováním virtuálních nodů doplnit o další softwarové balíky.

Po spuštění virtuálního hostitele máte dvě možnosti jak do něj přistupovat - buďto přes SSH (pokud si nastavíte při spuštění virtuálního hostitele forward portu 22, nebo přes grafickou konzoli. Použít můžete buď Spice, nebo VNC - jak je libo.

Ke spuštěným virtuálům pak můžete přistupovat obdobně - součástí instalace virtuálního hostitele je jak konzolový klient spicec, tak novější GTK+ klient spicy.

Jak založit a spustit virtuální nod?

Založení virtuálního nodu je stupidně prosté:

root@pacemaker:~# virtual create a
root@pacemaker:~# virtual start a
a       START

Můžete jich klidně založit i více najednou..

root@pacemaker:~# virtual create b c
root@pacemaker:~# virtual start b c
b       START
c       START

Chcete-li vidět co se děje při nabíhání virtálního nodu (kupř. b )můžete využít akci 'log'

root@pacemaker:~# virtual log b
...

Chcete-li zjistit jaké nody vlastně máte vytvořeny, použijte akci 'info' bez parametrů - ta vypíše výchozí nastavení proměnných a obsah souboru /opt/nodes. Pokud přidáte jako parametr jméno vrtuálního nodu, tak se vypíše kromě portů, které bude využívat také informace o tom, kolik místa aktuálně zabírá příslušné subvolume.

root@pacemaker:~# virtual info a
INFO    b
Order   2
MAC     ba:bb:bc:bd:1b:5a
Monitor 7002
Spice   7102
VNC     5902
ssh NAT 7202
Space occupied by b
qgroupid         rfer         excl 
--------         ----         ---- 
0/263         1.49GiB      3.69MiB

Pokud vás zajímá v jakém jsou virtuální nody aktuálně stavu můžete využít 'status'

root@pacemaker~# virtual status a b c
a       ON
b       ON
c       ON

Pokud z nich chcete vytvořit virtuální cluster, stačí se do nich postupně po spuštění přihlásit přes ssh a pak spustit..

root@pacemaker:~# ssh root@a
root@a:~# /etc/init.d/corosync start
Starting Corosync Cluster Engine (corosync): [  OK  ]
root@a:~# /etc/init.d/pacemaker start
Starting Pacemaker Cluster Manager[  OK  ]
root@a:~# crm status
Stack: corosync
Current DC: a (version 1.1.14-pacemaker) - partition WITHOUT quorum
Last updated: Tue Apr 19 12:07:39 2016          Last change: Tue Apr 19 09:31:04 2016 by hacluster via crmd on c

3 nodes and 0 resources configured

Node b: UNCLEAN (offline)
Node c: UNCLEAN (offline)
Online: [ a ]

Full list of resources:

Zastavení nodů je opět prosté:

root@pacemaker:~# virtual stop a b c
...

Nody budou postupně korektně vypnuty (využívá se sekvence sysrq příkazů).

Aktualizace existujících nodů

Virtuální nody, které jsou spuštěné přes akci 'start' běží v rámci izolované sítě, která nemá vnější konektivitu. Pokud chcete aby měl virtuální nod přístup do vnější sítě, pak musí být spuštěn přes 'nat'. Pak ovšem neuvidí pro změnu na ostatní virtuální nody - pouze ven.

root@pacemaker:~# virtual nat a
a       START WITH NAT

Do takového stroje se pak lze přihlásit přes ssh na portu který najdete ve výpisu při akci 'info'

root@pacemaker:~# ssh localhost -p 7201

A pak je možné stroj dle libosti aktualizovat z repozitářů na vnější síti.

Je třeba mít na paměti, že se po svém založení stává každý z virtuálních nodů samostanou jednotkou. Tzn. že veškeré změny a úpravy konfigurace se v žádném jiném nodu neprojeví. Výjimkou je pouze výchozí virtuální nod default, který ani v jiném než NAT módu spustit nelze. Ovšem změny realizované v 'default' nodu se projeví pouze u nově založených nodů. Stačí stávající nody zrušit a pak založit znovu.

root@pacemaker:~# virtual stop a b c
...
root@pacemaker:~# virtual delete a b c
...
root@pacemaker:~# virtual create a b c
...

Pochopitelně se ale při zrušení ztratí veškeré změny a úpravy, které byly učiněny v rámci původních virtuálních nodů.

K čemu je to dobré?

• Spuštěním virtuálního hostitele získáte virtuální desktop s WM Xfce4, který má podporu virtualizace a do kterého si můžete podle potřeby doplnit i jiný software
• Po založení virtuálních nodů a máte k dispozici virtuální stroje, ze kterých získáte funkční cluster prostým spuštěním corosyncu a Pacemakera. Ve něm pak můžete testovat různé konfigurační nastavení, atp.
• Aktualizací software virtuálních nodů si můžete ozkoušet zda nedojde k narušení funkcionality.

Takže pokud si to chcete vyzkoušet sami, napište mail a já vám pošlu link ze kterého si můžete stáhnout archiv, ve kterém je zapakovaný soubor pacemaker.qcow2 a soubor README, kde jsou nějaké poznámky k tomu jak to spustit, co a jak je v tom nainstalované a pochopitelně také přístupového hesla, které je stejné jak do hostitele, tak do virtuálních nodů.

Archiv, včetně opravných kódů pro par2 má 678MB, takže se to vleze i na CD. Po rozbalení má qcow2 soubor 2,6GB, ale může při použití nabobtnat až na max. velikost virtuálního disku (30GB) 8GB je vyhrazeno pro swapovací oddíl. Pro spuštění je nutný x86_64 procesor s podporou virtualizace a alespoň 1G vyhrazené paměti. Pochopitelně čím více paměti, tím lépe, protože pak nebude virtuál sahat na swap. Množstvím paměti je také limitován počet souběžně provozovatelných nodů - ve výchozím stavu mají nastaveno 1G virtuální RAM, ovšem sražené na provozní polovinu. Virtuály používají balloon, takže v případě potřeby jim lze za běhu paměť dofouknout.

Tím jsem skončil vy uličníci a žádám abyste se při mši svatý chovali slušně

       

Komentáře

[smazáno]

jehož jenže Původně měl pokračovat Jelikož se primárně věnují i řešil hromadu jiných věcí ...

;)

[Aleš Kapica]

Tobě se asi nikdy nestalo, že bys při překopírování textu přehlédnul kus textu co měl přijít pryč, viď?

[smazáno]

Praveze se mi to deje furt, proto to pobavilo :).

[Aleš Kapica]

Beru V tom editačním okně se totiž při obsáhlejším textu fakt blbě orientuje, takže opravuji primárně takové chyby, aby to ten editor vůbec sežral. Nakopírovaný obsah už většinou dále neřeším, pouze si to ještě jednou přečtu a opravuji jen to co fakt bolí. A ty ses trefil do chvíle co jsem ten příspěvek pro kontrolu četl.

[Odin1918]

Diky za zajimavy clanek. Skoda jen toho casu, v kolik byl vydan.

[Aleš Kapica]

Ten článek je sám o sobě úplně na houby. Jeho smyslem je pouze nabídnout ten virtuální image i jiným zájemcům. Toť vše. A při troše pozornosti byste se mohl z předchozích příspěvků dovtípit že čas publikování nevypovídá nic o tam jak dlouho, kdy kde a za jakých okolností jstem ho psal.

[Odin1918]

Ten clanek povazuji za zajimavy. Tot vse. Datum a cas vydani je zjevny.

[Aleš Kapica]

Jen tak mimochodem. Doufám, že vy, takový strážce veřejných financí se podobně odvážně a vytrvale navážíte i do toho darebáka, co se nestydí prohlašovat že byl zvolen do prezidentské funkce většinou národa - ač tomu tak nebylo. Nebo vám je fuk, že za státní peníze cestuje všude možně a šíří při tom své fantasmagorické nápady, bludy a lži?

[trekker.dk]

šíří při tom své fantasmagorické nápady, bludy a lži?

slovník: názory odlišné od názorů vašich.

[Aleš Kapica]

Nazývejme prosím věci správnými jmény, ano? Nepravda můžu lze vypustit z huby buď úmyslně (lež), nebo neúmyslně (omyl). Ten kdo arogantně trvá na platnosti nepravd, které vypouší, je lhář. A pokud zamlčuje svou minulost, ve které zadlužil své spolustraníky, tak je navíc i darebák. I kdyby se na hlavu stavěl.

[trekker.dk]

No spolustraníci v tom zadlužování docela intenzivně pokračovali.

A zrovna když narážíme na tohle téma, rád bych viděl, jak by ti spolustraníci řešili, že se strana za velké peníze chtěla soudit o své sídlo, ale neměla na to. (Jak někdo, komu nesebrali svéprávnost, může takovou stranu pustit k hospodaření státu, je další otázka.)

[Aleš Kapica]

Já je nehájím. Soudit to já, nedostanou nic, protože ČSSD zanikla tím, že se sloučila v roce 1948 s KSČ. Strana která vynesla na světlo boží vepřový ovar si pouze přivlastnila historické jméno. Toť vše. Můj již zesnulý kamarád, jehož otec byl přesvědčený sociální demokrat na tuhle bandu dštil oheň a síru po celou dobu co jsem ho znal a žil. Tj. od r. 1992 až do r. 2003 aniž by je kdy vzal na milost.

Já jim mám za zlé "jenom" jakým způsobem projebali OKD a jak za korunu přenechali hindusakovi bývalé Kark Herrmann Göring werke aka NHKG.

[Odin1918]

Ja se nechci nijak navazet. Jen jsem konstatoval, kdy byl clanek vydan.

Vezte, ze pana presidenta rad nemam. Zvolen byl vsak podle platneho zakona a vykon jeho funkce proste stoji penize. Stejne tak platna legislativa umoznuje platit z verejnych prostredku ruzne akademicke instituce, jejichz cinnost stoji danoveho poplatnika radove vice.

Z lasky k panu presidentovi mne prosim nepodezirejte. Je to socialista a neumi se oblekat. To mi staci.

[⧠ A = 0]

Zeman není socialista.

[Odin1918]

Promin, milerqd bych ztratil dalsich par chvil politickou diskusi s tebou, ale napsal jsem, ze koncim s politickymi prispevky. OffTopic diskuse mne nezajimaji.

[⧠ A = 0]

OK, teď vidím, že příspěvek, na nějž jsem reagoval, je starší než tvé (opětovné) prohlášení, že končíš s politickými příspěvky.

[trekker.dk]

Já nevím, co pořád máte. Ten už software existuje, byl vyvinut za veřejné peníze, tak teď s minimálními náklady byl veřejnosti dán k dispozici. Alternativa (reálná) je, že by software existoval, ale k dispozici nebyl. V čem je problém?

[Odin1918]

Nekritizuji software. Dokonce se mi onen blogpost libi. Jen jsem si povzdechl nad tim, v kolik hodin byl clanek vydan.

[cezz]

Tak trochu mi to pripomina Vagrant.

[Aleš Kapica]

No. Jistý nezanedbatelný rozdíl v tom je.

Vagrant - alespoň tak jak se mi to při letmém pročtení jeví - je nástroj, který dělá něco podobného jako ten můj skript, který je uvnitř toho mého virtuálního stroje. Takže ano, Vagrant o velikosti 72MB by mohl zastoupit ten můj shellový skript o velikosti 13kB.

Ten rozdíl je v tom, že mým cílem bylo mít prostředí pro testovavání clusteru a clusterových služeb. Tak, aby si mohl každý ihned po vytvoření a spuštění virtuálních nodů cluster nahodit a hrát s jeho konfigurací. A pro tento účel je toho třeba zajistit trochu víc než jen spustit předpřipravený box. Každý virtuální nod musí mít validní DNS záznam, pevnou IP adresu a nakonfigurovaný corosync. A to jsou věci o které se stará virtuální host - tj. ten virtuál, který nabízím.

A to vše je v jednom virtuálu. Takže když na to přijde - nic nebrání v tom uložit rozjetý stroj v určitém stavu a pokračovat v práci někdy později. Což si myslím že by mohlo zajímat ty co by chtěli něco takového použít ve výuce. Také by to mohlo zaujmout ty, co si chtějí nastudovat jak rozjet služby pro malou interní síť. Nebo ty co jen chtějí vědět jak správně využívat v Debianu openvswitch.

Není to live CD i když tomu ve své podstatě nic nebrání - pokud by si to někdo přes qemu-img convert přemastil na nějaký disk, tak má z fleku funkční instalaci plně grafického linuxového prostředí.

[cezz]

Aby sme sa rozumeli, ja netvrdim, ze je Vagrant nutne lepsi. Ostatne vlastnorucne urobeny skript na mieru ma urcite vacsie sance byt efektivnejsi v tej konkretnej veci ako iny viac vseobecny nastroj. Ja som len poznamenal, ze mi to Vagrant pripomina.

Vo Vagrante si vies nadefinovat kludne viacero virtualnych boxov, pridelis im IP, hostname a tak podobne. Ak potrebujes vnutri tych VM konfigurovat nieco extra, pouzijes tzv. provisioning (Chef, Ansible, Puppet,.. alebo proste shell script) ktory Vagrant automaticky aplikuje po nabehnuti VM.

Vo vysledku mozes spustit "vagrant up" a Vagrant ti zostavi cluster z povedzme 3 VM, kazdy so svojou IP a hostname, s nainstalovanym potrebnym SW a ked chces aj nakonfigurovanym clusterom. Ja osobne to vyuzivam pomerne casto na otestovanie nejakeho riesenia - zvlast ak je nutnych viacero serverov.

Som toho nazoru, ze 72MB kodu ktory napisal niekto iny je menej ako 13kB kodu, ktory musim napisat ja. Ale chapem, ze nie kazdy to vidi podobne.

[Aleš Kapica]

Však ok. Já jen napsal v čem se to liší.

Já vím že ty věci lze řešit mnoha způsoby. Mým cílem bylo udělat instantní virtuál, který nezabírá moc místa a je z fleku použitelný pro testování Pacemakeru. Primárně je určen pro moje potřeby - pouze jsem ho nabídnul do pléna, kdyby ho snad náhodou někdo chtěl využít i někdo jiný.

Ale nedělám si iluze. Lidí co s těmi technologiemi něco dělají, nebo chtějí dělat, není zase tak moc. On totiž pokud si někdo umí udělat funkční cluster přes Vagrant, tak už většinou nepotřebuje testovací prostředí, ve kterém by si mohl něco zkoušet - pokud teda nepíše i vlastní agenty.

[cezz]

+1

Dalsia vec je ze vela krat uz som videl ludi pouzivat Vagrant na rozbiehanie produkcnych prostredi a tam uz by som skor doveroval svojmu kodu ako niecomu urcenemu primarne na testovanie.

Takze vsetko ma svoje miesto.

Plus napisat si nieco sam zvycajne znamena vela sa naucit.