Dotaz: pacemaker a drbd - problem s konfiguraci

[Gilhad]

mam nastavit HA cluster ze dvou serveru (box423 a box402) - bohuzel se v tom nevyznam. Sel jsem podle nejakych tutorialu a ve vysledku to _vetsinou_ chodi - apache a mysql bezi na jednom, nebo druhem, ale rozhodne jsou dostupne na spolecne adrese.

Problem je, ze kdyz stridave rebootuju (prikazem reboot - cili velmi nezne) ty dva servery, tak se mi kazdou chvili objevi split-brain, nebo se jeden zacne tvarit jako diskless a ja netusim proc. Trikrat to projde, po ctvrte nikoli (aniz bych videel nejakou zavislost).

IMHO mam spatne konfiguraci, ale nevim v cem. Zamerem je, ze na jednom serveru bezi vse a druhy se flaka, pokud prvni zdechne zcela ci castecne, tak druhy prebere vse. V praxi by to nastat nemelo, krome pripadu testovani prave teto vlastnosti (HW spolehlivy, zatez smesna, pozadavky minimalni, jinde nam to bezi na single stroji s uptimem nekolik let, ale zakaznik proste touzi po redundanci, kvuli pocitu sucha a bezpeci - dokonce ani o data moc nejde, z principu veci jsou zalohpvana na spouste mist)

box423 ~ # cat /proc/drbd
version: 8.3.6 (api:88/proto:86-91)
GIT-hash: f3606c47cc6fcf6b3f086e425cb34af8b7a81bbf build by @box423, 2011-12-22 11:43:07

 1: cs:Connected ro:Primary/Secondary ds:UpToDate/Diskless C r----
    ns:3857 nr:296 dw:7684 dr:25109 al:8 bm:574 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:521208

box423 ~ # crm status
============
Last updated: Fri Dec 30 20:32:06 2011
Last change: Fri Dec 30 20:22:16 2011
Stack: openais
Current DC: box423 - partition with quorum
Version: 1.1.6-0c7312c689715e096b716419e2ebc12b57962052
2 Nodes configured, 2 expected votes
6 Resources configured.
============

Online: [ box423 box402 ]

 Master/Slave Set: WebDataClone [WebData]
     Masters: [ box423 ]
     Slaves: [ box402 ]
 Resource Group: mysql
     WebFS	(ocf::heartbeat:Filesystem):	Started box423
     ClusterIP	(ocf::heartbeat:IPaddr2):	Started box423
     mysqld	(lsb:mysql):	Started box423
     WebSite	(lsb:apache2):	Started box423

box423 ~ # crm configure show
node box402 \
	attributes standby="off"
node box423 \
	attributes standby="off"
primitive ClusterIP ocf:heartbeat:IPaddr2 \
	params ip="10.0.1.222" cidr_netmask="32" \
	op monitor interval="30s"
primitive WebData ocf:linbit:drbd \
	params drbd_resource="shared_data" \
	op monitor interval="60s"
primitive WebFS ocf:heartbeat:Filesystem \
	params device="/dev/drbd/by-res/shared_data" directory="/home" fstype="ext3"
primitive WebSite lsb:apache2 \
	op monitor interval="1min"
primitive mysqld lsb:mysql
group mysql WebFS ClusterIP mysqld WebSite
ms WebDataClone WebData \
	meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" target-role="Started"
location prefer-box423 WebSite 50: box423
colocation WebSite-with-WebFS inf: WebSite WebFS
colocation fs_on_drbd inf: WebFS WebDataClone:Master
colocation website-with-ip inf: WebSite ClusterIP
order WebFS-after-WebData inf: WebDataClone:promote WebFS:start
order WebSite-after-WebFS inf: WebFS WebSite
order apache-after-ip inf: ClusterIP WebSite
property $id="cib-bootstrap-options" \
	dc-version="1.1.6-0c7312c689715e096b716419e2ebc12b57962052" \
	cluster-infrastructure="openais" \
	expected-quorum-votes="2" \
	stonith-enabled="false" \
	no-quorum-policy="ignore"
rsc_defaults $id="rsc-options" \
	resource-stickiness="100"

box423 ~ # cat /etc/drbd.d/shared_data.res 
resource shared_data {
  meta-disk internal;
  device    /dev/drbd1;
  syncer {
    verify-alg sha1;
  }
  net {
    allow-two-primaries;
  }
  on box423 {
    device    /dev/drbd1;
    disk      /dev/sda4;
    address   10.0.1.104:7789;
  }
  on box402 {
    device    /dev/drbd1;
    disk      /dev/sda4;
    address   10.0.1.103:7789;
  }
}

---

---

Odpovědi

[chinook]

Na základě tohoto, bych řekl, že DRBD nemůže běžet v two-primaries...

ms WebDataClone WebData \
	meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" target-role="Started"

tak smaž:

net {
    
  }

zkus toto zmenit

[chinook]

a ještě si nejsem jistej jestli nemá být nastaveno u všeho master ať to naběhne na správné straně uzlu

colocation WebSite-with-WebFS inf: WebSite WebFS:Master
colocation fs_on_drbd inf: WebFS WebDataClone:Master
colocation website-with-ip inf: WebSite ClusterIP:Master

[Aleš Kapica]

No, tak výše uvedená rada od chinooka je zcela mimo mísu. Takže znova od začátku.

DRBD funguje jako mirror, tzn. je to pouze záležitost dvou strojů. Třetí stroj sice může být zapojen, ale funguje pouze jako spare. Tzn. že na něm žádná data nejsou a zreplikují se až v případě že jeden z původníchdvou strojů vypadne. Z toho plyne přinejmenším jeden poznatek - nedá se to použít v případě Master/Master.

DRBD pochopitelně lze použít i v režimu Master/Master. Pokud nemáš na čtení anglického manuálu k DRBD přímo od Linbitu nebo na serveru clusterlabs.org tak se můžeš kouknout sem na manuál k DRBD na naší wiki. Najdeš tam mimo jiné i ukázku konfigurace, jakou potřebuješ. Chceš-li však mít připojené DRBD zařízení současně na obou strojích, musíš mít implementován clusterový souborový systém, který umožňuje hrabat současně ze dvou přípojných bodů do jednoho datového prostoru. Mně se osvědčil OCFS2, ovšem pozor! agent, který používá Pacemaker je zastaralý! Takže jsem si napsal vlastní. Stejně tak i agenta pro připojení souborového systému!

Najdeš je ke stažení na našem git serveru, ovšem musíš mít krapet strpení než je tam uploadnu. Chtěl jsem je nechat nějaký čas běžet, abych se ujistil, že fakt fungují dobře. Dokumentace k nim je (či spíš bude) opět k nalezení v rámci dokumentace pro Pacemaker na naší wiki.

Ovšem pozor! Pokud ti jde pouze o to mít sdílený datový prostor, není vůbec Pacemaker nutný, protože OCFS2 má v sobě implementován Hearbeat. Stačí pak mít pouze nakonfigurováno DRBD a soubor /etc/ocfs2/cluster.conf!

[Aleš Kapica]

Ještě několik vysvětlivek k tvému dotazu.

Když máš dva nody, z nichž každý poskytuje jeden apache, tak musíš mít i nejspíš nějakou proxy, která by ti rozhazovala požadavky podle toho, která stránka kde běží. Nestačí pouze nastavení jedné adresy, jak je to v režimu Master/Slave.

Pokud zákazník touží po redundanci webové služby, tak by se měl spokojit s tím jak to máš. Tedy DRBD v režimu Master/Slave. Jediné co bys možná mohl poladit jsou timeouty - tak aby se ti DRBD stačilo zesynchronizovat dříve než se namountuje. DRBD se ti totiž rozhodí tehdy, pokud mount provedeš dříve, než se stačí oba stroje zesynchronizovat. Nevím jak to máš udělané, ale pro spojení DRBD je vhodné použít samostatný a pokud možno co nejrychlejší interface.

Režim Master/Master je vhodný (z mého pohledu) pouze tehdy, pokud potřebuješ na obou strojích pracovat se stejným datovým prostorem ve stejnou dobu. Já ho kupř. využívám pro sdílený datový prostor virtuálních strojů.

[Gilhad]

Prvně se omlouvám, že píšu až teď, dřív jsem se k tomu kvůli svátkům a prioritnějším věcem nedostal.

Moje potřeba je taková, že mám jednu IP adresu (IP 222) na kterou zákazník přistupuje. Na té adrese běží Apache (který používá mysql, která používá diskový prostor).

Ve skutečnosti mám dva stroje (IP 103 a IP 104), přičemž jeden z nich je Master a běží na něm všechno (Apache, mysql, filesystem), druhý je slave a neběží na něm nic, akorát se na jeho disk z Masteru zrcadlí data. Pokud Master z nějakého důvodu pochcípne, tak Slave za něj přebere veškerou práci (obsadí IP 222, přimountuje fs, spustí mysql a následně Apache) takže zákazník nic nepozná, protože z jeho pohledu na ip 222 vše běží bez ustání (nebo jen s krátkým výpadkem). Když Master ožije, měl by si stáhnout data ze Slavu a opět převzít svou roli, nebo ji aspoň převzít až Slave pochcípne.

Takže potřebuju, aby mi to vše běželo jen na jednom stroji, zatímco druhý čeká zapnutý v záloze.

O výkon v podstatě nejde, střídání strojů se předpokládá jen při havárii (která se nepředpokládá), zotavit by se to mělo nejlépe nějak samo.

[Aleš Kapica]

Ještě jednou jsem se kouknul na tvůj dotaz nahoře. Tebe trápí, že když dáš jeden stroj rebootnout, tak se ti někdy rozhodí drbd. Jinak je to ok?

V takovém případě (alespoň u mne) pomůže když corosync na stroji který předtím upad zastavím a znovu spustím. Obvykle se to srovná. Pokud ne, tak to pořeším nejprve drbd ručně.

Na stroji který upadnul nastavím před drbdadm diskové pole jako slave, a pak drbd restartuji. Drbd démon pak čeká na druhý disk. Na stroji, který běží nastavím disk do stavu connect, načež se mi disky spojí a provede se synchronizace. Po dokončení synchronizace už by to mělo být ok. Nejsem si jist jestli mám tenhle postup už zdokumentovaný, každopádně by se měl objevit na výše odkazované wiki.

Mimochodem, moji agenti pro OCFS2 a mountování souborového systému jsou už vypublikovaní na našem git serveru, takže je lze použít.

[Gilhad]

Tak nejak - kdyz mi jeden stroj vypadne (at reboot, nebo vykopnuty ethernet kabel), druhy prevezme rizeni. Ale uz se to (skoro) nikdy neda samo dohromady, vetsinou skoncim na tom, ze oba maji spustene vsechny sluzby (neni divu), drbd skonci na ds:UpToDate/Diskless a ja nevim, jak se z toho vymotat.

Asi tomu nerozumim ani co se principu tyce, protoze jakmile ty dva stroje o sobe navzajem chvilku nevi, tak je logicke, ze kazdy se snazi situaci zachranit a poskytovat sluzby (od toho to tu je), jakmile se ale ocitnou zpatky v siti oba, tak nevim, jak poznaji, ktery z nich ma spravna data (jakym zpusobem na to prijdou, nebo jestli musim prijit ja, jako clovek a rict jim to osobne - prez ssh treba) a jak je vnutit druhemu (jake prikazy mam pospoustet, ci jak upravit konfiguraci, abych se z toho ds:UpToDate/Diskless dostal na ds:UpToDate/UpToDate).

Ted kdyz jsem to zkousel, tak se mi to na "slavu" podarilo prez nejakou kombinaci invalidate, detach a attach, ale pak to jelo nekolik hodin (je to velky disk a ne az tak extremne rychla linka)

Taky uvazuju o tom, ze zkusim pridat do tech stroju dalsi sitovky a propojit je kratickym krizenym kabelem, aby sance na ztratu spojeni klesla - tim si sice pomuzu co do cetnosti, ale ne co do principu.

[Aleš Kapica]

Že to nějakou dobu trvá, než se to zesynchronizuje je samolitr. Co bys taky čekal. To je také důvod proč se to rozhodí. Protože pokud si to drbd nestihne do nějaké doby zkontrolovat že je synchronní, tak se nastaví do standalone režimu a musíš to pak spustit ručně.

Pokud jde o nápad s dalšíma síťovkama - tak od toho jsi měl začít. Protože právě přes ten binding se to obvykle dělá. Pro spojení DRBD se používá to nejrychlejší co je k dispozici. Máš-li 100M a 1G síťovky, tak pro DRBD je třeba jednoznačně využít ty 1G. Samozřejmě pokud máš k dispozici i něco lepšího (FiberChannel nebo InfiniBand) tak je pochopitelně lepší využít tohle.

[tlamik]

Podle mě se tu míchá několik věcí najednou, které sice spolu souvisejí, aby to celé fungovalo, nicméně doporučuji se na to podívat prozatím odděleně. DRBD může a taky funguje bez pacemakeru (haertbeatu atp.), DRBD je jakoby "RAID1 over LAN", kde zrcadlí disky přes LAN na dvou různých PC (klasický RAID1 to dělá lokálně v jednom PC). Já když rozjíždím HA-cluster (mimochodem podle popisu, stejný princip jako máš ty, jeden je master, druhý je slave, všechny služby běží jen na jednom), tak nejprve vyladím samotné DRBD. To ti musí fungovat po restartech spolehlivě, s malou drobností, že po restartu jsou všechny PC ve stavu Secondary, nicméně všechny musí být UpToDate. Pokud nejsou, tak to znamená, že na nějakou chvilku neviděl jeden druhého a začal vyšilovat. Doporučuju vykašlat se na služby nad DRBD a odladit nejprve samotné DRBD, zkoušet stovky restartů, od něžných až po brutální resety. Samozřejmě je fajn, aby se odladil režim Master/Slave, pro začátek podle mě stačí nahazovat Primary All ručně, po resetu Mastera, musí Slave zůstat UpToDate a po najetí se sesynchronizovat. Já místo pacemakera používám heartbeat (přišel mi jednodušší na konfiguraci).

[Aleš Kapica]

Heartbeat je kaput. Budoucnost má jednoznačně corosync. V loňském roce skočil Pacemaker notný kus dopředu a to co je v distribuci Debianu funguje docela dobře.

Nedoporučuji buildovat corosync z develop verze. Důvod je ten, že vývojáři corosyncu změnili komunikační platformu a Pacemaker na to zatím není připraven - musí se tam překopat komunikační vrstva.

Na DRBD není vcelku co ladit. Maximálně ještě tak nastavení max. povolené rychlosti pro replikaci. Když je moc vysoká, tak se to rozpadá, protože nestíhá propustnost linky. Pokud se po stejném drátě honí i jiné služby, je vhodné raději nastavit menší rychlost.

Také bych upozornil na nepěkné (a v podstatě zbytečné) defaultní nastavení distribučních drbd handlerů. Po manuálně spuštěné verifikaci totiž dojde k nekompromisnímu restartu, což odstřelí služby nad tím drbd.

[tlamik]

no musím přiznat, že jsem byl líný prokousat se heartbeatem V2 nebo CRM, takže používám V1 bez CRM (resp. když jsem to rozjížděl poprvé V2 ještě nebyla a od té doby kdykoli potřebuju někde cluster, tak dám ověřenou konfiguraci V1). Prostě mi to příjde, že to nepotřebuji. Jak psal kolega, potřebuju mít sesynchronizované disky (resp. LVM partišny), pak potřebuju hlídat jestli jede apache, nějaké databáze. Pokud spadnou, tak se nahodí na druhém stroji včetně sdílené virtuální IP. Nechápu v čem by mohl být lepší pacemaker ?

[Aleš Kapica]

Pacemaker, umožňuje dělat clustery, které mají více než dva nody. A ostatní věci zmiňuji na odkazované stránce. Jinak zrovna DRBD interně používá právě heartbeat. Pokud jde o mne, tak Pacemaker s corosyncem funguje velmi pěkně. Mám ho použitý na dvou asymetrických clusterech. Jeden má 5 nodů (mix Intel & AMD) a druhý 3 (mix architektury i386 a amd64).

[Gilhad]

Přidal jsem novou dedikovanou síťovku do každého stroje, zahodil stará pravidla a napsal nová, jednodušší a přehlednější a problémy nějak vymizely :)