Dotaz: Bonding - pre kazdu VLAN-u iny master interface

[GeorgeWH]

Zdravim,

da sa v linuxe nastavit siet podobne ako v ESX serveri?

Mam server so 4 sietovkami, vsetky pripojene do switcha (alebo switchov?), ktore by tvorili (jeden?) bonding. Dalej mam niekolko VLAN (do ktorych budu pridelene jednotlive VM), a kazdej VLAN-e chcem nastavit iny master interface a poradie pouzitia slave interfacov, napr.:

VLAN-10 - master: eth0; slaves: eth1, eth2, eth3

VLAN-11 - master: eth1; slaves: eth2, eth4, eth3

VLAN-12 - master: eth2; slaves: eth0, eth3, eth1

...

Pozeral som na openvswitch, ale tam som to zatial nenasiel a do gugla neviem sformulovat spravny vyraz.

Vdaka.

Odpovědi

[Michal Kubeček]

Především máte trochu zmatek v terminologii: master je ten bond device, slaves jednotlivá zařízení v něm. Dále nepíšete, jaký typ bondingu vlastně chcete; tipoval bych, že active-backup, protože tam jedině má smysl rozlišovat pořadí (nebo aspoň primary slave).

Technicky by se to, o co se snažíte, dalo docílit tak, že si vytvoříte vlan device nad jednotlivými eth* a ty pak dáte do bondu, tj. opak toho, co se používá normálně. Mohlo by to vypadat nějak takhle (píšu to z hlavy, takže jsou tam určitě chyby):

ip link add eth0.10 link eth0 type vlan id 10
ip link add eth1.10 link eth1 type vlan id 10
ip link add eth2.10 link eth2 type vlan id 10
ip link add eth3.10 link eth3 type vlan id 10
ip link add bond10 type bond mode active-backup miimon 100
ip link set eth0.10 master bond10
ip link set bond10 primary eth0.10 primary_reselect always
ip link set eth1.10 master bond10
ip link set eth2.10 master bond10
ip link set eth3.10 master bond10

Ale nejspíš to stejně nebude ono, protože se ty pakety stejně budou muset zpradovávat na všech eth*. Pokud chcete nějak rozumně rozkládat zátěž, potřebujete spíš LACP.

[GeorgeWH]

Především máte trochu zmatek v terminologii: master je ten bond device, slaves jednotlivá zařízení v něm.

Ano, miesto master/slave malo byt active/backup, ale ja som to myslel nie v terminologii ip, ale skor z logickeho pohladu.

Dále nepíšete, jaký typ bondingu vlastně chcete; tipoval bych, že active-backup, protože tam jedině má smysl rozlišovat pořadí (nebo aspoň primary slave).

Ano, pretoze rovnak ako vid vyssie. Ale islo by pravdepodobne o active-backup "verziu".

Technicky by se to, o co se snažíte, dalo docílit tak, že si vytvoříte vlan device nad jednotlivými eth* a ty pak dáte do bondu, tj. opak toho, co se používá normálně. Mohlo by to vypadat nějak takhle (píšu to z hlavy, takže jsou tam určitě chyby):

To vyzera celkom ok, a ked by to fungovalo, tak by mi to aj stacilo. To definovanie poradia backup-ov nie je az take dolezite. A teda otazka - ak by v tomto pripade vypadol active interface, tak cez ktore interfaci by potom tiekli data?

Ale nejspíš to stejně nebude ono, protože se ty pakety stejně budou muset zpradovávat na všech eth*.

Tomuto nerozumiem.

Pokud chcete nějak rozumně rozkládat zátěž, potřebujete spíš LACP.

Ide mi v podstate o dosiahnutie 2 veci:

- aby mi trafik v jedne VLAN-e nezabil trafik v druhej VLAN-e (napr. zalohovanie). Preto by kazda VLAN-a (alebo VLAN-y s malym trafikom) mala vlastny activny interface

- failover

O agregaciu rychlosti mi ani velmi nejde.

[X]

Nebylo by praktictejsi udelat agregaci, aby se zatez rozkladala rovnomerne a bez rozdilu nad vsemi rozhranimi?

[GeorgeWH]

No ale to neriesi ten prvy bod, ked mi "nieco" zabije celu linku. Ja chcem praveze opak - "garantovat" priepustnost (a dostupnost).

[X]

Pokud to dokaze vyzerat vsechny rozhrani tak tomu ani VLAN nezabrani. Bud nechej vyhrazenou linku pro zalohovani, nebo to omez pres "trafic shaping". VLAN ani bond, nebo agregace neslouzi k regulovani provozu..

[Michal Kubeček]

A teda otazka - ak by v tomto pripade vypadol active interface, tak cez ktore interfaci by potom tiekli data?

Když má bond nastavený primary slave, tak je přednostně active ten, který je primary. Pokud navíc nastavíte primary_reselect na always, tak se i po případném výpadku přepne zase zpátky na něj, jakmile je zase "up".

Ale nejspíš to stejně nebude ono, protože se ty pakety stejně budou muset zpradovávat na všech eth*.

Tomuto nerozumiem.

Aby to mohlo fungovat tak, jak si představujete, každá z těch síťových karet bude muset stejně mít MAC adresy všech bond zařízení ve svém unicast listu a všechny VLAN id ve svém filtru. Takže ve výsledku každá z těch karet přijme všechny pakety a filtrovat se to bude až softwarově. Pokud by vám tedy opravdu něco vytížilo kapacitu toho ethernetu příchozím provozem, tak vám to stejně "ucpe" všechny.

[GeorgeWH]

Pokud chcete nějak rozumně rozkládat zátěž, potřebujete spíš LACP.

Pokial viem, tak v pripade LACP musi byt server pripojeny do jedneho switcha. A treda opat neviem vyuzit to, ze by som ho pripojil do viacerych a tym este viac zvysil failover.

[MP]

Existuji stack switche.

[MP]

Nebo pouzit RSTP.

[j]

Chjo ... mas v tom fakt poradnej hokej.

Jak ti tu uz bylo receno ani bond ani vlan ti nijak neumoznuje omezovat co kudy potece. Vlany ve skutecnosti existujou nad tim bondem a o tom ze tam je vic fyzickych rozhrani nemaji paru.

Pokud chces neco pripojit do vice switchu, tak potrebujes, aby to umely ty switche. V pripade cisco se to jmenuje vPC (a pokud vim, tak ty co to umej nestojej pod 6 cifer). Aby to fungovalo, musej na sebe ty switche videt na na urovni IP (L3). Pak to funguje tak, ze na protistrane (jedno jestli PC nebo jinej switch) staci nastavit standardni L2 bond/etherchannel/... a chova se to zaroven jako slouceni kanalu a zaroven jako backup pro pripad, ze by jeden z tech switchu chcipnul.

Pokud to switche neumi (pripadne neni nakonfigurovano), tak se detekuje loop a nadbytecny kabely se proste odpojej.

Jinak je treba podotknout ze mnozi vyrobci mnoheho HW a SW nemaji potuchy ze neco takovyho existuje, resi si backup po vlastni ose, a pokud to zapojis vyse uvedenym postupem, budou ti nadavat, ze neexistuje alternativni cesta. Typicky trebas EMC (DELL).

---

Dete s tim guuglem dopice!

[Michal Kubeček]

Vlany ve skutecnosti existujou nad tim bondem a o tom ze tam je vic fyzickych rozhrani nemaji paru.

To je sice obvyklá konfigurace, ale není to nutné; může to fungovat i obráceně. (Ale jak jsem se snažil tazateli vysvětlit, stejně se to nebude chovat tak, jak by si představoval.)

[GeorgeWH]

Neboj sa, nemam v tom ziadny hokej.

Jak ti tu uz bylo receno ani bond ani vlan ti nijak neumoznuje omezovat co kudy potece.

Tak to chod vysvetlit do vmware-u, ze im to takto na ich vSwitch-och nemoze fungovat. BTW a linuxovy bonding v mode active-backup funguje ako?

No a kedze to vo vmware funguje, tak som hladal moznu alternativu pre linux.

Pokud chces neco pripojit do vice switchu, tak potrebujes, aby to umely ty switche.

Tak to chod opat vysvetlovat do vmware, ze im to nemoze fungovat bez akejkolvek konfiguracie switchu/switchov. A nie som si isty, ale myslim, ze ani linuxovy bonding s tym nema problem (uz som s tym dlho nerobil).

Ja nepotrebujem ziadne overkill riesenie za tisicky eur. Len hladam jednoduche riesenie, s ktorym vyuzijem potencial hw, ktory mam k dispozicii.

[Peter Golis]

No a kedze to vo vmware funguje, tak som hladal moznu alternativu pre linux.

Niečo mi ale hovorí, že VMware použilo linuxové jadro posledne vo verzii 3.5, a sieťovú vrstvu má tým pádom v súčasnej dobe o dosť inú od Linuxu. Menvite ma inak riešený promiskuitný mód na sieťovkách, a to aj kvôli Metro Clusteru a podobným buzzwordom.