Dotaz: Bonding

[bigBRAMBOR]

Ahoj, nemáte někdo praktické zkušenosti s bondingem? Hlavně co se týká módů 4,5,6. Mód 4 se provozuje proti switchi s podporou 802.3ad, znamená to, jak předpokládám že oba dva kabely musí být zapojené do stejného switche, jak je to ale s rychlostí, apod? A co módy 5 a 6, u módu 6 se píše pouze o podpoře IPv4, jak se potom pracuje s IPv6? Nejde vůbec, nebo jede přes jednu síťovku? Mód 5 zase pouze vysílá přes dvě síťovky, ale poslouchá pouze na jedné, oba dva módy, 5 i 6 mi připadají takové zpatlané, jak je to s rychlostí a spolehlivostí? Máte někdo tyto zkušenosti?

děkuji

Odpovědi

[Ivan]

Precti si neco o Etherchannel a LACP.

[bigBRAMBOR]

tam se dočtu o praktických zkušenostech lidi z abclinuxu?

[Ivan]

Ok, prakticka zkusenost je takova, ze pokud tomu opravdu nerozumis a pokud nemas koupeno 2x Cisco 6500 tak to v produkcnim provozu udela vic skody nez uzitku(opravdu je potreba znat nejakou teorii - nejen Linuxovou ale i Cisco). Bud si stim hrajou lidi, kteri chteji hyper-super HA reseni, ale nemaji na to penize anebo se to pouziva az v opravdu hodne velkych instalacich.

Problemy zpusobuji zmeny v ARP tabulce na switchich. A taky to, ze lepsi sitovky maji TCP offload engine.

Je potreba se zamyslet jestli chces vysoky performance - opravdu je ti jeden 1Gbit nestaci na fileserver? Anebo jestli chces vysokou dostupnost? Tak jako tak potrebujes spolupraci switchu.

[JiriHorky]

Tomu rikam pekna sbirka nepresnosti. Bonding pres LACP (mode 4) active-active provozujeme produkcne jiz nekolik oproti ruznym druhum switchu ruznych vyrobcu. Provozujeme take active-passive reseni, kde neni nutna podpora na switchich (zapojeni do dvou ruznych switchu). Z mych zkusenosti je pouziti LACPu nejvykonejsi, pouzivame parametry BONDING_OPTS="mode=802.3ad miimon=100 xmit_hash_policy=layer3+4", tj. jedna connection jde vzdy po jednom dratu, TCP offload engine by tedy mel byt v pohode. Je to ale spravna pripominka, pri jinych typech to muze ve skutecnosti uskodit. Mame takto zteamovano jak 1Gbit rozhrani, tak napriklad i 4x10Gbit mezi switchi. V jednodusich nastavenich se zapojuji 2 a vice kabelu do jednoho switche, pro nej je to virtualni interface, problemy s ucenim MAC (v MAC tabulce nikoliv ARP tabulce) tedy nema. Pri pouziti chytrejsich switchu, typicky Nexus rady 5000 a vys, ale beha to i na IBM G8124 switchich lze delat active-actve LACP pres dva switche, tj. docilit jak zvyseni propustnosti, tak dostupnost. Vyzaduje si to ale specialni spojeni techto switchu. U Nexusu tomu rikaji VPC (virtual PortChannel). Toto zapojeni take bez problemu provozujeme. Existuji i typy bondingu, ktere podporu switchu nepotrebuji, tam se jiz opravdu musi zonglovat s MAC adresy a napr. jinak odpovidat na ARP dotazy. S tim prilis velkou zkusenost nemam, AFAIK se to i defaultne ale pouziva pri NIC teamingu ve vmwaru esxi 5, coz ale pak koliduje s pouzitim bridgu ve virtualnich masinach. Souhlasim ale s tim, ze neco si o tom nacist neni spatne. Kazdopadne bych se toho nebal.

Cele je to pekne popsane v /usr/src/linux/Documentation/networking/bonding.txt (ve zdrojacich kernelu).

[Ivan]

Jo mas pravdu - uz je to dlouho co jsem to delal. Chtel jsem napsat ze, takova vec se neda provozovat na HW za par korun a bez znalosti teorie. Navic maji Linux, Cisco a IBM(AIX) trosku odlisnou terminologii.

Napr. u active-pasive pri manualnim failoveru cilovy server vysle gratuitous ARP do site aby aktualizoval MAC tabulky. Kdyz to ale switch filtruje, tak failover trva dlouho. Pokud se to zkombinuje s 802.q tak je potreba poslat ARP do kazde VLANy, coz treba AIX neumi.

[bigBRAMBOR]

diky za info, ja uz jsem si to celkem nastudoval, jde mi hlavne o to jak se chovaji mody 5 a 6, protoze mi pripadaji takove zpytlikovane. Modu 4 bych se celkem nebal, prece jenom je to standard.

[bigBRAMBOR]

komentuju vlastni stary dotaz, ale kdyby to nekdo hledal, je zde jedna chybka, layer3+4 (xmit_hash_policy=1) podle dokumentace neni kompatibilni s modem 4, tedy 802.3ad. Je tedy nutno použít xmit 0 nebo 2, a nebo použit xmit 1, ale s jinym modem nez je mod 4 (802.3ad). Doplnuju kdyby to nekdy nekdo hledal.

[Michal Kubeček]

Podle jaké dokumentace? V té linuxové je jen zmínka, že layer3+4 není 100% kompatibilní, protože může za určitých (nepříliš pravděpodobných) okolností posílat pakety z jednoho spojení přes různé cesty, což by mohlo některým protistranám vadit. Ale rozhodně to neznamená, že tato kombinace není možná.

[bigBRAMBOR]

podle dokumentace k RHEL 6, asi jsem nikdy nezminil ze to delam na nem, moje chyba.

[hermelin]

Uz jsme neco podobneho resili tady.

Nakonec se mi povedlo rozfungovat to spolehlive se dvema switchema Netgear GS724TS ve stacku s integrovanym failover pri vypadku jednoho switche. Pouzivam LACP a jednotlive propoje bondu mam zapojene cik-cak skrze oba switche. Mam tak redundatni sitovou infrastrukturu za 18tis .

[ivan]

Muzu se zeptat jak funguje to stackovani? Opravdu kdyz jeden(hlavni) switch vypadne, tak ten druhy dal funguje?

[Punny]

nevim jiste zda u vsech znacek, ale u cisco a dell by mel prevzit roli.

[hermelin]

Ahoj

Opravdu to funguje u tohoto levneho Netgearu tak ze pokud lehne jeden switch tak prebere funkci ten druhy. A to vcetne aktualni konfigurace takze opravdu stale funguje jako pred vypadkem prvniho switche. Je to v radu par sekund - cca 2-5 vterin. Kdyz jsou ve stacku vic jak 2 switche tak "pouze" dva si tyto funkce predavaji. Jeden je master a druhy secondary master. Vse si mezi sebou synchronizuji. Jsou propojene HDMI kabely (ja je mam dokonce propojene 2x HDMI do ringu

Vice ke switchi je zde. A tady je primo PDF manual kde v sekci "Stacking" je tato funkce popsana.

[bigBRAMBOR]

diky, juknu na to co jste probitli predtim