Dotaz: Bonding a rozlozeni mezi dva switche

[hermelin]

Zdravim

Pokousim se rozjet bonding s rozlozenim mezi dva switche a stava se ze pri obycejnem pingu dochazi cca 5-10% ztrate paketu.

V bondu sou 3 sitove karty, balance-rr a dva kabely vedou do jednoho switche a jeden do druheho.

Pokud vse hodim na jeden switch je po ztratovosti paketu. Switche jsou samostatne (nestackovane)

V cem by mohl byt problem ?

Diky za pomoc

Odpovědi

[VSi]

Pro korektní funkci módu balance-rr musí být splněna řada předpokladů, reálně se dá dobře použít tak na přímé propojení 2 strojů bez switchů. Jinak může náhodně docházet k těžko odhalitelným problémům z toho, že L2 frames budou chodit ve špatném pořadí.

Pro rozložení mezi 2 switche se dá použít mód balance-alb. Nebo pokud není třeba rozkládání a stačí failover, tak active-backup.

Měl jsem v provozu balance-alb nad dvěma HP2510G switchi, a fungovalo to na první pohled dost dobře. Zřejmě ale měly tyhle switche s balance-alb problém, protože docházelo k tomu, že část provozu v náhodných časových intervalech tekla i na porty, kde neměla co dělat - třeba na i aktivní porty bez MAC adresy (sekundární porty z active-backup bondů). A co hůř, když byly takhle připojené 2 servery, docházelo v těch náhodných časových intervalech k příchodu duplicitních paketů (ping vracel hromady DUP odpovědí), protože část provozu nesmyslně posílaly do serveru oba switche zároveň, i když to podle MAC tabulky nedávalo smysl - na každém portu byla v MAC tabulce právě jedna MAC adresa příslušné karty. Zajímalo by mě, jestli se s něčím podobným někdo setkal. Já už neměl čas to řešit, tak jsem se na rozkládání provozu přes 2 switche vykašlal, ale hodilo by se mi to zprovoznit. Nevím, jestli to není obecný problém, abych do toho neinvestoval čas a neotravoval HP support zbytečně.

[hermelin]

Ja to zkousim pres 2xNETGEAR GS724TS a chova se to jak jsem popsal. Vyzkousim jeste zmenu na balance-alb. Pripadne se nechaji tyto switche stockovat (s tim ze umi poznat pokud umre master switch tak praci prevezme ten druhy), ale chtel jsem je uplne fyzicky oddelit. Rad bych aby byly vsechny linky active (zadna aby se neflakala v backup modu). Ale trosku me to zarazilo protoze kazdej obrazek redundantni site tohle zapojeni obsahuje, ale to bude asi taky o jinych komponentech a penezich aby to fungovalo 100% .

[Michal Kubeček]

Obrázek vám neřekne, jestli je to opravdu balance-rr, také tím klidně můžou myslet 802.3ad.

[hermelin]

Coz tomu rozumim ze obrazek nerekne vse a prave proto me to nyni zajima po te technicke casti.

Pokud je mysleno 802.3ad tak to stejne funguje pouze v ramci jednoho switche ne ? (pokud tedy neexistuje nejaky inter link)

[VSi]

Základní stacking tomuhle podle mě vůbec nepomůže. Ty "klasické obrázky" tohle většinou obsahují, ale i u propojení samotných switchů jsou v zásadě 2 možnosti - STP / MSTP - a to neřeší rozkládání zátěže přes více linek, maximálně na úrovni různých STP topologií pro různé VLAN. Na rozkládání je třeba něco jako Cisco vPC (Virtual Port-Channel), nebo Split Multi-Link Trunking, což bývá až u lepších krabic.

Pro případ serveru je tam řada dalších problémů, zejména s rozkládáním příchozího provozu. Bez spolupráce ze strany switche to lze dělat na jen na základě MAC adres, takže pokud např. server na L2 komunikuje převážně s jediným routerem, příchozí provoz se nerozkládá. Pro 1 switch to řeší 802.3ad, ale i tam záleží na konkrétní implementaci. Jeden tok (flow) by se neměl rozkládat přes 2 rozhraní kvůli dodržení pořadí frames, a záleží na implementaci kvalifikace toků.

[hermelin]

jsem myslel ze to bude primitvni zalezitost a koukam ze neni - mno aspon je zase co zkouset

mam strach ze jestli se mi povede nejak uchodit bond pres tyhle dva switche tak ztroskotam na NIC Teamingu od Intelu co jsou ve Win serverech ktere jsem tam chtel take pridat

[Michal Kubeček]

Asi by to chtělo víc informací - jak přesně vypadá ta konfigurace (/proc/net/bonding/bond0), odkud kam ten ping vlastně zkoušíte (a topologie na druhé straně), jestli se ztrácí echo nebo reply a kde atd.

[hermelin]

/proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)                    
                                                                                
Bonding Mode: load balancing (round-robin)                                      
MII Status: up                                                                  
MII Polling Interval (ms): 100                                                  
Up Delay (ms): 0                                                                
Down Delay (ms): 0                                                              
                                                                                
Slave Interface: eth0                                                           
MII Status: up                                                                  
Speed: 1000 Mbps                                                                
Duplex: full                                                                    
Link Failure Count: 0                                                          
Permanent HW addr: 00:...                                            
Slave queue ID: 0                                                               
                                                                                
Slave Interface: eth1                                                           
MII Status: up                                                                  
Speed: 1000 Mbps                                                                
Duplex: full                                                                    
Link Failure Count: 0                                                           
Permanent HW addr: 00:...
Slave queue ID: 0
                                    
Slave Interface: eth3                                                           
MII Status: up                                                                  
Speed: 1000 Mbps                                                                
Duplex: full                                                                    
Link Failure Count: 0                                                           
Permanent HW addr: 00:...
Slave queue ID: 0

ping jde ze stroje pripojeny UTP kabelem do nadrazeneho switche, zkousel jsem i z internetu

[Ivan]

Kdysi jsem s tim mel co docineni a co tohle jsem vykoumal:

• Mezi switchi misi probihat nejaka komunikace(synchronizace). Tuhle vlastnost podporuje Cisco 6500 a vejs. Na levnejsich Cisco krabich to nejde
• Active-Active bonding(etherchannel) funguje jen kdyz AIX advertisuje pres LACP a Cisco to potvrzuje
• Sitove karty maji TCP offload engine a je dulezite aby packety z jednoho TCP streamu padaly porad na to samou sitovku. To se da ovlivnit volbou hash algoritmu v LACP
• bez LACP asi budes mit porad bordel v ARP tabulkach a obou switchich
• Na Linuxu jsem to jeste nezkousel

[hermelin]

Koukam abych mel alespon minimalni sanci na uspech tak potrebuju "nadobicko" z uplne jine cenove katerie. Vyzkousim balancer-alb pripadne je dat je do stacku (a testnu jestli se neco zlepsi). Podporu LACP maji ty switche taky ale jeho konfiguracnich moznosti pramalo.

Pokud se nekdo chce mrknout co je to za low end tak tady je http://www.downloads.netgear.com/files/GS700TS_UM_12Jun09.pdf

[Ivan]

Jo s tim stackovanim by to melo chodit a i levnejsich modelech jako je 3750.

[kyytaM]

jj a tiez blade access sw ako 3120 napr

[Stanislav Petr]

To co delas je bez aktivni spoluprace tech switchu z principu nesmysl. Asi nejlevnejsi switche co tohle budou umet jsou podle me Juniper EX4200 zapojene do virtual-chasis. Na tom linuxu pak pro lepsi rizeni doporucuju pouzit LACP (dynamicka agregace portu). Viz: http://www.juniper.net/us/en/products-services/switching/ex-series/ex4200/. Pokud by js shanel dodavatele tady v CR, tak doporucuju ComSource.

[jurasek]

Existuji switche od HP 1910-24G ktere podporuji "stacking" ktery se u HP nazyva IRF a podporuji i LACP, takze na nich lze vami zamyslene reseni provozovat. Cena kolem 6000 za kus.

Coz je oproti keczum o 6500 od cisca znacna uspora :o)

jurasek

[Program]

Potvrzuji. Přesně tohle umí IRF od H3C (HP). Nic méně ten LACP režim se mi moc nelíbí. Ono to funguje, ale potřebuje to správně nakonfigurovaný OS. No a když už to jednou funguje, tak se to někdy nedegraduje zpět, pokud to fungovat přestane (např. restart OS).

[hermelin]

Ja tedy nevim jestli si rozumime ale podle manualu k temhle switchum tu postradam nejakou redundaci na urovni dvou switchu. Jeden je natvrdo master a dalsi slave. A kdyz umre master (a pripadne opet naskoci) tak se stane co ? Vyhodou tehle switchu je ze asi umi LACP (pomoci nejake propertialni featury) pres vice switchu ale ve stacku redundanci nemaji. Nebo umi tyto typy pokud umre master switch aby fungovaly slave switche dal a komunikovat mezi sebou ?

[hermelin]

Tak posilam vysledky dnesniho experimentovani.

Switche jsem zapojil do stacku (zapojeni do ring) a otestoval jak se chovaji pri vypadku jednoho z nich. V pripade vypadku prebere funkci master switche druhy switch zcela bez problemu behem nekolika vterin. A pripojeni bondu skrze stack funguje uplne bez problemu s nastavenym balance-rr jako kdyby se jednalo o switch jeden. Pokud jeden switch spadne bond udrzi pripojeni na zbyvajicich NIC. Ted jeste musim donastavit LACP pro uplink a myslim si ze mam levnou alternativu k sofistikovanym resenim od CISCO apod.

Uvidime jeste jak se to bude chovat v nejake vetsi osazenosti a zatezi.

Diky moc vsem za info a podeleni se o cenne zkusenosti.