Dotaz: Linux Bond0

[tuckin]

Dobry den,

v linuxe (CENTOS) som vytvoril interface bond0 (eth2, eth3) mode 4 (IEEE 802.3ad).
Na interface bond0 som vytvoril VLAN254 s rozahom 192.168.254.0/24.
Interface bond0 je bez IP adresy.
Eth1 je klasicka LANka, Bond0 je prepojeny do switchu kde je nastavene LACP.

Vsimol som si problem, ze MAC adresa pocitaca z LANky figuruje na dvoch interfejsoch.

192.168.1.14             ether   40:8d:5c:fc:30:e6   C                     bond0
192.168.1.14             ether   40:8d:5c:fc:30:e6   C                     eth1

Neviem ci je to uplne OK.

cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 10
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
        Aggregator ID: 5
        Number of ports: 2
        Actor Key: 9
        Partner Key: 1000
        Partner Mac Address: 00:5f:86:e4:0a:14

Slave Interface: eth2
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:7d:e8:8f
Aggregator ID: 5
Slave queue ID: 0

Slave Interface: eth3
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:7d:e8:8e
Aggregator ID: 5
Slave queue ID: 0


bond0     Link encap:Ethernet  HWaddr 00:15:17:7D:E8:8F
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:552823439 errors:0 dropped:0 overruns:0 frame:0
          TX packets:123809521 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:821231083509 (764.8 GiB)  TX bytes:22829441087 (21.2 GiB)

eth1      Link encap:Ethernet  HWaddr 00:26:55:AE:57:9E
          inet addr:192.168.1.123  Bcast:192.168.1.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:394540353 errors:0 dropped:0 overruns:0 frame:0
          TX packets:194928527 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:499140244544 (464.8 GiB)  TX bytes:112593723919 (104.8 GiB)
          Interrupt:16

eth2      Link encap:Ethernet  HWaddr 00:15:17:7D:E8:8F
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:543917946 errors:0 dropped:0 overruns:0 frame:0
          TX packets:123231986 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:811340263267 (755.6 GiB)  TX bytes:22676995164 (21.1 GiB)
          Interrupt:17 Memory:fcee0000-fcf00000

eth3      Link encap:Ethernet  HWaddr 00:15:17:7D:E8:8F
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:8905495 errors:0 dropped:0 overruns:0 frame:0
          TX packets:577539 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:9890820498 (9.2 GiB)  TX bytes:152446435 (145.3 MiB)
          Interrupt:16 Memory:fce80000-fcea0000

vlan254   Link encap:Ethernet  HWaddr 00:15:17:7D:E8:8F
          inet addr:192.168.254.1  Bcast:192.168.254.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1077 errors:0 dropped:0 overruns:0 frame:0
          TX packets:831 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:86292 (84.2 KiB)  TX bytes:88522 (86.4 KiB)

Odpovědi

[romanK]

Ano to je v poriadku.

[tuckin]

problem je, ze klienti na LANke sa stazuju na problem so surfovanim na nete... vsimol som si, ze dake packety
vypadavaju pri internetovych adresach. Lokalne ide vsetko bez stratovosti.
Po vypnuti interfejsu bond0 ide vsetko ako ma... aj stratovost sa stratila.

Inak nechapem ako je mozne, ze MAC adresa stroja z eth1 je vidiet aj na bond0, ktora je vytvorena z eth2, eth3.
Dakujem

[erotel]

Bond jsem taky provozoval na IGW,ale problémů s tím bylo tolik,že jsem raději dal 10Gbit síťovku.Možná ty moje problémy byly způsobeny switchem.

[Michal Kubeček]

Ono by to především chtělo trochu přesněji popsat ten problém. Třeba přidat i výpis "ip -d link show", "ip addr show" a říct, kam jsou připojené eth1, eth2 a eth3 (budu hádat: všechny tři do stejného segmentu?). A v neposlední řadě napsat, jakého příkazu jsou výstup ty dva řádky a kde jste ho spustil.

[erotel]

On používá bond na zvýšení propustnosti,taky jsem to měl.Je to bond mode 4,kdy by měl teoreticky rozložit zátěž na obě linky.Záleží taky jak má nastavenou protistranu.Já používal dělelení zátěže,kdy se rozloží zátěž do obou interfaců a spojení jdou stejným interfacem podle zdrojové a cílové ip adresy.Fungovalo to celkem dobře,bohužel se později začal vyskytovat záhadný packet loss stejně jak píše tazatel.Tak jsem se na to vybodl a koupil rovnou 10Gbit síťovku a switch.

[ET]

vypada, ze to moc nebalancuje :

* eth2 - RX (755.6 GiB), TX (21.1 GiB)

* eth3 - RX (9.2 GiB), TX (145.3 MiB)

mozna zkusit jinou politiku (nejakou tu L3), ale kdyz pises ze se to pak stejne po...

[bigBRAMBOR]

mel jsem bond na mode 4, a chovalo se to stejne, balance tam moc nebyl, kdyz jsem ale jeden kabel vyrval, fungovalo to po par packet lostech dal. Ted jsem se dival na switch a na centos 7, kde je misto bond team a vypada to, ze balance to tam rozklada daleko lepe, na jednom dratu je jenom 2x tolik co na druhem. I kdyz teda LACP mezi dvema switchema ma rozlozeni zateze temer stejné, takze tam to funguje jeste lépe.

[Ivan2]

To rozlozeni hodle zalezi na poctu TCP spojeni, ktere jdou na server. Pokud se pro hashing pouziji IP adresy.

[aaa]

Kdyz tam mas lacp je potreba prenastavit to hash policy na layer3+4 jinak se to balancuje jenom na zaklade mac adres.

[tuckin]

Zdravim,
Nizsie posielam pozadovane vystupy.

ip -d link show
1: eth3: mtu 1500 qdisc pfifo_fast master bond0 state UP qlen 1000
    link/ether 00:15:17:7d:e8:8f brd ff:ff:ff:ff:ff:ff promiscuity 0
2: eth2: mtu 1500 qdisc pfifo_fast master bond0 state UP qlen 1000
    link/ether 00:15:17:7d:e8:8f brd ff:ff:ff:ff:ff:ff promiscuity 0
3: eth1: mtu 1500 qdisc htb state UP qlen 1000
    link/ether 00:26:55:ae:57:9e brd ff:ff:ff:ff:ff:ff promiscuity 0
4: eth0: mtu 1500 qdisc htb state UP qlen 1000
    link/ether 00:26:55:ae:57:9d brd ff:ff:ff:ff:ff:ff promiscuity 0
5: bond0: mtu 1500 qdisc noqueue state UP
    link/ether 00:15:17:7d:e8:8f brd ff:ff:ff:ff:ff:ff promiscuity 0
    bond
6: vlan10@eth1: mtu 1500 qdisc noqueue state UP
    link/ether 00:26:55:ae:57:9e brd ff:ff:ff:ff:ff:ff promiscuity 0
    vlan id 10 'REORDER_HDR'
7: vlan80@eth1: mtu 1500 qdisc noqueue state UP
    link/ether 00:26:55:ae:57:9e brd ff:ff:ff:ff:ff:ff promiscuity 0
    vlan id 80 'REORDER_HDR'
8: vlan254@bond0: mtu 1500 qdisc noqueue state UP
    link/ether 00:15:17:7d:e8:8f brd ff:ff:ff:ff:ff:ff promiscuity 0
    vlan id 254 'REORDER_HDR'


 ip addr show
1: eth3: mtu 1500 qdisc pfifo_fast master bond0 state UP qlen 1000
    link/ether 00:15:17:7d:e8:8f brd ff:ff:ff:ff:ff:ff
2: eth2: mtu 1500 qdisc pfifo_fast master bond0 state UP qlen 1000
    link/ether 00:15:17:7d:e8:8f brd ff:ff:ff:ff:ff:ff
3: eth1: mtu 1500 qdisc htb state UP qlen 1000
    link/ether 00:26:55:ae:57:9e brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.123/24 brd 192.168.1.255 scope global eth1
4: eth0: mtu 1500 qdisc htb state UP qlen 1000
    link/ether 00:26:55:ae:57:9d brd ff:ff:ff:ff:ff:ff
5: bond0: mtu 1500 qdisc noqueue state UP
    link/ether 00:15:17:7d:e8:8f brd ff:ff:ff:ff:ff:ff
6: vlan10@eth1: mtu 1500 qdisc noqueue state UP
    link/ether 00:26:55:ae:57:9e brd ff:ff:ff:ff:ff:ff
    inet 192.168.10.1/24 brd 192.168.10.255 scope global vlan10
7: vlan80@eth1: mtu 1500 qdisc noqueue state UP
    link/ether 00:26:55:ae:57:9e brd ff:ff:ff:ff:ff:ff
    inet 192.168.80.1/24 brd 192.168.80.255 scope global vlan80
8: vlan254@bond0: mtu 1500 qdisc noqueue state UP
    link/ether 00:15:17:7d:e8:8f brd ff:ff:ff:ff:ff:ff
    inet 192.168.254.1/24 brd 192.168.254.255 scope global vlan254

Eth0 - router
Eht1,Eth2,Eth3 - switch
Na switchi je nastavene:
Eth1 - mod trunk native vlan 1, tagovane vlany 10,80
Eth2-Eth3 - portchannel mod auto (LACP) - mod trunk - native vlan 80, tagged vlan 254
Neviem ci to bude postacujuce.

[Michal Kubeček]

To by mělo být v pořádku, ale nevysvětluje to, kde se vzala ta neighbor položka na bond0. Nejsou ty vlany někde probridgované?

[zigi]

Proc mate nativni vlan 80 na bond0 a zaroven tam mate i vlan80 interface na na eth1? Nejsou ty vlany 1 a 80 nekde propojeny - jiny stroj, switch?

[Michal Kubeček]

Když už se ptát tímto směrem, tak už se spíš nabízí otázka, proč vůbec připojovat další kartu do stejného fyzického segmentu, kam už je tak jako tak připojený ten bond.

[MP]

Z toho vypisu to vypada vse ok. Ta ztratovost bude souviset urcite s tim, ze pakety co maji jit na eth1 jdou na bond0 (viz ta shodna mac na eth1&bond0) a tam jiz ten subnet .1. neexistuje.

Nejaky forwarding?

Nekde visi v arp tabulce byvala MAC?

Nejaky stroj si opakovane alokuje IP addr, i kdyz ji jiz nema mit?

[dan]

nemozes mat problem s mtu? vlan potrebuje +4B cize 1504, zvladaju tie fyzicke interface viac ako 1500? lebo tolko vidim ze je nastavene v tych vypisoch