Dotaz: Propojení dvou serverů 1GbE + 10GbE

[Zdeněk Zámečník]

Řeším zapeklitý problém. Mám dva servery, které mám napřímo propojené 10Gbitovými síťovkami se dvěma porty, které mám v bondu. Dále jsou oba servery vybaveny dvěmi Gigabitovými síťovkami, které jsou opět v bondu připojené do switche pro komunikaci se zbytkem sítě. Vypadá to tedy nějak takto:

 
                               ____________________
                              | SERVER PLUTO       |
                              | bond0 (2x 1Gbit)   |
___________________           |___|________________|     ____________________
| SERVER JUPITER   |      ________|______               | SERVER MARS        |
|                  |     | SWITCH 1Gbit  |              |                    |
| bond0 (2x 1Gbit)-------|_______________|---------------(2x 1Gbit) bond1    |
|                  |                                    |                    |
| bond1 (2x 10Gbit)--------------------------------------(2x 10Gbit) bond1   |
|__________________|                                    |____________________|

V současné době to vypadá tak, že servery Jupiter a Mars mezi sebou mohou komunikovat přes vyhrazené IP adresy na bond1. Se zbytkem sítě, např. serverem Pluto, ale musejí zvolit cestu po bond0, kde logicky musí být jiný adresní rozsah. A to je kámen úrazu. Potřeboval bych nějakým způsobem zařídit, aby oba servery měly jeden interface s jednou IP, kterým by komunikovaly jak mezi sebou tak s okolím.

Napadly mne tři možnosti:

1. Vytvořit na obou serverech třetí bond nad bond0 a bond1. Jak ale zařídit, aby se preferoval 10Gbit? Asi těžko... Tohle řešení by stejně ani nefungovalo, když tak přemýšlím nad principem bondingu.
2. Vytvořit na obou serverech bridge o do něj dát bond0 a bond1. Opět se ale nabízí otázka, jak zařídit preferenci 10Gbitové cesty? RSTP jsem mockrát nevyužil, ale mám zkušenost, že to nějakou chvíli trvá (10-15s?), než zareaguje, což mi situaci ještě více komplikuje.
3. Koupit 10Gbit switch - příliš nákladná záležitost.

Napadá někoho funkční řešení?

---

---

Odpovědi

[Zdeněk Zámečník]

Jen tak rychlý nápad bez velkého přemýšlení: co prostě na obou rozhraních nastavit stejné adresy, ale na bond1 bez rozsahu a s explicitní položkou do směrovací tabulky pro druhou adresu? Tj. např.

  ip addr add 10.0.0.11/24 brd + dev bond0
  ip addr add 10.0.0.11 dev bond1
  ip route add 10.0.0.22 dev bond1

(a na druhém stroji naopak).

[GeorgeWH]

a takto?:

- na bond1 nastavit len ip z rozsahu aky je na bond0

ip addr add 10.0.0.11(10.0.0.12) dev bond1

- ip adresu bond1 druheho severa routovat cez bond1

ip route add 10.0.0.12(10.0.0.11) dev bond1

- v aplikaciach, ktore potrebuju ist cez 10Gb pouzivat ip bond1

tu ale predpokladam, ze ak ako dst ip pouzijem ip bond1 druheho server, tak sa automaticky pouzije ako src adresa bond1. alebo sa mylim?

[Michal Kubeček]

Tazatel chtěl používat jen jednu adresu na každé straně jak pro komunikaci mezi servery, tak pro komunikaci se zbytkem světa. Tak jsem navrhl řešení, které tomu vyhovuje. Pokud by adresa nemusela být stejná, tak už není důvod ji mít ve stejném rozsahu.

[Zdeněk Zámečník]

Dobry napad! Az se vratim domu, vyzkousim to. Diky.

[Zdeněk Zámečník]

Funguje to. Bohužel jsem narazil - multicast mi ven neprojde. Dá se multicast v tomto případě vůbec nějak routovat?

[Michal Kubeček]

Tak s tím vám bohužel neporadím, s tím zkušenosti nemám.

[schiff]

Není to až zas tak složité...

Na všech serverech vytvořit loopback interface (dummy) a pak nastavit routing, mělo by to jít i staticky, ale raději bych volil dynamický routovací protokol (OSPF). Pak se při výpadku některé z linek provoz přeroutuje na jinou dostupnou cestu.

Je ještě třeba zařídit aby i vytvářené spojení měli zdrojovou IP loopbacku. Buď jde proces nakonfigurovat a naváže se přímo na loopback nebo je možné použít iptables a odchozí spojení NATovat na zdrojovou IP loopbacku.

[Milan Roubal]

Kdyz jsme toto resili pred 10 lety za situace 100 Mbit / prima gigabitova linka, tak jsme pouzili DNS jmena pro rozliseni. Tedy pro vsechny masiny byl v DNS zaznam pro 100 Mbit sitovku a na serverech bylo v /etc/hosts zapsano to jmeno s adresou gigabitu.