Dotaz: Nastaveni komunikace pri vice sitovkach

[Gilhad]

Mam takovy dotaz:

Zakaznik ma server, na nem dve sitovky eth0 a eth3(pro jednoduchost),

eth3 je dratem pripojena k vpn krabicce, ma ip 10.0.0.123 a jde prez ni veskery provoz z/do site 10.*.*.*

eth0 je dratem pripojena k vykonnemu switchi v serverovne a jde prez ni veskery ostatni provoz, ma ip 12.34.56.70

na serveru je banda programu, co cosi posilaji/dostavaji od boxu, z nichz cast je v siti 11.11.*.*, cast v siti 22.22.*.* a cast tak poruznu po internetu

ted se dela novy server, v podstate stejny jako ten predchozi, ale se 4 sitovkama, s tim, ze ty nove - eth1 a eth2 budou zapojeny do tehoz switche a budou mit ip 12.34.56.71 a 12.34.56.72

funkce eth3 a site 10.*.*.* se nemeni

Je pozadavek, aby provoz do site 11.11.*.* sel prez eth1, do site 22.22.*.* prez eth2 a zbytek prez eth0 (to by bylo snadne), ale s tim, ze pokud jedna sitovka selze, tak se pro jeji provoz pouzije druha a pokud selze i ta, tak se pouzije treti - v libovolnych permutacich. Zaroven je pozadavek, aby ssh, apache a ntpd na dotazy odpovidali prez tu sitovku (a tudiz ip), odkud prisel dotaz.

slibuje si od toho vetsi vykon (paralelni prenos "slabymi sitovkami" prez "silny switch" - neni problem zajistit, aby ty pozadavky na boxy byly posilany v prihodnem poradi ve vice vlaknech) a vetsi bezpeci, kdyby nejaka sitovka (fyzicky) lehla (eth3 neni dulezita) a nebo byla konkretne jeji IP nekde po ceste zabanovana (boxy jsou obcas za sedmerymi NATy a sedmerymi firewally s nekompetentnimi adminy - ale boxy zase ma zakaznik plne pod kontrolou)

Mam takovy pocit, ze by to melo jit nejak celkem jednoduse udelat, ale ted nejak nevim jak na to a samozrejme vcera bylo pozde. Nakopne me nekdo spravnym smerem?

(cele to jede na gentoo a mam tam root pristup, do patku i primo fyzicky)

Odpovědi

[DarkKnight]

Melo by to jit pres iproute2, u statickeho routovani je moznost nastavit weight, viz treba http://www.enterprisenetworkingplanet.com/netos/article.php/3512836/Tunnels-Routes-and-Rules-Theyre-Easier-with-iproute2.htm

Pokud aplikace budou poslouchat na 0.0.0.0, tak packety budou posilane spravne a tudiz ssh, apache, ntpd, ci jakakoliv jina aplikace bude odpovidat pres spravny interface.

[gogol]

Trochu mimo odpoved na dotaz, ale mozno na zamyslenie.

Akakolvek vykonnost sietovania v pocitaci skonci na vykonnosti prerusovacieho podsystemu kedze sietovy uzol je v tom pocitaci. Paralelny prenos sa nekona, obsluha prerusenia je na sucasnych strojoch len jedna. Moze byt rozdelovana ovsem na paralelne procesory kvoli odlahceniu zataze.

Zbernica do ktorej su pichnute tie sietovky je tiez len jedna. Nieje to paralelna zbernica napojena na kazde jadro zvlast. Je otazne aky vykonny switch sa pouziva. Bezne witche prepinaju vzdy len dva porty sucasne. Jeden IN, druhy OUT. Az naozaj vykonnejsie switche maju viac vnutornych zbernic, ktore dokazu prepinat viac portov sucasne.

[luky]

Trochu mimo odpoved na dotaz, ale mozno na zamyslenie.

Akakolvek vykonnost sietovania v pocitaci skonci na vykonnosti prerusovacieho podsystemu kedze sietovy uzol je v tom pocitaci. Paralelny prenos sa nekona, obsluha prerusenia je na sucasnych strojoch len jedna. Moze byt rozdelovana ovsem na paralelne procesory kvoli odlahceniu zataze.

Totalni blabol. Zaregistroval jste zacleneni NAPI pred 13 lety?

[gogol]

Odpoviem protiotazkou.

Viete o tom, ze tam mate stale len jeden radic preruseni a cely prerusovaci podsystem pracuje tym horsie cim starsi a jednoduchsi NIC hardware sa pouziva ?

[luky]

No a? Pokud je NIC vytizenej, tak zadna preruseni generovat nebude. Mam duvodne podezreni se domnivat, ze vubec nechapete, jak to funguje.

[gogol]

Nastudujte si preco sa musi pouzivat vacsi segment na Gbit NIC a ako to suvisi s prerusenim aby ste sa nemusel ztrapnovat.

[luky]

Vidim, ze jste bohuzel nepochopil princip NAPI. Zkusim to popsat na prikladu, myslim, ze tak to pochopite snaze nez obecny popis NAPI dostupny na wikipedii pripade v dokumentaci kernelu.

• Prijde paket, NIC vyvola preruseni
• Obsluha preruseni dalsi preruseni z NIC zamaskuje, a zapne NAPI pollovani
• Pollovaci funkce precte vsechny pakety z NIC, rekneme ze jich tam bylo 50
• Po chvili zavola kernel pollovaci funkci znovu (vsimnete si, ze bez preruseni od NIC)
• Pollovaci funkce precte vsechny pakety z NIC, rekneme ze jich tam bylo zase 50
• Takto se to opakuje jeste 998
• Pollovaci funkce zjisti, ze na zarizeni nejsou zadne pakety, vypne polovani a odmaskuje preruseni

Jak si (snad) dokazete spocitat, takto bylo prijato 50 000 paketu behem jednoho preruseni. Pri prumerne velikosti 1000 jde o 400 000 000 bitu = 0.4Gbit. Za 0.4 vteriny tedy doslo k 1 preruseni. S tim se system jiste dokaze vyrovnat!

[Michal Kubeček]

Ne, luky opravdu není tím, kdo se tu ztrapňuje.

[Gilhad]

jednak je to celkem vykonne CPU a snad i primerena deska, naopak sitovky jsou asi ty nejlevnejsi na trhu, druhak si to preje zakaznik a pokud to nevede ke katastrofe, tak mu radsi udelam radost (i kdyby to neprineslo skutecny zisk) a tretak uz je ten hw koupeny ("tady jsme koupili neco, co ma vic pameti a rychlejsi procesor, tak to na to nainstaluj, snad to nejak pujde")

[Sten]

Nejdříve budete muset definovat, co si představujete pod tím, že síťovka selže. Pokud jde o fyzický výpadek spojení mezi ní a switchem (tj. odpojení/přetržení kabelu), pak je to snadné, stačí mít více defaultních rout s různými metrikami, systém automaticky vybere tu s nejnižší metrikou, která je dostupná. Protože máte více síťovek zapojených do jednoho switche, může být vhodnější (pokud to switch podporuje) použít 802.3ad. Pokud by mělo jít o dostupnost nějaké adresy přes tu síťovku, budete muset mít něco, co tu dostupnost bude nějak monitorovat, a tahle monitorovací služba by potom měla upravovat routování.

Odpovídání přes rozhraní i paralelní přenos jde řešit pomocí markováním paketů a per-mark routingu.

[Gilhad]

Zakladni predstava je ta, ze z disku na disk se kopiruje mnohem rychleji nez prez sit, takze kdyz naraz kopiruju na 3 ruzne pocitace, tak to prez 3 ruzne sitovky pujde rychleji nez prez jednu.

A kdyz se jedna z nich _nejak_ pokazi (pretrhne se kabel, selze HW, selze ovladac, ...) tak je porad sance, ze to, co melo jit prez ni pujde prez jinou (bez ohledu na rychlost, hlavne ze nejak dojde.

A zaroven, ze kdyz se obsluha nedokaze pripojit na jednu adresu, tak muze zkusit druhou, treti a treba to prez ni pujde a pujde tak zjistit, proc a co se stalo, a jak to resit.

Sitovky jsou nejake levne (setri se vsude a zatim to prochazi), switch je od hostingu a pravdepodobne mnohem vykonnejsi, nez ty levne sitovky.

A i kdyz to nepujde rychleji, tak by to aspon nemelo jit pomaleji, nez prez jen jednu z nich a zakaznik bude spokojen, ze to ma uzasne, protoze tu rychlost vlastne nemeri a i odhady jsou velice nepresne a zatizene velkou chybou (pokazde se prenasi zcela jiny objem dat a nikdo nesleduje jaky a ta rychlost neni kriticka).

Co se redundance tyce, za poslednich par let jsme na vypadek nenarazili, ale zakaznik si zada ten pocit sucha a bezpeci. V nejhorsim pripade je stejne server asi pul hodiny daleko, da se tam zajet.

Na druhou stranu, proc zakaznikovi nevyjit vstric a nepriucit se pritom neco noveho a treba to i bude chodit rychleji, nebo to zabrani nejakemu vypadku.

Dostupnost libovolne adresy by mela byt prez vsechny sitovky stejna, od toho switche uz to jde po jednom dratu, at to lezlo z kterekoliv sitovky, jde to prez nekolik hopu a koncove zarizeni bud funguje, nebo ne.

Tech vic defaultnich rout myslite jako

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         12.34.56.1      0.0.0.0         UG    10      0        0 eth0

11.11.0.0       12.34.56.1      255.255.0.0     UG     3      0        0 eth1
0.0.0.0         12.34.56.1      0.0.0.0         UG    20      0        0 eth1

22.22.0.0       12.34.56.1      255.255.0.0     UG     3      0        0 eth2
0.0.0.0         12.34.56.1      0.0.0.0         UG    20      0        0 eth2

[NN]

Nevyplatilo by se resit redundanci na L2 misto L3? Podstastne to zjednodusi konfiguraci vyzsich vrstev..

[pavlix]

+1

[Michal Kubeček]

Obávám se, že aby to umělo tohle všechno, tak vám už asi nic jiného než 802.3ad nezbývá.

z disku na disk se kopiruje mnohem rychleji nez prez sit

Pokud se nebavíme o 100Mb/s ethernetu resp. o extrémně rychlých polích nebo aspoň SSD, tak "mnohem" určitě ne. Pokud nekopírujete velké soubory z málo fragmentovaného filesystému, tak bych nespoléhal ani na to, že to bude vůbec rychlejší, tím spíš že na druhé straně vás čeká zápis a ten je obvykle pomalejší.

rychlost neni kriticka

V tom případě bych se asi na load balancing vykašlal a použil obyčejný active-backup.

Tech vic defaultnich rout myslite jako

Spíš něco na způsob

  ip route add default \
      nexthop via 12.34.56.1 dev eth0 \
      nexthop via 12.34.56.1 dev eth1 \
      nexthop via 12.34.56.1 dev eth2

Ale než byste to použil, radši si důkladně nastudujte, jak přesně to funguje.