Dotaz: CISCO L2 vs L3 - VLAN pomalá rychlost

[Tomasekkkk]

Ahoj všem, začínám se špárat ve switchích CISCO řady SG300 s použití VLAN. Řeším problém, když mám switch v L2 funguje mi kopírování dat na Gbit. Ale když jej přepnut do L3 vrstvy, dojde k omezení rychlosti, která se pohybuje kolem 6-12 MB/s což je asi špatně. Podle mých domněnek bude možná problém v routování - ale přiznám se, nikde jsem žádný manuál nenašel. Prosím, vysvětlil by mi někdo z vás v čem může být problém? Ještě doplňující informace - pokud připojím PC do VLAN1 je rychlost v pořádku, pokud připojím PC do vytvořené VLANy, rychlost je mizerná jako jsem psal. Děkuji

Odpovědi

[NN]

Zacni manualem.

[run]

Nekde nepises, proc na nem zapinas L3, kdyz to je switch.

Problem bude, ze to je to switch(L2) OMG, ne router( L3). Patrne L3 sw umi, ale dela to pres CPU, ktere nestiha.

Verze pro retardovane: osobakem, taky pohnes s 10t nakladem, ale nepojes s nim 130, ale tak 10 pokud nespalis spojku.

[Max]

Eh? L3 switche jsou právě dělaný na maximální performance pro forwarding mezi vlanama a klasický routery v tomto v klidu strčí za klobouk.
Router jako takový má pak navíc WAN interface, umí NAT a pokročilou filtraci a hafec dalších věcí a hodí se právě jako gw ven ze sítě. Klasické schema je tedy Počítače -> L2 switche -> L3 switch -> router -> Internet
Zdar Max

[Coala]

Jak jiz bylo psano, je to v poradku. Switche teto rady zvladne "uswitchovat" 5,6 - 56gbps, ale uroutovat pouze mezi 4,17 - 41,7 mbps viz.: http://www.cisco.com/c/en/us/products/switches/small-business-300-series-managed-switches /models-comparison.html

[Tomasekkkk]

Problém bude jinde. Bohužel jsem si potvrdil, že ani při L2 "neběží" přenos na plno, aler max. 7MB, tedy cca 70Mbit místo 1000Mbit. Abych si ověřil, že problém není v přetížení switche (malém výkonu), vyzkoušel jsem si přenos v testu - připojil jsem 2 PC k tomuto switchi, nadefinoval jedinou VLAN a problém přetrvává. Žádný jiný přenos se nekonal - všechny ostatní porty neobsazeny... Máte někdo nápad?

[Coala]

Jakou rychlost si PC vyjednaji se switchem? Jinak pri komunikaci obou PC propojenych naprimo kabelem, jede vse plnou rychlosti? Log switche si na nic nestezuje?

[Tomasekkkk]

Jak jsem psal, když připojím dva PC do switche a jsou ve VLAN1, tak jede rychlost v pořádku. Jakmile nastavím interface do určité VLAN, tak na těchto VLANách se rychlost ihned omezí. Logy nic nevykazují

[Coala]

Promin to s propustnosti VLAN1 jsem nejak precetl, ale nevnimal ;) Mozna by mohlo neco ukazat konfigurace. Musi byt jedno jakou VLAN vyuzijes a pokud je rychlost stale nizka, tak se do toho angazuje nejaka super featura. Zkontroloval bych CAM zda switch opravdu detekuje, ze jsou oba PC ve stejne(nove) VLAN.

[Tomasekkkk]

Tak další poznatek. Ta rychlost je snížena pokud kopíruji z VLANXXX do VLAN1. Pokud kopíruji mezi např. VLAN10 a VLAN10, tam je pak rychlost cca. 20 MB/s. Vypadá to, jako by to špatně routovalo.

[Coala]

Tak ted jsi to vratil zase na zacatek, pokud je neco mezi VLANX a VLANY, tak jde o L3 a to bud resi switch pomoci napr. interVLANrouting nebo to jede pres router.

[Tomasekkkk]

Zkoumám to a dohledal jsem, že to jede opravdu přes router, mám tam USG100. ALe nedokážu se doklepat tomu interVLAN routování. V IPv4 interface mám VLAN nastaveny. Zkusil jsem přepnout i do L2 a problém stejný Přes ten router USG to jde určitě, když jsem na něm vypnul firewall, tak se to trošku zrychlilo. Jak docílit toho, aby to přes ten router nejelo?

[Michal Kubeček]

Jak docílit toho, aby to přes ten router nejelo?

Jedině tak, že provoz mezi VLANy necháte routovat někoho jiného, kdo to zvládne rychleji.

Takhle nízká rychlost ale vypadá spíš na nějaké administrativní omezení, nechce se mi uvěřit, že Cisco prodávalo takhle neschopný hardware.

[Coala]

Zakladem uspechu je komunikovat pouze v patricne VLAN, jelikoz ta definuje segmenty L2 site. Pokud chces do jine VLAN jde uz o zcela jine subnety L3 a nechal bych to na routeru, ale jeho propustnost by skrze firewall mela byt dle datasheetu max 225 mbps. Nicmene tedy switch je v poradku.

[Michal Kubeček]

Mohl byste ty jednotky psát pořádně? Když vidím, že místo "M" systematicky píšete "m", jak mám vědět, jestli "b" je opravdu "b" nebo spíš "B"?

[Coala]

Poznamku respektuji, nicmene v sitovych zarizenich se vyrobci snazi prezentovat co nejvyssi moznou cislici a tu jim dopreje pouze to "b", kdezto "B" jim marketingove urcite nezapada do soukoli.

[Tomasekkkk]

Ano, právě ta komunikace mezi stejnou VLAN je L2. A vím, že u L3 (pokud jdu z jedné VLAN do druhé musím už "routovat"), ale někdo mi prosím tedy vysvětlete k čemu tedy jsou VLAN na switchích, když třeba v malé firmě budu chtít využít VLAN (oddělit WiFi,...) a pak povolit z dané VLAN přístup na server, který bude ve VLAN1, to si bude muset koupit firma nějaký super výkonný firewall, který mu umožní větší "propustnost"? Přece když firewall nastaví routu (ukáže jen, že to má jít z jednoho zařízení na druhé), tak není možné, aby to ořezalo gigabit na pár procent jeho rychlosti, ne? Jak se to řeší jinde kde jsou VLANy a uživatelé chtějí mezi nima vidět a mít plný gbit? Přece se do serveru nebude dávat X síťovek a každé VLAN říkat, že server má jinou IP, která by byla z určitého VLAN subnetu.

[Coala]

V okamziku kdy dochazi k routovani mezi subnety, prochazi provoz prez vychozi brany v jednotlivych IP subnetu. Potom provoz jde samozrejme pres router a zde prichazi na radu jeho propustnost. VLAN je pro vytvareni logickych celku na jednom fyzickem mediu. Osobne bych na serveru pridal interface pro veskere VLAN, ze kterych by pristup mel byt funkcni, dalsi pripadna omezeni bych resil pomoci ACL/firewall na samotnem serveru. Pro me typickym pripadem pro vyuziti VLAN je provoz ruznych systemu jako: VoIP, WiFi-guest, tiskarny, management site, provoz vice spolecnosti na jedne L2 siti a dalsi...

[Michal Kubeček]

Na routování gigabitového ethernetu mezi dvěma VLAN nic "super výkonného" nepotřebujete.

[Tomasekkkk]

Jak myslíte mezi dvěma VLAN? Myslíte stejné VLAN nebo z VLAN do jiné VLAN (např. z VLAN10 -> VLAN20)? Na stejné VLAN z důvodu L2 to bude OK, ale L3 musí routovat a k tomu nastupuje asi routovací rychlost, které je schopen router (USG) dosáhnout.

[Michal Kubeček]

Když píšu "mezi dvěma VLAN", tak tím myslím mezi dvěma VLAN. Kdybych myslel v rámci jedné VLAN, tak bych jednak napsal "v rámci jedné VLAN" a především bych nemluvil o routování.

Ještě jednou: na routování gigabitového ethernetu, a to i s případným otagováním, odstripováním nebo přetagováním, není potřeba nic "super výkonného".

[Tomasekkkk]

Promiň, řešil jsem hromadu věcí a toho mezi dvěma VLAN jsem pochopil trošku jinak. Co se týká routování gigabitu, tak jak jsem psal níže, otestoval jsem si, že ani USG100 není schopné mezi VLAN uroutovat Gbit :( Takže výkon nejspíš potřebuje.

[Michal Kubeček]

Potřetí a naposledy: není potřeba nic "super výkonného". Pokud to ta věc nezvládne, není to tím, že není "super výkonná", ale tím, že je výkonově naprosto zoufalá a pravděpodobně byla zamýšlena výhradně jako router mezi LAN a připojením k Internetu (kde se u domácností nebo SOHO očekávají rychlosti nejméně o řád menší, takže to nevadí).

[Vantomas]

Takže ty počítače mají nastavenou default gateway na ten router USG a nikoliv na tu SG300? Protože pak by to na těch počítačích tu gateway buď chtělo změnit nebo tam přidat routy pro další sítě s gatewayi na SG300.

[Tomasekkkk]

v té VLAN10 a VLAN20 mám nastavenu bránu na IP interface switche v dané VLAN, tzn. mám 192.168.10.10 (management switche) a pak 192.168.20.20 (také management).

Asi se zeptám špatně, pokud bych u VLAN měl nastavenu bránu toho USG, dá se pomocí routovacích pravidel na USG nastavit routování na ten switch nebo jakmile to udělám, rychlost bude stejná, protože se bude routovat přes USG a ne napřímo na switch?

[Michal Kubeček]

Ta rychlost je snížena pokud kopíruji z VLANXXX do VLAN1. Pokud kopíruji mezi např. VLAN10 a VLAN10, tam je pak rychlost cca. 20 MB/s.

A co třeba mezi VLAN 10 a 11?

Vypadá to, jako by to špatně routovalo.

To je krajně nepravděpodobné, že by se to projevovalo zrovna takhle.

Jen pro pořádek: ty VLANy jsou z pohledu připojených počítačů transparentní, tj. tagging/stripping provádí switch a počítače o ničem nevědí? A VLAN 1 je skutečně VLAN 1 nebo nějaký ciscospeak pro netagovaný provoz?

[Tomasekkkk]

Mezi VLAN 10 a 11 je to kolem těch 20 MB/s. Na USG100 mám nastaveny VLANy, ty pak přes TAGy do SG300-28. Na dalších portech mám VLAN 10 a 11 jako untagged v access typ portu. Ten "uplinkový" port je typ TRUNK. Na VLAN1 je management switche.

[Max]

Co tak sem hodit konfigurák toho switche? + vzorové nastavení IP na stanicích ve dvou různých sítí(vlan) + adresy toho USG100?

Jinak standardně se L3 switche používají na routing/forwarde mezi VLAN a routery se používají jako koncové/vstupní body do sítě jako takové (prostě jako routery / gw úplně ven).
L3 switche jsou optimalizované právě na výkon i ve forwarde mezi vlanama. Cisco SG300-28 dává :
Switching capacity : 56 Gbps
Forwarding performance (64-byte packet size) : 41.67 Mpps

Forwarding performance má tedy slušný a rozhodně lepší, jak to ušmudlaný líný USG100 (osobní zkušenost, výkon je tristní a čím víc pravidel, tím je to větší šnek).

Další pravidlo je, že VLAN1 se na nic nikdy nepoužívá. Je to z toho důvodu, že je natvrdo zadrátovaná a výchozí konfigurace něčeho padá vždy do vlan1, což je při produkčním nastavování nevhodné.
Osobně jedeme jako switche v jobu HP ProCurve 2810, 2510, Cisco SG300 a jako L3 switch používáme 3Com/HP 4510 a směrem ven máme cisco router.
Na IPSEC používáme ZyWALL 110 a nově i linuch ve VM.

Dále pokud máš nízkou propustnost na síti, tak to většinou znamená smyčky v síti, kde se ti tvoří broadcast storm. To vyřešíš pozapínáním RSTP napříč všema switchema.
Zdar Max

[Tomasekkkk]

Ahoj,

tak po dnešním laborování a zjišťování co a jak jsem zase chytřejší. Problém je opravdu v propustnosti USG100, která je cca. 225 Mbps což je opravdu pro routování mezi VLAN dost slabé a opravdu to potom dosahuje uváděných hodnot Prosím, existuje teda způsob jak obejít USG100 a nechat to na switchích? Jak tedy správně nakonfigurovat? Přeci VLAN nastavuji na USG100, kde nastavuji i DHCP atp. když to mám takto nastavené tak veškerý provoz jede přes ono USG, ale jak docílit toho, aby se o vše staral switch a to USG fungovala tedy jen jako brána do internetu? Laboruji s tím půl dne a nemohu na to přijít. Bránu ve switchi napřímo nemohu nastavit, bere mi to nejspíš z nastavení VLAN na USG. VLAN1 jsem dnes také odstranil.

Zajímavé bylo, že i mezi INTERFACE na USG100 byla propustnost těch cca. 27MB/s což je katastrofa.

Takže proto jsem se soustředil jen na ten switch, abych nějak pochopil to routování napříč switchema.

Moc děkuji za navedení ke zdárnému konci

[Max]

L3 jsem konkrétně na SG300 nenastavoval, ale princip je vždy stejný. Uvedu příklad :
USG100 je gw pro VLAN10 (IP : 192.168.1.101) a VLAN20 (IP : 192.168.2.101).

Když chceš, aby switch routoval mezi vlanama, tak ho přepneš do L3 režimu a pro každý vlan interface nastavíš IP.
Příklad :
VLAN10 - 192.168.1.1
VLAN20 - 192.168.2.1
VLAN90 - 10.10.10.1

Dále na switch přidáš statickou routu : 0.0.0.0 -> VLAN90 -> 10.10.10.101 Pokud na USG používáš DHCP, tak necháš propojení s VLAN a přihodíš třetí VLAN (90), nebo propojíš se switchem dalším portem jako untagged do switche do VLAN90 a nastavíš USG na tomto interface / VLAN IP : 10.10.10.101

Na dhcp pak nastavíš, aby jako výchozí gw byly IP switche.
Výsledkem bude, že ti bude fungovat dhcp ve všech vlan a o routování se postará switch, odchozím bodem ze sítě pak bude ten hop přes 10.10.10.1 -> 101

Na USG pak můžeš na těch dvou vlan 10 a 20 zakázat veškerou komunikaci a nechat tam jen to DHCP, aby jsi měl jistotu, že všechno ven chodí přes jeden, tebou kontrolovaný interface (VLAN90).
Zdar Max

[Tomasekkkk]

Děkuji moc, to je to co jsem potřeboval, já takto nastavení SG300 dělal a stálo to nešlo. Teď když si mi napsal, že v DHCP mám nastavit správnou bránu, chtěl jsem ti napsat, že v USG100 jsem jí nastavoval ve VLAN, které jsem s internal přepl do general a pak do položky Gateway (pod IP a masku VLAN interface) jsem nastavil IP switche. A stejně to nešlo, teď jsem se díval ještě níž a je zde položka Default router, což bude asi to kde mám nastavit IP toho switche, je to tak, že?

Další otázka zní, pokud budu mít více switchů v síti propojeny mezi sebou. Musím dělat nějak speciálně i ty routy mezi nimi? Nebo to bude fungovat tak, že veškerý provoz tey bude padat na ten "první switch" hned za USG na který směruju tu bránu z USG?

Znamená to tedy, že pokud budu mít v síti například 5x VLAN, musím na každém switchi nastavit IP adresu z daného VLAN rozsahu nebo to stačí mít nastaveno na tom prvním switchi a v ostatních už jen interface z určité VLAN ze které budu řešit management?

Moc děkuji za tvůj čas

[Max]

Ahoj,
na USG u VLAN nevyplňuješ žádnou bránu. Bránu by měl mít vyplněnou jen jednu, tu do internetu. Ohledně dhcp musíš nastavit default router na IP toho L3 switche. Tím se na klientech nastaví pomocí dhcp brána v podobě IP switche pro konkrétní vlan, takže stanice budou dotazovat L3 switch a ten díky té routě 0.0.0.0 bude směrovat provoz dál podle potřeby (buď na jinou vlan, nebo na USG po komunikaci směrem ven ze sítě)

L3 switch máš jen jeden, ten ti dělá routing. Ostatní switche stačí nakonfigurovat v L2 režimu jen s jednou IP, přes kterou je budeš spravovat. Standardně se používá další VLAN čistě jen pro IP rozsah pro správu switchů, AP a dalších zařízení, aby toto jejich rozhraní nebylo vůbec dostupné z klientské sítě.

Všechny switche musíš propojit přes trunk (otagované porty). A na všech by jsi měl mít zapnuté minimálně RSTP jako ochranu proti smyčkám v síti.
Ještě můžeš jít do MSTP, ale to je o něco složitější(nestačí to jen zapnout, ale musíš to i nastavit a vědět, co děláš) a v menších sítích je to zbytečné.

Vzorové nastavení by pak tedy vypadalo takto (rozsahy a očíslování si zvol dle libosti):

USG100 :
VLAN10 (Server segment): 192.168.1.1/24
DHCP : 192.168.1.10 - 192.168.1.100
DHCP default router : 192.168.1.101
- nechat povolený jen DHCP, veškerou ostatní komunikaci dropnout

VLAN20 (PC segment): 192.168.2.1/24
DHCP : 192.168.2.10 - 192.168.2.100
DHCP default router : 192.168.2.101
- nechat povolený jen DHCP, veškerou ostatní komunikaci dropnout

VLAN80 (mgmt segment): 192.168.0.1/24
DHCP : off
- drop veškeré komunikace z jiných VLAN

VLAN90 (wan): 10.10.10.1/24
DHCP : off

Nastavení FW, kde povolíš mgmt jen z konkrétních Admin IP v síti (nejjednodušší možnost)

Další variantou je zakázat komunikaci na všech VLAN a povolit jí jen na té mgmt vlaně a přístupy řídit jen přes ACL na tom L3 switchi.

L3 Switch :

VLAN10 : 192.168.1.101/24
VLAN20 : 192.168.2.101/24
VLAN80 : 192.168.0.101/24
VLAN90 : 10.10.10.101/24
default route : 0.0.0.0 -> 10.10.10.1
nastavení ACL, aby do VLAN80 mohl jen admin.
RSTP on

L2 Switch 1:
VLAN10, VLAN20, VLAN90
VLAN80 : 192.168.0.102/24
RSTP on

L2 Switch 2:
VLAN10, VLAN20, VLAN90
VLAN80 : 192.168.0.103/24
RSTP on

L2 Switch X:
VLAN10, VLAN20, VLAN90
VLAN80 : 192.168.0.xxx/24
RSTP on

Zdar Max

[Tomasekkkk]

Mnohokrát děkuju. To je přesně ono co jsem měl nastaveno, ale pořád to jelo přes router, ale to byla má neznalost USG, kdy jsem ve VLAN interface nastavoval bránu a nikoli právě v tom DHCP / IP routeru. Zkusím to a snad se konečně síť rozběhne jak má Ještě jednou ti moc děkuju! Dám vědět jak jsem to otestoval.

[Tomasekkkk]

Tak jsem otestoval a vážně funguje. Jen ještě poprosím, pokud mám tedy (např. dle tvého vzorového případu). VLAN10 a chtěl bych, aby byl z této VLAN přístup například jen na určitou IP do VLAN20 (ale aby se to krásně routovalo plnou rychlostí) - dělal jsem to vždy na USG, teď to budu muset nejspíš dělat na L3 Switchi pomocí ACL? Protože nyní když mám takto nastaveny všechny VLAN, vidí se VLAN mezi sebou a já bych to chtěl opět zabezpečit, že žádná VLAN mezi sebou nevidí (intrablocking) a pokud jí nastavím nějaké pravidlo, tak většinou takové, že pokud bude například ve VLAN80 server, udělal bych pravidlo z VLAN10 do IP adresy serveru VLAN80. Asi bych to pomocí ACL nějak udělal (prostě BLOK mezi VLAN a pak jen povolovací pravidlo pro jednu IP). Ale nevím jak je to správně "profesionálně", abych se nenaučil něco co pak zjistím, že je amatérismus :)

Ještě jednou děkuju

[Max]

Ano, filtrovat provoz mezi VLAN teď budeš muset dělat na switchi pomocí ACL. Na USG si pak budeš jen filtrovat provoz ven/do sítě.
Ještě k tomu USG100, má fakt tristní výkon. Používali jsme jen na IPSEC a dalo se přes to protlačit max 30Mbit. A čím víc pravidel, tím horší. Nakokec jsme přešli na ZyWALL 110.
Zdar Max

[Tomasekkkk]

Ahoj Maxi, moc děkuju. Vše jsem rozběhal k naprosté spokojenosti. To USG100 mám na testování a nedá se to srovnat s novýma USG110,210 i 310, ty jsou schopné skoro routovat plný Gbit, ale switch je switch. Dokonce už fungují i ACL. Trošku se sice plní ARP tabulka a obávám se, že i routovací pravidla jsou na switchi nějak omezena, ne? Našel jsem TCAM, kde mám max. IPV4 routes 128 (nastavil jsem na 212) a nejsem si jist, jestli jde tedy jen o "vyrovnávací paměť" a zbytek jde přes procesor,... nebo je to opravdu max. IPv4 rout, které lze na switchi routovat. To by pak znamenalo rozprostřít provoz přes více L3 switchů.

[Max]

Nikdy jsem neřešil, ale měl by jsi tam vidět aktuální stav využití a podle toho to můžeš dimenzovat(údajně 288 ještě funguje).
Dočetl jsem se následující :
statické routy + 2x adresy rozhraní switche + hostové <= 484 (26 je použito bokem- nonIP a celkem to dělá 510).
Předpokládám, že aktuální fw ve switchi máš?
Zdar Max

[Tomasekkkk]

Ano, trošku jsem to poladil a teď je tam cca. 30 z 212, takže zatím prostor je a tak uvidíme. Nový firmware tam samozřejmě je. Opravdu moc děkuju za tvůj čas, zase jsem se něco přiučil a vyzkoušel :)

[Max]

Cože? Co je na tom v pořádku, když výrobce deklaruje 41.67 Mpps (million packets per second při 64Byte packetu)?
S tím by ten switch měl dát forwardnout mezi vlanama plným Gbit s prstem v nosu.
Zdar Max

[Max]

A už vím, kde jsi udělal chybu, ty si pleteš mbps vs. Mpps
Zdar Max