Dotaz: Tip na L2 rackový switch 16x 10GbaseT

[AraxoN]

Modernizujeme infraštruktúru vo svojom racku v serverhousingu a chcel by som gigový switch vymeniť za 10-gigový. Keďže s rýchlosťami nad jeden gigabit nemám vôbec žiadne skúsenosti, rád by som sa s niekým poradil.

Switch má slúžiť na vytvorenie lokálnej neverejnej siete v danom racku, nemá mať žiaden uplink, ani prístup na internet. Nepožadujem manažment, ani vytváranie VLAN-ov. L2 switching našim účelom plne vyhovuje.

Čo by som naopak ocenil, je redundantné napájanie - napájanie z dvoch nezávislých vetiev 230V.

V skutočnosti potrebujeme možno 7 portov, ale rád by som mal rezervu do budúcnosti, takže radšej 16-portový.

Hľadám nejakého pracanta, ktorého tam raz zapojím a 10 rokov sa o neho nebudem musieť zaujímať, pretože bude robiť to, čo má.

Poradíte značku, či konkrétny model? Na čo by som si mal dať pri výbere pozor? Nejaké odstrašujúce príklady, ktoré v žiadnom prípade nebrať?

---

---

Odpovědi

[MP]

Novy nebo pouzity? A o sfp+ misto rj45 neuvazujete?

[AraxoN]

Nový, určite nový.

Od SFP+ (optiky) ma odrádza to iné káblovanie a nutnosť mať tie SFP+ moduly... Nebude to len drahšie a prakticky to nič neprinesie? Bavíme sa o dĺžke káblov v rámci racku, cca 1 meter.

[Max]

Rozdíly jsou zřejmé :

• nejsi limitovaný délkou
• nehrozí problémy s rušením na trase
• při použití DAC kabelů (jsou tlusté, žádný strach z lámání apod.) je to levnější jak 10GbaseT
• optika má lepší latence
• 10GbaseT docela žere, tím pádem i hřeje

A to je mj. důvod, proč není 10GbaseT tak rozšířený jako optika.
Zdar Max

[Jendа]

Od SFP+ (optiky)

Ne, do SFP+ by sis dal metalický transceiver, náhodně první z Googlu.

Bavíme sa o dĺžke káblov v rámci racku, cca 1 meter.

A druhá strana má povinně 10GBase-T? Protože pokud ne a taky má SFP, tak mi přijde mnohem přirozenější natahat tam direct attach káble.

[AraxoN]

Za tip na direct attach cable (DAC) ďakujem. To sa môže hodiť - v rámci racku to vyzerá ako schodné riešenie.

[j]

Jestli to kupujes novy, tak rozhodne je lepsi investice na optice. Jasne, znamena to taky vymenit pripadne tu drouhou stranu, ale musis si uvedomit, ze to neni nakup na rok nebo dva. Cena bude +- stejna a nemusis resit, ze tech 10m to uz nenatahnes.

Co se tyce co koupit ... to zalezi jestli chces trabanta nebo mercedesa za cenu rolse ;D. Zakladni swistovani bude fungovat na cemkoli. Nedavno sem resil nejaky to cisco C31108PC-V ... je to ponekud drahe, ale umi to moc pekny veci*. A ma to mimo jiny i par 100G portu.

*Z toho co sem vyuzil (a presto ze sem to chtel po dodavateli, nakonec sem si to jakozto ten "necertifikovany" ITk musel nastavit sam), je tam vPC (Virtual Port-Channel).

BTW: 1G umi kazdej SFP switch, zalezi jen na tom modulu kterej do toho pichnes.

[Max]

Viz 10 Gigabit Ethernet doma.

Nejlevněji asi vychází MikroTik CRS317-1G-16S+RM, ale je to SFP+ verze. Sice existují SFP+ moduly pro 10GbaseT, ale jsou přecijen trochu dražší : MikroTik S+RJ10. V případě optiky by stačil jen propojovací DAC kabel za litra: MikroTik S+DA0003

Pokud to stavíš na zelené louce, šel bych cestou optiky. Pokud už máš část strukturky na 10GbaseT, tak koupit pár S+RJ10 a zbytek optika. Pokud máš teď aktuálně všechno na 10GbaseT, tak asi vyjde levněji v tom pokračovat a zařízení neporadím, jedeme jen optiku.
Zdar Max

[Max]

Ještě dodám, že jedeme převážně na HP switchích a 100% spokojenost, a to jak s HP, tak s HP 3Com. Před pár lety koupilo HP firmu Arubu, takže ještě může přijít switch HP Aruba, s těmi zkušenost nemám.
Zdar Max

[AraxoN]

Tak na zelenej lúke to nie je, to je pravda. Ja do toho potrebujem zapojiť existujúce servery, ktoré žiaden 10GbE sieťový adaptér nemajú... To znamená, že budem buď potrebovať sieťové karty do tých serverov, alebo switch, ktorý okrem 10Gbit bude vedieť aj 1Gbit (1000base-T)... To som nedomyslel.

Pozriem tie HPčka, ďakujem za tip.

[AraxoN]

Pokud v těch serverech nemáš 10Gbit karty, tak to stavíš na zelené louce, protože potřebuješ všechno nový, tj. switch, karty i kabely. V tom případě bych volil optiku.
A pak je to o ceně, kterou hodláš jít. Nejlevněji vychází ten Mikrotik, ale záleží i výkon, jaký od toho čekáš. Pokud tam chceš řešit kpps v tisících, tak to ten Mikrotik nedokáže v 10Gbit, ale třeba jen 300Mbit. Pokud to chceš na kopírování záloh a přenos většího objemu dat, tak těch 10Gbit dá.
Jinak to, na co si dát s optikou pozor, máš v tom threadu, kam linkuji (a je tam i potvrzení ohledně toho Mikrotiku).
Jak jsem napsal, my jedeme HP, pokud jde o 10Gbit, tak jedeme FlexFabric switche 5700, takže to se nebavíme o desítkách tisíc, ale stovkách.
Každopádně něco mi říká, že by ti stačil ten Mikrotik, případně někdo jiný do 30kkč.
Zdar Max

[AraxoN]

S tými rýchlosťami si to trafil - momentálne tam je gigový switch Cisco, a prenosy ani v špičkách sa tomu gigabitu veľmi nepribližujú. Úzke hrdlo sa z toho stane len v momente, keď sa presúva väčšie množstvo dát, čo nie je tak často.

Ale to Cisco má už 10 rokov a chcem ho preventívne vymeniť. Tak uvažujem nad tým, čo bude potrebné v budúcnosti (10GbE).

Nakoniec asi zvolíme nejaké hybridné riešenie, ktoré má hlavne gigové porty a zopár SFP+ portov pre budúce servery, alebo na prepojenie s budúcim 10GbE switchom. A čo sa týka 10gigovej metaliky, presvedčili ste ma, dám to k ľadu a budem počítať do budúcnosti len s optikou.

[MP]

Pokud neresis velke prenosy ani latency, tak klidne na 1Gbps jeste zustan. Budoucnost je totiz v 25G a ne 10G. Pokud to chces levne, tak 10G infra se da postavit rozumne, kabely/karty jsou k sehnani za dobre ceny. Za mne bych do novych hlavnich switchu bez 10G nesel, jednak kazdy disk vysaturuje 1G linku, jednak se 10G infra da koupit i levne (pouzita). Novejsi narazi akorat na vyssi ceny switchu nez klasickych 1G.

[Jendа]

V tom případě bych volil optiku.

Pro použití uvnitř racku? Jaké to má výhody proti Direct Attach Copper?

[MP]

My ted budeme stehovat z racku do racku. Vzhledem k tomu, ze se zmeni umisteni ToR switchu (zezadu dopredu, pozadavek kvuli chlazeni), tak veskere DAC muzeme rovnou vyhodit. Vymena optickych kabelu je vyrazne levnejsi.

Druha vyhoda optiky je v tom, ze se snadno kombinuji moduly podle vendora na kazde strane. Nemluve o tom, ze jsou kabely tenci.

Ale jinak jo, DAC jsou v ramci racku vyrazne levnejsi, nez cista optika, rozhodne se tedy vyplati zvazit jejich nasazeni.

[Max]

1) o SFP+ modulu pro 10GBase-T jsem už psal, takže tvůj komentář výše byl zbytečný.
2) o DAC kabelu jsem také psal a doporučoval
3) ano, DAC není optika, takže pokud se použije DAC kabel, tak to nelze nazývat optikou. Jinak my občas používáme optiku i v rámci racku (víc místa a delší DAC bývají dražší)
Zdar Max

[j]

1) je to tenci

2) nemusis resit dylku, a ano, i uvnitr racku se muzes dostat do problemu, nemluve o druhym nebo tretim racku

3) jednotnost

4) po stejny optice se da pripojit i 100G

5) do budoucna zcela jiste i levnejsi, stejna opticka kabelaz se da vyuzit pro vsechny mozny moduly.

Az budes tech koaxu nekam ladovat 30+ (to odpovida poloprazdnymu racku), tak ti to dojde.

[PetebLazar]

Neplatí ten zminěný nízký výkon daného Mikrotiku jen pokud se využije jako bridge/router?

V režimu L2 switch by podle uvedených výsledků benchmarků neměl mít takové omezení? Pro velikost packetu 1518B mi odbavených 13000000 pckt/s (pruchodnost 300 Gbps) nepřijde jako uplně nízké číslo. https://mikrotik.com/product/crs317_1g_16s_rm#fndtn-testresults

[Max]

Máš pravdu, tvl., dostalo mně americká "." vs ","
Zdar Max

[PetebLazar]

Kdyby tam nebyla ta desetiná tečka, tak by se to přehlédnutí snad i dalo omluvit. Taky mne to v 50% případů dostane, u šesticiferného čísla pouze s čárkou prakticky pokaždé.

Nevím nakolik je dnes významným plusem při optickém propojení síťových rozhraní zařízení jejich galvanické oddělení?

[Petr Šobáň]

To je celkem plus pokud zásuvky jsou na jiné fázi či jsou daleko od sebe protože i mezi uzeměním může být napětí a zemní smyčky jsou svinstvo.

[Max]

Ti nevím, všechno by mělo mít stejné uzemnění. I když máš do racku dovedených x fází, tak země je pro všechny společná (racky jsou uzemněný stejným kabelem a jsou mezi sebou v rámci kostry propojený). Tam, kde by to mohlo vadit, jsou větší vzdálenosti mezi budovami (přívod z jiných trafaček, jiné uzemnění atd.), ale opět, reál je takový, že přes metaliku máme vícero spojů, co jsou delší jak 100m (mezi různými budovami) a no problemo. Řešit zemnící smyčky na úrovni zařízení v sousedících rackách mi přijde jako nesmysl, nebo by takové racky (+rozvod proudu) musel zapojovat někdo s hodně velkou dávkou fantazie.
Zdar Max

[frr]

> Nevím nakolik je dnes významným plusem při optickém propojení > síťových rozhraní zařízení jejich galvanické oddělení? > Čím rychlejší rozhraní, tím větší jsou problémy se zemními smyčkami = s neoddělenou zemí. Problémy rostou se vzájemnou vzdáleností komunikujících uzlů. V dnešních počítačových systémech obvykle neoddělená zem na komunikačním rozhraní znamená, že signálová referenční zem je v tom bodě připojená na zem ochrannou - o kterou jsou zároveň opřené Y-capy spínaných zdrojů. Takže tou ochrannou zemí teče úhrn rušivých 50Hz a VF od různých měničů. A protože se při připojení zdroje na 230V občas vyskytne nějaký ten inrush, tak on sice neproteče ochrannou zemí (proteče nulákem) ale vzniklý EM pulz se do těch ochranných zemí taky částečně naindukuje. Pokud jsi někdy zkusil použít většího "pavouka" kolem KVM switche, VGA / DVI / USB, tak máš možná nějakou představu. Nebo poslat USB o pár metrů vedle přes nějaký metalický neoddělený extender. Párkrát jsem na to zkoušel koukat osciloskopem a není to sranda. Použitím oddělených rozhraní si člověk ušetří *hodně* problémů.

Oddělené rozhraní = optika nebo 10GBase-T (ovšem pozor na použité twistové patchcordy, jak už tu někdo zmiňoval).

Vůči DAC kabelům jsem skeptický přesně z tohoto důvodu: neoddělená zem. Délka vlny na 10 GHz je 3 cm, napájení SFP transceiverů je tuším 3.3V, pracovní diferenciální amplituda na SERDESu tuším asi 1V, pracovní rozsah linkového přijímače XFI bude omezený zemí a napájecí větví. Ty 3 volty jsou jak nic, a i pokud se nepřekročí, tak odstup soufázové složky u receiverů nebude kdovíjaký... Dál je to o těch vzdálenostech a o subjektivních zkušenostech jednotlivců.

[Vantomas]

Existuje ještě CRS312-4C+8XG-RM, který má 8 metalických 10Gbit a 4 combo SFP+.

Pokud se to CRS používá jen jako switch, tak to všechno řeší dedikovaný procesor, který má HW akcelerace a opravdu to vše zvládá v desítkách Gbit. Problém nastává, pokud by člověk po tom Mikrotiku chtěl routovat nebo nějaký NAT, zkrátka cokoliv, co by muselo řešit systémové CPU, tam je to výkonově problém.

Metalika nebo SFP+ DAC kabely mají výhodu v tom, že spíš fungují ve stavu jedou/nejedou, kdežto u 10GBASE-T to vybízí k tomu, že se tam budou cpát nějaký starý nebo paštikový UTP patchcordy, které ten 10Gbit parametrově nemusí dávat a pak se dějou divný věci. Pokud už třeba existují nějaké propoje mezi vzdálenými racky a je problém to předělat na optiku, má pak smysl metaliku použít a případné horší kabely se dají třeba řešit i tím, že místo 10Gbit se to nastaví jen na 2.5/5Gbit...

Pozor u SFP a DAC na to, že bývají vendor lock-in. Intel karty berou jen Intel moduly nebo se musí dávat kernel modulu parametr, ať to ignoruje. Samozřejmě lze používat i činský klony SFP, které mají vhodou EEPROM, ale je potřeba na to při nákupu dávat pozor. Existuje i opruz, kdy se musí kombinovat dva vendoři na DAC kabelu...

[AraxoN]

Existuje ještě CRS312-4C+8XG-RM, který má 8 metalických 10Gbit a 4 combo SFP+.

Zaujímavý, páči sa mi.

Pokud se to CRS používá jen jako switch, tak to všechno řeší dedikovaný procesor, který má HW akcelerace a opravdu to vše zvládá v desítkách Gbit. Problém nastává, pokud by člověk po tom Mikrotiku chtěl routovat nebo nějaký NAT, zkrátka cokoliv, co by muselo řešit systémové CPU, tam je to výkonově problém.

L2 je náš prípad, takže žiadny problém.

Metalika nebo SFP+ DAC kabely mají výhodu v tom, že spíš fungují ve stavu jedou/nejedou, kdežto u 10GBASE-T to vybízí k tomu, že se tam budou cpát nějaký starý nebo paštikový UTP patchcordy, které ten 10Gbit parametrově nemusí dávat a pak se dějou divný věci. Pokud už třeba existují nějaké propoje mezi vzdálenými racky a je problém to předělat na optiku, má pak smysl metaliku použít a případné horší kabely se dají třeba řešit i tím, že místo 10Gbit se to nastaví jen na 2.5/5Gbit...

Patchkordy máme kvalitné, lisované. Samo-domo káble z komponentov obstaraných metódou najnižšej ceny občas zlostili už aj na jednom gigabite. To už sme sa poučili.

Pozor u SFP a DAC na to, že bývají vendor lock-in. Intel karty berou jen Intel moduly nebo se musí dávat kernel modulu parametr, ať to ignoruje. Samozřejmě lze používat i činský klony SFP, které mají vhodou EEPROM, ale je potřeba na to při nákupu dávat pozor. Existuje i opruz, kdy se musí kombinovat dva vendoři na DAC kabelu..

Dúfal som, že takéto obludnosti má už IT svet za sebou. Aký veľký problém je táto zámerná nekompatibilita?

[Max]

Dúfal som, že takéto obludnosti má už IT svet za sebou. Aký veľký problém je táto zámerná nekompatibilita?

Koupíš si SFP+ moduly, jeden switch ti napíše, že jsi připojil neoriginální modul, nemůže zajistit jeho funkčnost, ale akceptuje to. Druhý switch ti napíše, že jsi vložil neorigo a máš smůlu. Síťová karta je na tom pak podobně, viz třeba ten Intel.
Každopádně Mikrotik to neřeší, HP v podání 3comu také ne (zkušenost s HPE 5700), staré HP switche 2810G neumožňovaly připojit neorigo SFP. Cisco SG200, SG300, SG350, SG550 nemají problém s připojením modulů třetích stran. S Planet switchi jsem také nezaznamenal problém.
Jinak osobně jsem narazil na problémy s mícháním SFP modulů na delších trasách a snažím se mít všude stejný model.
V případě výrobců, co mají uzamčená svá zařízení jen pro jejich origo moduly bereme OEM kompatibilní za pár korun a no problemo.
Zdar Max

[j]

U novejsich HPcek musis v konfiguraci neorigo SFP povolit, jinak se nezapnou. Cisco vetsinou neresi, protoze vsichni fejkujou ty moduly jako cisco kompatabilni.

[Vantomas]

Dúfal som, že takéto obludnosti má už IT svet za sebou. Aký veľký problém je táto zámerná nekompatibilita?

Problém to nebývá, jen je třeba na to myslet při nákupu komponent nebo když něco nejde, tak hledat příčinu i na takovýchto místech.

[AraxoN]

Tak nakoniec zvíťazil MikroTik CRS317-1G-16S+RM, so 16-timi SFP+ portami. 10-gigové spoje pôjdu priamo cez DAC káble a jednogigové cez SFP-RJ45 10/100/1000 transcievery. Vďaka všetkým za rady.