Dotaz: 10 Gigabit Ethernet doma

[Petr]

Mam nekolik lokalit ve kterych mam 1 Gigabit ethernet po s/ftp kabelech cat 6 pripadne cat 7. Vykonnostne mi to stacilo, do budoucna (do konce roku) bych chtel prejit na 10 Gigabit. Mam 2-4 switche dle lokality od 8 do 24 portu. Vsechno nejake levne switche s podporou vlan, qos, nic vice v podstate necekam. Umite mi poradit rozumne switche, pripadne ethernet karty do storage (freebsd)? Desktopy si umim osetrit (imacy).

Odpovědi

[NN]

Hm, wikipedie tvrdi, ze na 10GBASE-T potrebujes 6, nebo 6a/7 kabel na 55, nebo 100m s klasickym RJ45.

Jako znacku bych pouzil tu, kterou mas ted. Ulehcis si konfiguraci. Pokud uvazujes o zmene, zalezi na velikosti investice.

[petr]

Ted mam nejake netgear switche pokud si pamatuji. Nejdelsi kabel ma asi 30 metru ze switche. Co se tyce financi, rekl bych ze ma predstava je max 2keur za 24port. Netusim ale jestli je to vubec realne, s 10G ethernetem nemam z pohledu domace kabelaze/switchu zadne zkusenosti. Rad bych konkretni doporuceni, kdyz nekdo ma nejaky 10G switch klidne i v praci.

[petr]

myslim vsechny porty 10G, ne jenom 2.

[NN]

XS728T

[Käyttäjä 11133]

Pokud je to bez daně, tak se do toho vejdeš i s Huawei, pokud nechceš L3 funkce na Access switchích; pokud chceš L3 funkce, bude lepší pořídit CloudEngine. Kdyžtak se mi ozvi, něco vymyslíme, taky teďka jednu síť na 10GbE stavím pro sebe...

marekstopka@gmail.com

[Max]

Šel bych to optiky. Pokud je zde možnost to natáhnout. Hodně levně vypadá "Ubiquiti UniFi Switch 16 XG", SFP moduly od Ubi jsou za litra (případně DAC kabel je otázkou 1,5k). Optické patch kabely také zas tolik nestojí. Oproti 10G metalice to nemá takovou spotřebu a je k dispozici lepší výběr.
Já mám ve FreeBSD storage inteláckou kartu X520-DA2, ale to je firemní storage a ta karta stojí celkem dost.
Každopádně bych si dával jen bacha, jakou kartu kupuješ, protože některé podporují jen DAC (Direct Attach Cable).
Dále u FreeBSD Intel odstranil možnost odblokovat lock na neorigo SFP+ moduly, pod linuxem to myslím stále není problém.
Zdar Max

[Petr]

Chtel jsem se vyhnout nove kabelazi, ale vypada to rozumne. Dekuji Maxi, zvazim to.

[MP]

x520-da2 (popr. xl710-da2 pro pcie-3) nebo mellanox z ebaye, levne zbozi. Levne sitovani lze poridit na fs.com.

[the.max]

Problém je whitelist na SFP, origo Intel síťovka se kamarádí jen s vybranými (Intelem ověřenými) SFP, ale existuje patch na ovladače, které tuto kontrolu vypínají. Karta se dá koupit na Aliexpressu výrazně levněji než origo Intel, ale funguje stejně. Dokonce tu co mám, tak zatím neměla problém se žádným 10G SFP, DAC kabely taky v pohodě, ale zkoušel jsem jedno gigový SFP a s tím nekamarádila.

[iji]

Byl by odkaz na Aliexpress?

[Max]

1) jít na aliexpress
2) zadat do vyhledávače X520-DA2
3) vybrat si ze seznamu nalezených, viz např. : X520-DA2 (118USD), Transceiver For X520-DA2/SR2 (16USD)
Zdar Max

[frr]

Jenom bych rád připomněl jeden klasický pokec o falešných intelkách. Ještě že číňani zřejmě zatím nefalšují samotný ethernetový čip (moje domněnka, napsáno jsem to nikde nečetl). Naštěstí je gigová síťovka kapánek složitější než třeba USB/232 bridge od FTDI. Jak dlouho bude ta oprásknutá síťovka provozně spolehlivá, to je asi spíš věcí štěstí na konkrétního výrobce ("padělatele").

Výše uvedené se týká gigových metalických intelek. Pokud mohu soudit, síťovka s SFP(+) sloty je v jednom konkrétním ohledu paradoxně jednodušší, signálová cesta do slotu obsahuje jenom kondíky v sérii (střídavá kapacitní vazba - pokud ji nemá čip integrovanou, což třeba gigová i210 má) tzn. naštěstí žádné signálové trafo. O jedno kurvítko míň. I tak zbývají na desce nějaké regulátory napětí, keramické kondíky a krystal, na kterých se dá ušetřit. A pak samozřejmě kvalita pájení apod.
Nedávno jsem držel v ruce nějaký PCI riser ("stromeček") který, ač byl čerstvě dodán a napohled OK, měl zřejmě natolik nekvalitní pozlacení nožového konektoru (plošek na plošáku), že se plošky staly vodivými až po několikátem zasunutí do slotu, až se ošoupala matná vrstva čehosi na povrchu... (no-clean flux?) - a to bylo prosím koupeno přímo od poměrně standardního výrobce, jako příslušenství nějakého počítače. Tolik k prodejcům na Alibabě a E-bayi.

BTW ať už je karta (plošák) originální nebo pajcnutá, maličko se obávám, že 10Gb SFP+ intelka nebude podporovat gigové transceivery (jak tu někdo navrhoval). Je fakt že rozdíl mezi 1Gb SFP a 10Gb SFP+ možná není velký, pokud se mechaniky a pinoutu týče, ale ono jde taky o to, co podporuje samotný čip od Intelu.
V data-briefu originální karty vidím "X520 Adapters with SFP+ connections support 10GBASE-SR, 10GBASE-LR and SFP+ Copper Direct Attach physical media". Tzn. ani slovo o gigabitu.
V datasheetu použitého čipu i82599 jsou podrobnější informace. Pro naše potřeby je irelevantní, že tento čip má vyvedené dva kanály XAUI = každý kanál 4 páry TX a 4 páry RX per 3 Gbps. Pro připojení SFP(+) je potřeba jeden pár tam a druhý pár zpátky. Nad nimi může běžet 10Gb SFI (tupá sériová komunikace) nebo 1Gb formáty 1000Base-BX/1000Base-KX, což jsou pokud vím formáty pro připojení k "pasivnímu backplanu ve vaně" = nikoli k SFP modulu. Na tomtéž pinoutu (nejspíš) je dále podporováno rozhraní SGMII, přes které se intelský čip (MAC subsystém) umí bavit s PHY čipem (v SFP transceiveru) na rychlosti 1 Gbps nebo i 100 Mbps. Podle datasheetu se bohužel zdá, že není podporován klasický gigový SERDES, což je mezi gigovými (a stovkovými) SFPčky zdaleka nejrozšířenější standard! (Pokud správně chápu, BX/KX mají k tupému SERDESu blízko, ale není to přesně totéž.)

Čili gigové SFPčko případně s rozhraním SGMII. Tady narazíte např. na problém, že se nevyskytuje mnoho SGMII SFPček všeobecně, a z těch co se vyskytují, málokteré má platný obsah MSA SPD EEPROM. Ona tam EEPROMka je, ale jsou v ní halušky - a čínský výrobce o ní tvrdí, že je kompatibilní třeba s Ciscem nebu s Huaweiem. Další věc je, že SGMII SFP bude mít uvnitř konkrétní model PHY čipu, značky třeba Marvell nebo Broadcom. A SGMII sice má v souladu s původní specifikací MII PHY nějakou backwards-compatible podmnožinu základních registrů (link up/down, rychlost a duplex, vendor ID), ale reálně se hostitelské zařízení neobejde bez specifické podpory pro konkrétní modely PHY čipů - protože v proprietárních registrech je příliš mnoho užitečných informací, bez kterých transceiver snad ani nejde správně inicializovat. A podrobné datasheety SGMII PHY čipů jsou NDA A třeba i samotná existence konkrétních modelů či podvariant čipů je zahalena tmou.

Nezkoumal jsem ovladač pro Intel 10Gb Ethernet. Momentálně si "na pozadí" trochu hraju s gigabitovou Intelkou od Delocku (čip i210 / driver igb), která má jako snad jediná na trhu SFP slot - a dotyčná varianta čipu ("SKU") podporuje vedle standardního SERDESu teoreticky i SGMII. A v intelském kódu jsem narazil na určitou minimální podporu pro SGMII PHY od Marvellu (jeden-dva modely) a naprostou nepodporu SGMII PHY od Broadcomu. Pak je rozdíl, zda je SGMII PHY přímo na desce (a dá se s ním bavit přes two-wire sériák v režimu MDIO) nebo je uvnitř SFP transceiveru (a MDIO se bridguje nad I2C). A nakonec ještě "fiber SKU" varianta i210 předpokládá v EEPROMce minimálně dvě různá PCI device ID, jedno pro SERDES, druhé pro SGMII - a ovladač na ně spoléhá při volbě režimu (který je jinak konfigurovatelný v registrech nejspíš nezávisle na PID, až na to, že není vidět do hlavy firmwaru i210, který tomu třeba může hodit klacek pod nohy). Chci říct, že "podporuje to SGMII, mám SGMII SFPčko, jdeme na to" ještě zdaleka neznamená úspěch - naopak, šance na úspěch je u Intelu v této situaci poměrně mizivá, protože podporovaný Marvellí PHY čip je deset let stará bílá vrána a zdroják ovladače jeví známky, že mnoho testování na tuto variantu neprodělal. A úžasnou novinku zvanou PHYlib Intel nepodporuje / ve svých linuxových driverech nevyužívá.
Chci říct, že podobný scénář "podpory 1Gb SGMII" bych očekával u 10Gb síťovek Intel.

Někdo tu zmínil FiberStore (fs.com) nebo jak se doopravdy v Číně jmenují. Podle mého mají lidskou technickou podporu, reaguje během cca 1-2 dnů, a nelže. O interních podrobnostech SGMII SFPček se se mnou moc nebavili, ale nemůžu říct, že by mi cokoli slíbili - naopak, umyli si od té mojí blbiny předem ruce. Ten jeden transceiver co jsem koupil na mě působí jako krasavec - mechanickou konstrukcí, i čisté provedení plošáku uvnitř. Teoreticky mají evropský sklad v Německu, prakticky pokud chcete specialitu, která není v Německu skladem, pošlou zboží přímo z Číny (rozdíl v dopravném není velký).
V souvislosti s levnými transceivery bych zmínil také ochotného tuzemského dodavatele Alternetivo. Vědí co prodávají a jsou to pražáci, takže pokud sedíte tamtéž a chcete něco testnout, zkuste se zeptat. Ke mně se chovali vždycky velice vstřícně.
Jinak po webu je k vidění hrst dalších čínských firem, které posílají transceivery přímo kamkoli po světě. Nemusíte ani chodit na Alibabu/E-bay, mají své vlastní weby / e-shopy. Žádné další jsem ale nezkoušel.
Při testování neznámých SFPček, pokud nehrozí reklamace, doporučuji na prvním kusu opilovat aretační "zobáček", aby šlo SFPčko vůbec vytáhnout bez zničení plechového krytu SFP slotu (a petlice na transceiveru).

[petr]

nevadi mi koupit intel a overene sfp, tudiz necekam nejake potize. Nebo jsou s tim nejake potize ve srovnani s gigabitem?

[Max]

Ale o tom přece píši. A dřív na to byla option k driveru, aby akceptoval OEM SFP+ moduly. V době, kdy jsem to řešil, probublal do FreeBSD driver od Intelu, který už tuto option neměl a nešlo to obejít. V linuxu tu option stále měl, viz :

options ixgbe allow_unsupported_sfp=1

Ve FreeBSD se to řešilo obdobně:

hw.ixgbe.unsupported_sfp=1

Ale pak to intel s novým driverem zaříznul a vznikl tento patch : patch-if_ix.c (id=221967)

Ale na Linuxu by to mělo být stále ok. Možná už někdo opatchovat FreeBSD a je to opět součástí, nevím, aktuální stav neznám. Řešil jsem to v době FreeBSD 9.3
Zdar Max

[romanch]

Nevím jestli Ti to pomůže, ale taky jsem se snažil udělat všechno levně tak :

Včera jsem v serverovně zprovoznil Switch Mikrotik CRS317-1G-16S+ testoval jsem i DLINK DXS-1210 (taky fungoval) 4x HP server, každý má 2x 10Gb adapter buď 544FLR-QSFP nebo HP NC522SFP nebo HP LP NC550SFP Vše propojováno Cisco Cisco 3m SFP+ SFP Kabel 10GB 10 Gigabit Twinax Twinaxial Cable SFP-H10GB-CU3M

Funguje. Iperf mi dává kolem 8gbps. Je to nejlevnější co jsem dokázal.

R.

Práci čest soudruzi IT :)

[petr]

Nevis proc tam je tech 8gbps?

[romanch]

Asi byl i další provoz. Teď při vypnutém provozu GlusterFS Tak na Switchi to ukazuje 9.8gbps a iperf :

[ 3] local 10.80.58.18 port 44934 connected with 10.80.58.13 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 10.9 GBytes 9.38 Gbits/sec

R.

Práci čest soudruzi IT :)

[Michal Kubeček]

To už celkem odpovídá. Teoreticky by se při MTU 1500 dalo dostat na nějakých 9.56 Gb/s (10 * 1448 / 1514). Pokud jste výrazně níž, je nejspíš něco špatně. Nejčastěji to bývá zapomenutý default net.core.{r,w}mem_max, ale už jsem viděl i nadšence, kteří v nějakém pohnutí mysli vypnuli GSO/GRO.

[Max]

Mno, GSO/GRO vypínat je trochu ujetý, ale v rámci nějakých pokusů, kdy se hledá problém, to možné je a pak je jen otázkou, zda na to dotyčný nezapomněl. Třeba vmware měl problémy s TSO/LRO. Než to opravili byly řešení dvě, buď to vypnout, nebo nepoužívat vmxnet3 (10Gbit) virtuální ethernet kartu, ale E1000.
Zdar Max

[Michal Kubeček]

LRO je kapitola sama o sobě, myslím, že nejsem jediný, komu se ulevilo, když Intel konečně po letech změnil default na "vypnuto".

U těch ostatních… v rámci debugování samozřejmě ano, případně i jako dočasný workaround. Spíš jsem měl ale na mysli to, že jsem se setkal i s produkty, kde nějaký mudrc rozhodl, že se to povypíná defaultně (přičemž v jednom konkrétním případě "to" byl checksum offloading), že prý jsou s tím pořád nějaké problémy, a pak se zákazníci diví, proč ta rychlost nějak neodpovídá.

[trekker.dk]

LRO je kapitola sama o sobě, myslím, že nejsem jediný, komu se ulevilo, když Intel konečně po letech změnil default na "vypnuto".

Aha, tak tím se vysvětluje, na jakým fetu jel ten, kdo vymyslel default zapnuto u něčeho, co se tluče s bridgem a routováním.

[Michal Kubeček]

On na to je jádře workaround, že se automaticky vypne LRO, když se interface dá do bridge nebo má povolený forwarding. Pak se ale přišlo na to, že je potřeba ošetřit situaci, kdy může pakety předávat dál vlan nad ním. Pak se ukázalo, že by tam mohl být macvlan. Nebo třeba bond/team (a nad ním třeba ještě vlan). Prostě samé radosti…

[trekker.dk]

No nevim, když jsem tuhle úžasnou "feature" objevil já, tak dokud se LRO nevypnulo ručně, tak se do dmesgu logovaly ošklivé věci.

[Michal Kubeček]

To je docela dobře možné, i ten původní workaround se objevil až ve verzi 2.6.27 (zobecnění pro vlan ve 3.0, macvlan ve 3.13 a obecné řešení pro stacked devices 3.19). Ale IIRC se to neprojevovalo hláškami v logu, spíš prostě tu a tam něco záhadně nefungovalo a dokud člověka nenapadlo, že by za tím mohlo být LRO, nebylo vůbec jasné proč.