Dotaz: Cenově dostupná 10Gbps infrastruktura

[PetebLazar]

Na trhu se objevil Mikrotik switch 8x SPF+ CRS309, který v kombinaci s modulem S+RJ10 by měl umožnit dosáhnout osazení až 8x10Gbps. Odkaz na příručku bohužel vede jen na 16-portovou verzi CRS317. Dá se vzhledem k použitým switch chipům CRS309 s 98DX8208(lic.Level5), CRS317 s 98DX8216(lic.Level6) a prakticky shodným blokovým schématům očekávat podobná switch funkcionalita (agregace atd)? CRS317 není zase o tolik dražší,ale 8x 10Gbs CRS309 je pro mé potřeby zatím víc než dost.

https://mikrotik.com/product/crs309_1g_8s_in#fndtn-specifications

https://mikrotik.com/product/crs317_1g_16s_rm#fndtn-specifications

Případně, má někdo s uvedenými switchi praktickou zkušenost?

Odpovědi

[romanch]

Používám v serverovně pro Cluster 5 serverů CRS317-1G-16S+, cca 1 rok, 353dní uptime, fw 6.41.3, zapojeno 8-10 10G portů, prostě to nějak funguje.

R.

[PetebLazar]

Díky.

Ta CRS317 asi bude lepší volbou. Dle výrobce by se měla primárně chladit pasivně, v případě nutnosti vypomohou dva FANy (CRS309 snad spoléhá pouze na pasivní chlazení). Redundantní napájení CRS317 se může také ukázat výhodou. Rozdíl v ceně <2,5kKč je vcelku zanedbatelný. Rozdíl spotřeb při omezeném osazení 10 Gbps porty asi nebude příliš velký (max. udávaný příkon CRS317 je 44W, u CRS309 33W).

[Max]

Jednou jsem narazil na SwOS a chtělo se mi blejt. RouterOS je vyladěná věc, co umí uvařit i kávu a každou chvíli vyjde nová verze. Naproti tomu SWOS je něco, kde byly switche před takovými 15lety a nové verze vycházejí tak jednou za půl roku, někdy i déle. CRS317-1G je akceptovatelný se SwOS jen kvůli té ceně. Do 1Gbit switche se SwOS bych nešel v žádným případě.
Každopádně by mně zajímala propustnost. Dá se těch 10Gbit saturovat?
Zdar Max

[PetebLazar]

Jestli jsem to pochopil správně tak na CRS309/CRS317 může běžet jak RouterOS tak SWOS. Předpokládám, že při využití RouterOS by šlo základních funkcí switche "zadrátovaných" v chipsetu využívat?

Jestli jsem výsledky jejich benchmarků pochopil správně, tak při switchingu pro velikost bloku nad 512B lze 16x10Gbps saturovat, pro routing/bridging(1518B) je o zhruba cca 1Gbps router. https://mikrotik.com/product/crs317_1g_16s_rm#fndtn-testresults

[PetebLazar]

Je pro vzájemné spojení dvou ethernetových 10Gbps NIC zapotřebí cross kabel, nebo se díky MDI/MDIX adaptéry samy dohodnou? V nabídkách Cat6 a vyšších cross kabely nenalézám a MDI/MDIX by údajně snad mělo být součástí standardů od 1Gbps a výš?

[Max]

Podpora tam je, takže cross kabel neřeš.
Zdar Max

[PetebLazar]

Díky, začnu asi s tím. Switch dořeším podle potřeby později.

[romanch]

třeba Cisco 3m SFP+ DAC kabel na Ebay za 20E

R.

[Max]

Předpokládám, že když řeší 10GBase-T a převodníky ze SFP+ na S+RJ10, tak DAC asi nebude řešení (zřejmě má na druhé straně 10GBase-T).
Zdar Max

[romanch]

To samozřejmě ano, ale asi za chvíli zjistí, že 90% (98% :) 10G NIC má SFP+

R.

[PetebLazar]

Toho jsem si vědom, vlákno začíná dotazem k CRS309(8xSPF+ a 1GbN).

[Max]

Souhlasím, osobně si myslím, že do 10G-TBase nemá dnes smysl ani chodit.
Zdar Max

[PetebLazar]

Já proti optice nic nemám, jen z ní mám vítr. Pokud tedy máte na mysli nějakou zajímavou non-copper 10Gbit alternativu pro Win/Linux s nezbytnou bižutérii (SFP+ moduly, kabely) pro spojení primárně dvou počítačů na cca 10m tak sem s ní.

[Max]

Tak záleží na aktuálním stavu. Zda mají PC/servery v sobě 10G-BaseT. Pokud ano, tak nejlevnější je opravdu koupit SFP+ modul na 10G-BaseT a propojit to CAT6a kabelem. Pokud se ale mají kupovat i 10G karty do PC/Serverů, tak technicky lépe vyjde koupit karty se SFP+.
Propojení se switchem, nebo mezi PC pak lze udělat dvěma způsoby :
1) koupí DAC (Direct Attached Cable) kabelu, to je kabel s pasivními SFP+ moduly na obou stranách, je to pasivní řešení, ty moduly nejsou aktivní, takže je to omezené délkou. Běžné jsou délky do 5m (max je údajně 7m). Dá se koupit i 10m, ale ten už má aktivní SFP+. DAC kabel má výhodu v tom, že je dobře tlustý a nedá se jednoduše poškodit ani zlomit

2) koupí SFP+ modulů a optických patch kabelů LC-LC (jeden SFP+ modul je otázkou 500,-Kč, optický kabel pár stovek).
Je si potřeba jen pohlídat SingleMode (delší vzdálenosti, třeba 10km i více, není problém jej ale použít i na pár m) vs Multimode (krátké vzdálenosti, OM1-33m, OM2-82m, OM3-300m, OM4-400m).

Třeba Intel má občas tendenci omezovat používání SFP+ modulů třetích stran, takže na to pozor a je třeba si předem zkontrolovat kompatibilitu.
Zdar Max

[PetebLazar]

Cenově asi jedno z nejdostupnějších řešení na trhu (2ks ASUS XG-C100F + MaxLink SPF+ DAC 2m. NIC je postaven na chipsetu Aquantia).

Výsledky průchodnosti s MTU 9000

iperf3 -c 192.168.2.100
Connecting to host 192.168.2.100, port 5201
[  4] local 192.168.2.1 port 34286 connected to 192.168.2.100 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  1.15 GBytes  9.92 Gbits/sec    0   1.01 MBytes       
[  4]   1.00-2.00   sec  1.14 GBytes  9.83 Gbits/sec    0   1.15 MBytes       
[  4]   2.00-3.00   sec  1.15 GBytes  9.90 Gbits/sec    0   1.15 MBytes       
[  4]   3.00-4.00   sec  1.15 GBytes  9.90 Gbits/sec    0   1.20 MBytes       
[  4]   4.00-5.00   sec  1.15 GBytes  9.85 Gbits/sec    0   1.33 MBytes       
[  4]   5.00-6.00   sec  1.15 GBytes  9.90 Gbits/sec    0   1.33 MBytes       
[  4]   6.00-7.00   sec  1.15 GBytes  9.90 Gbits/sec    0   1.33 MBytes       
[  4]   7.00-8.00   sec  1.14 GBytes  9.83 Gbits/sec    0   1.46 MBytes       
[  4]   8.00-9.00   sec  1.15 GBytes  9.90 Gbits/sec    0   1.46 MBytes       
[  4]   9.00-10.00  sec  1.15 GBytes  9.90 Gbits/sec    0   1.46 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  11.5 GBytes  9.88 Gbits/sec    0             sender
[  4]   0.00-10.00  sec  11.5 GBytes  9.88 Gbits/sec                  receiver

Při zápisu dd if=/dev/zero do SaMBa mountpointu (default smb.conf, server storage ve vedlejším vlákně testovaný Crucial MP510) se docílilo průměrné rychlosti zápisu cca 720MB/s. Omezením byl patrně výkon relatinvně slabého HW SMB klienta (proces dd měl utilizaci 100%). Při čtení dd if=/smb_mountpoint/bigshit do /dev/null by dosaženo průměrné rychlosti 710MB/s. Předpokládám, že po tuningu SaMBy a při silnějším HW klienta by bylo asi dosaženo lepších výsledků.

[MMMMMMMMM]

Pěkné. ;)

[/dev/win]

skus dat do /etc/sysctl.conf

### TUNING NETWORK PERFORMANCE ###

# Default Socket Receive Buffer
net.core.rmem_default = 31457280

# Maximum Socket Receive Buffer
net.core.rmem_max = 12582912

# Default Socket Send Buffer
net.core.wmem_default = 31457280

# Maximum Socket Send Buffer
net.core.wmem_max = 12582912

# Increase number of incoming connections
net.core.somaxconn = 4096

# Increase number of incoming connections backlog
net.core.netdev_max_backlog = 65536

# Increase the maximum amount of option memory buffers
net.core.optmem_max = 25165824

# Increase the maximum total buffer-space allocatable
# This is measured in units of pages (4096 bytes)
net.ipv4.tcp_mem = 65536 131072 262144
net.ipv4.udp_mem = 65536 131072 262144

# Increase the tcp-time-wait buckets pool size to prevent simple DOS attacks
net.ipv4.tcp_max_tw_buckets = 1440000
#net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1

##  tcp selective acknowledgements.
net.ipv4.tcp_sack = 1

##enable window scaling
net.ipv4.tcp_window_scaling = 1

##
net.ipv4.tcp_no_metrics_save = 1

net.core.rmem_max=8388608
net.core.wmem_max=8388608
net.core.rmem_default=65536
net.core.wmem_default=65536
net.ipv4.tcp_rmem=4096 87380 8388608
net.ipv4.tcp_wmem=4096 65536 8388608
net.ipv4.tcp_mem=8388608 8388608 8388608
net.ipv4.route.flush=1

a posli vysledky potom...

[PetebLazar]

Doplněn sysctl.conf o zmíněné parametry (na obou stranách), ale bez dopadu na výsledek (maximum stále cca 1GB/s). Vzhledem k opření procesů (dd, či smbd .. při obráceném pokusu) o 100% asi v nízkém výkonu NIC problém nebude. Ten HW klienta je tak slabý, že ddčko dá lokálně jen cca 1,4GB/s při zápisu do ramdisku, takže 1GB/s přes síť bych bral vzhledem k vyšší režii jako odpovídající výsledek.

[/dev/win]

Aha, dakujem za info... Mne ten tuning pomohol na optickom spoji o cca 10 - 25 percent pri zapise/citani na SMB share.

[Max]

Když mu to teče 9.83 - 9.92, tak to je opravdu hranice 10. Nebo co jsi od toho očekával? Že mu bw ukáže celých 10? :)
Zdar Max

[/dev/win]

Hej :( :D

[PetebLazar]

Při FTP přenosu, který má pravděpodobně menší režii než SaMBa se dá i na popsaném HW dosáhnout přenosů o rychlosti 1,2GB/s. Takže prakticky saturace 10Gbps linky.

[PetebLazar]

Při zápisu dd na SaMBa share (tvořený ramdiskem na serveru) se průměrná rychlost vyšplhala na 992MB/s a při čtení tohoto souboru do /dev/null dosáhla 1GB/s. Kromě změny storage byla před testem ještě urychlena paměť klienta (Athlon II X4 840) z původních 1333MHz na 1600MHz(XMP profil).

[j]

Doplnim - 10m lc-lc multimode kabl stoji cca 300Kc, singlemod bude trochu drazsi - cca 500Kc. Pokud se nic nikde nesvaruje a jde o propoj patch kabelem, tak je realizace na optice klidne i nasobne levnejsi, nez na metalice. V pripade svarovani zalezi na rozsahu, ale prevazne bude cena v nejhorsim srovnatelna.

Na "kratky" vzdalenosti (stovky metru), se da pochopitelne kabelaz i lepit, coz sice zhorsi parametry(utlum), ale je to prozmenu vyrazne levnejsi a da se to udelat i v domacich podminkach svepomoci.

Pak taky samosebou plati, ze znackovy sfp moduly jsou vyrazne drazsi - cisco cca 5-7kKc bez DPH (funkcne je to totez, plati se za logo).

Krome typu kabelaze je treba si pri projovani uz existujicich zarizeni ohlidat vlnovy dylky aby se sfpcka dohodly, pokud se to kupuje nove, tak se samo koupej stejny moduly.

Typ kabelaze taky omezuje maximalni kapacitu (v zavislosti na vzdalenosti). Kuprikladu OM4 staci i na kratky 100G propoj.

Jakakoli metalika je vyrazne narocnejsi a to predevsim co do provedeni - naprosto zapomente na nejaky domaci cvakani konektoru.

BTW: twinax oficielne dodavatele dodaji max 5m, od delsich daji ruce pryc. Ale nadoma se to pouzit asi da, je to uplne nejlevnesi zpusob jak propojit dve zarizeni 10G spojem.

[PetebLazar]

Díky za vyčerpávající odpověď. Asi zatím vystačím se vzájemným propojením DAC (případně s NIC<=>DAC<=>Mikrotik_CRS309, pokud to půjde).

Vzdálenosti nejsou problém. Silně zvažuji, že umístím veškerou techniku do místnosti o patro níž a průrazem si přivedu pouze potřebná rozhraní (DP/HDMI2.0_in_out/USB3/PS2/audio). Při náhradě dřívějšího 0dB desktopu (AthIIX4) za XXdB Threadripper člověk výkonu obětuje mnohé, ale přesto stesk po (idle/2D) neslyšném PC zůstává.

[PetebLazar]

Taky jsem na to před pár dny koukal, než mi došlo že to budu potřebovat teprve až začnu Mikrotiky po vyčerpání volných pozic stohovat. https://www.i4wifi.cz/cs/210690-opticky-kabel-mikrotik-s-da0001