Dotaz: Realtek 8111 rychlost gigabitu

[Petr Maleček]

Ahoj, chci se zeptat, jestli už jste se někdo setkal s problémem, který teď řeším.

Jde o to, že jsme s kamarádem postavili nový "server" jako NAS, konfigurace - iCeleron Dualcore 2.5GHz, 2GB RAM, 3x1.5TB disk v Raid5(SW) + 1x400GB Samsung jako systémák), integrovaná Realtek 8111 gigabit a přídavná Realtek 8139 PCI gigabit. Jako distro jsem vyjímečně použil Ubuntu Server 9.10 (normálně používám Debian).

Náš problém je ten, že nejsme schopni vymáčknout ani z jedné ze síťovek rychlost větší než 20MB/s při kopírování (takže nějakých cca 150MBit ?). Kabely jsou Cat5e a zkoušel jsem i svoje, které fungují už dlouho na gigabitu. Původně jsem si myslel, že nebude stíhat diskový řadič, ale po vytvoření 1.5GB RAMdisku a následného kopírování z pole na něj to jelo 180MB/s a z RAMdisku na pole cca 140MB/s. Zde tedy problém nevidím.

Problém je 100% v síťovkách, ovladač (modul) jsem neměnil, nechal jsem ten, co použil systém automaticky.

Síťovky: eth0: RTL8169sb/8110sb eth1: RTL8169sc/8110sc

Moduly: r8169 38884 0 mii 6368 1 r8169

rychlosti: eth0: negotiated 100baseTx-FD flow-control, link ok eth1: negotiated 1000baseT-FD flow-control, link ok

Těch 100MBit u první je správně, modem umí jen 100MBit LAN (vzhledem k 25MBit internetu dostačuje).

Nevíte náhodou někdo jestli není problém s Realtek ovladači v jádře ? Nějak se mi to nelíbí a už jsme vyměnili 3 desky, ale bohužel realtek byl zatím všude.

---

---

Odpovědi

[Petr Maleček]

Ještě doplním update - dokompiloval jsem aktuální ovladač z realteku (r8169) a bez rozdílu :(

[benn]

Kdysi jsem, potřeboval taky měřit rychlosti, ale to bylo kvuli testu PCI a hlavně PCI bridgi, který tam visel. A použival jsem k tomu 1G ethernetovou kartu s driverem r8169. A některý moje zkušenosti:

1) Na obou stranách se pomoci utilit "mii-tool" nebo "ethtool" přesvěčte, že máte 1G FD a siťovky jsou natvrdo propojeny kabelem bez switche. Je dobré být v textovém režimu bez grafiky

2) Určitě k měření nepoužívejte iptraf. Silně zkresluje výsledky v momentě, kdy je procesor dosti vytížen (ono záleží na výkonu CPU). Dobrý výsledky jsem měl s programem vnstat, iftop jsem nezkoušel.

3) Při testu si pusťte utilitu "iostat -m 1" a pokud uvidíte, že CPU je vytížen, tak se utilitou "mpstat 1" blíže podívejte čim je vytížen. Určitě výsledky z obou programů sem můžete hodit.

4) Po testu se podívejte na statistiku v "ifconfig". Dulezité parametry jsou errors dropped overruns a musí byt nulové.

5) K měření je dobré nejdříve použít nějaký "UDP bombardovací" prográmek a otestovat zvlášť vysílací strany a pak i proti sobě (nebo využít modulu pktgen, ten vymáčkne z eth driveru opravdu vše). Protože kopírováním souboru se do přenosu zaplítájí další utility (ftp, nfs, samba, atd) a ethernetí driver v tom může být nevině.

6) Co se týče driverů r8169 tak jsou 2. Jeden od výrobce s verzí 6.něconěco.... a druhý co je v jádře pod verzí LK2.3 NAPI (to NAPI šlo kdysi vypínat). U obou není problém vytáhnout 600Mb i na slabším PC (1.6GHz, 512MB RAM). Bohužel už nedokážu říct, u kterého se projevovali nedostatky. Určitě jeden měl problém, kdy se zaseklo vysílání a "TX timeout" špatně resetoval LAN chip.

Pokud chcete ověřit LAN kartu, tak nejříve s UDP paketama nebo ideálně zapojit modul pktgen (jeho zprovozněni chce pevný nervy, ale pokud máte připraveny skripty, tak je to už rutina)

[Petr Maleček]

1) - asi jste to přehlédl - eth0: negotiated 100baseTx-FD flow-control, link ok eth1: negotiated 1000baseT-FD flow-control, link ok

2) - nepoužívám, použil jsem FTP přenos (proftpd + win klient)

3) - je to jádro Conroe, vytížení bylo průměrně 0.7% jednoho ze dvou jader

4) - errory & dropps = 0 5) - můžu použít cokoli, scp, ftp, samba, nfs ... rychlost neměnná, rozdíl v rychlosti SAMBA vs. FTP je cca 10% kvuli režii

6) - já používám od výrobce poslední :( ... PC Intel Celeron-Dualcore 2.5GHz (Conroe), 2GB RAM, 64bit Ubuntu.

[Petr Maleček]

Ještě dodám - jedná se o serverovou instalaci, takže krom konzole žádné GUI. PC je (a byl) propojen napřímo nekříženým kabelem.

[benn]

Hmm Drops na 5 to už něco značí ještě k tomu PCI bridge:

00:08.0 PCI bridge: Hint Corp HB6 Universal PCI-PCI bridge (non-transparent mode) (rev 15)

Můžete prosím otestovat to pomocí UDP. Samotný test přenosu souborů přes služby ftp, nfs či cokoliv jinýho je opravdu o ničem. Klidně použijte utilitu ttcp

Např.: "dd if=/dev/zero bs=1M | ttcp -t -u -p 5001 vzdálené_IP"

Klidně místo dd dejte "cat opravdu_velky_soubor" (ale bude se tam plést režie disku). Příkazy postupně přidávejte, ale s jiným portem -p (jeden příkaz nedokaže až na full zatížit LANku). Zkuste na serveru vysílání, kolik vyždímáte, co CPU a co vysledek ifconfig.

Pak zkuste na serveru rychlost prijmu. Na vzdáleným dejte ty příkazy, ale s IP serveru a serveru spustte třeba (nebo eth v promiskuitním módu):

"ttcp -r -u -p 5001 > /dev/null"

Změřte statistiku hlavně ifconfig jak bude vypadat. Pokud bude DROP na velikých číslech a CPU bude mít pořád leháro, tak problém bude v tom PCI bridgi nebo spíše, že ta Realtek LAN karta se řádně nedomluví s PCI bridgem.

[the.max]

predne realtek 8139 je co vim jen 100Mbit.

Realtek neni sitovka, realtek je jen nepovedena parodie na sitovku a tech 20m je na tuhle mr*ku az az. Doporucuju vyhodit tu pridavnou parodii a koupit nejakou sitovku. Problem je ten, ze pokud to mas na PCI, tak pocitej s tim, ze gigabit z toho prakticky nebudes schopnej vydolovat vubec, protoze PCI je sdilena sbernice a jeji maximalni (teoreticka) propustnost je 133MB. Na PCI ale mas treba radic disku, druhou parodii na sitovku, grafiku, USBcka atd... Pokud chces opravdu Gigabit, mel by jsi se poohlednout po sitovkach do PCI-e. A kdyz rikam po sitovkach, tak tim myslim Intel. Kvalite ovsem sekunduje i cena, takze jednomortova se da sehnat okolo 800kc (mozna dnes i mene), dvouportova je neco malo prez 2 litry, 4portova je zrejme drazsi, nez celej tvuj NAS. Taky pozor, 2 a 4portova potrebuje pci-e x8.

[kyytaM]

Zial s tymi Realtekmi je to pravda. Kedysi ma v kutiku duse tesilo, ze aj vdaka tejto fy sa sietove komponenty stali cenovo pristupne. To bolo zhruba do chvile, kym som sa mal moznost presvedcit, co je to za odpad. Zial uspesne sa im podarilo zaplavit trh a doba je taka, ze cim vacsi hw potrat (aj ked Realtek su teda skor "SW "sietovky"" :D), tym vacsi uspech...

[JF]

No, me to nepripada. Lspci mi vyslovne pise gigabit ethernet a tazatel asi ma to same, nebo neco podobneho.

root@xyz:~# lspci
00:00.0 Host bridge: VIA Technologies, Inc. CN700/VN800/P4M800CE/Pro Host Bridge
00:00.1 Host bridge: VIA Technologies, Inc. CN700/VN800/P4M800CE/Pro Host Bridge
00:00.2 Host bridge: VIA Technologies, Inc. CN700/VN800/P4M800CE/Pro Host Bridge
00:00.3 Host bridge: VIA Technologies, Inc. PT890 Host Bridge
00:00.4 Host bridge: VIA Technologies, Inc. CN700/VN800/P4M800CE/Pro Host Bridge
00:00.7 Host bridge: VIA Technologies, Inc. CN700/VN800/P4M800CE/Pro Host Bridge
00:01.0 PCI bridge: VIA Technologies, Inc. VT8237 PCI Bridge
00:08.0 PCI bridge: Hint Corp HB6 Universal PCI-PCI bridge (non-transparent mode) (rev 15)
00:09.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL-8110SC/8169SC Gigabit Ethernet (rev 10)
00:0b.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL-8110SC/8169SC Gigabit Ethernet (rev 10)
00:0c.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL-8110SC/8169SC Gigabit Ethernet (rev 10)

[kyytaM]

jj, 8169 je 1gbit, mam aj ja take v praci a su to z tych "lepsich" realtekov co som zatial mal. :D

[the.max]

ano, 8169 se tvari jako gigabit, nicmene tazatel pise, ze jako pridavnou ma 8139 a ta OPRAVDU neni gigabitova.

[Petr Maleček]

Netvrďte nesmysli :) Samozřejmě se jedná o gigabitovou síťovou kartu, kdybyste si pročetl ten dotaz pořádně, tak byste viděl, že přímo v mii-tool výpisu je rychlost gigabit. Poměrně bez problému skrz ni proteče 400MBit/s pod windows. Určitě by nebyl problém více při použití FTP namísto samby.

[the.max]

Mozna tvrdim nesmisli, ale ze by je tvrdil i samotny vyrobce?

[the.max]

doplneni, gigabitove parodie na PCI a na pci express

[Petr Maleček]

Ano, to jsou ony, ty jsou v tom serveru (podle logu), obě jsou gigabitové. S tou 8139 jsem se přepsal, tu mám na stole jako 100MBit náhradní.

[kyytaM]

No skusim v pondelok v praci, v mojom testovacom stroji mam 8169 a namatkovo cez scp to dalo okolo 23 MB/s. Niekde som tam videl aj 8111, tak skusim...(2 co som zatial skusal, boli odpalene :D)

[Ondrej 'SanTiago' Zajicek]

V prispevku mas totiz zmatek. V textu pises, ze druha karta je rtl8139, zatimco o kus niz je RTL8169/8110 u obou sitovek.

Evidentne tedy o realtek 8139 nejde.

[trekker.dk]

Sám si nesmysl. Dokonce to i sám píšeš:

eth0: negotiated 100baseTx-FD flow-control

Co vidíš? Tak vidíš.

[trekker.dk]

Sorry, beru zpět. Přehlédl jsem, že z hlediska dotazu jde o naprosto přebytečnou informaci

[Petr Maleček]

Nikoli, čip 8169C/8110C je gigabitový. Je zvláštní, že já s Windows klientem komunikuji o rychlosti cca 770MBit/s (na gigabitu) a oba máme právě realteky. V tomto problém opravdu není. Problém je ovladač

Co se týče PCI sběrnice, nemáte pravdu, protože se jedná o PCI 2.2 (minimálně) a tam je nejvyšší možná rychlost přenosu 533 MB/s pri použití 66 MHz signalizace. Dále - řadič disků není již připojen k PCI sběrnici, ale k PCI-Express. Zkoušel jsem připojit i externí řadič do PCI sběrnice a rychlost přenosu dat byla kolem 140MB/s, takže zde problém není.

Problémem je 100% ovladač

[the.max]

jasne, pokud jde p vyssi verzi PCI, pak je to neco jineho. ja predpokladal, ze deska na ktere ten NAS je neumi pci-e, protoze jinak by mne nenapadlo vubec jeste kupovat sitovku (nebo parodii na sitovku) na pci.

[Ondrej 'SanTiago' Zajicek]

protože se jedná o PCI 2.2 (minimálně) a tam je nejvyšší možná rychlost přenosu 533 MB/s pri použití 66 MHz signalizace

AFAIK to, ze deska ma PCI 2.2 neznamena, ze nutne podporuje nejvyssi moznou rychlost. Prevazna vetsina mainboardu (az na specializovane serverove) ma stale jen 33 MHz, 32 bit PCI sbernici.

[Petr Maleček]

I tak by to bylo 266 MB/s a to je pořád více než dostačující. Měli jsme do PCI vložený řadič a v SW RAIDu 5 byly 3 disky (3x1.5TB) rychlost čtení byla 190MB/s a zápisu 130MB/s, takže problém v PCI určitě nebude. Já se nehádám, já pouze píšu fakta a tak nějak jsem očekával že kdo ví, tak napoví a ne že mě bude někdo ujišťovat, že to co píšu tak není, nebo být nemusí. Než se ptám, nebo něco píšu, tak si ověřuji fakta. Jediné co jsem tedy napsal špatně bylo 8139 oproti 8169, ale to se jednalo o překlep

Díky za rady.

[kacer]

Ahoj, z tvého popisu není jasné, jak jste měřili rychlost a u jakého aplikačního protokolu. Podle těch 20 MB/s mám takové zlé tušení, že jde o protokol samba/cifs, neboli MS sdílení souborů a tiskáren. A tady opravdu není co řešit - výkon u tohoto protokolu je na principu náhodných výbuchů. Viděl jsem rychlosti od 3-5 MB/s (HP nb + Vista), přes 6-20 MB/s (XP - různé stroje) až po 60 MB/s (Win7 průměrný kancl. počítač). Takže zkusit FTP s vhodnou volbou serveru a klienta, ještě lépe NFS. Měli byste se dostat alespoň na 40-60 MB/s. Ještě mě napadlo, jestli nemůže být problém v procesoru, poslední Celerony neznám, ale generace před nimy byly pekelně pomalé - zkuste sledovat zatížení CPU při stahování třeba pomocí top nebo htop. Mám podobný server s P Dual Core, 4 GB RAM, 2x Realtek gigabit a po lokále není problém pohybovat se od 20 do 60 MB/s, záleží samozřejmě na klientovi.

P.S.: Ještě se dají zkoušet jiné věci, třeba livecd gentoo, na něm spustit nfs server a jinde se připojit NFS klientem a vyzkoušet rychlost. Ale nemyslím, že by Ubuntu bylo o tolik horší než Gentoo.

P.S.II: Realtek síťovky už zdaleka nejsou tak špatné, sice nepatří do vytížených serverů, ale na SOHO řešení bych se nebál, mám s nimi poměrně dobré zkušenosti. Jasně, že vytížení CPU je trochu vyšší a asi by to nestíhalo nával paketů, ale to se v SOHO segmentu moc nestává.

[Ondrej 'SanTiago' Zajicek]

Takže zkusit FTP s vhodnou volbou serveru a klienta, ještě lépe NFS

S NFS jsem zas ja mel spatne zkusenosti, co se tyce vytizeni linky. FTP je v tomto ohledu spolehlive.

Nebo jeste lepe tcpspray + echo/discard server.

Jasně, že vytížení CPU je trochu vyšší

Trochy vyssi vytizeni bylo u rtl8139, ktere melo (pry) striktnejsi pozadavky na alignment, takze bylo nutne data navic jednou v pameti kopirovat. O nejakem podobnem problemu u rtl8168/8169) nevim, takze nevidim, proc by melo byt vyssi vytizeni.

[kyytaM]

Tieto sietovky maju nulovy offload (respektive takmer nulovy - rx-checksumming). :)

[Petr Maleček]

Ahoj, díky za odpověď - rychlost jsem měřil nejdřív pomocí samba protokolu, protože právě pro samba protokol je ten "NAS" určen - a nedostali jsme se při kopírování na server na 18MB/s, ze serveru cca 24MB/s. Přes FTP byl výsledek o cca 10% lepší. SCP ani NFS už oproti FTP žádný rozdíl neudělal. Procesor je naprosto identický s tím Vaším jen nemá 2MBL2, ale jen 1MB. Jinak také dualcore Conroe 2.5GHz. 2GB RAM, distro Ubuntu 9.10 64bit. Využití CPU bylo ccca 7 desetin procenta na jednom jádře, druhé se flákalo uplně. Když jsem kopíroval z RAIDu na systémový disk, tak vzrostlo na 1% při kopírování (60MB/s), opačným směrem pořád 1% (140MB/s).

[kyytaM]

asi by som zacal benchom priepustnosti - napr. iperf (ci je ta pomalost zavisla len od sietoveho spojenia)

[Petr Maleček]

To jsem přesně také zkoušel, nevyšplhal jsem se ani nad 120MBit :( (win jako server a lin jako client)

[kyytaM]

No na 8169 mi dalo nejakych >670 MBit. (Athlon X2 1,9 Ghz, nforce chipset). 2 identicke pocitace na priamo kablom spojene. Procesor to zatazuje dost brutalnym sposobom...

Ak vyhrabem este niekde tie 8111, ak skusim aj s tymi.

[Petr Maleček]

Všimněte si na tomto obrázku -

... rychlost se nedostala nad 155MBit i při 12ti hodinovém kopírování :(

[kyytaM]

jj fakt nedobre cisla :(

testol som teraz v tych istych pc integoravne nvidie 1g bit sietovky...cca 931 Mbit/s pri TCP v iperf..cize +/- o 50% lepsie ako realtek 8169

[Petr Maleček]

Já testoval Marvell Yugon (gigabit) oproti nVidii gigabitu a jelo to cca 570MBit/s po sambě, takže taky v klidu. To by nám stačilo.

[Jezekus]

Priklanim se k tomu, ze se to proste nema rado. Mel jsem doma 4ks 1Gbit Realtecu a fungovaly dobre. Rychlost kolem 18-20MB/s pres sambu (upozornuji server je prehistoricka 2xP3@1GHz s 2GBRAM a SATAI/II disky na PCI SATAII radicich), kabely CAT6. Po cca 2 letech nonstop provozu prenosy zacaly kolisat a rychlost jednim smerem OK druhym cca 150kB/s. Vymenoval jsem sitovky (a porty), menil nastaveni BIOSu a nic nepomohlo. Na zkousku jsem dal 3Coma 100Mbit a jelo to cca 99Mbit obema smery, pujcil jsem si tedy 3Com 1Gbit a taky OK. Rozhoupal jsem se a koupil Intel 1Gbit a nyní přes sambu není problém 28-30MB/s coz mi prijde na dane zelezo obstojne.
Vim, ze to neni asi to nejspravnejsi reseni, ale kupte lepsi kartu a bude po problemech

[Petr Maleček]

Díky, nakonec jsme to zvážili a podíváme se po nějaké Intelce. Koukám na Intel® PRO/1000 GT Desktop a asi do ní půjdem, 6 stovek není moc a pokud to náš problém vyřeší, tak rádi investujem. Když to koupím přes net, tak to můžu i do dvou týdnů bez udání důvodu vrátit, takže asi nejlepší řešení.

[Jezekus]

Presne tuhle sitovku jedu a zkusenost je 100% pozitivni.

[Petr Maleček]

Díky, moc mi to pomohlo při rozhodování, objednal jsem rovnou dvě.

[Petr Maleček]

Takže ... Intelka pomohla v rychlosti kopírování směrem ze serveru na klientskou stanici, ale kopírování obráceně funguje stále jen cca 20MB/s (160MBit cirka).

Přes ethtool jsem si nechal vypsat nastavení síťovky, bude z toho někdo moudřejší než já ? :-B

ethtool -k eth1
Offload parameters for eth1:
rx-checksumming: on
tx-checksumming: on
scatter-gather: on
tcp-segmentation-offload: on
udp-fragmentation-offload: off
generic-segmentation-offload: on
generic-receive-offload: off
large-receive-offload: off

Dííííky.