Dotaz: Pomala samba, 1 Gbps LAN

[qwertysimo]

Zdravim,

po prejdeni 167 vysledkov hladania "rychlost kopirovani", 21 vysledkov hladania "pomala samba", po stravenom vikende na googli som sa rozhodol regnut a polozit otazku.

Dal som na novy stroj Debian, nahodil najnovsie jadro a baliky a pri testovani som sa dostal k sambe, kde som aj ostal visiet.

Konfiguracia: "moje PC" s 1 Gbps sietovkou (Win XP, vypnute QoS) --> meter kabla do 1 Gbps switchu SMC --> meter kabla do "linux PC" s 1 Gbps sietovkou

Situacia: Ked kopirujem z mojho PC na linux PC, rychlost prenosu 3 GB je cca 50 MB/s, fajn.

Problem: Ked kopirujem z linux PC na moje PC, rychlost prenosu je max 20 MB/s.

Menil som nastavenia samby ako os level, wins support, socket options, TCP_NODELAY, SO_SNDBUF, aj SO_RCVBUF, log level a vzdy testoval, ale tych cca 20 MB/s von z linux PC je maximum.

hdparm -tT dava: Timing cached reads: 2334 MB in 2.00 seconds = 1167.32 MB/sec Timing buffered disk reads: 266 MB in 3.00 seconds = 88.57 MB/sec

Na moje PC to kopirujem na RAID 0 a urcite nie je problem, ze by to nestihalo pisat, pretoze ked cez ten isty switch kopirujem z manzelkinho PC s Gbps sietovkou, bez problemov to na moje PC ide cca 30 MB/s.

V linux PC som skusal zakazat integrovanu sietovku a dat do PCI 1 Gbps SMC sietovku, ale davalo to uplne rovnake hodnoty.

ifconfig ukazuje vsetko ok: Link encap:Ethernet HWaddr 00:1e:8c:1e:e4:19 inet addr:192.168.1.20 Bcast:192.168.1.255 Mask:255.255.255.0 inet6 addr: fe80::21e:8cff:fe1e:e419/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:11226805 errors:0 dropped:0 overruns:0 frame:0 TX packets:17815583 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10485755718 (9.7 GiB) TX bytes:18190858836 (16.9 GiB) Interrupt:252 Base address:0x6000

mii-tool ukazuje pripojenie ako 1 Gbps, full duplex

Cital som komentare, ze samba je neefektivna, budiz, ale preco by mala byt "2.5-krat neefektivnejsia" len jednym smerom?!

(Skusil som nahodit FTP server kvoli testu FTP, ale zrejme som zblbol konfiguraciu, pretoze mi to nedavalo viac ako 512 kB/s.)

Prosim vas, mozete mi poradit, co mam este skusit, lebo uz som naozaj bezradny?

Vopred vdaka za kazdu konstruktivnu radu. Ak som zabudol napisat nejake dolezite info, na vyziadanie doplnim.

qwertysimo

Odpovědi

[Dan1]

Co tam je za sitovou kartu / ovladac?
Jake je vytizeni procesoru pri kopirovani?
Jeste bych zkusil otestovat rychlost pomoci utility iperf (tcp i udp).

Bojoval jsem na debianu s tragickym vykonem open source ovladace pro Realtek RTL8111/8168B.
I s ovladacem zkompilovanym od Realteku to bezi podle iperf v upstreamu TCP 50mbit/s, downstream > 500mbit/s

Takze i 10x pomalejsi jednim smerem byt muze

[qwertysimo]

Na doske integrovany:
RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 01)

Pridal som tam SMC, tiez Realtek:
RTL-8169 Gigabit Ethernet (rev 10)

Pre oba pouzivam modul z jadra (2.6.24.4), r8169.

Pri kopirovani z mojho PC do linux PC je vytazenie CPU do 5 %.
Pri kopirovani z linux PC do mojho PC je vytazenie CPU 1-3 %.

iperf, server moje PC, klient linux PC, priemer 3 merani: 434 Mbits/s
iperf, klient moje PC, server linux PC, priemer 3 merani: 320 Mbits/s

A? Ako si dobojoval? ;)

[Dan1]

Ja jsem se s tim vyrovnal tak, ze jsem z te (integrovane) sitovky udelal WAN rozhrani a pro LAN jsem koupil jinou Gigabit sitovku do PCI

Slaby vykon se tykal UDP v jednom smeru, takze postihoval napr. sambu, ale ftp a pod. by to nemelo ovlivnit.
Tohle jsou moje poznamky, ktere jsem si k tomu udelal.
Je to z prosince 2007 a tyka se to tehdy aktualniho jadra na debian testing.

lspci:
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 01)

Testovano na Debian Lenny, tragicky vykon, zaseky pri UPSTREAMU v UDP 
(samba) s pouzitim automaticky natazeneho open source ovladace r8169.ko

Nainstalovat ovladac od Realteku:
http://www.realtek.com.tw/downloads/

apt-get install linux-source
ln -s /usr/src/linux-source-`uname-r` /lib/modules/`uname-r`/build

a dale kompilace podle instrukci v readme ovladace
Stary ovladac se nedari blacklistovat, takze vnutit novy:

mv /lib/modules/`uname -r`/kernel/drivers/net/r8169.ko /lib/modules/`uname -r`/kernel/drivers/net/r8169.ko.old
depmod -a
mv /boot/initrd.img-`uname -r` /boot/initrd.img-`uname -r`.backup
update-initramfs -u -k `uname -r`
reboot

[VM]

To mereni rychlosti u cachovaneho prenosu je uplne nepouzitelne cislo, dulezita je rychlost necachovaneho prenosu. A tady 20MB/s muze proste odpovidat rychlosti pouziteho disku. Doporucuju premerit lokalne s velkymi soubory (treba 10GB). Myslim, ze v linuxovem pocitaci by proste mohl byt pomaly disk (tech 3GB by mohlo byt jeste ovlivnene pametovou cache, treba mate-li 2GB RAM, tak se omezeni pomalym diskem na 3GB souboru vubec neprojevi - ale na 10GB by uz mohlo).

Co se da jeste zkontrolovat: - ze disk pouziva DMA, nikoliv pio (ve vypisu dmesg) - zatizeni CPU pri prenosu (melo by byt tam byt idle > 0)

Jak se tomu da pomoct obecne: - koupit rychlejsi disk - koupit dalsi disk(y), a udelat nad nim LVM, RAID0, RAID5 nebo neco takoveho, co umi striping (a nezapomnet ten striping aktivovat)

[qwertysimo]

No, pohol som to trochu dalej s testovanim.

Pozical som si radic Adaptec 3405 (4x SATA II, PCI Express x4, hardverovy RAID) a pripojil k nemu 4x 500 GB Western Digital SATA II. Kvoli dosiahnutiu co najvacsej moznej rychlosti som spravil pole RAID 0 zo vsetkych 4 diskov.

(pole RAID 0 budem dalej znacit ako sdb; systemovy disk v "linux PC" ako sda (tiez SATA II))

1. test: "hdparm -t /dev/sdb" dal 320 MB/s, priemer z 5 merani. Povazujem to za ocakavany vysledok, pretoze jednotlive disky ukazovali v hdparm cca 80 MB/s (to som mal odmerane uz pri zakladani tejto temy).

Nasledne som vytvoril particiu a v nej suborovy system XFS s predvolenymi nastaveniami, na celu velkost, 2 TB.

2. test: "hdparm -t /dev/sdb1" dal 180 MB/s, priemer z 5 merani

(Preskocim cast, ze som skusal este vytvorit XFS s roznymi parametrami sunit a swidth; tiez ReiserFS; tiez ext3; drzalo sa to stale pod 180 MB/s alebo mierne pod)

3. test: Kopirovanie 14,5 GB z "moje PC" do "linux PC" cez sambu. Rychlost 55 MB/s

4. test: Kopirovanie tychto 14,5 GB z jedneho adresara na sdb do ineho adresara na sdb. Rychlost 123 MB/s

5. test: Kopirovanie tychto 14,5 GB zo sdb do sda. Rychlost 60 MB/s

6. test: Kopirovanie tychto 14,5 GB zo sda do sdb. Rychlost 69 MB/s

7. test, najdolezitejsi: Kopirovanie tychto 14,5 GB zo sdb na "linux PC" do "moje PC" cez sambu. Rychlost 21,4 MB/s

Kopirovanie v teste 3 moze zodpovedat 440 Mb/s, co ukazoval aj iperf, vid hore.
Kopirovanie v teste 7 ale urcite nezodpoveda nameranej hodnote z iperf opacnym smerom.

Este taky subjektivny opis situacie:

Pri teste 3, LED mojho disku bola non-stop rozsvietena, LED RAIDu rychlo blikalo, LED sietovky v "linux PC" pravidelne rychlo blikalo.
Pri teste 4, LED RAIDu bola non-stop rozsvietena
Pri teste 5 a 6, LED pre sda bola non-stop rozsvietena, LED RAIDu rychlo blikalo.
Pri teste 7, LED RAIDu mierne "preblikaval", LED mojho disku blikol raz za sekundu, LED sietovky v "linux PC" robilo trhane blikanie.

Skusim este zohnat sietovu kartu s inym chipom ako Realtek a dat ju do PCI. Dovtedy, ked si pozriete tieto testy a vysledk, mozete sa k nim vyjadrit a dat vas nazor a navrhy co dalej, prosim?

Btw, aku sietovku tam vrazit?

[Marv-CZ]

Tak pro zajimavost: provést test s kříženým kabelem bez switche.

[the.max]

doporucuju vicemene libovolnou NErealtekovou sitovku ja mam v serveru 2portovyho intela, ale neni nejlevnejsi. delaji i jednoportovou a to bud serverovou nebo desktopovou. Krom cen jsem nenasel zadny patrnejsi rozdil.

[VM]

Zajímavé...

Zkusil bych zjistit vytížení CPU obou počítačů při tom problematickém kopírování.

Taky bych to zkusil zkopírovat jinak než přes Sambu - když nešlo FTP, tak třeba pustit tam Apache a změřit to přes HTTP (opět velké soubory).

Taky zkusit jinou síťovku.

[LFCIB]

Skusim este zohnat sietovu kartu s inym chipom ako Realtek

to doporučuji

[qwertysimo]

No, pokročil som ďalej.

Najprv som skúsil kopírovať cez apacha, ale rychlost bola cca 15 MB/s, čo je menej ako dávala samba. Rozhodol som sa kúpiť si serverovú sieťovku od Intelu. Pred chvíľou som ju pichol do dosky a s napätím začal kopírovať z "linux pc" do "moje pc" cez sambu a woala, rýchlosť kopírovania 15 GB súboru bola 36 MB/s. Rýchlosť kopírovania do "linux pc" sa drží na tých 50 MB/s.

Všimol som si, že pri uploade do "linux pc" stúplo vyťaženie CPU pre sambu a to na 14-18 %.
Pri downloade z "linux pc" stúplo vyťaženie CPU pre sambu a to na 9-11 %.

Skúsim sa ešte pohrať s nastaveniami samby, možno sa ešte podarí získať nejaký výkon. Tiež si ešte spravim prekrížený kábel a skúsim vynechať switch.

Budú niekoho z diskutujúcich ešte zaujímať moje ďalšie ladenie a testy? Každopádne vďaka za pomoc pri riešení problému. No, Realtekové sieťovky to majú u mna odteraz veľmi nahnuté ;)

[miso]

Budú niekoho z diskutujúcich ešte zaujímať moje ďalšie ladenie a testy?

Na konci by si to mohol "supnut" cele do blogu

[R]

Otazka je, ako to kopirujes. Ked na Linuxe namontujes disk z druheho PC cez smbfs, tak to je pomale. Je to "feature" tej implementacie v jadre. smbclient je rychlejsi.

[Grunt]

Pár zkušeností:

FTP windows - windows: přibl. 12Mb/s i méně
Samba: windows - windows : přibl. 15Mb/s
BTest TCP: windows - windows: 20Mb/s
BTest USP: windows - windows: 28Mb/s
iperf: linux -> windows: 36Mb/s
samba: linux -> windows: 43Mb/s
Btest TCP nebo UDP(už si to nepamatuju): linux -> windows: 83Mb/s
nc < /dev/zero - nc -l > /dev/null: linux - linux:93-94Mb/s
iperf: linux -> linux:92-95Mb/s
pktgen: linux -> linux:98-99Mb/s

Na obou stranách Realtek FastEthernet karty. Původně jsem si myslel, že je to neduh Windowsů, ale po přečtení pár fór jsem usoudil, že to bude nejspíše ovladačem pro kartu(někdo nadával na driver že spotřebovává příliš mnoho prostředků, což mohu jen potvrdit. U více jak 15Mbps jsem procesor pod 100% neviděl). Jinak Samba není nijak extra rychlá ani při kombinaci linux - linux, protože zatím se mi nepodařilo přesáhnout hranici 50Mb/s(i když to už může být i docela diskem).