Rychlost přenosu přes Sambu

Zdravím, snažím se vytvořit rychlý NAS založený na Openfileru. Můj config je 6-port NIC Intel based zapojený v bondingu 802.3ad módu oproti switch 3COM na kterém je 802.3ad na připojené porty nastaveno. Propustnost sítě je při testu:

c:\iperf>iperf -c 192.168.1.233 -w 512k -l 512k -r

------------------------------------------------------------

Server listening on TCP port 5001

TCP window size: 512 KByte

------------------------------------------------------------

------------------------------------------------------------

Client connecting to 192.168.1.233, TCP port 5001

TCP window size: 512 KByte

------------------------------------------------------------

[780] local 192.168.1.239 port 15069 connected with 192.168.1.233 port 5001

[ ID] Interval Transfer Bandwidth

[780] 0.0-10.0 sec 1.01 GBytes 867 Mbits/sec

[808] local 192.168.1.239 port 5001 connected with 192.168.1.233 port 42966

[ ID] Interval Transfer Bandwidth

[808] 0.0-10.0 sec 1.14 GBytes 981 Mbits/sec

Samba je 3.2.0 a nastavení v smb.conf,které dle všeho nejvíc oproti defaultu ovlivňuje rychlost přenosu je:
socket options = TCP_NODELAY SO_RCVBUF=8192 SO_SNDBUF=8192

Sdílený disk je HW RAID5 pole na 15k SAS na Adaptec 52445. Rychlost přes bonnie++ je řekl bych pěkná:

Version 1.01 ------Sequential Output------ --Sequential Input- --Random-

-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--

Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP

renderdata 4048M 71591 98 457080 79 141652 30 56435 98 674488 63 688.0 1

------Sequential Create------ --------Random Create--------

-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--

files:max:min /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP

10:102400:1024/1024 3663 64 +++++ +++ 4657 64 3771 68 +++++ +++ 4190 63

Kopíruji 3GB soubor na 4GB ramdisk ve WindowsXP 64-bit. Nepodařilo se mi dostat v read ze Samby více než 63MB/s a write více než 40MB/s. Přitom přes FTP to tlačí 118MB/s. NFS jsem zkoušel také ale více jak 40MB/s nedá, ale to může být implementací NFS pro Windows. Primárně bych rád použil Sambu.
Nemáte někdo zkušenost s podobným řešením skrze Sambu?

Doplním, že test pole hdparm -t vypadá takto:

hdparm -t /dev/sda

/dev/sda:

Timing buffered disk reads: 1016 MB in 3.07 seconds = 330.78 MB/sec

Procházel jsem Samba mailing list a vypadá to,že SMB/CIFS protokol prostě víc nedá. Je tu někdo komu klidně ramdisk2ramdisk udělá přes Sambu víc?

Zkoušel jsem toto jak v kombinaci kopírování z/do ramdisku WinXP64 na WinXP64 / WinXP64 na Samba a výsledek je víceméně stejný. Tudíž si myslím, že jsem narazil na fyzické možnosti SMB/CIFS před 1Gbit síť. Pro WinXP64 bohužel není kloudná implementace NFS protokolu. Nemáte někdo zkušenost s propustností AFS?

V Samba mail listu jsem našel toto:

As far as I know, CIFS is a wordy protocol the reason is because it is a protocol originally designed not for many purposes.

The main reason of poor network throughput because when you open a file, is not a simple open, read, and close. It sends lots of TRANS2 packets and the same file open and close several times before reading the whole files, lot of other weird network operations such as NTFS data stream checks.

For small files, you probably see 3-10 times more packets transferred across the wire than the NFS. I think the performance difference may also depending on what type of file you are trying to open. For big files, (my very wild guess) you may see the performance difference converging to certain factor which is still more than NFS.

The difference is even more when you open a network directory.

Dotaz: Rychlost přenosu přes Sambu

Odpovědi