Dotaz: rychlost NFS

[rimskij]

Zdravim, mam na esxi 5.1 nainstalovany Debian6 a v nom cez NFS primontovany NAS. Debian pouzivam ako samba server. Problem je, ze ked kopirujem na subory, tak dosahujem rychlost max 25-30Mb, napriek tomu, ze mam Gb siet. Ked ale na tom NAS zazdielam adresar cez samba a kopirujem priamo na NAS, tak to bezi 200Mb. Kazdopadne, ked kopirujem nieco na ten Debian na lokalny disk, tak to bezi na Gb. Evidentne je problem v tom NFS. Je normalne, ze to NFS je tak pomale? Povazoval som primapovanie NAS do filesystemu cez nfs za standartne riesenie. resp. robi sa to nejako inak?

Odpovědi

[Punny]

vsechno mate v jedne siti? nebo storage a sambu mate oddelenou? NFS mate pripojene k ESXi nebo az ve virtualu, moc to z toho popisu nepoznam jak to presne mate...problem nebude v NFS, ale v zapojeni si myslim, ale i tak necekejte zazrak.
Punny

[rimskij]

Zdravim, storage je na oddelenej sieti. na server je pripojena do separatnej sietovej karty. NFS je pripojeny az vo virtualy a nevyuziva ho nikto iba ten virtual.

pripojene je to takto.

10.0.0.19:/volume1/share_server /home/MEI nfs nolock,rw,async 0 0

pre adresar share_server je na strane NAS povolene len NFS. Vlastne, na tom NAS som povypinal vsetky "features", co sa dali.

[Aleš Kapica]

Ještě jednou jsem si přečetl původní dotaz. Vyrozuměl jsem z něj, že adresář připojený z NAS přes NFS publikujete dále přes SMB. A problém je v rychlosti nikoliv z NAS, ale z toho systému kam je to připojené. Tzn. že může být problém taky v konfiguraci té samby.

Jinak pokud jde o tu rychlost přímo z NAS. Otázky zní: Co to je za NAS? A jak velký byl testovací soubor. Ta rychlost totiž může být daná tím, že SAMBA na stroji NAS má ten soubor v paměti a na disk se uloží až později. Kdežto při připojení přes NFS čeká klient na stroji odkud ho dále zprostředkovává SAMBA na potvrzení o uložení. Asynchronní režim sice zajistí že nečeká na potvrzení u každého paketu, ale pokud dosáhne určitého limitu obsazené paměti, tak stejně musí počkat.

[Punny]

ok
a NFS pouzivate v3?
poslete nam vypis z dd pri zapisu z debianu na NFS

[Šangala]

Nevím jak to ovlivňuje ESXi, ale na slabém nezatíženém HW mám takovéto rychlosti (evidentně to mám gigabit-u :) ):

soubor ≡ 500MiB

Zápis na share:

time cp /dev/shm/smaz /samba-share/
real	0m12.047s
user	0m0.008s
sys	0m1.868s
 ≈ 41.5 MiB/sec (≈ 332 Mbit/sec)

time cp /dev/shm/smaz /NFS4-share/
real	0m9.184s
user	0m0.004s
sys	0m0.712s
 ≈ 54.4 MiB/sec (≈ 435 Mbit/sec)

Čtení ze share:

time cp /NFS4-share/smaz /dev/shm/
real	0m14.811s
user	0m0.008s
sys	0m0.864s
 ≈ 33.8 MiB/sec (≈ 270 Mbit/sec)

time cp /samba-share/smaz /dev/shm/
real	0m22.850s
user	0m0.004s
sys	0m1.352s
 ≈ 21.9 MiB/sec  (≈ 175 Mbit/sec)

Cache byla eliminována (sync && echo 3 > /proc/sys/vm/drop_caches) :)
NFS4 (trošku postarší), volby připojení: rw,insecure,async,no_subtree_check,nohide

Velké problémy s rychlostí jsem měl přes NFS pokud byly rozjeté systémové časy klienta a serveru (stačilo relativně málo např. 2min), no a volba async může a obvykle dělá velké výkonností rozdíly.

[Šangala]

PS: Myšleno cache klienta byla vyprázdněna…

[H0ax]

máš to připojený jako async?

[Aleš Kapica]

Brzdí ti to nejspíš rychlost zápisu na ten NAS. Vylepšit to můžeš pouze tím, že ty adresáře připojíš asynchronně, jak už ti to tady bylo doporučeno.

[rimskij]

pripojene je to takto:

10.0.0.19:/volume1/share_server /home/MEI nfs nolock,rw,async 0 0

takze async tam mam. Ked na tom NAS, zazdielam adresar cez samba, skusam pristupovat na NAS priamo cez Sambu, tak to bezi cca 26-27MB/s co je fajn. Takze problem je bud, v tom NFS, alebo teraz ma este napadlo, ze problem moze byt v kabli, nakolko NFS a priamy pristup nevyuzivaju ten isty

[Heron]

Osobně používám hard a sync.

U mě NFS jede rychlostí 100MB/s (no těch cca 1000Mbps - saturace gigabitové sítě), pokud je to velký soubor. Kopírování více menších souborů je pomalejší, protože se po každém z nich se provede sync (což chci).

V každém případě jak samba, tak i nfs umějí bez větších problémů saturovat gigabit. Pokud ti to pro velké soubory jede pouze 30MB/s (nebo opravdu jsi chtěl napsat Mb/s?), tak bych problém hledal nejspíše v použitých síťovkách. Předpokládám, že disky to zvládají bez problémů.

[Aleš Kapica]

Záleží jaké to jsou disky a jaký to má řadič. Ano. Také tu máme stroj, který jel v sync režimu takhle svižně, jenže ten data neukládal na SW RAID pole sestavené z 2TB SATA disků s 5400 otáčkami, ale přes HW řadič na pole s 10 tis. otáčkovými SAS disky o velikosti 120GB.

[Heron]

Raid5 a 5x obyč 7200RPM desktopový disky. Není to nic produkčního. Sekvenční rychlost je ok. Nevýhodou je samozřejmně mimořádně pomalý (NFS) sync, s címž se ale musí počítat.

[rimskij]

ja mam toto:

http://www.alza.sk/synology-rackstation-rs2212-d339999.htm

a v tom 10x 3TB 7200ot v raid6

[Aleš Kapica]

Pokud dobře vidím, tak ten stroj v nabídce nemá gigabajtovou síťovku, ale pouze 2x 100 a ten procesor je také spíš takový chcípáček (já mám čtyřjádrový Phenom). Ale za ty prachy co bys taky chtěl.

Na můj vkus má ten stroj taky málo paměti. Při takovém počtu disků a tak slabém procesoru bude pravděpodobně větší RAID6 větší nároky na paměť a 1GB RAM mi přijde jako ukrutně málo pro dosažení slušného výkonu. Já měl dřív 4GB RAM a nebylo to nic moc extra. Teď mám 32GB, takže paměti je dost a trvale využito je cca 10GB.

Trochu mě zaráží uvedená informace o počtu pozic pro disky - 4. Není vyloučeno, že interně řadič toho stroje sdílí SATA kanály. Mě se takhle kupř. chová laciný SATA III řadič. Plnou rychlostí jede pouze je-li na něm jeden disk. Při dvou padá rychlost na SATA II.

[Aleš Kapica]

Mimochodem, vytížení paměti na straně serveru rapidně kleslo poté, co jsem přešel na asynchronní připojení. Předtím bylo těch 32GB tak akorát.

[Heron]

Jak píše Aleš.

Jinak snažím se dodržovat pravidlo 1GB RAM na každých 1TB diskového prostoru (více je lépe). Tady mi ty počty nějak nesedí, 3GB RAM MAX a 10x3TB R6? 24TB prostoru na pouhé 3GB RAM, na tom se nepovede udělat ani fsck.

[rimskij]

zdravim, nie celkom som pochopil tym 3GB ram, ja mam 8. No i tak to pravidlo nedodrzujem, skusim to zvysit. aj ked podla vypisu, mam monstop volne viac nez 40% RAM.

V tom popise je chyba, to NAS ma 2xGB sietovku.

[dustin]

Otázka do pléna trochu mimo hru - na HW raidu můžeme provozovat mysql s innodb_flush_log_at_trx_commit=1, zatímco stejné nastavení je na SW raidu pekelně pomalé. Předpokládám, že to je úplně stejná záležitost - hw raid s baterkou flushne/syncne obratem a nečeká na disky, zatímco SW raid si to nemůže dovolit.

[Aleš Kapica]

Ano. Ovšem problém je v tom, že ty NEVÍŠ co s tím ten HW raid dělá.

U SW raidu systém čeká, až se mu vrátí potvrzení o tom, že jsou data zapsaná. Teprve pak může být operace považována za skončenou. V případě HW raidu nekomunikuje systém s diskem, ale s řadičem. Pokud mu řadič řekne, že může pokračovat dál, tak prostě nečeká.

Baterka je na tom HW raidu proto, aby se data, která řadič nestihne zapsat na disky udržela do příštího spuštění stroje v paměti. Bez baterky lze buď riskovat, že se data z cache při výpadku mohou ztratit a nebo čekat na potvrzení o zápisu na disk. Pak ovšem bude logicky zápis mnohem pomalejší.

Na druhou stranu SW raid má řadu výhod. Nepotřebuje žádné extra ovladače, je víc pod kontrolou a není problém ho rekonstruovat kdekoliv jinde.

[rimskij]

No zistil som, ze pokial mam zaplneny disk na menej ako cca 10% tak je rychlost ok. Potom ide radikalne dole. Takze je to NAS-om nie NFS-om a s tym si uz asi nepomozem