Dotaz: Pomalé zápisy přes NFS, rychlé čtení

[Luboš Doležel (Doli)]

Mám problém s NFS serverem na gigabitové síti. Zatímco čtení přes síť je relativně rychlé (~60 MB/s, lokálně je to ~120 MB/s), zápisy jsou extrémně pomalé (~1,2 MB/s) a způsobují vysoký load na serveru (více než 10), který ho efektivně zamrzne. Zápis přes síť přitom vypadá tak, že klient pošle "naráz" třeba 40 MB dat a pak hrozně dlouho čeká, než se server vzpamatuje. Při zápisu přes FTP přitom není problém dosahovat kontinuálního zápisu i 50 MB/s, což odpovídá rychlosti na lokále.

Co jsem zkusil a nepomohlo:

• přepínat mezi TCP a UDP režimem
• nastavovat wsize na různé malé/velké hodnoty
• nastavit na serveru i klientovi asynchronní režim

Teď se musím opravit, nastavení wsize na 65535 vlastně pomohlo. Zápis se zrychlil na 7 MB/s, ale load je nadále šílený.

I ta blbá Samba si vede líp. Tam čtení i zápis dávají tak 9 MB/s, což sice není vůbec sláva, ale aspoň je to trochu konzistentní rychlost a nezatěžuje to nijak systém.

Odpovědi

[Käyttäjä 11133]

Jaká je verze NFS? Klient i server je na Linuxu?

[Luboš Doležel (Doli)]

Obojí je Linux, na serveru je to 2.6.29.6, na klientovi 2.6.32-2.

[Luboš Doležel (Doli)]

NFSv3.

[AraxoN]

V 2.6.32 menili niečo čo súvisí s NFS. Tiež mi to písalo často Page allocation failure do logu, a padalo. Pri NFS prenosoch medzi strojmi, kde je po 8GB RAM (z toho 7.8GB free). Na gigabitovej sieti. Musel som kvôli tomu presedlať späť na 2.6.31, čím sa problém odstránil. Ak sa dá, tak vyskúšaj downgrade jadra.

[Luboš Doležel (Doli)]

Pokus s exportováním tmpfs odhalil, že do tmpfs to zapisuje rychlostí 83 MB/s. Takže problém je evidentně v tom, že NFS flushuje na disk jako šílený. V /etc/exports je přitom u všech exportů async...

[Luboš Doležel (Doli)]

Tak jsem možná našel příčinu. Málo RAM ("jen" 512 MB), objevilo se mi Page allocation failure. Udělal jsem dvě věci:

• Vyměnil jsem RAM, teď jsou tam 4GB
• Hodně jsem zvednul vm.min_free_kbytes, aby mohl kernel vždycky trochu lépe dýchat

A zatím to vypadá lépe.

[hajoucha]

ještě mě napadl obligátní počet nfsd -tj. počet obsluhujících daemonů. Debian má např. standardně nastaveno tuším 8, což je docela málo. V cat /proc/net/rpc/nfsd najdeš řádek začínající "th" a pak druhé číslo, které následuje (první je počet daemonů) je počet sekund, kdy běžely všechny nfsd naráz. Pokud je to vysoké, zvyš počet daemonů.

[Ruža Becelin]

Nemas tam parametr actimeo=0 nebo noac?

Jestli ano, zkus ho dat pryc, nam to zvedlo zapis z 30 na 80MBps na 1Gbps...

[Heron]

Při zápisu přes FTP přitom není problém dosahovat kontinuálního zápisu i 50 MB/s

Samba si vede líp. Tam čtení i zápis dávají tak 9 MB/s, což sice není vůbec sláva, ale aspoň je to trochu konzistentní rychlost a nezatěžuje to nijak systém.

Už jsem s tím asi otravný, ale co HW sítových prvků? U mě výměna na 3COM switch a Intel síťovky přinesla zrychlení na sambě na de facto saturaci gigabitu (100MB/s). Nemůže být problém v tomto?

[Luboš Doležel (Doli)]

Viz zbytek diskuze. Do tmpfs byl zápis rychlý (takže HW to nebyl) a celý problém vyřešilo přidání RAM a vyhrazení většího množství paměti pro jádro.