Dotaz: prodlevy ZFS/NFS - Solaris 10

[linux.tester]

Zdravim, dostal jsem za ukol postavit loadbalancer + 2 webservery + diskove pole, takze si s tim momentalne hraji:

Nejdriv jsem zkousel postavit vsechno na linuxu(etch) a sdilet data pres NFS a nebyl s tim sebeemensi problem v ramci "domaciho testovani".

Pak jsem vyzkousel to pole postavit na Solarisu 10 - ZFS/NFS a hned od zacatku s tim mam problem a to s prodlevou ulozeni dat, resp. s tim, ze kdyz webserver1 ulozi na pole nejaka data tak webserver2 "vidi" zmenu treba az za 5 sekund i dele (to na linuxu byla zmena viditelna okamzite). Je taky mozne, ze P4 2,8Ghz 2GB RAM na testovani NFS/ZFS je malo.

V Solarisu jsem zacatecnik a po vyhledani ruznych tuningovych rad na google, uz nevim kam dal. Take jsem se nekde docetl, ze se ZFS/NFS pro toto reseni udajne nehodi.

Za kazdy napad ci radu dekuji.

Odpovědi

[H0ax]

To pole bylo mountováno jako sync?

[linux.tester]

pole je mountovano takto

192.168.0.60:/export/mojezfs on /home/www type nfs
(rw,noexec,nosuid,nodev,noatime,soft,udp,rsize=32768,wsize=32768,addr=192.168.0.60)

stejne jako, kdyz jsem mel pole na linuxu, jen s tim rozdilem, ze u NFS/ZFS jsem pouzil rsize=32768,wsize=32768, nebot jsem se nekde docetl, ze by to tak melo byt.

[tomasgn]

jak to ZFS exportujes?

[linux.tester]

zfs set sharenfs=on mojezfs

a pak

share -F nfs -o rw=192.168.0.60,192.168.0.60 /export/mojezfs

ted jsem to psal z pameti protoze sem mimo ten stroj, tak doufam, ze jsem to napsal ok

[tomasgn]

to je zrejme spatne. prikaz share se nema pouzivat pro sdileni zfs file systemu.
melo by stacit:

zfs set sharenfs=on pool/mojezfs

nic vic neni potreba. pro jednorazove sdileni lze pouzit:

zfs share pool/mojezfs

[linux.tester]

kdyz pouziji jen

zfs set sharenfs=on pool/mojezfs

tak ma pristup pro zapis kazdy, takze ty ip pro zapis musim pres share nastavit, taktze v tom bych nevidel ten problem, rozhodne to neresi problem s prodlevou.

[tomasgn]

v tom pripade potrebujes neco takoveho:

zfs set sharenfs='rw=192.168.0.1' pool/mojezfs

[linux.tester]

zdravim, tak bohuzel to same

[linux.tester]

ted jsem to zkousel i se sync a nic, zajimave je, ze treba, kdyz napr. na klientovi1 zadam

web1:/home/www# ls

tak na klientovi2 se hned ten soubor zobrazi, jinak to trva nekolik vterin.

[Pavel Filipensky]

O jake data se jedna v pripade tech 10 az 30 sekundovych prodlev? Predpokladam, ze se jedna o soubor, ktery byl otevren obema NFS klienty a je celou dobu otevren.

NFS klient (alespon Solarisi) pouziva tzv. close-to-open consistency, tzn. ze data jsou zapsana na server zarucene pri volani close(2) a ctena ze serveru (tj. ne z lokalni cache) pri volani open(2).

V ostatnich pripadech muze dojit k odlozeni zapisu, nebo cteni se provede z lokalni cache.

Solarisi klient muze cekat az 60 vterin nez zjisti ze na serveru jsou nove data. Viz. mount_nfs(1M)

    acregmax=n

             Hold cached attributes for no more  than  n  seconds
             after file modification. The default value is 60.

Pokud je toto nezadouci je mozne mountovat noac:

$ mount -F nfs -o noac server:/export

 noac

             Suppress data and attribute caching. The data  cach-
             ing  that  is  suppressed  is  the write-behind. The
             local page  cache  is  still  maintained,  but  data
             copied into it is immediately written to the server.

Ve vasem pripade buch se pomoci snoop/wireshark snazil dobrat jake data jdou po siti a zjistit zda: a) klient ktery provadi zapis jej 'zdrzuje' b) klient ktery cte, vubec nekontaktuje server ale pouzije lokalni cache

-- Pavel Filipensky

[linux.tester]

tak jsem si dal s tim praci a ty prodlevy jsou 10-30s coz je neprijatelne, zkousel jsem si pohrat i s nastavenim primo NFS na solarisu a nic, pote jsem jeste zkousel ruzne parametry pri mountovani na linuxu a take nic, mozna je naco co delam blbe, ale na druhou stranu jsem nasel plno podobnych problemu na google s tim ze je to proste danou funkcnosti ZFS. Z toho usuzuji (opet je tu moznost, ze nemam dostatecne znalosti solarisu), ze proste zrovna pro ten muj pripad to neni vhodne reseni.

Jeste bych se zeptal zda se daji jinym zpusobem sdilet data na ZFS kde se zmeny na klientech projevi okamzite?

Diky.

[iii]

Me neni jasne, proc se to snazite napasovat na Solaris se ZFS, kdyz mate vyzkousene, ze to s Linuxem funguje. Chapal bych to, pokud byste byl tester Sunu. V tom pripade by nejjednodussim resenim byla konzultace primo s vyvojari Solarisu.

[linux.tester]

Pokousim se jen o alternativu. Tot vse. Celkem me ZFS zaujalo. A bohuzel ani nemam jasno jaky FS bych na to linuxove pole dal. Jeden rika XFS, druhy rika, ze XFS za zadnou cenu a ze EXT3 je pomale atd. Proste jen zkousim ruzne varianty a ted jsem se dostal k ZFS a to nefunguje podle mych predstav, tak jsem se zde pouze optal, zda neco delam spatne, nebo zda ma nekdo s timto nejakou zkusenost.

[Milan Jurik]

Chapu spravne, ze vam vadi, ze jeden NFS klient provede zapis na NFS server a druhy NFS klient vidi tu zmenu az po case?

[linux.tester]

presne tak

[Milan Jurik]

Klienti jsou Linuxovi?

[linux.tester]

jj