Dotaz: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT

[OgeeN]

Ahoj, narazil jsem na problém se kterým si nevím rady.

Mám farmu webových serverů, které mají data připojené pomocí NFS z nfs serveru. Samotný nfs server čte data z diskového pole pomocí iscsi. Dat je cca 200GB v 10 milionech souborů a 2 milionech adresářů.

Jakmile pustím na apache provoz, během chvilky mi na webovém serveru běží maximální počet apachů, load vyletí na 600 a víc. A během chvíle je server nepoužitelný. Na webovém serveru je v době problému dost volné paměti, 80% idle cpu a server se v podstatě šťourá v nose. Až na ten load. Dalším podivným příznakem jsou stovky tcp spojení ve stavu CLOSE_WAIT, která otevřel právě apache.

Ve chvíli, kdy na serveru visí apache, nejsem schopný nic přečíst s nfs svazku. Resp. čekám do nekonečna. Na nfs serveru je load nula, nula nic a procesor se také fláká

OS na webových i nfs serverech je ubuntu 12.04 LTS.

Jádro nfs serveru:

Linux nfs2 3.4.0-030400-generic #201205210521 SMP Mon May 21 09:22:02 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux

Jádro web serveru:

Linux w12 3.2.0-38-generic #61-Ubuntu SMP Tue Feb 19 12:18:21 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

apache:

root@web:~# apache2 -V
Server version: Apache/2.2.22 (Ubuntu)
Server built:   Nov  8 2012 21:37:30
Server's Module Magic Number: 20051115:30
Server loaded:  APR 1.4.6, APR-Util 1.3.12
Compiled using: APR 1.4.6, APR-Util 1.3.12
Architecture:   64-bit
Server MPM:     Prefork
  threaded:     no
    forked:     yes (variable process count)
Server compiled with....
 -D APACHE_MPM_DIR="server/mpm/prefork"
 -D APR_HAS_SENDFILE
 -D APR_HAS_MMAP
 -D APR_HAVE_IPV6 (IPv4-mapped addresses enabled)
 -D APR_USE_SYSVSEM_SERIALIZE
 -D APR_USE_PTHREAD_SERIALIZE
 -D SINGLE_LISTEN_UNSERIALIZED_ACCEPT
 -D APR_HAS_OTHER_CHILD
 -D AP_HAVE_RELIABLE_PIPED_LOGS
 -D DYNAMIC_MODULE_LIMIT=128
 -D HTTPD_ROOT="/etc/apache2"
 -D SUEXEC_BIN="/usr/lib/apache2/suexec"
 -D DEFAULT_PIDLOG="/var/run/apache2.pid"
 -D DEFAULT_SCOREBOARD="logs/apache_runtime_status"
 -D DEFAULT_LOCKFILE="/var/run/apache2/accept.lock"
 -D DEFAULT_ERRORLOG="logs/error_log"
 -D AP_TYPES_CONFIG_FILE="mime.types"
 -D SERVER_CONFIG_FILE="apache2.conf"

Parametry pripojeni:

nfs:/iscsi_disk/data1 on /home type nfs4 (rw,noatime,nodiratime,rsize=32768,wsize=32768,noacl,hard,fsc,intr,addr=192.168.0.20,clientaddr=192.168.0.222)
nfs:/iscsi_disk/data2 on /var/www type nfs4 (rw,noatime,nodiratime,rsize=32768,wsize=32768,noacl,hard,fsc,intr,addr=192.168.0.20,clientaddr=192.168.0.222)

Parametry exportu:

/iscsi_data 192.168.0.0/255.255.0.0(rw,async,subtree_check,no_root_squash,no_all_squash,sync,fsid=1688f755-2543-45f4-a7f2-c0eb209dd663) 172.16.0.0/24(rw,subtree_check,no_root_squash,no_all_squash,sync,fsid=1688f755-2543-45f4-a7f2-c0eb209dd663)

Budu vděčný za jakékoliv nakopnutí správným směrem. Děkuju.

---

---

Odpovědi

[petr_p]

data připojené pomocí NFS z nfs serveru

Nedávno se v Linuxu opravovala chyba v nfsd.

load vyletí na 600 a víc

load je počet runable procesů, tedy těch, které právě běží, těch, které by běžely, kdyby byl volný procesor, a těch, které čekají na disk (stav D). Které procesy to jsou? Apache?

80% idle cpu

To vypadá, že tak vysoký load je způsoben procesy ve stavu D.

Dalším podivným příznakem jsou stovky tcp spojení ve stavu CLOSE_WAIT,

Máte mnoho TCP klientem uzavřených požadavků. Máte takový běžný HTTP provoz, nebo jste pod útokem? Jakému procesu patřily (HTTP nebo NFS)?

která otevřel právě apache.

Vám apache otevírá spojení? Kam, na co?

[OgeeN]

Ve stavu D jsou procesy apache.

Jedná se o běžný HTTP provoz. Tcp spojení patřila patřila HTTP.

Apache se občas ptá jiných instancí apache, které beží na stejném serveru.

Ještě jsem zapomněl, že před apachem je strčený squid jako reverzní proxy.

Apache se stejnou konfigurací, které si data tahají ze stejného nfs serveru nám běží ještě na jednom serveru s FreeBSD a tam se popisovaný problém nevyskytuje.

[ewew]

Máš tam vôbec nejaké nastavené limity ?

Skontroluj si parametre exportu /iscsi_data 192.168.0.0/255.255.0.0(rw,async,subtree_check,no_root_squash,no_all_squash,sync,fsid=1688f755-2543-45f4-a7f2-c0eb209dd663) 172.16.0.0/24(rw,subtree_check,no_root_squash,no_all_squash,sync,fsid=1688f755-2543-45f4-a7f2-c0eb209dd663) . Skús tam použiť async mód, vtedy nezapisuje synchronne, možno to spôsobuje problém.

[OgeeN]

Jaké limity?

Async jsem zkoušel se stejným výsledkem.

[ewew]

Tak to vypadá, že problém úplně zmizel poté co jsem nfs klienta připojil pomocí udp.

V fstab parametr proto=udp.

Problém tedy pravděpodobně bude někde v implementaci tcp stacku v jádře ubuntu.

[ewew]

Je možné, že došlo k vyčerpaniu vyhradených prostriedkov na tcp spojenia. Myslím, že pričina je maximalnom čase kým je spojenie prehlasené ako nefunkčne.

Nešlo by upraviť web tak, aby pri načitaní daného súboru bola urobená lokálna kopia read-only a prípadné zmeny by sa spätne nakopirovali ?

[ewew]

stav CLOSE_WAIT podľa toho čo som googlil môže trvať nekonečný čas. Tento stav môže ukončiť len uvolnenie socketov.

Označujem ako vyriešené.