Dotaz: Padá mi APACHE2 při zátěži?

[Tomasekkkk]

Zdravím Vás, na APACHE2 na Debianu mi běží cca. 20 webů, bohužel teď poslední dobou se mi díky apachi zasekne celý server tak, že mám co dělat, abych se přes SSH přihlásil a apache restartoval. Po restartu server běží opět rychle, dokážete mi prosím poradit, kde bych mohl zjistit co nejvíc apache vytěžuje? Díky moc Tomáš

Odpovědi

[Lubos Kopecky]

rucni projiti logu, statistiky webu jako awstats ci apachetop, treba v necem neco uvidis a to te nakopne dal...

[Max]

Co to znamená : "zasekne celý server"? Apache sežere paměť a pak začne hodně swapovat? Nebo začne vytěžovat procesor? V obou případech by měl být vidět příslušný ošklivý proces v procesech (ps; top; htop). Co logy, v nich nic není?
Jsi si jistý, že ti vytuhává apache? Nedělá ti někdo velký traffic na port 80, což by se vzdáleně mohlo zdát, jako že server tuhne, ale veskutečnosti je zabitá lajna (iptraf; netsat)?
Zdar Max

[Tomasekkkk]

No právě nevím kde to přesně zjistit. Ale dělá to nejspíš apache, protože ho restartuju a už server jede v pohodě, dělá to nepravidelně. Když se chci přihlásit přes SSH na ten server, dlouho to načítá i přihlášení. Při tom jak je zpomalený, že to nenačítá žádné stránky, nenačítá ani emaily apod. ale jak říkám po restartu apache je vše zase OK. Jen nevím přes jaký příkaz a co hlídat

[ET]

to vypada ze dochazi pamet - koukni do logu /var/log/apache2 nebo /var/log/httpd - muze to bejt treba neukoncena smycka v nejakym skriptu...

[Lubos Kopecky]

jak se prihlasis, tak si dej treba neco ve stylu ps auxwww, tam uvidis co vsechno tam je a kolik pripadne zere pameti... dalsi mozny je dmesg, tam uvidis, jaky procesy se jadro pokusi odstrelit, v top uvidis, jak hodne je vyuzita pamet a swap... bud ten server nemas dostatecne nadimenzovan na pocet webu ci jejich navstevnost, pripadne mas spatny kod tech webu a ten ti tu pamet vycuca... zkus nejaky ty statistiky webu, z nich zjistis, ktery v dany cas byl hodne zatezovany, pripadne si grepni rucne logy na nejaky pozadovany cas, pokud je to teda zatezi a ne chybou v kodu....

[Max]

Jak nevíš? A ty programy, co jsem ti napsal jsou co?
iptraf
netstat
ps auxww
top
htop
A v rámci apache jde zjistit, která stránka to dělá, pokud se jedná o apache. A to se zjistí pomocí "apachetop"
Zdar Max

[Tomasekkk]

Zdravím, reaguji až nyní, díval jsem se pomocí top a nevypadá to tedy na apache ale mysql viz.

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 3130 mysql     15   0 1105m 419m 3300 S   80 10.6 475:28.21 mysqld

Cpu bylo i na 130%, tzn ze to tedy vytezuje mysql, ale to mi povezte jaktoze tak moc?

[Šangala]

Jestli se ptáte proč je to přes 100 %, tak proto, že máte více jader.
No a jestli se ptáte proč vůbec, tak asi tam běží takový úkol, není problém zahltit jakýkoliv databázový stroj, když chcete, nebo si nedáte pozor :)
Chce to zjistit co Vám to dělá.

[Tomasekkk]

A jakým způsobem bych to mohl zjistit, díval jsem se na phpmyadmin seznam procesů, ale tam toho moc nenajdu

[Lubos Kopecky]

zapni si logovani slow_query, ci jak se to presne jmenuje, tam uvidis casy dlouho bezicich dotazu...

[camel1cz]

Tak tak... jinak na optimalizaci mysql se dají najít návody na netu - něco je i v ofiko dokumentaci. Je to o ladění několika parametrů - už si to přesně nepamatuju, ale rozhodně velikost paměti, kterou používá mysql, query_cache atd.

Co tu ale ještě nepadlo a doporučuji je odhadnout maximální zátěž serveru - max. očekávaný počet současných připojení - a tento nastavit jak v apache tak i v mysql - jmenuje se to nějak max_connections a max_clients nebo tak nějak. Tímto omezením docílíte toho, že server přestane odpovídat na větší množství dotazů než je ten limit - získáte tím alespoň funkční server s možností dobře ladit. Mít limity víš, než reálně HW zvládne je stejně nesmysl.

[Tomasekkk]

Návody na optimalizaci jsem četl, taky jsem něco nastavil, ale bohužel to asi nepomáhá, v každém návodu je něco jiného, tak jsem vybral to nejvhodnější co se mi ze všech návodů zdálo, ale ani tak problém nepřestal

[Tomasekkk]

slow_query jsem měl zapnuto, ale bylo tam jen pár select dotazů, kamarádům jsem řekl, ať si ty SELECTy upraví a omezil jim zatím počet connectionů, ale víc jsem tam nenašel

[Tomasekkk]

Ještě jsem si v procesech všiml, že u jedné databáze je 6 procesů a u nich Sleep (XXX), má to jeden klient na svém webu, asi neukončuje připojení k mysql, myslíte si, že i tyto connection mohou zahlcovat paměť natolik?

[Tomasekkk]

Díval jsem se do webminu, zvláštní informace:

Skutečná paměť: 3.86 GB celkem / 2.97 GB volná Swap místo: 13.97 GB celkem / 13.66 GB volná

I když paměť není vytížená, stále server SWAPuje

[tuxmartin]

I když paměť není vytížená, stále server SWAPuje

To jeste nemusi nic znamenat. A da se to nastavit pomoci vm.swappiness.

[Tomasekkk]

Díval jsem se a hledal ve fórech na internetu, někdo psal, že když server swapuje, je potřeba přidat paměť. Bohužel opravdu server dělá to, že občas se na něj nedá dostat přes SSH, apache neodpovida, ale PING jde. Když se občas podaří připojit přes SSH a restartuju apache, tak server zase pár dní jede. Někdy se ale zasekne tak, že je potřeba ho vzdáleně restartovat přes napájecí zásuvku.

[tuxmartin]

Díval jsem se a hledal ve fórech na internetu, někdo psal, že když server swapuje, je potřeba přidat paměť.

Jestli to dobre chapu, tak jadro by si melo stale udrzovat urcite mnozstvi volne ram. Kdyz budes mit 1GB a volnych bude jen 50MB, neni jeste potreba swapovat, ale pak staci spustit jeden program, dojde pamet, zacne to swapovat - a bude to hrozne pomaly. Proto jadro podle nejakyho algoritmu presouva data z ram do swapu aby melo volnou pamet prave pro tyto pripady.

 

Bohužel opravdu server dělá to, že občas se na něj nedá dostat přes SSH, apache neodpovida, ale PING jde. Když se občas podaří připojit přes SSH a restartuju apache, tak server zase pár dní jede. Někdy se ale zasekne tak, že je potřeba ho vzdáleně restartovat přes napájecí zásuvku.

Zkus monit, ja ho pouzivam uz strasne dlouho a jsem maximalne spokojeny. Nedavno o nem byl clanek na http://www.linuxexpres.cz/

.

[tuxmartin]

Díval jsem se a hledal ve fórech na internetu, někdo psal, že když server swapuje, je potřeba přidat paměť.

Jeste pro upresneni, kdyz to swapuje z nedostatku ram, tak je samozrejme potreba ram pridat.

Skutečná paměť: 3.86 GB celkem / 2.97 GB volná Swap místo: 13.97 GB celkem / 13.66 GB volná

Jak jsi ale psal pred chvili, tak by server mel mit volne ram dostatek.

Tudiz bych zatim nevyhazoval penize za pamet a zkusil hledat problem jinde.

[Tomasekkk]

Právě, že paměti má dostatek, tak také nechápu proč swapuje ... Je pravda, že na serveru jede POSTFIX+MySQL+APACHE, ale zase tam toho neni tolik, aby to určitě nestíhalo .. Je tam značkový HP Proliant server.

[tuxmartin]

Právě, že paměti má dostatek, tak také nechápu proč swapuje.

Na 99% je to vmswappines.

Posli, jakou mas nastavenou hodnotu:

cat /proc/sys/vm/swappiness

Kdyz tak zkus

sudo sysctl vm.swappiness=0

a

sudo sysctl vm.swappiness=100

Snad by mel byt videt rozdil.

[Tomasekkk]

Mám to nastavene na 60

mám tedy nastavit na 0 nebo 100 ???

[tuxmartin]

Je to na tom odkazu:

# swappiness can have a value of between 0 and 100
# swappiness=0 tells the kernel to avoid swapping processes out of physical memory for as long as possible
# swappiness=100 tells the kernel to aggressively swap processes out of physical memory and move them to swap cache 

Kdyz das 0, tak jadro bude do posledni chvile co to pujde vsechno nechavat v RAM (az se ta RAM zaplni, zacne to byt pomale).

Kdyz das 100, tak se jadro bude snazit co nejvic toho pujde presouvat do swapu (bude to pomale - RAM je mnohem rychlejsi).

Musis najit nejaky kompromis, ve vychozim stavu je treba tech 60. Spravnou hodnotu pro svuj system zjistis asi jenom testovanim.

Ja jsem to myslel jinak. Kdyz zkusis nastavit ty hodnoty na 0 a pak 100, jestli to pri volne RAM prestane swapovat - jestli ne, tak bude problem jinde a swappiness to neni schopne ovlivnit, ale to neni pravdepodobne.

[Šangala]

A jak víte, že systém swap-uje?, To že se točí disk neznamená že swap-uje, MySQL používá i pomocné soubory, které se většinou zjevují v /tmp (může být definováno v my.cnf direktivou tmpdir=).
Takový soubor může vznikat a může mít nezanedbatelnou velikost (i několik GiB, záleží na datech co zpracovává) u dotazů typu (například) INNER JOIN stejné tabulky na sebe samou, při větším množství záznamů (několik milionů) - prostě proto, že pro vytvoření této „množiny“ dat Vám paměť nestačí (a je asi zbytečné to zkoušet - neznám vnitřní detaily engine).
To, že systém neodpovídá bych přikládal buď údajnému křapojádru nebo prostě IO plánovači, protože při této operaci to může být opravdu hrubá práce s diskem. Nejsem si v tom moc jistý, ale sám bych zkusil změnit, alespoň dočasně plánovač na deadline.
Má druhá rada zní: spouštět cronem na root-a třeba po 5 minutách příkaz:
find /tmp -type f -size +20M -exec ls -lh {} \; >> /var/log/checkTmpSize 2>> /var/log/checkTmpSizeError
A po případném zámrzu uvidíte v /var/log/checkTmpSize co se tam děje (nebo přesněji, jestli opravdu je to co zde popisuji a roste tam soubor), protože věřím tomu, že tento příkaz se dřív nebo později provede, i když se to na venek tváří zmrznutě.

[tuxmartin]

A jak víte, že systém swap-uje?

O nekolik komentaru vyse tazetel psal:

Skutečná paměť: 3.86 GB celkem / 2.97 GB volná Swap místo: 13.97 GB celkem / 13.66 GB volná

Tudiz to swapuje, i kdyz zanedbatelne malo.

[Šangala]

To jsem četl, ale nepovažoval jsem to za swap-ování, díky nízkému rozdílu :), bral jsem to tak (jsem si udělal takový závěr :) ), že tazatel má stále problém se zamrzáním stroje a myslí si, že je to z důvodu swap-ování.

[camel1cz]

Nechci Vám brát iluze, ale obecně swapování není příznak špatné konfigurace a ani nenulový použitý swap není příznak nedostatku fyzické paměti.

Tento post není přímo reakce na předchozí - ale nevím, kam to poslat

Hrát si se swapiness je IMO blbost - systém ví celkem dobře, kdy a hlavně co odložit do swapu. Běžně se do swapu dostane aplikace, která dělá jen zřídka nějakou akci - to proto, že systém považuje za lepší zvětšit např. diskové cache.

Je to dost starý post a přiznám se, že sem lín ho celý znovu číst, ale obecně bych udělal následující:

- nechat swapiness na default

- zjistit, v čem je problém (vmstat, iostat, atp. pokud je celý systém pod vysokým loadem; popř. pokud je pomalého něco konkrétního a systém plus mínus OK, tak ladit příslušný server)

- pokud provozujete mysql, je dobré nastavit používanou paměť na velikost, která odpovídá zátěži serveru a velikosti dat v tabulkách - jde o parametr key_buffer (běžně se doporučuje kolem 30% fyzické RAM, já jedu na 4GB stroji na 400M a stačí to v klidu, stroj je dost zatížen), dále je důležité používat cache query

- pokud jde o apache, je dobré vypnout lookup na .htaccess soubory (pokud to není nezbytně nutné - AllowOverride none)

- je dobré používat dobrý filesystem (ne ext2, ani ext3 není cool - jedu XFS, ale to asi taky není ideál , používat mount parametr noatime (odstraníte tím dost ze zápisové zátěže diskového systému)

No tak zhruba - rád dál pomůžu, pokud trochu zúžíte problém - tohle je na diplomku

[Tomasekkk]

Děkuji za vyčerpávající radu. Díval jsem se do my.cnf

back_log = 75
skip-innodb
max_connections = 500
key_buffer = 384M
myisam_sort_buffer_size = 64M
join_buffer_size = 1M
read_buffer_size = 1M
sort_buffer_size = 2M
table_cache = 1800
thread_cache_size = 384
;wait_timeout = 7200
wait_timeout = 60
connect_timeout = 10
tmp_table_size = 64M
max_heap_table_size = 64M
max_allowed_packet = 64M
max_connect_errors = 1000
read_rnd_buffer_size = 524288
bulk_insert_buffer_size = 8M
query_cache_limit = 4M
query_cache_size =128M
query_cache_type = 1
query_prealloc_size = 65536
query_alloc_block_size = 131072
default-storage-engine = MyISAM

takto jsem nasel nejakou informaci na idrive, kde bylo takto doporučující nastavení mysql. Právě, že na serveru jedu v EXT2, uvažoval jsem na překlopení na LVM, který lze i "za chodu" upravovat velikostně apod.

[camel1cz]

Tenhle konfigurák vypadá na první pohled jako dobrý začátek, jen ta table_cache mi příjde hrozně vysoká - opravdu mysql používá současně tolik tabulek?

Jinak s touto konfigurací máte pomalé odezvy? Jaké jsou průvodní jevy?

Co říkají pod tou zátěží příkazy "show processlist;" a "status;" v konzoli mysql? Co říká ten iostat a vmstat, jaký je load?

[Tomasekkk]

OPět zaseknutý server, musel jsem jej vypnout a zapnout na dálku. Všiml jsem si v logu APACHE tohoto:

Fatal error: Allowed memory size of 67108864 bytes exhausted (tried to allocate 532481 bytes) in /home...

[camel1cz]

Tohle jen říká, že v nějakém php skriptu byl překročený memory_limit... to není fatální problém.

Pokud se "zasekává" server z důvodu přetížení, doporučuju upravit max_connections (v apache.conf) na něco, co server zvládne - neznám vaší zátěž, ale běžný HW zvládne 200 klientů).

Potřebujete vidět ten server v potížích - po rebootu se to těžko řeší (systém se zdá OK).

[Tomasekkk]

Hledal jsem v lozích apod. bohužel bez výsledku, server mám v datovém centru, ale včera jsem server restartoval a byl hodně pomalý, napadlo mě, že by to mohl být opět HW problém, před dvěmi lety se na serveru přehříval chipset a server se občas zasekával, tak mě napadlo, že by mohl být stejný problém, proto raději zajedu do datového centra a zkontroluju, zda-li není horký chipset apod. na základní desce.

[camel1cz]

Jasně, pokud máte podezření na HW problém, tak je třeba to eliminovat jako první...

Držím palce!

[Tomasekkk]

Tak jsem ho nainstaloval, nastavil mail a vytizeni serveru, uvidime zda-li to mam spravne nastavene, nastavim potom i APACHE i MySQL v nejkrajnejsim pripade jsem si vsiml, ze monit umi sluzbu restartovat automaticky, ale zase to neznamena, ze bych se nechtel dostat k vyreseni problemu se serverem

[Tomasekkk]

V logu MONITu mám následující problémy

[CET Mar 13 10:25:11] error    : 'postfix' loadavg(5min) of 25.2 matches resource limit [loadavg(5min)>10.0]
[CET Mar 13 10:28:11] error    : 'apache2' loadavg(5min) of 14.5 matches resource limit [loadavg(5min)>10.0]
[CET Mar 13 10:28:11] error    : 'apache2' total mem amount of 645884kB matches resource limit [total mem amount>409601kB]
[CET Mar 13 10:28:11] info     : 'apache2' trying to restart
[CET Mar 13 10:28:11] info     : 'apache2' stop: /etc/init.d/apache2
[CET Mar 13 10:28:12] info     : 'apache2' start: /etc/init.d/apache2
[CET Mar 13 10:28:12] error    : 'postfix' loadavg(5min) of 14.5 matches resource limit [loadavg(5min)>10.0]
[CET Mar 13 10:31:12] info     : 'apache2' resource passed
[CET Mar 13 10:31:13] error    : 'apache2' total mem amount of 983408kB matches resource limit [total mem amount>409601kB]
[CET Mar 13 10:31:13] info     : 'apache2' trying to restart
[CET Mar 13 10:31:13] info     : 'apache2' stop: /etc/init.d/apache2
[CET Mar 13 10:31:14] info     : 'apache2' start: /etc/init.d/apache2
[CET Mar 13 10:34:14] error    : 'apache2' service timed out and will not be checked anymore
[CET Mar 13 11:10:14] error    : 'postfix' total mem amount of 223380kB matches resource limit [total mem amount>204800kB]

[Tomasekkk]

Ještě bych přidal při zpomalení serveru (toto mi hlásí MONIT)

LOAD: [66.59] [26.42] [10.26] CPU: 8.7%us, 6.3%sy, 60.9%wa MEMORY: 94.0% [3810840 kB]

[houska]

podivej se jestli ti nejdojde v te dobe pamet - docela by to odpovidalo - zacne to swapovat a vsechno se zpomali

zkus u apache ubrat procesy, jestli tam mas i databazi tak i te, nebo pridat pamet, zaroven doporucuju pridat reverzni proxy pred apace

[Tomasekkk]

Zatím jsem upravil APACHE takto a zatím to funguje, uvidíme. Předchozí hodnoty jsou zakomentovány (viz. níže). Server má 4GB RAM, je na něm Debian Lenny 64bit - Intel(R) Xeon(R) CPU E5405 @ 2.00GHz, 4 cores.

Na serveru jede cca. 80 webů, jsou to menší weby (prezentace firem) a pak jen nějaké projekty kde je návštěvnost cca. 3000 UIP denně ... Jedná se o cca. 7 webů ostatní weby tak max. 20 denně

(IfModule mpm_prefork_module)
StartServers          4
MinSpareServers       4
MaxSpareServers       12
ServerLimit           196
MaxClients            196
MaxRequestsPerChild   3
#ServerLimit 1024
#StartServers 10
#MinSpareServers 10
#MaxSpareServers 20
#MaxClients 1024
#MaxRequestsPerChild 800
(/IfModule)

[houska]

tak drzim palce at to vydrzi :)

jestli chces mit jistotu, tak si zkus pohrat s "ab", ale opatrne pri blbym nastaveni apache ti to klidne ten server ubije ;)