Dotaz: DoS zahlceni (UTOK?/CHYBA?)

[Honza]

Dobry den,

muj problem je ze v podstate kazdy den se nam zahlti(LoadAvg > 20) server. Nevim presne cim to je ale musim restartovat apacha aby se to hodilo do klidu.

Puvodne mohl byt problem v memory_limitu (php.ini) tak kuli nekolika narocnej aplikacim jsem musel nastavit na 200MB Dneska jsem z MRTG zjistil ze TCP Connection stouplo z puvodnich 30 na 160 otevrenejch spojeni soucasne.

Nevite kde muze byt slabe misto?
Existuje nejake omezeni poctuu pripojeni na server ze stejne IP v apachu a ev. i v mysql?

Odpovědi

[Heron]

Nevíme, nenapsal jste prakticky žádné informace.

Co vám tam běží? Na čem to běží?

200MB memory limit pro php? Můžu se zeptat, která webová aplikace chce tolik?

[HonzaWWW]

Linux SW 10.2
Kernel 2.4.32
Apache 2.0.58
PHP 5.4.1
Mysql 4.0.27

200MB v memory_limit je nutnost kuli imortovani vekeho mnozstvi dat...

[Eregon]

Memory limit pro PHP skript se dá nastavit pro konkrétní adresář, takže default doporučuju nějakých 8MB, případně pokud situace dovolí, tak i míň, a zvrhle velké memory limity nastavujte jen tam, kde jsou potřeba.

[HonzaWWW]

Nikdo neporadi? Je to celkem akutni...
Nemuze to byt treba nejaka lokalni chybka mezi PHP 5.1.4 a MySQL 4.0.27 kdy nekdo spusti nejakej script kterej zahlti DB?

[Michal Čihař]

Tak zkus trochu analyzovat co to brzdí. Jaké skripty běží, kdo na ně přistupuje, jestli není něco špatně v nich…

[HonzaWWW]

No v podstate situace je takova:
Zniceho nic zacne stoupat pocet procesu z cca 110 na 350 coz je podle me maximum dane apachem(MaxClient=150), vytvori se hromada procesu apache a k nemu hromada procesu mysqld. Pomoci SNMP zjistim pocet TCP Connectu ze se z cca 20 zveda az k 160(150 je max od apacha)...
Scriptu jsou tisice takze prohledat je vsechny nepripada v uvahu..
access_log ma desetitisice radku za hodinu - kdyztak pls dopructe nejakej analyzator logu(odhali treba utoky a roztridi v danem casovem limitu IP a domeny) v pasivnim rezimu

[Michal Čihař]

Pro začátek bych se podíval na server-status apache, jaké URL právě servíruje a na co čeká. Pak případně analyzovat skripty odpovídající požadovaným URL.

[HonzaWWW]

Server-status jsem aktivoval ale vzhledem k tomu ze pouzivame ModRewrite misto Virtual Hostu nevidim ke ktere domene danej script patri.

V dobe problemu mi server-status ukazuje ze se vytvorilo MaxClient procesu apache (MaxClients=96) a u vsech techto procesu je nastaven mod operace na "W" coz je "Sending Reply" a SS=20-800sekund

Podrobne:
Srv = 4-11
PID = 16352
Acc = 0/32/12003
M = W
CPU = 0.54
SS = 508
Req = 0
Conn = 0.0
Child = 0.00
Slot = 151.51
Client= 195.x.x.x
VHost = www.domena.cz
Request = GET /data/scripts/ HTTP/1.1


Dost zajimave jsou hodnoty Acc 0/32/12003 (resp. ta treti - pocet pristupu na slot)

[happy barney]

vypnut KeepAlive, nastavit MaxClients na rozumnu hodnotu (zacal by som na 64). Takisto, v pripade php jednoznacne pouzivat MaxRequestsPerChild nastavit tak 128.

[HonzaWWW]

Soucasne nastaveni:

KeepAlive=off
MaxClients=150
MaxRequestsPerChild=0

Super mozna ta chyba je v MaxRequestsPerChild. Pokud je MaxRequestsPerChild=0 tak muze obsluhovat do nekonecna ....zkusim zmenit

[happy barney]

uff, nula, ziadnemu programatorovi neverim, ze programuje bez memory leakov, v pripade, ze mi to tvrdia testy, posuniem hranicu na 1024.
ad mysql, tych 150 konexii je podla mna nan prilis vela, tam by som dal limit 48, alebo este lepsie, zacal by som analyzovat narocnost query a (zaroven) porozmyslal nad fastcgi.

[HonzaWWW]

Bohuzel to dela porad i pri takovemto nastaveni. Server-status ukazuje prilis mnoho pristupu na Slot ale to nevim co to presne znamena...

KeepAlive=off
MaxClients=96(mene nemohu)
MaxRequestsPerChild=64


[HonzaWWW]

Diky za rady. Pustim se do toho a pres noc se uvidi jesli to bude OK.

Jeste me ale napada toto:
Keep Alive= off
Predstavte si ze nekdo chce stahnout zrcadlo celeho webu/ů a vzhledem k tomu ze Keep Alive= off nemuze vyuzit teto vyhody a proto vytvori pro kazdej obrazek a stranku zvlast proces cimz zahlti server. Je to mozne/realne? Treba prave nastaveni Keep Alive=on by to mohlo vyresit.

[happy barney]

na to potrebujete poladit MaxKeepAliveRequests a KeepAliveTimeout. Odporucam znizovat MaxClients, alebo pridat dalsiu pamat do servera.

[jurasek]

Pocet spojeni z IP umozni nastavit mod_limitipconn.
http://dominia.org/djao/limitipconn.html

[mm123]

mod_cband - http://www.mod-cband.com/ - ten to umi spolu i s datovymi limity apod. pekne pro konkretni virtualhosty vcetne nasledneho sledovani jejich aktivity...

[smrtak_]

Nevim jak moc se trefim, ale taky jsem mel na serveru takoveto vypadky v poslednich dnech cca 3x za den, chyba byla nadmerne velke tabulce 800 MB s 6M zaznamu + mysql s max poctem pripojeni 500, stacilo tedy aby nektery z uzivatelu spustil dotaz na tuto tabulku v urcite kombinaci ( napriklad vic uzivatelu najednou) a i kdyz tento dotaz nebyl nikterak narocny stacilo to k tomu aby se vytvorila fronta ktera na par minut odstavila server... proto jsem provedl optimalizaci tabulky, ktera ma nyni 50 MB a PHP skryptu, ktere k ni tolik jiz nepristupuji.... vse je nyni opet ok ...(nejspis by i pomohlo snizeni poctu max pripojeni k mysql a apachi, ale nejsem moc rad kdyz my na kolika serverech hazi napriklad phpbb chybu mysql not max connection) :)

[R]

Na zistovanie takychto veci je dobre mat zapnute log-slow-queries v MySQL - a potom si tie podozrive veci vyskusat spustit rucne.

[smrtak_]

Prave ze slow log queries mi prilis nepomohl, nemel sem zadny extremne pomaly dotaz, bohuzel vsak k chybe doslo pokud techto dotazu bylo v jeden okamzik vice a nestacila cache pamet pro tuto tabulku, zahrabal disk a nastaly komplikace....

[Filip Jirsák]

Stříllím od boku: nemůže to dělat nějaká PHP stránka nebo pravidlo v mod_rewrite, která se pokouší udělat nějaké "přesměrování" nebo include na straně serveru (připojí se jakoby další HTTP klient k serveru, ale místně), které se zacyklí?