Dotaz: Load na serveru

[Doktor]

Mam dlouhodoby problem s loadem, kdy v jednu chvili ten load je... a nemohu prijit na to co ho dela. Mam proto dotaz na vas zkusene. Pokud se u Vas na serveru zvysi load, jak prosim postupujete pri odhalovani? Ja zkousim nejdriv top, tam vidim treba httpd proces pod uzivatelem root a u nej 99%. Ale nevim jak postupovat dal pri diagnostice az k cilovemu zdroji problemu. Toto je priklad pro httpd.. nekdy ale nevim opravdu co ten load dela... v top se stridaji ruzne procesy a jednoznacne nezvladnu urcit ktery proces dela paseku. Jak prosim postupujete v odhalovani zdroje zatizeni? Na co koukate nejprve.. a v jakem sledu prikazu? Pokud uvedete napr netstat (neco) tak prosim jakych udaju si vsimat a jak je dal pouzit? Dekuji i za pripadne ukazky prikazu. Moc mi vase odpovedi pomohou.

Odpovědi

[Michal Čihař]

Konkrétně u httpd se koukni do logu na co se přistupuje...

[Doktor]

Slo mi o obecny priklad na co se zamerit, jak postupovat v odhaleni problemu, jake pouzit prikazy..

[OldFrog {Ondra Nemecek}]

Cemu rikas load? Pokud mas na mysli hodnoty

# cat /proc/loadavg

tak vez, ze i pomerne vysoka hodnota nemusi znamenat problem. Load se pocita z rady parametru a je to udaj spise informativni.

Osobne pouzivam htop. Celkove zatizeni kolem 80-90% CPU lze povazovat za varovne - system ma zrovna hodne prace. Seradim procesy podle vytizeni CPU (klavesa P) a pak podle vyuziti pameti (M), vyhledam proces, ktery zatezuje system nejvice.. Pomoci prikazu

# tail -f /cesta/logfile.log

hledam v jeho logu a zjistuji, zda poskytuje informace o tom, cemu se zrovna venuje. Soubezne si prohlednu ostatni systemove logy a vypis prikazu

# dmesg

Pokud se nic nedozvim, proces zastavim, zapnu pro nej ladici vypisy a znovy spustim. Pri dalsim vyskytu vysokeho loadu zjistuji, cemu se proces venuje. Pokud mam podezreni na nejakou chybu, pomuze casto prikaz strace, lze se pomoci nej pripojit i k bezicimu procesu. Zkontroluji misto na disku, nektere procesy mohou vykazovat vysoky load pokud se snazi zapisovat na zcela zaplneny disk.

Pokud Ti jde jen o subjektivni zhorseni odezvy, ma jej na svedomi casti nedostatek pameti (vypnuty swap, spatne inicializovana pamet) pripadne beh nejake ulohy spoustene periodicky cronem.

Je vhodne shromazdovat dlouhodobe statistiky o provozu a sledovat, jake maji rucne druhy zatizeni charakteristiky (periody, trendy, anomalie). Toto ma smysl predevsim v pripade serveru pripadne routeru. Vhodnym nastrojem jsou rrdtool.

[Hynek (Pichi) Vychodil]

Load se nepočítá z rady parametru a je to udaj spise informativni, ale je to průměrná délka fronty procesů v určitém stavu za konkrétní období. Prostě pokud je míň jak 1 tak se systém fláká a když je víc jak 1 tak jsou stále nějaké procesy, které by chtěly a nemohou. Je fakt, že hodně záleží na typu nasazení a charakteru zátěže, jestli a jaký load už vadí a nebo nevadí. Třeba u webserveru může load 3 znamenat nic se neděje a taky může znamenat průser. Stejně tak jako u appserveru to může být různé. Zatížení CPU a load jsou dvě nesouměrné věci a httpd, který žere 99% je podezřelý, ale ne nutně pachatel vysokého zatížení (load). Osobně jsem zažil load 8 na appserveru a CPU běželo na 30% a desktop, který mi na něm běžel, byl úplně v pohodě.

[OldFrog {Ondra Nemecek}]

Je fakt, že hodně záleží na typu nasazení a charakteru zátěže, jestli a jaký load už vadí a nebo nevadí. Třeba u webserveru může load 3 znamenat nic se neděje a taky může znamenat průser.

Ano, presne to mam na mysli. A jinak jsem asi mel spise rici nepamatuju se, z ceho se load pocita, ale neni jednoduse jenom umerny zatizeni cpu.

[Michal Kubeček]

Prostě pokud je míň jak 1 tak se systém fláká

To není také tak úplně pravda, Pokud zatížení procesoru generuje systém, load average může být nízko, ale systém bude přesto přetížen. Dobře je to vidět třeba na intenzivních diskových operacích při vypnutém DMA.

[Hynek (Pichi) Vychodil]

Procesy, které čekají na disk jsou taky ve frontě a tudíž, co? Bude load.

[Michal Kubeček]

Teď se mi to bohužel nedaří reprodukovat, ale už se mi jednou podařilo, že ten proces nebyl většinu času ve stavu R, takže se do load average nepočítal. V každém případě by to šlo obejít tím, že nechám zátěž generovat třeba NFS server (ten v jádře).

[OldFrog {Ondra Nemecek}]

v konferenci cz.comp.linux se load pribira a nekdo tam upozornuje, vypocet loadu neni tak jednoduchy a ze se to meni s verzi jadra, viz vlakno Co je podkladem pro výpočet system load

Ono to není tak jednoduché, protože se to v čase mění - myslím tím s verzí jádra... prostě je to magické číslo, které se nějak počítá a hrubě něco o systému říká, toť vše (jo a jiné UNIX like systémy to občas mají taky, ale co a jak se v tompočítá má jiná pravidla)

Ing. Pavel Janousek (PaJaSoft)

[Doktor]

Momentalne resim problem... jakmile nastartuju mysql server.. okamzite cpu vyleti na 100%. A nepomuzou zadny volby v my.cnf :(

[OldFrog {Ondra Nemecek}]

A co v te chvili zrovna dela? Instaloval jste jak? Jak jej spoustite? Ma udelanou instalovanou databazi, muze zapisovat?

[Doktor]

Pokusim se nastinit situaci pri jake stoupne zatizeni serveru: pokud mam mysql server vyply, tak je vse ok. Pokud ho zapnu, u http procesu se okamzite zvedne %CPU a zacne se zvysovat cislo "running tasks" zhruba na hodnotu 20. Je ale zajimave ze pokud mysql zas stopnu, zatizeni CPU zustava a klesne az po nasilnem killnuti httpd procesu s nejvyssim %CPU zatizenim.. vedel by na to nekdo zareagovat?

[Doktor]

Jeste dodam, ze pokud se cislo "running tasks" snizuje.. je videt ze se take snizuje zatizeni.

[OldFrog {Ondra Nemecek}]

bezi tam nejaka aplikace ktera pristupuje k databazi? treba v php?