Dotaz: Zatuhávání serveru ?

[maxlink]

Ahoj,

setkali jste se někdo s tim, ze mate na stroji vcelku s zeleznou pravidelnost (kazdou noc v +- stejny) cas prazdna mista v logu, treba 15minu dira, dle monitoringu ten stroj bezi (ICMP), ale sluzby smtp, http ukazuje nagios down, toto se deje s zeleznou pravidelnost.

Zkousel jsem vypnout zalohovani na par dni, deje se to stale, stroj neswapuje.

Disky jsou SW RAID1, podle SMART nevykazuji zadny problem, vadne sectory, realokace,...

Chyby na eth0 nejsou zadne.

Na stroji mam munin pro generovani grafu, je zajimave, ze jsou v nem diry, proste tam v grafu chybi ~ 15minut kazdy den, je tam mezera a to je snad u u vsech grafu co jsem si prohlizel (disky, procesy, load, network).

Mam pocit, ze se stroj v noci "freezne" na ~ 15 minut, zni to jako kravina, ale nedeje nikdy jindy pouze v noci zhruba ve stejnem cas velmi pravidelne. (~ 4rano), navic a to je jen takova spekulace ze to s tim nejak souvisi, load stroje je vzdy 1 nebo vyssi, nikdy nejde pod 1 i kdyz se tam v noci nic nedeje, ale nedokazu urcit co ten load dela, nikde nevidim proces co by to generoval.

Nesetkal jste se někdo s podobnou věcí ? Co, kde a jakými nástroji hledat ? Může to být HW problém ?

Díky maxlink

Odpovědi

[Heron]

Tak pokud se to děje pravidelně, tak si počkej na daný čas a prostě se podívej, co ten stroj zrovna dělá nebo nedělá.

Setkal jsem se s tím, že kontrola (md) raidu dokázala ten stroj zatížit natolik, že nebyl schopen už dělat nic jiného. MD má sice nastavený nějaký limit na rychlost čtení a pracuje s nízkou prioritou, ale ten hw prostě nezvládal čtení z více disků současně.

Ale obvykle se check pole dělá pouze jednou týdně a nikoliv denně.

Jsou i nějaké jiné ukazatele na problém, kromě chybějících dat v muninovi? (Což je dost běžná věc.)

[maxlink]

No zejména to, že padnou zvenku služby http a smtp, v logu je díra nebo jsou tam třeba spřeházené pořadí (apache, access.log) , poté se opět srovná a vše běží jak má, nechámu proč se to děje v +- stejnou dobu, v cronu nikde nic, ten jsem pročesal důkladně asi 5x.

Nařídím budíka holt.

[lertimir]

Jakého monitoringu? Pokud je to jen v muninovi tak může být problém v muninovi. třeba něco se uklizi. Jednoduché je pustit v cronu date >> ps.log; ps -ef >> ps.log třeba po minutě a pak se tím probrat, co se děje. A asi zajímavejší je spustit jiný monitorovací proces. Hodně je mi osvědčil atop pro jednoduchý monitoring.

[maxlink]

Mam externi monitoring (zvenku po LAN), dohleduje sluzby a delam ICMP ping.

Ten munin jsem si tam hodil kvuli grafum. Zkusim ten cron s ps po minute, atop vim, ze existuje, ale nikdy jsem nemel tu cest, ale vypada to dobre, zkusim.

Jinak na server je Debian 8.

[maxlink]

Tak jsem nastražil do cronu výpis ps, top usage memory procesů, free, top load prvních 10 procesů uvidíme co z toho vyleze.

Koukám na ten atop, to je šikovný nástroj, zkusím to rovnou instalovat.

[Jendа]

Dělo se to třeba na strojích kde bylo hodně virtuálek. Debian měl (možná ještě má) cron.daily nastavený na pevnou dobu, takže přesně v tu jednu minutu všechny virtuály najednou začaly dělat logrotate, updatedb a další údržbu a totálně to zahltilo přístup na disk, že se tam nešlo pořádně ani nasshčkovat.