Dotaz: Vysoký load a 0% CPU

[Welite]

Zdravím,

Poslední dobou se mi začalo stávat na serveru s debianem že tak 3-5x za den se stane, že vytížení CPU spadne k 0% a v tu chvíli začne extrémně stoupat load avg, na stroji je E3-1246 v3 a load stoupne většinou až k 16 a pak load začne klesat a vytížení CPU zase stoupat. Celý tento proces trvá zhruba 2-3 minuty. Bohužel když se tohle stane většina softwaru na stroji crashne.

Na stroji běží MySQL server a několik java aplikací. Normální vytížení CPU je kolem 50% a load 7.

Zajímalo by mě, jestli tohle jsou příznaky umírajícího HW (Disk, RAM ?), nebo se jedná o software chybu ?

Děkuji.

Odpovědi

[1john2]

Co rika iotop/iftop?

Je neco v logach sql?

Jedna se o stejne casy?(scheduled task)

[Welite]

Časy jsou vždy náhodné nezávisle na provozu, na serveru neběží žádné schedulery ani zálohy nic podobného, dělal jsem test harddisků pomocí SMART a disky jsou zdravé jako řípa. MySQL nikdy necrashla a jako jediná jede v pohodě i v době kdy všechny ostatní aplikace jsou v "lagu".

[Max]

Jak už napsal 1john2, monitoroval bych IO, zda něco nezabije na chvíli pole.
Zdar Max

[Welite]

Logy systémů (syslog, msg, kernel) neobsahují žádné chyby v časech kdy k popisovanému jevu došlo, ani při startu systému či v průběhu. Na stroji je relativně nový HW starý půl roku.

Xeon 1246 v3 32 GB RAM DDR3 2x SSD Intel DataCenter 240 GB (RAID 1)

[alkoholik]

Pekny prikaz je i perf top.
Kolik tam mas v danou chvili zombie procesu?

[Sten]

Většina software spadne? Software normálně při vysokém loadu nepadá. Nedošla tam paměť?

[Welite]

Takhle, provozuju na tom stroji herní servery, ve chvíli kdy se tohle stane všichni připojení hráči dostanou disconect. Omlouvám se za nepřesnost slova "padne".

Před hodinou jsem na stroj nainstaloval monitorix jediné co mi přijde podezdřelé je "Devices interupt activity", u kterého je vysoké číslo u eth0 - primární ethernetový port, tak nevím jestli nemůže být problém se sítovkou (CPU spadne na 0 protože čeká na informace ze sítovky ?).

[Andy]

ve vypisu ifconfig nejsou nejake dropy?

[Michal Kubeček]

Když už, tak spíš "ip -s -s link show". Ale místo toho střílení naslepo bych spíš doporučil už zmíněný perf.

[Jendа]

Já jsem v podobné situaci většinou udělal ps axu|grep D a bylo jasno.

[Michal Kubeček]

nemůže být problém se sítovkou (CPU spadne na 0 protože čeká na informace ze sítovky ?)

Ne, takhle to nefunguje. Síťová karta naplní buffery a vyvolá přerušení. Driver si pak převezme a zpracuje takto připravená data. Rozhodně se na ně ale nečeká v uninterruptible sleepu.

[sewi]

Ja zazival neco podobneho pri chybe SAS/FC pole. Jakykoliv proces snazici se k nemu pristupovat se zakousnul a cekal na odpoved. Situaci vubec nepomahalo kdyz skript pravidelne poustel df -h

[Welite]

Příloha:

• iotop.png (17394 bytů)

Přikládám screen z iotopu:

[Punny]

E3-1246 v3 je jen 4 core - 8 HT, a load 7 uz nejspis neni uplne zdrave, nicmene bych se zameril na IO a to disku a treba i site
Chtelo by to nicmene lepsi monitoring, jinak to bude pokus omyl bez realtime dat co se deje

[Welite]

Tak load 7 je naprosto v pohodě HT dokáže zvládat 8 operací v jednu chvíli, problém řekl bych nastává až v případě loadu 9+. Každopádně co je myšleno realtime monitoringem dat ? Nějaké tipy na soft ?

[Welite]

Nikdo žádný nápad ?

[Ivan]

Kdysi jsem videl bug kdy ovladac Veritasu spatne nastavolal nejaky status flag u sveho kernel threadu. Diky tomu se zvedal load i kdyz kernel vlastne nic nedelal. To asi ale nebude tvuj pripad. Ale je docela dobre mozne ze userspace je OK, ale ale nejaky kernel thread je aktivni. Zkus pouzit Sysrq, bud si vypis vsechny kernl thready(t) anebo nekolikrat po sobe vypis stav cpu(myslim, ze je to c). To druhy ti rekne ktery kernel thread zrovna zabira CPU. Pokud mas vysoky load tak je dost pravdepodobne ze nekolikrat po sobe uvidis ten samy thread, ktery na napriklad snazi ovolnit nejakou stranku s pameti.

[nobody]

atop

[Punny]

To ale neni pravda, HT != core, v tvem pripade je cokoliv > 4 uz spatne
ja osobne HT na urcitych serverech vypinam. Monitoring jsem mel na mysli cokoliv ti bude sbirat data z cpu, disku, eth, etc. treba den dva a potom to vyhodnotit, ukazka grafu, kde je zaznamenan beh bez spicky bez vsech komponent a to pouze asi hodinu, je popravde k hovnu.
Rikas, ze se jedna o herni server, nemam zadne zkusenosti jak se herni server chova, ale asi bych hledal problem v tvem pripade v sitove karte, nepouzivas snad nejaky integrovany realtek?

[Jendа]

Tohle dělá zaseknuté I/O, typicky disk. Podívej se jaké jsou procesy ve stavu "D".

[Welite]

Příloha:

• ioactivity.png (49485 bytů)

I/O to možná bude ale disk spíš ne, dělal jsem SMART test disk je v naprostém pořádku, to samé tvrdí i statistiky z monitorixu, kde I/O wait na disk je 0.0 ms. Přikládám obrázek z monitorixu.

[hydrandt]

Doporucuji nainstalovat atop, jednak co deset minut (v defultu) loguje, takze se pak da vracet v case, a ukazuje hezky pohromade skoro vse, co clovek potrebuje videt. Jednickou se prepnes na per second udaje (jinak to ukazuje podle zvoleneho refresh intervalu), t obnovi, i nastavuje interval. h napoveda.

Jinak bych to taky videl na IO, mozna dojde pamet, zacne se swapovat, tim se zacne prodluzovat reakcni doba toho co tam bezi, a pokud v te chvili ke sluzbe pristupuje hodne lidi, zacne se to kupit a zbytek uz znas

[Hypo]

Je to příznak umírajícího tebe.