Dotaz: vysoky load

[axik]

zdravim, mam na serveri debian (lenny) a kazdych 20min mi load stupne na 10-13 na cca 2min. Spravil som si skript ktory uklada vystup z `top` ked je vysoky load. V logu vsak najvacsi proces pouziva len 10% CPU. Skusal som to aj s `ps` ale stale nic som nezistil.
top - 07:24:48 up 53 days, 9:50, 3 users, load average: 10.94, 3.80, 2.28
Tasks: 211 total, 12 running, 199 sleeping, 0 stopped, 0 zombie
Cpu(s): 12.9%us, 3.1%sy, 0.0%ni, 83.6%id, 0.1%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 8200308k total, 8124824k used, 75484k free, 187676k buffers
Swap: 19502888k total, 84k used, 19502804k free, 4245164k cached

server v normalnej prevadzke:
top - 07:30:47 up 53 days, 9:56, 3 users, load average: 0.72, 1.90, 1.92
Tasks: 217 total, 3 running, 214 sleeping, 0 stopped, 0 zombie
Cpu(s): 12.9%us, 3.1%sy, 0.0%ni, 83.6%id, 0.1%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 8200308k total, 8124424k used, 75884k free, 187712k buffers
Swap: 19502888k total, 84k used, 19502804k free, 4240664k cached

nejaka idea? thx :)

Odpovědi

[Zdeněk Burda]

Když nevíme co na tom serveru běží, tak ti asi neporadíme...

Podívej se do cronu, jestli se tam něco nespouští.

Vadí ten load něčemu? Pokud totiž server funguje bez problému a nic se nebrzdí, tak to ničemu vadit nemusí.

[axik]

podla syslog-u to cronom neni(ani tam nemam nic co bezi kazdych 20min)
ano vadi nak by som neziadal o pomoc :]
bezi mi tam 15 hernych serverov niektori z nich mi prispievaju na chod servera a urcite si dokazes predstavit co spravi taky vysoky load s hernym serverom.

nechapem preco neni v top vidiet ktory proces to robi :(

este skusim ci to nemoze robit mysql

[peter]

 

ako volvox pise ,tiez sa priklanam ku diskom ,popiste blizsie co tam mate ,ak pole ,tak ake ,s akymi diskami ,ci mate lvm ,aky FS na hdd ,mne sa na starej masine (IDE) stavalo ,ze mi spadlo DMA ,a uz bolo :D

odkedy vam to robi ? nemenili ste medzi tym nieco ?

 

[axik]

mam tam 2x400GB WD SATA2 HDD v softwarovom raid1, lvm nemam

$ mount
/dev/md0 on / type ext3 (rw,errors=remount-ro)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
procbususb on /proc/bus/usb type usbfs (rw)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)

$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sda1[0] sdb1[1]
380957248 blocks [2/2] [UU]

unused devices: none

$ df -ah
Filesystem Size Used Avail Use% Mounted on
/dev/md0 358G 85G 256G 25% /
tmpfs 4.0G 0 4.0G 0% /lib/init/rw
proc 0 0 0 - /proc
sysfs 0 0 0 - /sys
procbususb 0 0 0 - /proc/bus/usb
udev 10M 80K 10M 1% /dev
tmpfs 4.0G 0 4.0G 0% /dev/shm
devpts 0 0 0 - /dev/pts


su nejake utility na zistenie ci je to diskami?

[peter]

ako sa tu pisalo ,urcite skuste iostat ,uvidite ,kde to zdrzuje,skuste mountnut / s noatime ,mozno skusit tunit ext3,mozno vam sposobuje resync toho pola ,nemam skusenosti s sw raid ,v praci mam HP stroje s HW raid

ak by odchadzal disk ,pozriet SMART ,aj ked to tiez nieje az take smerodatne

[axik]

smart sa tvari ok. mountovat cez ssh by som nerad kedze niesom fyzicky pri serveri

[volvox]

Load není jen CPU, je to celkové vytížení systému a počítají se do něj mimo jiné i diskové operace (to je zároveň můj tip). Zrovna tak opakující se úlohy nemusí být spouštěny pouze z cronu.

Zkuste třeba utilitu atop, která nabízí obdobný výstup jako top s tím, že si data průběžně ukladá a umožňuje je pozdějí zpětně "přehrát".

[stativ]

Taky bych to viděl na disk. Ono se to možná nezdá, ale než se cache vysype na disk tak to klidně může trvat i těch 20 minut. A pokud se začne opravdu na disk sypat cache tak to může dát systému docela zabrat. Vytížení procesoru je při tom nízké (tedy pokud není mermomocí vypnuté DMA), ale u současných 2.6 jader to způsobí nechutné zpomalení systému (2.4 tím AFAIK netrpí).

[axik]

no dufam ze to nieje HW chyba.. aj ked uz pred nejakym casom som mal pocit ze jeden hdd ma vadne sektory.. (raid1) ale to by sa ta opakujuca uloha mala zobrazit v top nie?

[AraxoN]

Cpu(s): 12.9%us, 3.1%sy, 0.0%ni, 83.6%id, 0.1%wa, 0.0%hi, 0.2%si, 0.0%st

Nakoľko máš tento údaj v oboch výpisoch rovnaký, povedal by som, že Tvoj top trpí tým istým čo môj - proste niekedy sumárne údaje o využití CPU neaktualizuje. Pomôže rozbiť výpis na jednotlivé procesory (klávesa "1"), vtedy to začne rátať dobre.

[axik]

to som uz skusal avsak ani jedno zo 4 jadier nema vytazenie viac ako 20% ani pri tom loade ani za `normalneho` behu

[AraxoN]

Čo presne podľa Teba znamená vyťaženie nie viac ako 20% ? Ak je zvyšok (t.j. 80% a viac) kdekoľvek inde než v kolonke "idle", tak to je TIEŽ zaťaženie. Niečo tam zjavne brzdí procesy od toho, aby pracovali tak často ako by chceli (load väčší než jedna), čo je často dané tým, že čakajú na dokončenie I/O (kolonka "iowait"). V takom prípade je najpravdepodobnejšie úzkym miestom disk ako Ti už radili, a zostáva zistiť, ktorý z procesov to spôsobuje a čo sa s tým dá robiť.

[axik]

tym som myslel ze ked dam v top klav. 1 (ako si mi radil) tak ani jedno z jadier nema viac ako 20% (nepiseme o procesoch ale o jadrach predsa) a ano nieco tam brzi

[AraxoN]

Myslel som tento riadok, ktorý je pre všetky procesy spoločný:

Cpu(s): 12.9%us, 3.1%sy, 0.0%ni, 83.6%id, 0.1%wa, 0.0%hi, 0.2%si, 0.0%st

%us (skratka z "user") je čas procesora, ktorý zožrali užívateľské procesy normálnym behom

%sy (skratka z "system") je čas procesora, ktorý zožral samotný systém na svoje fungovanie

%ni (skratka z "nice") je čas procesora, ktorý zožrali procesy bežiace s nízkou prioritou (nice hodnota > 20)

%id (skratka z "idle" ) je čas procesora, počas ktorého bol procesor naozaj nevyužitý (a to v Tvojom prípade asi naozaj nebude tých 80%, na ktorých sa pýtam)

%wa (skratka z "iowait") je čas procesora, ktorý musel byť premrhaný, pretože sa čakalo na dokončenie I/O operácií (to je pravdepodobne Tvoj prípad)

%hi (skratka z "hardware interrupt") je čas procesora, ktorý procesor venoval riešeniu prerušení zo strany HW (ovládače zariadení a tak)

%si (skratka z "software interrupt") je čas procesora, ktorý procesor venoval riešeniu prerušení zo strany SW (ehm, to vlastne ani neviem čo je )

%st (skratka z "steal") je čas procesora, ktorý procesoru ukradli ostatné operačné systémy pri použití virtualizácie

[axik]

%wa %hi a ani %si nemali pri tom loade viac ako 1% co povazujem za normalne

[AraxoN]

A si si absolútne istý, že top tento údaj udržiaval aktualizovaný aj vo chvíli, keď si to pozeral? Ono sa to niekedy zasekne...

Alebo ešte iná možnosť: údaj o loade je taká bulharská konštanta a udáva priemer za posledných 15, 5 a 1 minút. Nepozeral si top vo chvíli, keď už bol server v pohode a údaj load len "dobiehal"?

Alebo ešte ešte iná možnosť: nemáš tam nejaký problematický hardware, ku ktorému ovládače neboli v jadre, ale iba nejaké odfláknuté third-party ovládače? Mal som predtým z roboty USB modem na T-Mobile "Rýchly Internet" (heč!) a ovládač k tomu bol taký hnus, že to hneď po štarte vyhnalo load na 1.0 a nad touto hodnotou to ostalo až do vypnutia aj keď sa podľa top-u (ako aj podľa /proc/stat) absolútne nič nedialo.

[axik]

kedze sa to opakuje kazdych ~20min tak som nad nim sedel a kukal ho pred loadom pocas neho a aj ked dobiehal. top sa tvaril ze sa aktualizuje
ovladace su len tie co boli v kerneli(nic som s nim nerobil).

[axik]

btw mas pravdu v tom ze sa udaj o cpu cez top -bn1 neaktualizuje
az pouzitim top -bn2 sa ta hodnota aktualizuje

[Zaphod]

Odporúčam program sar z balíku sysstat. Podrobne zaznamená chovanie systému do súboru a z neho sa dajú robiť analýzy. Problematiku treba naštudovať, ale oplatí sa to.

[Zaphod]

"su nejake utility na zistenie ci je to diskami?" - v balíku sysstat je program iostat na sledovanir aktivity diskov.

[axik]

diki skusim nahodit ten balicek a uvidim

[tomk]

Tech 12 procesu ve stavu running jsou ktere? Jsou tam vzdy pri velkem loadu stejne?

Tomas

 

[axik]

prave to je to divne. je to rovnake ako pri loade tak za `normalnej` prevadzky.
su to spominane herne servere

[lieko]

hod sem vypis #iostat

[Jakub Lucký]

Divné to není, za vysoký load pak nemůže CPU ale disky... Rady ohledně zjištění co dělají disky už byly dány, zkoumejte iotop...

[axik]

zakilloval som servere co mi tam bezali a zda sa ze je pokoj. zajtra rano zacnem zistovat ktory to robi.
mam snazi naraz ulozit na hdd)
ale aj tak ak pracuje daco s IO nemalo by sa to prejavit na %cpu?

[AraxoN]

Proces CPU nevyťažuje, lebo čaká, kým sa dokončí operácia s diskom. Takže proces ide do sleep a nechá procesor ďalším procesom. Lenže ak aj tie ďalšie procesy potrebujú niečo s diskom, tak im to nepomôže a musia sa zaradiť do fronty, kým nedobehne tá prvá operácia I/O. Čas procesora, ktorý procesy nevyužijú pretože čakajú na dokončenie I/O, sa narátava do iowait. V top-e to je položka %wa. Load potom stúpa zhruba o toľko, koľko procesov nemôže nič robiť pretože všetky čakajú na I/O.

[Ash]

Jak jste se všichni (peter, volvox, 6xx*, AraxoN) dostali k tomu disku? Mne to také napadlo jako první, ale koukám -- iowait 0.1%, tak mi přišlo že na disk moc procesů moc času čekáním netráví, takže ani neni důvod aby narůstala fronta čekajících procesů a zvyšoval se load... Jaký je důvod myslet si že ano? Je možné že proces sůvj příděl času promrhá (nepřesně řečeno) čekáním na disk a zároveň nenaroste iowait?

[stativ]

Proč? Zkušenost. Mám odzkoušeno, že podstatně větší problém je, když se na disk začne sypat nějaká cache, stačí i jakýkoliv trochu větší zápis než když se zatěžuje čistě procesor.

Důvod je vcelku prostý. Plánovač procesů v Linuxu je velmi kvalitní. Bohužel problém je s diskem. U disku to ale není tak problém plánovače, jako kjournald (aspoň myslím, že tak se ten démon jmenuje). Ten má takovou nepříjemnou vlastnost, že v rámci „rychlosti“ je ochoten zahodit stránky mapované bežícími procesy ve prospěch diskové cache. To samo o sobě způsobuje výrazné zpomalení. Další problém nastává ve chvíli, kdy se cache začne zapisovat na disk. Protože cache ta může být obrovská, musí se zapisovat velké množství dat najednou. Když pak systém začne zapisovat 100MB cache na disk a nějaký proces si zažádá o čtení, je o problémy postaráno. A to, že nějaký proces bude z disku chtít číst je takřka jisté, protože si chce zase namapovat do RAM stránky, které byly vyhozeny kjournald.

[stativ]

Blbnu, ten démon se jmenuje pdflush.

[Ash]

Tak já mám také zkušenost že intenzivní disková činnost zvyšuje load, ale je to vidět v iowait. A když chce číst nějaký proces z odswapované paměti (typicky to bývá ten se kterým ještě před chvilkou pracoval uživatel a teď ho zase potřebuje, jenže mezitím si s pamětí hrál cron) tak tuplem.

[axik]

asi by som tiez vylucil disk. log z iotop: http://nopaste.org/p/aDxXngTX5
nech vas nepomyli cas 16:05:06 vtedy uz load klesa ale prave sa spustili mrtg statistiky
lenze ak to nieje hdd co ostava?

[AraxoN]

Ako vravel 6xx* (sorry, nemohol som odolať ) - skúsenosť. Navyše ten 0.1%wa je evidentne zlý údaj, keďže celý riadok začínajúci Cpu(s)... sa nemenil medzi tými dvoma výpismi a pravdepodobne je v oboch neaktuálny. Aby sa v dvoch odlišných situáciach 7 premenných nastavilo na rovnaké hodnoty s presnosťou na jedno desatinné miesto - na také náhody neverím. Zvlášť keď u mňa top robí také isté psie kusy.

Moje nápady sa nateraz bohužiaľ vyčerpali.

[Ash]

Jo toho duplicitního řádku jsem si nevšiml, já se díval jen na ten "problémový". Je s tou neaktualizací problém i při jiné než defaultní aktualizaci? (Například mám v oblibě top -d 1)

[axik]

ked si dam top a potom 1 tak sa mi tie udaje CPU menia..netusim preco boli v tom vypise co som poslal rovnake
je mozne ze by to mohol robit raid1? uvazujem ze z neho jeden hdd odoberem a uvidim co to spravi

[stativ]

Ne, to je spíš dáno tím, že v top-u nejsou tyhle údaje tak úplně realtime, zjišťují se v pravidelných intervalech.

[axik]

load je vlastne 1,5,15min average takze logujem co sa deje pred tym loadom..

[Ash]

Určitě ne, procenta celkového vytížení cpu se aktualizují stejně často jako hodnoty pro jednotlivé procesy, tedy ve výchozím stavu každé 3s, pokud dáte třeba top -d 1 tak každou sekundu. Pokud se ten řádek neakutalizuje tak je to chyba.

[AraxoN]

 

Pokud se ten řádek neakutalizuje tak je to chyba.

Áno, je tam chyba. Aj u mňa sa to tak niekedy chová - všetko sa aktualizuje, len toto nie. Neviem od čoho to závisí. Keď to do toho ale trochu pošťuchnem (klávesa "1"), tak sa to zrazu zobudí.