Dotaz: High I/O load

[linuxnew]

Zdravim, posledni dobou pocituji na starsim jadro 2.6.18 vysoky load pri I/O, celkove ma stroj vysoky load i kdyz top neukazuje,zadny proces ktery by to zpusoboval.

Mohu nejak diagnostikovat kde travi system tolik casu nebo kde dochazi k "uzirani", mam pocit ze se tak deje prave nekde v jadre, jak zjistim podrobnejsi informace?

Top mi ukazuje, hodne WA, napr. 45.0%wa 77.9%wa - coz jsems e docetl,ze je IO wait, takze se to bezde nekde kolem diskovych operaci? (disky jsou SATA) - load cas od casu vyletne neprimerene vysoko, nejvice me trapi, ze nejsem schopen diagnostikovat co se deje (deje se to i s jadrem 2.6.26 i 2.6.28) Par radku i vmstat -n 1 -----io---- -system-- ----cpu---- bi bo in cs us sy id wa 1 1 1 0 0 0 97 2 44 1824 1084 10913 5 2 57 36 164 1112 1158 11407 0 0 77 22 244 944 1320 11558 1 1 8 91 168 1152 1939 13423 4 9 3 84 68 480 1567 12179 0 0 0 99 48 484 1997 11416 0 0 20 80 24 228 1353 9041 0 0 49 50 40 520 1243 9874 1 1 14 84 36 380 1177 9663 0 0 0 100 248 516 1698 12608 1 1 0 99 232 500 1062 9827 0 1 0 98 372 832 1264 10084 0 3 4 92 1940 556 1588 9283 1 1 7 92 504 644 1086 10060 0 0 57 43 340 636 843 9230 0 0 66 34 516 576 876 9423 0 1 95 4 468 608 1949 27378 0 2 97 0 384 592 1117 9018 0 0 98 1

- desi me vysoke cislo context switches, tak interrupt neni podle me zrovna malo

Napr. ted ma system load az se klepu. top - 16:10:55 up 173 days, 8:01, 4 users, load average: 10.00, 7.99, 4.66 Ale pritom se uvnitr vubec nic nedeje, zadny proces co by stroj pretezoval.

Dokaze nekdo poradit jak to diagnostikovat a pripadne jak postupovat dale?

Odpovědi

[linuxnew]

Zdravim, posledni dobou pocituji na starsim jadro 2.6.18 vysoky load pri I/O, celkove ma stroj vysoky load i kdyz top neukazuje,zadny proces ktery by to zpusoboval.

Mohu nejak diagnostikovat kde travi system tolik casu nebo kde dochazi k "uzirani", mam pocit ze se tak deje prave nekde v jadre, jak zjistim podrobnejsi informace?

Top mi ukazuje, hodne WA, napr. 45.0%wa 77.9%wa - coz jsems e docetl,ze je IO wait, takze se to bezde nekde kolem diskovych operaci? (disky jsou SATA) - load cas od casu vyletne neprimerene vysoko, nejvice me trapi, ze nejsem schopen diagnostikovat co se deje (deje se to i s jadrem 2.6.26 i 2.6.28)

Par radku i vmstat -n 1
-----io---- -system-- ----cpu----
   bi    bo   in   cs us sy id wa
    1     1    1    0  0  0 97  2
   44  1824 1084 10913  5  2 57 36
  164  1112 1158 11407  0  0 77 22
  244   944 1320 11558  1  1  8 91
  168  1152 1939 13423  4  9  3 84
   68   480 1567 12179  0  0  0 99
   48   484 1997 11416  0  0 20 80
   24   228 1353 9041  0  0 49 50
   40   520 1243 9874  1  1 14 84
   36   380 1177 9663  0  0  0 100
  248   516 1698 12608  1  1  0 99
  232   500 1062 9827  0  1  0 98
  372   832 1264 10084  0  3  4 92
 1940   556 1588 9283  1  1  7 92
  504   644 1086 10060  0  0 57 43
  340   636  843 9230  0  0 66 34
  516   576  876 9423  0  1 95  4
  468   608 1949 27378  0  2 97  0
  384   592 1117 9018  0  0 98  1

- desi me vysoke cislo context switches, tak interrupt neni podle me zrovna malo

Napr. ted ma system load az se klepu. top - 16:10:55 up 173 days, 8:01, 4 users, load average: 10.00, 7.99, 4.66 Ale pritom se uvnitr vubec nic nedeje, zadny proces co by stroj pretezoval.

Dokaze nekdo poradit jak to diagnostikovat a pripadne jak postupovat dale?

[linuxnew]

Jeste tedy pridavam info. Zkousel jsem pouzivat i ruzne IO schedulery, system pouziva RAID5 slozeny ze 3disku.

Aktualne pouzivam
noop [anticipatory] deadline cfq
- ktery ukazuje na systemu nejvetsi propustonost, dle mereni, i kdyz netusim jak to to rozumne a 
  rad bych se vratil k cfq

Readahead jsem nastavil pro vsechny disky sda,sdb,sdc stejne.
blockdev --getra /dev/sda
8192

Parametry kolem VM:
power:~# cat /proc/sys/vm/*
0
7
3000
30
500
0
0
0
256     256     32
65536
3453
2
0
50
3
0
0
60
300
1
100

[mikky]

existuje utilitka iotop. Funguje podobně, jako top, jen ukazuje IO :)

V podstatě takovej parser pro vmstat, napsanej v pythonu. To by Ti mohlo pomoct diagnostikovat problém.

Taky zkus prověřit dmesg, esli tam neni nějakej HW problém (ideálně zvýšit "verbosity level" na maximum: dmesg -n8)...

-miky

[linuxnew]

dmesg jsem z drivejsi doby nasel tohle hlasku, aktualne se tam nic takoveho neobjevu.

ata1: EH complete
SCSI device sda: 488397168 512-byte hdwr sectors (250059 MB)
sda: Write Protect is off
sda: Mode Sense: 00 3a 00 00
SCSI device sda: drive cache: write through
SCSI device sdb: 488397168 512-byte hdwr sectors (250059 MB)
sdb: Write Protect is off
sdb: Mode Sense: 00 3a 00 00
SCSI device sdb: drive cache: write back

[hysterix]

Pokud hlaska "sda: drive cache: write through" znamena, ze zapis sektoru na disk je opravdu dokoncen teprve az data jsou na plotne, tak to musi drzet system pod krkem neskutecnym zpusobem. Moc jsem se sice vlastnostmi diskovych cache nikdy nezabyval, ale po tehle hlasce se rozhodne vyplati jit. IMO :)

[linuxnew]

A tak smula iotop se se mnou nechte bavit.

Could not run iotop as some of the requirements are not met:
- Python >= 2.5 for AF_NETLINK support: Found
- Linux >= 2.6.20 with I/O accounting support: Not found

A kernel jen tak vymenit nemohu.

[mikky]

hmm, pravda, io accounting se objevilo až v 2.6.19. Každopádně zkus ještě utilitku collectl. Sice o ní prakticky nic nevim, ale údajně se z toho dají vytáhnout IO statistiky... Jen nevim, jak s tim jádrem.. projdi si dokumentaci kdyžtak..

-m.

[benn]

Muzes taky zkusit "iostat -p -k -d 2"  s napr. s 2s intervaly. To abys zjistil, zda nejakej demon ci kernelovske vlakno (nejcasteji pdflush) neco neustale cte/zapisuje na disk. Za pomoci  "fuser -vm /dev/...." se da zjistit kdo saha na disk nebo ma otevreny nejakej soubor, ale pro oddil pouzity jako root je to k nicemu - tam se promitnou vsechny procesy v systemu.