Dotaz: nesymetrie v raidu

[lertimir]

Stěhuji nějaká data na domáci server překvapilo mne že atop vykazuje nesymetrii pro vytížení disků v RAID 5.

LVM |   data-basic  | busy     88%  | read       0  | write   1835  | KiB/r      0 |  KiB/w      4 |  MBr/s   0.00 |  MBw/s   0.72 |  avio 4.86 ms |
LVM |     logy-var  | busy      0%  | read       0  | write      9  | KiB/r      0 |  KiB/w      4 |  MBr/s   0.00 |  MBw/s   0.00 |  avio 0.22 ms |
MDD |        md127  | busy      0%  | read       0  | write   2003  | KiB/r      0 |  KiB/w      3 |  MBr/s   0.00 |  MBw/s   0.72 |  avio 0.00 ms |
DSK |          sdc  | busy     58%  | read     127  | write    444  | KiB/r      6 |  KiB/w      6 |  MBr/s   0.08 |  MBw/s   0.28 |  avio 10.4 ms |
DSK |          sdb  | busy     29%  | read     112  | write    486  | KiB/r      5 |  KiB/w      6 |  MBr/s   0.06 |  MBw/s   0.31 |  avio 4.89 ms |
DSK |          sdd  | busy     25%  | read     143  | write    446  | KiB/r      6 |  KiB/w      6 |  MBr/s   0.09 |  MBw/s   0.27 |  avio 4.28 ms |
DSK |          sda  | busy     23%  | read     115  | write    475  | KiB/r      5 |  KiB/w      6 |  MBr/s   0.06 |  MBw/s   0.31 |  avio 3.95 ms |
NET | transport     | tcpi    3514  | tcpo     734  | udpi       4  | udpo       4 |  tcpao      0 |  tcppo      0 |  tcprs      0 |  udpip      0 |

Disk sdc má mnohem vyšší zatížení než ostatní. (celkem chápu že by to mohlo být díky tomu že pracuje jako paritní), ale takto to vypadá už nějakou dobu (cca 40GB přenosu dat) V raidu 5 se parita má postupně přehazovat mezi disky.

Nevíte proč?

Odpovědi

[lertimir]

Ještě by mě zajímalo, co je to vlastně ta položka "busy" protože ten RAID je asi to kritické místo. Mám server připojený přes GB Ethernet. Deska na serveru je úsporné dvojádrové Zacate do AMD. zatíženost CPU je:

Cpu(s):  0.2%us,  2.1%sy,  0.0%ni, 47.4%id, 49.3%wa,  0.0%hi,  1.0%si,  0.0%st

Takže vše ve wait a idle. Protistrana je Intel i5. A přitom rychlost zápisu je někde na 5MB/s. Síť nevytížená. Co s tím?

[Michal Makovec]

pro zacatek zkuste remountnout oddily s parametrem noatime, Vas problem to sice nevyresi, ale obecne pokud se pracuje s velkym mnozstvim mensich souboru, tak uz je to na vykonu znat

kdyz jste pole sestavil, co rikal na rychlosti cteni/zapisu hdparm?

jsou ty disky v raidu typove stejne nebo alespon blizkych parametru?

kolik uzivatelu v systemu pracuje? zkusil jste jine jadro?

[lertimir]

S noatime to sice zkusím, ale v této operaci acces time nebyl. to byl čistý write. Disky jsou 4x1.5 TB, 3x od Samsungu 1x od WD. Standardně když jsem je měl ještě ve své pracovní stanici byla write rychlost na jedne tak 60-70 a někde kolem 30 když to byl externí disk na USB. V diskách to není.

[lertimir]

Už jsem přišel na kousek více. Výpis iotop dává:

Total DISK READ: 1087.23 B/s | Total DISK WRITE: 1586.52 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND                                                                              
 2245 be/3 root        0.00 B/s    2.65 K/s  0.00 % 85.84 % [jbd2/dm-1-8]
 8661 be/4 root      271.81 B/s  323.04 K/s  0.00 %  5.98 % [nfsd]
 8662 be/4 root      543.62 B/s  486.55 K/s  0.00 %  5.37 % [nfsd]
 8666 be/4 root        0.00 B/s  295.17 K/s  0.00 %  5.10 % [nfsd]
 8667 be/4 root        0.00 B/s  543.62 B/s  0.00 %  1.41 % [nfsd]
 8663 be/4 root        0.00 B/s  111.48 K/s  0.00 %  0.81 % [nfsd]

Takže největší IO vyrábí jbd2/dm, což je journal a asi se to utopí na seeku. jak bych ho měl přesvědčit, aby se tak nesnažil?