Dotaz: Chyba HW v serveru [asi RAM]

[Johny z Podoli]

ahoj, mam produkcni server, jede na nem webreporting (php'a mysql) je nutne pro chod firmy aby to bylo dostupne.

Server ovšem vykazuje znamku nějakeho problemu s HW.

Několikrat spadla mysql DB, jednou spadl cely kernel, vždy s hlášením "segmentition fallout" v LOGU se obevuji ruzne chyby (viz priloha na konci dotazu). Server se skutecne nesmy vypnout, ted jede (zda se), ale nevim kdy pride dalsi spadly proces (krom mysql databaze padaji i jine procesy, jednou trepa spadl sshd.. grr).

Potrebuji nejak, co nejlepe stanovit diagnozu a vhodne zakrocit. Znate nejake nastroje pro testovani RAM za behu serveru? a testy CPU atd atd...?

nekolik informaci o serveru:

Linux projekty 2.4.26-amd64 #1 Wed Aug 25 15:14:05 CEST 2004 i686 GNU/Linux



cat /proc/cpuinfo
processor       : 0
vendor_id       : AuthenticAMD
cpu family      : 15
model           : 12
model name      : AMD Athlon(tm) 64 Processor 3000+
stepping        : 0
cpu MHz         : 1994.365
cache size      : 512 KB
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 1
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 syscall mmxext lm 3dnowext 3dnow
bogomips        : 3971.48


lspci:
0000:00:00.0 Host bridge: VIA Technologies, Inc. VT8385 [K8T800 AGP] Host Bridge (rev 01)
0000:00:01.0 PCI bridge: VIA Technologies, Inc. VT8237 PCI bridge [K8T800 South]
0000:00:08.0 VGA compatible controller: S3 Inc. ViRGE/GX2 (rev 04)
0000:00:0d.0 FireWire (IEEE 1394): VIA Technologies, Inc. IEEE 1394 Host Controller (rev 80)
0000:00:0f.0 IDE interface: VIA Technologies, Inc. VT82C586A/B/VT82C686/A/B/VT823x/A/C PIPC Bus Master IDE (rev 06)
0000:00:10.0 USB Controller: VIA Technologies, Inc. VT82xxxxx UHCI USB 1.1 Controller (rev 81)
0000:00:10.1 USB Controller: VIA Technologies, Inc. VT82xxxxx UHCI USB 1.1 Controller (rev 81)
0000:00:10.2 USB Controller: VIA Technologies, Inc. VT82xxxxx UHCI USB 1.1 Controller (rev 81)
0000:00:10.3 USB Controller: VIA Technologies, Inc. VT82xxxxx UHCI USB 1.1 Controller (rev 81)
0000:00:10.4 USB Controller: VIA Technologies, Inc. USB 2.0 (rev 86)
0000:00:10.5 Network controller: VIA Technologies, Inc. VT8237 Integrated Fast Ethernet Controller
0000:00:11.0 ISA bridge: VIA Technologies, Inc. VT8237 ISA bridge [K8T800 South]
0000:00:12.0 Ethernet controller: VIA Technologies, Inc. VT6102 [Rhine-II] (rev 78)
0000:00:18.0 Host bridge: Advanced Micro Devices [AMD] K8 NorthBridge
0000:00:18.1 Host bridge: Advanced Micro Devices [AMD] K8 NorthBridge
0000:00:18.2 Host bridge: Advanced Micro Devices [AMD] K8 NorthBridge
0000:00:18.3 Host bridge: Advanced Micro Devices [AMD] K8 NorthBridge




projekty:~# free
             total       used       free     shared    buffers     cached
Mem:       1034000     307244     726756          0     132784      97164
-/+ buffers/cache:      77296     956704
Swap:      4000168          0    4000168
projekty:~# vmstat
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
 0  0      0 726708 132804  97180    0    0    17    23  645  1188  0  2 98  0
projekty:~# mount
/dev/md1 on / type ext3 (rw,errors=remount-ro)
proc on /proc type proc (rw)
/dev/md2 on /usr type ext3 (rw)
/dev/md6 on /var type ext3 (rw)
/dev/md4 on /home type ext3 (rw)
/dev/md5 on /tmp type ext3 (rw)
/dev/md3 on /var/log type ext3 (rw)






Chyba, ktera se ukaze v logu pri padu nejakeho procesu:
Dec 20 08:44:38 projekty kernel: Unable to handle kernel paging request at virtual address fffffe58
Dec 20 08:44:38 projekty kernel:  printing eip:
Dec 20 08:44:38 projekty kernel: c0122a2a
Dec 20 08:44:38 projekty kernel: *pde = 00002063
Dec 20 08:44:38 projekty kernel: *pte = 00000000
Dec 20 08:44:38 projekty kernel: Oops: 0000
Dec 20 08:44:38 projekty kernel: CPU:    0
Dec 20 08:44:38 projekty kernel: EIP:    0010:[[ c0122a2a>]    Not tainted
Dec 20 08:44:38 projekty kernel: EFLAGS: 00010286
Dec 20 08:44:38 projekty kernel: eax: fffffe50   ebx: 000036ec   ecx: 00000012   edx: 00017432
Dec 20 08:44:38 projekty kernel: esi: f754b744   edi: 000036ec   ebp: f7f5d0c8   esp: c9637eec
Dec 20 08:44:38 projekty kernel: ds: 0018   es: 0018   ss: 0018
Dec 20 08:44:38 projekty kernel: Process tar (pid: 32083, stackpage=c9637000)
Dec 20 08:44:38 projekty kernel: Stack: 000036ec f066edc0 000036d0 0000001b f066edc0 c0123107 c12ae4e0 f7f5cfdc
Dec 20 08:44:38 projekty kernel:        00000000 f754b744 0000001f 00000020 00006bc3 c0123322 00000001 f066edc0
Dec 20 08:44:38 projekty kernel:        f754b680 c12ae4e0 00000000 f066edc0 08071000 f066ede0 00001000 00000001
Dec 20 08:44:38 projekty kernel: Call Trace:    [[ c0123107>] [[ c0123322>] [[c0123992>] [[ c0123840>] [[ c012fd36>]
Dec 20 08:44:38 projekty kernel:   [[ c0106c63>]
Dec 20 08:44:38 projekty kernel:
Dec 20 08:44:38 projekty kernel: Code: 39 70 08 75 f4 39 78 0c 75 ef 85 c0 74 08 31 c0 eb 56 8d 74

dik za jakykoliv napad,

Odpovědi

[Balu]

Naozaj server _nesmie_ mat odstavku v ziadnom pripade? Nikdy? Ani o polnoci, alebo medzi sviatkami? Nebude lepsie urobit kratku prestavku vo vhodnom case (u jedneho zakaznika sa take operacie planovali na 23:00 v noci z nedele na pondelok), ako riskovat uplny krach ktory bude trvat ovela dlhsie a pride v tu najhorsiu moznu hodinu?

[Johny z Podoli]

dobre, hodinova odstavka v noci mozna je, ale resme prosim spis, co v tu hodinu mam udelat? :) Jak nejlepe zistit kde je problem?

[Marek Pasovsky]

http://www.memtest86.com/

pripadne treba bootnout slax a z boot-menu vybrat (opet) "memtest"

Nicmene vypis padu jadra hlasi cosi smerem "paging request" - coz je swapovani .. takze i/o na disku - coz nemus nijak souviset s vadnou RAM

Osobne bych to hodil na jiny hw (komplet) a pak v klidu prosel stavajici hw a pokusil se zjistit co tomu je...

Marek

[jm]

Ano, nejlepsi je nechat server nahodne padat a cekat, az se kvuli vadne RAM pojebe filesystem nebo treba ta databaze. Logika rulez... No toz, good luck.

[Michal Kubeček]

Za nejrozumnější bych považoval připravení náhradního serveru, který dočasně nasadíte místo toho současného (i za cenu třeba trochu pomalejší odezvy) a zatím budete hledat problém v klidu bez nutnosti myslet na nepřetržitý provoz.

[Marek Pasovsky]

n tom stroji jede 64bit Debian? s 2.4 kernelem? no, co to hodit na nejaky 32bit OS (precijen je odzkouseny vice lety vyvoje) pripadne ... tezko rict, jede to cele 64bit, nebo nejaka cast (sql, php, apache) jsou 32bit?

jestli se to nejak "nepere"

Marek

ps. diskusi 32vs64 bit tady otvirat *rozhodne* nechci, jen namet, jestli je nutne jet produkci na 64bit OS - opravdu by navrat k overene technologii byl problem?