Dotaz: Vadny procesor ?

[azurIt]

Příloha:

• mcelog (1517 bytů)

Zdravim,

pred nejakym casom sme sa rozhodli do serveru dokupit druhy procesor, jednalo sa samozrejme o uplne zhodny typ s tym prvym. Po vlozeni procesoru sme vykonali upgrade firmware (FRU, SDR a BMC, jedna sa o Intel barebone). Bohuzial sa prakticky ihned objavili mensie problemy a neskor aj vacsie. Prvy problem, ktory som si vsimol, boli extremne caste pady procesov Apacha (predtym spadol len sem-tam jeden proces):

[Fri Apr 17 17:03:19 2009] [notice] child pid 17614 exit signal Segmentation fault (11)

Za den sa vytvori cca 1 MB log, ziadna ina aplikacia nema problemy. Neskor sa zacali nahodne pady serveru (zaujimave je, ze vzdy sa to stane v noci), cca 1x za tyzden. V prilohe prikladam vypis z MCE logu. Chybu sa mi zatial nepodarilo vyvolat 'planovane' - skusal som 'nekonecnu' kompilaciu kernelu a tiez cpuburn.

Napada niekoho, v com by mohol byt problem ? Pripadne nejake testy, ktore by potvrdili, ze ten procesor je proste vadny. Vopred dakujem.

Odpovědi

[Jendа]

Třeba se podělala RAMka. Znáš Murphyho...

Zkusil bych memtest.

zaujimave je, ze vzdy sa to stane v noci

Nespouští se něco cronem? Nebo nesnaží se ten procesor nějak ACPI uspat, což se mu nepovede?

[azurIt]

Příloha:

• config-2.6.27.10-grsec-2 (43019 bytů)

Skusal som taky jednoduchsi test pamate, uz si presne nepameatam ako sa to volalo, vedelo to bezat za jazdy (tzn. nebolo nutne bootnut nieco ine, tak ako to robi memtest). Jedna sa o produkcny server, takze prilis zdlhave testy, ktore by urobili vypadok, tam pustat proste nemozem. Mimochodom, skusal som pustat aj Intel HW diagnostiky, ktore boli dodane k tomu barebone - hlasili vsetko ok.

Nespouští se něco cronem? Nebo nesnaží se ten procesor nějak ACPI uspat, což se mu nepovede?

Samozrjeme tam bezi kopa veci avsak kazdy den sa pusta to iste a padne to len obcas. Niekedy to padne v case, ked nebezi naozaj nic avsak napriklad naposledy to padlo akurat cez zalohovanie. Cas padov je taktiez rozny: 00:00, 1:30, 4:50 atd.

Este mam v zalohe jednu vec: Skusit procesor znovu vytiahnut (pripadne aj ten povodny a skusit to len s novym). Do toho sa mi ale samozrejme moc nechce, kedze si nie som isty, ze je chyba v nom.

Prikladam este kernel config.

[JF]

Zkus něco zkompilovat. Velice dobrý test paměti a CPU je třeba kernel Linuxu nebo něco většího, třeba wine.

Pokud to projde, tak je pes zakopán jinde.

[azurIt]

Kompilacia kernelu mi bezala par hodin dookola a vsetko ok.

[frEon]

A byl ten kernel pouzitelny? Treba ti to vygenerovalo nejaky nesmyslny kod...

[azurIt]

To fakt neviem, vtedy som to robil len ako test. Kernel si tam kompilujem aj 'ostry' avsak iba raz za cas (zatial vzdy fungoval).

[fixinko]

mal som na jednom serveri podobny problem a vysledok z testovani bol ze je vadny procak...

[azurIt]

Prosim ta ake _presne_ testy si robil ? Z coho si nakoniec usudil, ze je chyba v procaku ?

[fixinko]

mal som tam quadcore, v logoch som videl ze cpu2 a cpu3 "haluzia"... rekompiloval som kernel s vypnutym SMP, takze sa "pouzivalo" len cpu0 a problem zmizol... a druhy test spocival vo vymeneni cpu za iny :)

[mato]

bez dump-u mozes len tipovat ze kde "asi" moze byt problem .. prekompiluj si kernel s podporou crash dumpu .. po crashi budes moc skumat co sa stalo .. 

s downtime na nabootovanie noveho kernelu asi problem mat nebudes, kedze sa to rebootuje tak raz za tyzden same :) 

[mato]

sorry za formatovanie, nejaky blud

[azurIt]

Nebude to ako 'hladanie ihly v kope sena' ?

[mato]

skor naopak - teraz hladas v kope sena .. nemas nic solidne co by ti napovedalo v com je problem .. dump je zaklad  .. google ti poradi ako postupovat pri analyze crashu a pripadne ta nakopne potom dalej..

inak si nespomenul - vidis dovod rebootu v logu ? (reboot after panic alebo pod. )

[azurIt]

Hore je MCE log, kernel vypise na konzolu nieco podobne a potom zrejme zatuhne. Reboot sposobi bud to, ze mam aktivovane to reboot after panic (do 10 sekund) alebo to spravi watchdog (ten je tiez aktivny).

[mato]

jasne .. mno IMO ten dump je najrozmumnejsi krok teraz ..

[Radovan Garabík]

Skús podtaktovať procesor(y). Buď cez cpuspeed, alebo lepšie v biose.

Alebo vybrať ten prvý a nechať len ten druhý. A naopak.

[azurIt]

Prehrievanim to urcite nie je, par hodin mi v pohode bezalo cpuburn. Tie pokusy s vyberanim procakov uz planujem avsak rad by som sa tomu (pochopitelne) vyhol.

[Radovan Garabík]

Ja som raz mal podobný prípad - ale to bolo v čase 1GHz procesorov. Podtaktoval som ho na 800 MHz v biose a  bežal bez problémov.

[azurIt]

V kazdom pripade, ak by toto pomohlo, tak by som to povazoval za chybu procaku a reklamoval ho. Vdaka za typ.