Dotaz: Server se náhle rebootuje

[ss]

Ahoj. Na nové supermicro sestavě se stává, že pravidelně cca jednou týdně dojde k následujícímu problému:

• Do logu se začnou zapisovat soft lockup - CPU stuck zprávy (nijak spojené s konkrétním modulem podle výpisu)
• Za chvíli potom se server rebootuje (asi žádný kernel panic, crash dump se netvoří)
• Několikrát poté systém naběhne a opět cpu stuck a násilně se rebootuje (to se stane několikrát během pár minut)

Po tom to zase vše běží cca týden bez problému a potom zase tohle.
Jednou se místo toho zasekl "jen" síťový modul, ale to nějak jádro pořešilo a po pár minutách se zase rozběhlo. Takže jsem zkusil zkompilovat od intelu poslední verzi driverů, ale to nepomohlo.

OS Centos 7, deska X10SDV-TP8F.

Setkal se s tímto chováním někdo? Mě už to nějak podle chování připadá jako HW závada. Nebo to může být i SW?

Odpovědi

[dustin]

Něco podobného nám začal dělat starší DL580 G5 s interními síťovkami. Jednou za čas se softlockup při komunikaci se síťovkou. Někdy se to rozběhlo, někdy zásek na tvrdo. Vyřešila to quad gigabit karta za pár dolarů a integrované síťovky se nepoužívají. Má to i výhodu - při případném přesunu na jiný server půjde s disky i síťovka a nebude potřeba vůbec nic překonfigurovávat, protože i MAC adresy budou stejné.

[ss]

Tohle tady moc nepůjde. Je to 1U používané jako firewall, využito 6 gbit portů. Navíc to bylo kupované s tím, aby tam bylo dost integrovaných síťovek :)

[dustin]

Je to nové, tak vyreklamovat. Už slyším ty kecy prodejce o nepodporovaném OS...

[Michal Kubeček]

Problém se soft lockup detectorem je ten, že

• může generovat false positives; to, že je nějaký CPU dlouho v jádře, může být jen důsledek přetížení, ne nutně skutečný lockup
• CPU, který ho detekuje, může ve skutečnosti jen čekat skutečného viníka; proto pokud chcete něco vykoukat z logu, je potřeba se podívat na všechny CPU

Pokud to chcete analyzovat, nejlepší bude zapnout softlockup_panic a podívat se do dumpu, kde přesně to visí a proč.

[ss]

False positive to určitě nebude. Chová se to tak, že se to celé kousne, není žádný grafický výstup, nereaguje na klávesnici.

[tom]

Stahnete si posledni kernel z kernel.org a zkuste to zreprodukovat.

[Michal Kubeček]

Have you tried tur… never mind.