Administrace komentářů

Prosím o radu s následujícím (kritickým) problémem. Předem se omlouvám za dlouhý zápis.

Po určité době běhu systému se na mém stroji objeví velký počet zombie pocházejících z mailového serveru Courier-MTA. Nelze je zabít. Obvyklá fráze, že stačí zabít jejich rodiče, zde selhává, neboť jejich rodičem už je init. Tento problém už pozorovalo víc lidí.

Potíž je v tom, že server po jakési události, o které prakticky nic nevím, ještě klidně i dvanáct hodin zdánlivě běží dál, než se objeví první příznaky. Prvním příznakem je (pochopitelně) nefunkčnost mailového serveru. Ale celých těch dvanáct hodin už prakticky nefunguje souborový systém ani zápis na disky. (!!!)

Přibliže deset hodin před prvním selháním se úplně přestane logovat a celých uplynulých dvanáct hodin logů, které zatím ještě lze přečíst, se nachází pouze v cache. Po (nezbytném) násilném restartu chybí samozřejmě nejen logy, ale obecně všechny změny provedené na souborovém systému.

Systém se nakonec dostane do stavu, kdy nefunguje Magic SysRq a příkaz sync zůstane navždy viset. Pokus o spuštění prakticky jakéhokoliv dalšího procesu opět časem skončí zatuhnutím procesu v podobě zombie, včetně reboot nebo vi. (Tedy není žádná možnost, jak server ohleduplně restartovat.)

V dmesg není absolutně žádná zpráva o problémech. Jen poslední dochovaná hláška kernelu je podezřelá. (Clocksource tsc unstable (delta = 4686980179 ns)) Celý tento problém jsem viděl už dvakrát. O záhadné události samotné se nedochová žádný záznam. Poslední záznam z uložených logů pochází ze včerejška cca z 02:00 a mail server vypověděl službu až dnes kolem poledne.

Jistě se mě někdo zeptá: Zapsal jsi tohle do kernelové bugzilly? Ne, nezapsal. Ten kernel je tainted. Server slouží (mimo jiné) jako WiFi AP a používá chipset Atheros. Je všeobecně známo, že MadWiFi SUCKS. A to až tak, že přibližně jednou týdně způsobí jen tak pro zábavu kernel panic. Jenže v tomto případě kernel panic nenastal... Takže se nabízí několik možností:

• MadWiFi kropí paměť tak usilovně, že spousta vláken nakonec uvízne v kernel mode na nějakém zámku, ať už se to týká sítě nebo souborového systému. Problém se neodhalí včas, nenastane kernel panic a průšvih je na světě.

• V kernelu je bug. S minulými verzemi se tohle nikdy nestalo. Nicméně nemám šanci to prověřit, protože bez toho odporného binárního modulu by server neposkytoval WiFi. Nemůžu WiFi prostě na měsíc odpojit a čekat, zda se ta chyba stane i bez MadWiFi...

• Selhává hardware. Jeden z disků něco nemohl zapsat, nastala chyba při komunikaci s řadičem a podobně. Ale proč o tom nic nebylo v dmesg ani na konzoli? Nebyla tam ani jediná řádka, kterou by vypsal ext3, ovladač SCSI řadiče nebo podobný chytrák...

• Jde o důsledek vzdáleného útoku. (O čemž pochybuji, protože mám ten stroj přece jen solidně zabezpečený a navíc nespravuje choulostivá data, která by mohla posloužit k ukradení závratné sumy peněz...)

Tak to je celé. Tohle je zlý sen každého administrátora. I když jde jen o domácí server, člověka to připraví o klidný spánek. Čím to může být? Máte někdo podobnou zkušenost?