Dotaz: Web/MailServer tuhne každý den.

[Kerpof]

Příloha:

• 1.jpg (212626 bytů)

Už si nevím rady. Mám server na kterém běží ISPConfig, slouží jako poštovní server a webserver. A každý den ho ráno najdu zaseklý, buď kernel-panic nebo to ukazuje chybu viz. obrázek. Je to starší počítač, P3 na 993 MHz, Ubuntu server (tuším že verze 6.06), dva IDE disky do softwarového raidu 1. Paměť jsem otestoval memtestem a je bez problémů. Půl roku server fungoval bez potíží, teď se seká denně. Vždy po nahození naběhne (někdy dělá resync disků, někdy ne) a funguje až do dalšího záseku. Což je za 12-24 hod.

Přiznám se že nevím kde hledat chybu, do logů koukám ale chytrej z toho nejsem.

Prosím o nakopnutí správným směrem, případně kde hledat chybu.

---

---

Odpovědi

[Max]

To na obrázku vypadá jak bumbác jádra, resp. ovladače ext3. Takže možná něco s disky? Zazálohovat systém a projet je. Nejdříve juknout přes SMART, zkusit kdyžtak nějakou diagnostickou utilitku od výrobce disku, nebo projet badblockem (badblocks -nvv /dev/sda -o badblocks.log) a kontrolovat, zda to nevyplivne nějaký vadný sektor, io error, nebo nějaký jiný error do konzole "dmesg".
Bohužel badblocks je věc na celý den :-/. Podle velikosti disku. Jinak jde pustit asi jen na nenamountovaný FS, takže asi jedině nabootovat nějaký live cd a spustit badblocks 2x (na oba disky současně).
Zdar Max

[R]

Chyba tam zaciatok toho vypisu, co je jeho najdolezitejsia cast. Takze sa o nom neda nic povdat. Chcelo by to nastavit vyssie rozlisenie na konzole a pockat, kym to spadne znovu.

[azurIt]

Netreba vyssie rozlisenie, pokial to nie je kompletne tuhe, tak staci SHIFT + PgUp/PgDown (pri kernel panic to obycajne funguje).

[R]

To uz nejakych par rokov nefunguje...

[azurIt]

To si skade nabral ? :D

[tsLnox]

No, konkrétně mě to třeba nejde. Pořád aktualizované Gentoo, stačí?

[azurIt]

No tak mas nieco rozbite, pretoze to funguje aj na najnovsich kerneloch :)

[R]

Od jadra 2.6 mi to nikdy nefungovalo.

[AraxoN]

Shift+PageUp / Shift+PageDn funguje určite aj s ručne nastaveným jadrom >=sys-kernel/gentoo-sources-2.6. Ale či táto vlastnosť funguje aj potom čo nastal kernel panic - to je otázka?

[azurIt]

Ale či táto vlastnosť funguje aj potom čo nastal kernel panic - to je otázka?

Ano, ako som uz pisal, vacsinou funguje.

[AraxoN]

Možno je rozdiel, či sa použije klávesnica PS/2, alebo USB. A či tá klávesnica bola zapojená pred kernel panicom, alebo až po ňom.

[R]

Mne to nefunguje nikdy. Skus si dat napriklad v boot loaderi neexistujuci root filesystem. Panic, blikajuci caps+scroll lock a shift+pageup NEFUNGUJE.

[dustin]

Podobné příznaky mívaly servery 24/7 poskládané z PC dílů. Fungovaly tak půl roku a pak se začaly náhodně zasekávat, nejraději o víkendu. Vždy to vyřešilo pořízení nejlevnějšího serveru od HP, tehdy za cca 11 tis. bez DPH.

[trekker.dk]

Domáci server poskládaný z PC dílů:

# uptime
 19:48:24 up 57 days, 21:57,  1 user,  load average: 0.00, 0.03, 0.00

Poslední pád způsobilo to, že někdo šikovnej vyrazil jistič, jinak to bez problémů rok běží na stroji, který jsem měl dva roky jako desktop.

Značkové stroje poskládané někým jiným se zbytečně přeceňují.

[dustin]

57 dnů není žádný velký uptime pro server 24/7. Mluvím o své zkušenosti - poskládaná PC začala vždy po nějaké době blbnout, originální servery nikdy. Cenový rozdíl zcela minimální, pokud člověk nepotřebuje vysoký výkon. Rovněž starší značková PC byla OK (konkrétně IBM).

[AraxoN]

Trochu to bude aj o šťastí. Zo skladaných serverov mi v priebehu času zlyhala asi tak polovica, druhá polovica funguje aj po 3 a viac rokoch. Väčšinou je slabým miestom disk, zdroj, alebo chladenie. Ale to je spotrebný tovar, ktorý je možné ľahko nahradiť. Na druhej strane, zo značkových serverov zatiaľ nezlyhal ani jeden.

[dustin]

Jistě, není problém díly vyměnit, ale musí se to řešit, obvykle když se to zrovna časově vůbec nehodí, musí se to diagnostikovat, často metodou pokus omyl. Navíc kde koupit např. kvalitní zdroj - o ceně to není, odešly i drahé fortrony (v době, kdy to ještě byla údajná značka kvality). Výrobce serverů prodává i několikaletou záruku a kvalitu dílů si testuje, aby minimalizoval náklady s výjezdem ke klientovi a na té záruce vydělal. A očividně se mu to daří. Zdroj v nejlevnějším HP ML115 vypadá zvenku úplně stejně, jako obyčejný v PC, ale ty servery nám všechny běží již třetím rokem 24/7.

[trekker.dk]

57 dnů není žádný velký uptime pro server 24/7.

Ještě jednou - víc tam není, protože vypadl proud. A velký uptime mimo jiné znamená, že neaktualizuješ jádro, což taky nemusí být úplně dobře.

Mluvím o své zkušenosti - poskládaná PC začala vždy po nějaké době blbnout, originální servery nikdy.

Moje zkušenost - i ty největší plečky chodily několik let spolehlivě, k výměně vždy vedla jasně identifikovatelná chyba (např. MCE); žádné občas to spadne a nevím proč.

[R]

U nas skladany server funguje uz aspon 8 rokov...

[Kerpof]

Tak bych měl asi napsat jak jsem pokročil.

Chtěl jsem otestovat disky SMARTem, ale nějak to celý nefungovalo, seklo se to vždy na 90%. Taky to při startu hlásilo chybu něco jako via686a base address not set - upgrade BIOS or use force_addr=0xaddr. Bios už nebylo jak upgradovat, byla tam poslední verze - bohužel z roku 2001.

Zkusil jsem vyměnit základní desku, vlastně celý počítač za jiný typ, bohužel stále běžné PC komponenty. (To se mi na linuxu líbí, naběhlo to bez sebemenšího škobrtnutí (narozdíl od WIN - kdo z vás to má?! :) )) Bylo to snad ještě horší, server tuhnul po půl hodině, raid degradovaný, EXT3fs-erroy, Disk Failure apod. Pak jsem ještě zkusil připojit disky na normální řadič a ne na ten UATA66 Promise co je také na desce a najednou to běželo bez problémů. Nicméně se server stále sekal.

Zkoumáním logů jsem přišel na to že se sekne vždy kolem druhé hodiny ranní, po spuštění jedné úlohy v CRONu - zálohování webů, mailů atd. To si obstarává přímo ISPConfig. Tak mě nenapadlo nic jiného než to automatické zálohování vypnout a zatím je po problémech, už to sviští 3 dny bez záseku.

Všechno zlé je k něčemu dobré - vedení schválilo nákup nového serveru...

[Max]

Což všechno nasvědčuje tomu, že jdou do kopru opravdu ty disky.
Zdar Max

[dando111111]

skus vymenit zdroj, robil mi problemy takto isto ked sa spustili zalohy

pri pentiu III bude aj zdroj pekne stary hajzel

ale je pravda ze aj najlacnejsi HP server je o 100% lepsi uz len pouzitim pameti ECC

[R]

Ty predavas HP?

[AraxoN]

To bude jeden z tých IDE diskov. Keby sa Ti podarilo vytiahnuť dáta zo SMARTu, tak tam asi bude nejaký pending sector, ktorý nevie prečítať, pokúša sa ho relokovať a na tom úplne vytuhne. Ak sa server zasekáva pravidelne, tak to bude kvôli tomu, že sa pravidelne spúšťa niečo, čo na ten sektor narazí a skúša ho prečítať. Napríklad updatedb. Alebo zálohovanie.

To čítanie sektoru sa zasekne, ale server ešte určitý čas funguje, lebo ďalšie veci môže čítať z druhého disku. Takisto zápisy na druhý disk fungujú, v pamäti ale ostávajú čakajúce zápisy na ten zablokovaný disk a definitívne to vytuhne až vo chvíli, keď už nemá ďalšiu pamäť.

Keď chceš vedieť ktorý fyzický disk to je, tak urob dd if=/dev/hda of=/dev/null a to isté pre druhý disk. Ten disk, pri ktorom to zakape, je ten zlý a treba ho vymeniť. A do tej doby aspoň odstaviť tú službu, ktorá ten zásek iniciuje (updatedb?).

[Kerpof]

Tohle vysvětlení mi přijde jako nejreálnější.

Nějaký popis toho příkazu co to vlastně dělá by nebyl? Koukal jsem do man a jestli to chápu tak to zkopíruje celej disk do null? Takže to vlastně přečte celej disk? Chápu to správně? Nemůže to rozhodit RAID nebo tak něco...?

Jinak to zálohování při kterém se to vždy seklo jsem zatím pozastavil a zatím to běží bez záseků, ale neznamená to že nemůže být něco špatně.

K té diskuzi o stabilitě - servery ze starých počítačů a PC komponent používám už dlouho a nikdy jsem neměl problémy, uptime 100 - 200 dní a bylo by i víc, ale občas bylo třeba něco přestěhovat a nebo jenom vyfoukat prach. Tohle jsou první vážnější problémy. Ale souhlasím s tím, že značkové servery na tom budou se stabilitou líp. Nebo minimálně značkové počítače použité jako servery.

[kyytaM]

Precita to cely disk, nezapisuje nikde na disk, cize jedine to citanie ti moze spomalit ostane procesy zavisle na IO operaciach nad polom (pocas behu toho citania).

Na mnohe veci sa uz nas tiez pouziaju skladackove desktopove odpady, na niektore veci to bohato staci, business critical to vsak nie je. :)

[trekker.dk]

Koukal jsem do man a jestli to chápu tak to zkopíruje celej disk do null?

Chápeš to správně.

Nemůže to rozhodit RAID nebo tak něco...?

Nemělo by (nicméně u hardwarovejch vad nikdy nevíš...)

Ale souhlasím s tím, že značkové servery na tom budou se stabilitou líp. Nebo minimálně značkové počítače použité jako servery.

Značkový počítač je počítač složený z normálních dílů, akorát výrobce vyzkoušel, že to funguje pohromadě. Kvalita těch dílů se neliší od toho, co koupíš v obchodě.

[Kerpof]

Ok, dík, vyzkouším.

Značkový počítač je počítač složený z normálních dílů, akorát výrobce vyzkoušel, že to funguje pohromadě. Kvalita těch dílů se neliší od toho, co koupíš v obchodě.

No i tak je pořád lepší když to vyzkouší výrobce a podepíše se pod to, než když já ze 4 počítačů na vyhození smontuju dohromady jeden počítač a říkám mu server.

[Kerpof]

Takže jsem to spustil na obou discích:

#dd if=/dev/sda of=/dev/null
488397168+0 records in
488397168+0 records out
250059350016 bytes (250 GB) copied, 10503,3 s, 23,8 MB/s

# dd if=/dev/sdb of=/dev/null
488397168+0 records in
488397168+0 records out
250059350016 bytes (250 GB) copied, 10187,4 s, 24,5 MB/s

neseklo se to a běží to dál...tak nevím...

[AraxoN]

A inak to už nemrzne? Písal si, že si disky dal do iného počítača a mrzne to ešte viac - to ešte platí?

Keď, tak skús ručne spustiť to zálohovanie, na ktorom to predtým skončilo a sledovať či všetko prebehne OK. Keď to prebehne, tak potom ešte daj príkaz sync (bez parametrov), či prebehne aj ten. Ak áno, tak je možné, že ten sektor disku úspešne relokoval a na chvíľu bude opäť pokoj.

Každopádne, ak aj všetko teraz funguje, mal by si rozbehať smartctl a zistiť ako tie disky na tom sú. 24 MB/s je dosť málo aj na staré IDE disky. Môže to naznačovať nejaké hlbšie problémy.

[Kerpof]

Asi jsem to napsal špatně, tak znovu a lépe:

Disky jsem dal do jiného počítače a připojil na řadič Promise UATA/66 co byl také na desce (mimo standardního UATA/33). Tam to běželo až do dalšího záseku. Pak už to nešlo ani nahodit, rozsynchronizoval se raid, poškozený FS a další špeky. Tak jsem to přepojil na obyčejný řadič, což je nejspíš rychlosti UATA/33, opravil FS a vypnul to zálohování při kterém to vždy ráno kolem 2 hod. vytuhle. Takhle to jede už asi týden bez poruchy.

Těch 24 MB/s vidím reálně kvůli tomu pomalému řadiči.

Zkusím spustit tu úlohu a uvidíme.

[MMMMMMMMM]

kdybyste potřeboval server, mám tu jeden na prodej (sešlo z jistého projektu)