Dotaz: Samba, RAID, poškozené soubory

[jirka d.]

Dobrý den,

Je to trochu delší, takže jen pro ty, co rádi řeší komplikované případy...

vždycky se snažím všechny problémy řešit sám a až v té nejkrajnější situaci žádám o pomoc. Nejkrajnější situace právě nastala.

Na začátek trochu historie: přes rok jsme měli server s nainstalovaným NetBSD 1.6 na softwarovém RAIDU (včetně boot partition), pak jsme upgradovali na NetBSD 2.0, a až mě to přestalo bavit, rozhodl jsem se k radikálnímu kroku: přeinstalovat na FreeBSD 5.4, samozřejmě opět s HDD v softwarovém RAIDu.

V čem je problém? No, v podstatě v ničem, server byl stabilní pod NetBSD, i nyní pod FreeBSD, služby fungují, žádné fatal errory, ve /var/log/messages všechno v normálu, logy démonů taky nevykazují abnormality... prostě paráda, chtělo by dodat. Jenže se průběžně stává jedna nepříjemnost: na serveru je nainstalovaná Samba (dříve Samba 3.0.4, nyní 3.0.14) a když z klientské stanice, která má nasdílenou (promiňte mi ten Windowsovský termín) jednotku Z: z tohoto serveru, kopíruji řádově 100MB adresáře (plné fotek v JPEGu) jinam na jinou nasdílenou jednotku Z: opět z tohoto serveru, tak se (zdůrazňuji občas ) nějaký soubor poškodí (s originálem se rozchází asi "jen" ve 20 bajtech, většinou je to v za půlkou souboru). Máme to vyzkoušené pouze se soubory typu JPEG (řádově 500kB - 4MB), které se z jednotky P: na jednotku Z: kopírují takřka denně a pouze aktuální adresáře, protože se chyba objevuje zřídka kdy, a když chci chybu uměle vyvolat, tak se mi to samozřejmě nepodaří. Navíc je záhadou, že pokud nasimuluji pád RAIDu (vytrhnu disk), tak se na některém z RAIDových disků (máme dva) objeví soubor v pořádku. A není to pokaždé stejný disk.

Vyměnil jsem základní desku, ATA kabely, jeden z disků, case, zdroj, síťovku, procesor, grafickou kartu (já vím, že to grafárnou bejt nemůže ale jistota je jistota), operační systém, vyhodil jednu paměť (ostatní 2 jsou tam od začátku) a dneska poprvé to udělalo znova na tom FreeBSD... Fakt nevím co s tím.

V zásadě vylučuji chybu softwaru, spíš bych to viděl na hardware, ale jaká součástka? Paměť? Tu jsem kontroloval memtesterem a měla by být okay, stejně se jí chystám vyměnit...

Teď HW konfigurace (i když nevím, jestli v něčem pomůže): - síťovka Ovislink s čipem Relktek 8139 (to je standard, navíc byla jednou měněná, takže myslím, že problém tady nebude) - harddisky 2 x WD1200JB (Western Digital, 120GB, navíc jeden měněnej a to ten problém nevyřešilo, jak píšu, dneska to udělalo znova) - paměť 768 MB (3 x 256 MB, SDRAM klasické, značky různé, tady bych možná viděl jádro problému, ale na druhou stranu je ten systém celkem stabilní, takže chyba v pamětech by se musela projevit už dřív, třeba při instalaci...) - deska QDI Kinetiz 7B (předtím 7E, má smysl upgradovat BIOS?)

Fakt nevím co s tím. Logy nic nehází, navenek to vypadá všechno OK, systém nepadá, Samba jede v pohodě (klidně pošku konfiguráky)... Moje poslední naděje jsou paměti (ale jak píšu, ten memtester běžel snad dvě hodiny a nic nezjistil). Navíc se s tím serverem nedá moc experimentovat, protože jede, a kromě toho zmíněného kopírování jedou všechny ostatní služby OK (OpenLDAP, Apache2). Na serveru mají uživatelé uložený i maily *.PST z Outlooku, což jsou soubory okolo 1-2 GB, ty se otevírají, ukládají, kopírují v pohodě...

Sorry za dlouhej text a díky moc za jakoukoli radu, třeba i to, jak identifikovat problém, protože po půl roce, co se tohle děje stále nevím, kde ten problém je.

Odpovědi

[tomas84]

Kdyby ten dotaz byl kratší, tak si ho možná přečtu

[jirka d.]

Tak dik, no, ale kratsi to napsat nejde pac by se to tam vsechno neveslo

[tom84]

Asi moc neporadim ale na jednom serveru jsme meli 2 12GB WD disky a jeden blbnul (systemovy) vzdy se to nejak seklo, system se choval divne. Druhy disk byl z jine serie a jede do ted v pohode. Po reklamaci disku to jede do ted bez jakychkoliv problemu. Jeste jeden disk ze stejne serie byl v jednom workstationu ktery bezel prakticky nepretrzite a tam se to projevuje take. Takze ho reklamace asi take nemine. Treba to opravdu lezi v tom disku. Jinak na tom serveru bezi Debian, se sambou, Apache2, MySQL a routuje 2 site

[jirka d.]

No my jsme meli nejdriv jen jeden WD1200JB, potom jsme k nemu z jine serie dokoupili dalsi, abychom je mohli pouzit v RAIDu. Myslel jsem si ze by to mohl zpusobovat ten puvodni, tak jsem ho vyndal a koupil jeste jeden novy (mimochodem z te sexy cerne edice, ve ktere se ted WDcka prodavaji ). No a dela to furt. Je to divny...

[ZAH]

Osobně bych si vsadil na komponent sítě, síťová karta nebo switch. Podobné věci mi dělal realtek proti starému hubu a jedna síťovka, která náhodně přepínala mod a někdy i poškodila data.

[Petr]

Mam podobnou zkusenost. Nahodne poskozeni dat pri vyssim trafficu. Pri "normalnim" provozu /nula,nula,nic.../ vse v poradku. Nakonec sel starej 3com switch do sberu a misto nej prislo cisco. Do serveru sla servrova nic od intelu. Od te doby je klid.

[SYSMAN]

Nevím v čem, ale je to opravdu záhada. Zkus možná vypnout cache pro ten SW RAID a ukládat data přímo na disk. MOžná to trochu zpomalý ukládání většího počtu dat, ale jen to zkus pro zkoušku, jestli to nepomůže.

[Míra]

Mě se před časem samovolně poškozovaly obrázky JPG na disku, přičemž systém bez problémů celkem fungoval. Po delším pátrání a vyměňování kdečeho jsem zjistil, že konektor od zdroje k disku se po častých přepojováních "unavil". Po přepojení na nepoužívaný konektor, problémy přestaly. Tak nevím, jestli tadle zkušenost někomu pomůže.

[jirka d.]

To zni zajimave. S konektory jsem moc nehybal. Vyzkousim zmenu, treba to pomuze. Ale to bohuzel zjistim az casem, az se znici dalsi JPEG

Ony jsou ty poskozene JPEGy docela vtipny. Jak jsou dobre komprimovane, tak jakykoli zasah zpusobi hezke veci. Treba po poskozeni, ktere se vyskytuje u nas na serveru, je vetsinou JPEG vizualne stejny, ale cast je treba do zelena, nebo do ruzova, nebo do sediva...