Dotaz: e2fsck hlasi chyby jen pri read-only check, ne pri pokusu o opravu

[venca]

Zdravím,

na vícero discích (ext3) spouštím v noci z cronu e2fsck -f -n, disky jsou přitom připojené rw. Hlasí se chyby (různé; všude je Free blocks/inodes count wrong, někde multiply claimed blocks, zero dtime, entry has deleted/unused inode, block bitmap differences).

Když jsem jednou disky odpojil (nebo remount ro, když to byl /) a pustil e2fsck -fpv, žádné chyby se nenašly ani neopravily. Z ro-checků se však chyby stále hlásí.

Chápu že jsou špatně Free blocks count atp, když se během checkování na disky může zapisovat (např. přijde mail). Ale ten zbytek? Fyzické vady disků to nejsou, jednak by musely odcházet všechny a SMART tvrdí, že je vše OK.

Je takové chování e2fsck normální? Hrozí ztráta dat (ohlašované vady nepřibývají)? Co s tím?

Distribuce: 2 × debian sarge, 1 × Ubuntu (dapper).

Díky za rady. Venca

Odpovědi

[Zdeněk Štěpánek]

Rada cislo 1, necheckuj disky kdyz jsou rw. Viz man e2fsck, urcite tam bude neco ve smyslu .... it is strongy reccomended not ....

Zdenek

[Heron]

Co tě vede k tomu, kontrolovat disky v cronu???

Disk v mountovaný jako rw není "čistý", protože se používá. Není prázdný žurnál, nejsou v pořádku metadata. Při unmountu (nebo remountu na ro) se na disk uloží všechny změny z diskové cache, provedou se zbylé operace v žurnálu a do supernode se napíše "clean". Proto pak fsck proběhně bez problémů.

Dělat fsck.ext3 -f na namountovaný je ruská ruleta s daty.

[Michal Kubeček]

Pokud je ten check read-only (tj. jen kontrola, bez opravy), ruská ruleta to není. Ale výsledky jsou samozřejmě naprosto bezcenné.

[venca]

Díky za odpovědi.

Z cronu to kontroluju proto, že ty servery běží pořád a chci to mít automaticky. Jednou se mi stalo, že filesystém byl původně, pak asi měl nějakou malou chybku kvůli výpadku UPS (i když je žurnálovaný) a na ní se předpokládám nějak nabalily další chyby, až jsem po půl roce (když to kernel remountnul kvůli chybám ro a spousta služeb se tím položila) při opravě přišel o všechna data (resp. polovina dat se octla v lost+found; obnoveno ze zálohy).

Připadá mi, že filesystém postupně degeneruje (nebo jsem na omylu?) a proto to chci mít podchycené, abych viděl, jestli se něco neděje. Nevím, jak spolehlivý je SMART; ten v logu žádnou chybu čtení nemá, přesto se tam někde ty errory musely vzít; předpokládal jsem, že fyzická vada disku to není.

Chápu že nahlášená nekonzistence rw namountovaného disku neznamená chybu filesystému. Ale připadalo mi, že některé ty chyby jsou takového charakteru, že ani tam by být neměly; opakují se den co den ty samé, není to tím, že se ro z žurnálu ještě nezapsalo (zero dtime stále stejných inodů atp.)

Nějaké návrhy, jak se tomuto typu ztráty dat vyhnout (není-li to vada disku; ale ty disky zatím používám a je to bez problémů)?

[Jooky (inactive)]

Sam si si odpovedal :o)

Jednou se mi stalo, že filesystém byl původně, pak asi měl nějakou malou chybku kvůli výpadku UPS

Kontrolovat fs ktory je rw nema ziadnu vypovednu hodnotu. Ja mam na servri nastavene ze ked system restartujem(restartuje sa), bez ohladu na to ze fs je ext3 a ze moze byt oznaceny ako clean, sa prevedie plna kontrola vsetkych particii (v init scripte 'touch /forcefsck'). Ono sice ext3 (a podobne) maju zurnal, ale aj tak tam je skoro 4-5s pocas, ktorych vytvorene zmeny nenajdes v zuranli (zrejme toto su tie drobnosti ktore nastali :o) ).

[Dan Ohnesorg]

Zero DTIME by me pri kontrole namountovaneho filesystemu nedesil. Spise to chce sledovat syslog, pripadne dmesg, protoze tam se zaloguje, pokud jsou detekovany skutecne chyby filesystemu za behu. Ty skutecne vazne vetsinou skonci na kernel panic. Ty stredne podle situace, takze je mozne disky pripojovat s option errors=remount-ro a potom se disk jen prepripoji jako RO a nejde na nej zapisovat.

Kazdopadne pokud vznikne podezreni, ze disk je nekonzistenstni, je nutne bezpodminecne provest odstavku a disk prekontrolovovat odmountovany, nebo alespon remountnuty RO, ale ono to je v zasade provozne to same. Kazdy zapis na poskozeny filesystem situaci zhorsuje a nakonec muzete skutecne skoncit na rozsahle ztrate dat.

SMART je spise mene spolehlivy, nicmene pokud by se jednalo o chyby typu vadny kablik nebo chyba radice, tak to na SMARTU videt nebude.

[Heron]

Jak již bylo několikrát zmíněno, výsledek fsck na rw disk má nulovou informační hodnotu.

Filesystém ext3 postupně nedegeneruje. Žádný FS se nekazí sám od sebe (některé sice vyžadují defrag, ale pak jsou zase jako nové). Ext3 se defaultně vytváří s nastaveným intervalem úplné kontroly (při bootu) na každých 180 dnů, ale to je z důvodu možnosti vadného IDE kabelu, ramky, chyby chipsetu atd.

Pokud máš podezření, že FS je vadný a fsck ti lže, tak jej vytvoř znovu.

Sám se zabývám spíše tuněním FS na max. výkon (viz tady), ale možná bych zkusil nastavit žurnál na journal_data (tune2fs -o journal_data /dev/xxx). Výkon se tím sice sníží, ale je zachována konsistence dat.

Prakticky jediný způsob, jak se vyhnout ztrátě dat (způsobené čímkoliv) je důsledné zálohování.

SMART hlásí sám disk. Každý výrobce disků používá trochu jiný způsob výpočtu parametrů (některé disky dokonce resetují údaje při rebootu). Na SMART data bych moc nesázel.

[Heron]

Ještě jsem zapomněl, můžeš zkusit změnit chování jádra (či spíše driveru) při erroru FS. Standardně je continue (někde remount na ro), můžeš si nastavil klidně panic (k čemu je to dobré nevím).

man tune2fs

[venca]

Ještě jednou díky všem za vše napsané, zkusím nějak poladit syslog-ng či metalog, aby mi posílal mailem, když se něco špatného stane.

V tom kontextu by mě zajímalo, jak se to dělá na větších serverech, kde "o něco jde" (banky, enterprise apod). Tam přece nejde každý měsíc disky odmountit a překontrolovat nebo čekat, až zpanikaří kernel... Cluster filesystémy? Stačí odkazy někam jinam...

Když jsem přešel na RAID, tak jsem myslel, že je vyhráno; teď bych rád věděl, co ještě musím udělat, aby _opravdu_ bylo vyhráno

V.

[Dan Ohnesorg]

Existuji ruzne filesystemy, ale vetsinou nejsou dostupne na linuxu.

Nicmene banky maji vetsinou geograficke clustery a proste supendnou nod na kterem chteji provest udrzbu. Protoze oracle bezi na partisnach bez filesystemu a do tech systemovych se nezapisuje, tak ono zase tech kontrol tolik neni.

Navic banka klidne muze servery vypnout. Kriticke je akorat overovani platebnich karet a i tam jsou hlasene vypadky, jednou rocne si ve 4 rano proste penize nevyberete Backend pro prepazky se u vetsiny bank klidne odstavi od sesti vecer do osmi rano.

Mnohem horsi je rizeni technologickych procesu.

[Pavel1]

Když to sleduji, tak banka má hodně daleko častějsí hlášené odstávky, než jednou do roku. Ale je vždy v noci, což asi moc nevadí (rozdodně ne mně).