Omluva za výpadek serveru

Omlouváme se za výpadek webu způsobený doposud nevysvětleným poškozením ext3 za běhu na databázovém serveru.

11.8.2011 10:47 | Luboš Doležel (Doli) | Upozornění

Komentáře

[Luboš Doležel (Doli)]

WARNING: PROGRAMMING BUG IN E2FSCK!
OR SOME BONEHEAD (YOU) IS CHECKING A MOUNTED (LIVE) FILESYSTEM.

Za toho boneheada chci omluvu. Ten filesystém připojený nebyl a navíc ani připojit nešel.

[kavol]

Ten filesystém připojený nebyl a navíc ani připojit nešel.

pak platí ta první část před OR, tak jakou omluvu?

[Luboš Doležel (Doli)]

To je pravda, ale šlo by to i bez urážek. Zkus tohle někomu říct: "Buď jsme my udělali chybu, nebo nějakej pitomec (vy konkrétně)...něco", jak se bude tvářit. Ta věta implikuje, co měl autor na mysli spíš.

[m]

imho to implikuje, ze se autor pokusil o vtip...nic vic

[vain]

Možná, ale dost blbý vtip. Kdyby použil spíš výraz typu "vtipálek", tak by to bylo asi lepší.

[Foo Bar]

Ale to by mohl někdo zavolat Batmana...

[vain]

Tak by nepoužil zrovna tohle slovo =)

[marek_hb]

pokud by se stal průser který by stál hodně peněz, tak by ten vtip moc vtipně nevyzněl

[GeoRW]

to by bol naopak prefektny cierny humor taka historka by sa tradovala po generacie

[Andrej]

V situaci, kdy hrozí dlouhý downtime, ne-li ztráta dat, to vtipné být nemusí.

[xkucf03]

+1 a takových hlášek je celkem dost

[AsciiWolf]

Buď rád, že tam autor nenapsal "cockhead", "dickhead" nebo něco podobného. :-P

[MMMMMMMMM]

smeghead

[azurIt]

nikto ta predsa nenuti ten softver pouzivat :) ak sa ti na nom nieco nepaci, tak zacni pouzivat iny.

[martin-ux]

ako vtip to osobne tiez nepovazujem. skor by ma zaujimalo, preco dovoli vobec fsck spustit na live filesystem (ked uz vie, ze len bonehead by ho spustil).

[Mrkva]

preco dovoli vobec fsck spustit na live filesystem (ked uz vie, ze len bonehead by ho spustil).

Prave kvuli temhle bugum :)

[Mrkva]

Tak najdou se exoti co volají fsck na připojeném systému. Na tebe se vztahuje ta první část (bug), takže ten bonehead ne.

[little.owl]

Mne by spise zajimalo, co to bylo za kernel.

[Luboš Doležel (Doli)]

2.6.32. Běželo to minimálně dva měsíce v pohodě a najednou cvak, hora WARNINGů s funkcemi ext3 v backtraces v dmesgu a zaseknuté procesy. Bohužel nemám ta varování k dispozici, logy byly taky na tom oddílu (/var).

[vencour]

Nesyslogujete ještě někam jinam? Docela se mi to osvědčuje.

[Bedňa]

Okrem ext2,3,4 som o problémoch nepočul, stále nechápem prečo to tlačia všade ako hlavný FS a že to ľudia vôbec používajú.

[R]

No ja som poskodeny ext3 filesystem videl len pri HW zavade (alebo pri programovani driverov alebo inych veci v jadre, ked si clovek prepise pamat...)

[Bedňa]

Ja neviem či mám magnetické ruky, ale ext akéhokoľvek čísla, som nevidel konzistentne bežať dlhšie ako dva mesiace.

[little.owl]

Dva mesice?

Mas neco s rukama, zmen job.

Ext3/4 pouzivam jiz nekolik let (+ nekdy RAID a LUKS), a pokud neselhal HW, nikdy zadny problem nebyl.

[Bedňa]

Tak skús tam teraz spustiť fsck a uvidíš že niečo nájde.

[little.owl]

Provokateri jako Vy mi nedaji.

Externi USB disk, 80GB, LUKS, ext3, pouzivam na prenaseni dat a nechovam se k nemu moc slusne.

fsck.ext3 /dev/mapper/udisks-luks-uuid-ce1972f9-e860-473d-a5e5-95e4947e4fb4-uid500
e2fsck 1.41.12 (17-May-2010)
sumvision has been mounted 57 times without being checked, check forced.
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
sumvision: 129/4890624 files (49.6% non-contiguous), 802508/19537557 blocks

A zadny problem .... amputace [volsovych] rukou?

Realitou je, ze ext3/4 jsou z hlediska spolehlivosti na tom velmi velmi dobre. A nebo jsou u Googlu a jinde pitomci, kteri nemaji radi sva data. Tipuji na FUD.

[kralyk z abclinuxu]

Realitou je, ze ext3/4 jsou z hlediska spolehlivosti na tom velmi velmi dobre.

No to jsou, v porovnání s ostatními na tom skutečně jsou dobře. Když si vzpomenu třeba na reiserfsck... to je ruská ruleta mezi fsck nástroji Anebo NTFS který funguje jen když se používá výhradně na jedné verzi a možná i jedné instalaci widlí.

Nicméně i ext fs mají svoje libůstky a zvláštnosti, v některejch situacích se chovají podivně... viz jeden starej zápisek u mě v blogu...

[Bedňa]

Neser

[Mti.]

o NTFS bych nemluvil radeji vubec. Windowsi scandisky o oddilu vytrvale lhaly, ze je vporadku, ale kolegovi pomalu a nenapadne mizely soubory (casem mu navic umizlo par dll a windowsy zacaly kulhat)... nastroje z ntfs3g sice chyby videly, ale hlasily dost drasticke prusery a nebyly schopne/ochotne je opravovat... takze jedine, co ty chyby dokazalo vyresit k vseobecne spokojenosti byl vselek mkfs. Od te doby bez "hlasenych" problemu, takze diskem to "asi" nebylo.

Ocekavam, ze kazdy fs jde uspesne rozbit. Ale funkcnost nastroju na kontrolu/opravu bych povazoval za dulezite kriterium pri posuzovani kvality fs.(viz ne-btrfs a Fedora16) Osobne na ext3 zatim nemuzu nadavat a bezi mi to na lecjakem svinstvu Ext4 nasazuji bez ostychu, kde to jde. Dokud si nenabiju tlamu, povazuji to za funkcni.

[Leinad]

Google prý používá ext

[loki]

Imho fud. Na jednom serveru mam ext3 + raid. Server mi bezi cca 4 roky, za tu dobu asi 3 rebooty a je to naprosto bez problemu.

[Petr Tomášek]

ext5 jsi zkoušel ?

[R]

Mame siet asi 650 PC, ktore bezia 24/7. Vsade je ext3. Problem bol mozno na 10 PC, vzdy bola vadna RAM (alebo blby kontakt v DIMM slote).

[Bedňa]

Áno problém nastal vždy pri nejak havárií, zo sklamania som od ext2 nadlho odišiel, časom som dal šancu ext3 a nedávno ext4 stále rovnaký výsledok, dáta v ťahu. Pretože im nedôverujem boli tam len nepodstatné dáta. Našťastie sú FS, ktoré nemajú s HW výpadkami problém. K vyskúšaniu ext4 ma vlastne priviedla náhoda, keď jeden desktop s Reiserom pravidelne padal, aj niekoľko krát za deň. Preinštaloval som systém s ext4 a dáta boli v ťahu tuším po prvom páde, potom som zistil že chyba je v radiči.

[little.owl]

Chtit na filesystemu odolnost vuci vsem moznym HW porucham je trochu prestrelene. Na to neni designovany zadny mainstreamovy filesystem.

Zakladem je nekupovat srot.

[Bedňa]

Všetko stárne, ale je pravda že kvalitka je kvalitka.

[R]

Ked pouzivas vadny HW, tak sa necuduj... Mame jeden stary server, kde je ext3, reiserfs a este aj xfs. Nikdy nebol so ziadnym z nich akykolvek problem. Pritom je to obycajny desktopovy HW z roku 2000, ale 100% funkcny. Disk z roku 2002 som menil teraz (je tam linuxovy RAID 1) - bezal odvtedy 24/7.

[Bedňa]

Ja sa držím pravidla, rozumný človek sa dva krát o tie isté kachle neopáli, ale verím tomu, že niekto s ním má aj dobré skúsenosti.

[Bedňa]

Ešte jedna otázka, ohľadne ext, nestáva sa ti, že občas z nevysvetliteľných dôvodov sa akoby zvýši akoby disková aktivita, pri tom sa vlastne nič nedeje, žiadny zápis, čítanie, len si ext ukradne skoro všetky prostriedky procesora? Nedokázal som závadu vôbec identifikovať a to je tiež jeden z dôvodov opustenia tohoto FS.

[Heron]

Ext3 v pravidelných intervalech (default je commit=5, tedy 5s) zapisuje na disk nesyncnutá data. Ta data musel někdo OS předat. Bez příčiny to nedělá.

[Bedňa]

Tak ten keš proces je už asi rozbitý celé roky :)

[Heron]

To je rukama .

[Bedňa]

Možné to je a preto sa ho nechytám

[petr_p]

Zápisy může způsobovat aktualizace atime souborů, ze kterých se čte. Nicméně potvrzuji, že i ext3 s relatime občas něco zapíše. Já jsem se po tom nepídil a na notebooku zvětšil commit interval.

[houska]

nad linux raidem?

[Luboš Doležel (Doli)]

Jo, nad RAIDem.

[houska]

nedavno se u nas hromadne menilo nastaveni ext3ky ... mnoho, mnoho raidu se rozpadlo a dost nedostupnosti to zpusobilo

http://kerneltrap.org/mailarchive/linux-raid/2009/9/15/6411763

a pritom takovy neskodny prikaz ;)

[Heron]

To zůstalo bez odpovědi?

[houska]

jak to poracovalo nevim, nam se to stalo nekdy letos v dubnu, takze opravene to asi neni

[Heron]

tune2fs -m0 používám poměrně často (jako takovou poslední záchranu ) a zatím jsem se s tímto problémem nesetkal (cca desítky serverů). Poněkud jsem znervózněl.

[w3432]

kosmicke zareni? mate ECC pameti ?

[little.owl]

To mne take napadlo ... mel jsem kdysi vadny DIMM a prvni pozorovatelny problem bylo poskozeni filesystemu a obcasne pady aplikaci.

Ale to je server, tam jsou ECC pameti.

Ze?

[R]

Aj ECC pamat moze byt vadna. ECC opravi 1-bitovu chybu a 2-bitovu zisti. Ale ak sa prerusi spajkovany spoj pod BGA pamatovym cipom, tak sa kludne nejake data poprehazduju...

V jednom serveri jeden modul sposoboval to, ze po restarte server nenabehol. Ale len niekedy. 10-krat reboot a z toho sa aspon raz zastavil s chybou "memory configuration error".

[little.owl]

Na 2.6.32 bezi vsechny vyznamnejsi serverove distribuce, tam by to melo byt odladene. Skoda, ze nejsou logy.

[mustafa]

NTFS je reseni na tyhle casty vypadky. WinServer taky nestoji moc a da se koupit i profesionalni potvora.

[Mrkva]

Vím, že se říká nekrmit trolly, ale NTFS je mnohem horší. Mám na notebooku EXT4 a bez problému a to s tím dělám občas psí kusy - tvrdé restarty bez unmountu a podobně. Na externím disku jsem měl NTFS. Asi po roce se ten FS totálně rozsypal - a to jsem VŽDY ten disk odpojil přes ten "správce zařízení" nebo jak se tomu nadává. Ani jednou nedošlo k HW chybě, k výpadku napájení nebo pádu systému.

[mustafa]

Tak jestli pouzivas NTFS a pichas ho do stroje kde je linux tak se neni cemu divit, linux neumi poradne ani se svejma FS natozpak s NTFS...

[Mrkva]

Tak jestli pouzivas NTFS a pichas ho do stroje kde je linux tak se neni cemu divit, linux neumi poradne ani se svejma FS natozpak s NTFS...

Fór je v tom, že tenhle exterňák jsem zapojoval výhradně do stroje s Windows 7 :)

[Foo Bar]

Chtěl jste kliknout na tlačítko Blokovat a asi omylem jste se překlikl na Odpovědět :)

[Aleš Kapica]

Samolitr. To ti o nich pro jistotu ani neřekne..

[Heron]

Stane se.

[Radek Hladik]

Já si vždycky vpzomenu na nějaké staré AVG, ještě v minulém století, které se snažilo zmastit nějaký vir a objevily se tam volby "Lecit", "Smazat", "Zarikat". A ta poslední napsala nějakou vtipnou říkanku a pak : "nezabralo to"

[Luboš Doležel (Doli)]

Já jsem nedávno viděl AVG v akci u známé na starém PC s WinXP, takže 256 MB RAM. Souhrnně ten antivir žral 200 MB RAM sám o sobě a trvale si bral 10% CPU, aniž by se něco dělo, občas to ohulil na 100% po dobu až 10 sekund.

Teď už bude mít Ubuntu.

[Radek Hladik]

Já měl spíš na mysli něco jako 286 s 1MB RAM a v lepším případě Win 3.1 DOS 6.cosi tuším a pro něj konzolové AVG, které mělo ještě jedno (well known) aktivační heslo pro všechny instalace. Léčila se disketa ve formátu 5.25" s 360KB dat... A to AVG se snažilo ten soubor léčit, t.j. z něj ten virus odstranit a ne ho jen smazat A když se mu to nepovedlo, tak nabídlo onu zmíněnou možnost, která mně tehdy dost pobavila, protože odstraňování toho viru z tehdy ohromné sítě 5PC byl docela oříšek...

[vain]

No to bude možná tím, že minimální požadavky AVG jsou 512MiB RAM Ale jinak ano, antivirový program je to největší svinstvo co existuje (na úrovni virů samotných - ani ty viry tolik ten počítač nezpomalují .