Skvrny na slunci

2.6.2008 02:06 | Přečteno: 2477×

Občas si říkám, že některé věci není možné vysvětlit žádným přirozeným způsobem. V seznamu nevysvětlitelných věcí je na prvním místě kumulace katastrof. Jistě to znáte, záložní systém selže současně s primárním, potřebujete něco spravit a zrovna vám doma nejde internet. Na to že nezálohujete důležitý soubor nepřijdete jinak, než že ho ze zálohy potřebujete vytáhnout. Variant je neomezeně.

V posledním týdnu si ale všímám toho, že tendence věcí se rozbíjet je přinejmenším plošná, pokud ne globální. Posuďte sami.

Pokud se pamatuji, celá série začala ve čtvrtek 16. 5. V jednom serveru mi odešly v poli dva disky, jeden koupený v Levi a jeden v AT Computers, aby se co nejvíce omezilo riziko jejich současného poškození při přepravě a i to že budou vyrobeny na lince po sobě. Oba s pětiletou zárukou, natočené dva roky a pár měsíců. Byly odfrézované bloky v logu XFS, přece jen asi autoři nepočítali s tím, že někdo bude serverové disky používat na /var partiton serveru s qmailem a postfixem, který protáhne nějakých 15.000 emailů za den. Bohužel tohle je mimořádně trapná závada, protože XFS, které nedokáže zapisovat do logu, nejde přimountovat ani RO, nejde mu říct, že si logu nemá všímat, nejde s ním prostě nic. Přitom je zcela jisté, že všechna data na disku jsou v pořádku, cca 30 sekund stará. Teď k tomu mailspool. Uživatelé fakt těžko nesou, když dostanou mail dvakrát, nebo nějaký nedostanou, ale samozřejmě zase ne tak těžko, aby za mail platili tolik, aby se z toho zaplatilo třeba řešení se dvěma servery a replikací bloků přes DRDB. Chvíli jsem zkoušel diskům vysvětlit, že existují takové věci jako SMART a realokace bloků, nicméně to se nepovedlo. Takže následovala obnova /var z noční zálohy a disk s méně vadnými bloky šel na dd_rescue, které vytáhlo všechna data a potom se na novém disku bez problémů fixlo XFS a nasypala se do /var data co tam nebyla. Nicméně operace časově velmi náročná, protože rsyncujte miliony souborů, to nepomůže ani terabitová síť. Výsledkem celé akce bylo hlavně to, že jsem během několika hodin v telehausu totálně promrzl a následně nastydl a ztratil hlas, ale o tom více v článku o linuxovém víkendu.

Současně ve čtvrtek selhal měsíc starý 1TB disk v backup serveru, ale to je drobná potíž, protože backup servery jsou dva s totožným obsahem, jeden v Praze a jeden v Brně.

Následoval pátek a veselá akce. Kamarádovi selhal server v Casablance, když nebyl v Praze. Takže jsem v rámci výpomoci vyrazil do Casablanky. Jenže tam nemám vstupní kartu, takže se muselo pořešit, že mě tam pustí technik. To se zadařilo hladce, server se mě leknul a nechal se spravit. Měl následovat odchod z Casablanky, byli jsme dohodnuti, že zavolám technikovi a on mě pustí ven. Takže vezmu telefon a volám technikovi, telefon zvoní, nikdo jej nebere. Nu což, říkám si, že třeba šel na záchod nebo na cigáro, chvíli počkáme. Jenže chvíle se protahovala a telefon stále nikdo nebral. Po půlhodině mi to začalo být divné. Po 45 minutách jsem požádal náš dohled, aby sehnal někoho z Casablanky a vysvětlil jim, že mě fakt nebaví být tam zamčený. Ne že by tam bylo zima, tolik tam zase nechladí, ale trochu nuda jo. Po hodině se podařilo někoho sehnat a na Casablance zjistili, že jim odešla telefonní ústředna. Takže jsem volal dobře, ale nebylo komu. Nechal jsem je shánět správce objektu a ústředny a vyrazil k domovu, že se budu léčit.

Víkend by plynul v poklidu, kdyby se jedné mašině v Brně nerozdrbalo XFS. Rozdrbání bylo tak zásadní a opakující se, že jsme vyměnili postupně všechno včetně motherboardu a to bez náznaku řešení. Prostě v kernelu je asi fakt bug, který se projeví když ukládáte nějaký zvláště povedený soubor.

Takže uplynul pracovně měnící víkend a v pondělí nastoupili študáci do Rudná.net na povinnou středoškolskou praxi. A první co zjistili bylo, že jim v kanceláři nejde Internet. Trapné že. Naštěstí to spravil restart Nanostation a praxe mohla plynule začít. Věnovat se jim musel Jirka, protože já jsem byl v pondělí zcela mimo provoz.

V úterý jsem zjistil, že se nějak rozpadl routing na IPv6 a není dostupné japonsko. Řekl jsem si, že nebudu prudit, on si někdo všimne a spraví to. Nevšiml si. Po týdnu jsem vyměkl a nahlásil to. IPv6 asi fakt ještě není masově používaná služba.

Ve středu se buď nic nestalo a nebo si to nepamatuji.

Ve čtvrtek nastala katastrofa mimořádná a servisními smlouvami neošetřitelná, onemocněl mi přednášející pro linuxový víkend. Ale o tom také poreferuji jinde.

V neděli jsem vyrazil pomoct kamarádovi, který si nešťastně pořídil telefon Nokia a nainstaloval si do Windows Vista PC Suite. Jeho autoři zřejmě utrpěli lobotomii a pak začli programovat pod vedením projekt managera s bohatými zkušenostmi ze zemědělské výroby. Chraň nás bože před tím, aby někdy psali něco pro Linux. Jejich geniální SW dokáže znefunkčnit i to co ve Windows funguje. V průběhu opravy si mě poslechla jeho manželka, doktorka, a začala mě strašit, že mám zápal plic a že to chce RTG a antibiotika. Naštěstí než jsem na RTG přišel, tak už mi opadly teploty a tak jsem to nemusel řešit.

Pak byl chvíli klid až do středy, kdy havarovalo na Trestelu Cisco, všemožně zálohované a samozřejmě teoreticky garantující mnohadevítkovou dostupnost. Záložní systémy selhaly na celé čáře a celý haus zmizel na dlouhé minuty z internetu. Věc která se stává jednou za několik let, ale dodavatel bude mít co vysvětlovat.

Následuje čtvrtek, asi málokdo neví o velkém výpadku Servisu24. Opět zůstává rozum stát nad tím, jak může selhat mnohonásobně zálohovaný systém, ale shoda náhod je prostě prevít.

V pátek mi vypadla primární linka domů a přestože OSPF přetáhlo provoz do zálohy, nešla resolvovat DNS jména, vlastně ani nevím proč.

V sobotu odpoledne mi klidně shořel zdroj v jednom Sun serveru, naštěstí celkem klidná akce, protože jsou tam 4 další, které se o provoz dělí.

No a teď, když píšu zápisek, tak neběží již 12 hodin obchodní rejstřík, potažmo celé ministerstvo spravedlnosti a z výpadku proudu po zásahu bleskem se zotavuje Forpsi.

No je tohleto normální?

       

Komentáře

[Abraxis]

Co se tyka toho S24, tak muj skromny odhad je, ze (zase) klekla databaze (Oracle RAC)... A kdyz ti takhle klekne databaze, tak ses nahranej. Teoreticky by RAC nemel nikdy kleknout, zvlast kdyz bezi nad poradnym HA clusterem, co je v sporce - ale proste Oracle v tom ma nejaky bugy.

Samozrejme, da se obejit i bez RACu, ale to znamena dosti zasadne prekopat "styl" databaze a tedy i aplikace.

[Dan]

Skvrnama to nebude.

[Dag]

I můj nejvlastnější HW dostává. Opařená záda, stržená piha (krve jak z vola) a noha velikosti konve po úrazu. během čtyř dnů.

"Neštěstí nechodí samo" a další úsloví lidová dokazují, že jev zvaný odborně kumulace průserů existuje. Je to tím, že kždý průser má svoje vlastní gravitační pole, přitahující další průsery. Šestá síla. :)

[Dalibor Smolík]

stržená piha (krve jak z vola)
S tím si nezahrávej. Jdi k doktorovi. U té pihy se občas může spustit proces, který nemusí skončit dobře.

[Luk]

Podle toho, co jsem o tom zatím četl a co mi potvrdilo několik doktorů (kožařů a chirurgů), tak jedno stržení nepřináší žádné významné riziko. Vadilo by ale, kdyby se ta piha z nějakého důvodu (nevhodné umístění apod.) strhávala často. Pak už tam je riziko vzniku nádoru.

[Dan Ohnesorg]

Ono je to spise tak, ze lozisko melanomu je dobre prokrvene a citlive, takze ma tendenci casto krvacet a "nechat se strhnout". Lidi to potom na zaklade pozorovani vylozi obracene - hele on si casto strhaval pihu a ted je mrtvej.

Kamarad na melanom umrel jako zcela klasicky priklad ITaka, ktery stravi 10 let zavreny v kancelari bez oken, tim si vydela na barak a zacne ho stavet, takze pro zmenu travi cele tydny na slunicku, coz fakt neni dobre.

[Dalibor Smolík]

Asi to tak bude. Tohle se stalo našemu známému také. To, že se strhla piha samo o sobě nic neznamená, ale podezřelý by mohl být důvod tohoto stržení. Prohlídka by určitě neškodila.

[Dag]

Já mám pih tolik a způsob života takový, že v součtu to dělá několik stržených pih ročně. Tahle před tím nekrvácela, byla to taková klasická potvora, už se dělá zase.

I mechanizmus je mi znám. Toho dne jsme si cvičili co dělat, když je potřeba s někým něco dělat a už to nejde okecat, rozkecat. A to cvičení jsem pojal zodpovědně. Takže nějaká modřina, stržená piha a zhmožděná noha.

[Luk]

Souhlasím. Podobnou věcí je i mýtus, že když si někdo nechá pihu nebo mateřské znaménko odstranit, dostane rakovinu. Podle doktorů je to tak, že to vzniklo z případů, kdy si to lidé nechali odstranit proto, že už se tam něco dělo, například se jim to zvětšovalo apod. - tedy když už tam nádor byl a už byly vytvořené metastázy.

[Dag]

Ono pih je mnoho druhů. Od těch, závažnosti kosmetické, přes další, k mateřským znaménkům až ke nádorům. Všechno je to na první pohled piha. Třeba s mateřským znaménkem bych věřil lidové tradici, že do toho se nemá šťouchat (tvrdí to i doktoři). Vůbec všechno nepravidelné, s nepavidelnou barvou... je podezřelé.

Mechanizmus vzniku nádoru je (pokud vím) záhadou, spustit to může všelicos. Asi i poranění, koneckonců je to oslabeni imunity.

[Luk]

Ono je to spise tak, ze lozisko melanomu je dobre prokrvene a citlive, takze ma tendenci casto krvacet a "nechat se strhnout". Lidi to potom na zaklade pozorovani vylozi obracene - hele on si casto strhaval pihu a ted je mrtvej.

To také. Ale mnohokrát opakovaně zraňované místo (i mimo pihu) je náchylné k nádorovým změnám. Prý to bylo známé už kdysi, když se nosily kahany a pálily člověka stále znovu a znovu na tomtéž místě.

[hikikomori82]

Dnes rano som isiel do prace autobusom. Sedel som priamo za soferom. Zrazu do vysielacky hovori ze ma poruchu nech pri amfiteatri pristavia nahradny autobus. Dosli sme k amfiteatri kde uz cakal nahradny autobus. Sofer otvoril dvere. Vystupil som a cakam na prestup na ten druhy autobus. V tom sofer povodneho autobusu zavrel dvere a s cestujucimi normalne pokracoval v ceste. Zvysok cesty som musel dojst peso.

[Aleš Kapica]

Pro takové situace u nás máme tradiční úsloví: "Když se sere, tak se sere."

[Jary]

Mě odešel zdroj od Laptopu. A byl tu výpadek proudu, v noci. Možná to nějak koreluje.

[laco]

Jsou i horší věci. Dne 23.12.2012 podle některých pramenů prý má být údajně konec světa.

[Jary]

To vypadá na směs zajímavého data zapsaného dekadicky a dnem, kdy se prej kdosi důležitej narodil. Zbytek si domyslete třeba sami.

[hikikomori82]

Neee, tam predsa konci Majsky kalendar

[Dalibor Smolík]

Nikoliv, má to být o dva dny dříve, tj. 21.12.2012. Ale stejně nic nebude . To až v lednu 2038, kdy skončí unixový čas

[Dan Ohnesorg]

At tak ci tak, zajimalo by me kdo prvni si prijde stezovat, ze mu nefuguje mail a ze jsme se meli na ten konec sveta lepe pripravit.

[ferrymanofhades]

já bych řekl že tohle nejsou žádné náhody, že za to nemůže technika ale lidi samy. že se v těch počítačích a internetech nějak odráží lidské konání, že se otiskuje chování lidí v reálném světě do toho počítačového virtuálního prostoru. a lidi dělaj chyby a ani o nich neví. jinak si to neumím vysvětlit.

[Dan Ohnesorg]

A to jsem se az ted dozvedel, ze v dobe kdyz jsem to psal vyhorela transformatorovna hostingoveho centra v USA. Vice viz:

http://service-update.theplanet.com/

Dovedete si predstavit, ze stehujete 3000 serveru v kamionech do vedlejsiho mesta? A to jeste navic v podstate bez pripravy, protoze je zacali odvazet dva dny po pozaru. A ze v cili pro ne musi byt ethernetove pripojky, naroutovana konektivita a tak podobne. To musi byt neskutecna fuska.

[Luk]

Nebylo by rychlejší a jednodušší zprovoznit aspoň provizorní napájení na původním místě?

[Dan Ohnesorg]

Tezko rict, treba je budova vybuchem poskozena tak, ze se bude muset strhnout nebo projit nejakou slozitou rekonstrukci. Zcela jiste by to nestehovali, kdyby nutne nemuseli.

Z toho repotu vyplyva, ze nejakou dobu je hasici do hausu vubec nepustili, takze to tam asi muselo byt celkem huste. Nejake nahradni napajeni jiste zajistili, jestli tomu dobre rozumim tak stehuji jen tretinu hostovanych stroju.

Mozna pro pritazeni novych kabelu musi odstranit stavajici shorele z kabelovych tras a to muze byt poradny orisek. Jestli tam nekde protekly poradne zkratove proudy, tak je to vsehno svarene do jednoliteho celku. Videl jsem jednou takovety pasove vodice v rozvodne po prutoku par kiloamper a to ma vsechny spoje svarene dohromady, takze to nejde rozsroubovat a jeste se to vsemozne zkrouti a zdeformuje.

[Dan Ohnesorg]

Ted koukam, ze ve statusu pisi, ze navezli 200 zdroju a dalsi HW dily na vymenu. Holt je videt, ze servery by se nikdy nemely vypinat - nenabihaji. Ony teda ty zdroje asi dostaly peknou pecku.

Mimochodem by me celkem zajimalo, jak bych dopadl, kdybych v CR chtel 200 1U zdroju do libovolneho znackoveho serveru. Zatim chci koupit jeden do Sunu s vymenou vlastni silou a vypada to, ze jednodussi by bylo koupit raketoplan.

[Max]

No, v pátek od nás odešel nový dvouměsíční kolega a od té doby nám začal padat oracle (vždy přes noc, náhodně). Včera záhadně spadnul v noci backupovací server a tak se neprovedla záloha. Předtím spadla z neznámých důvodů další jednoúčelový servříček. Teď ještě budeme muset přeheslovat celou síť (kvůli tomu kolegáčkovi :-/).
U nás toto není opravdu normální, jsme zvyklí na relativní klid ... .
Něco se asi opravdu děje, buďme pověrčivý a pojďme se všichni podkudnout do kulatý místnosti, protože se musíme osvobodit před koncem světa ... :D
Zdar Max

[Dan Ohnesorg]

A to jsem ani neporeferoval, ze jsem vcera v noci vyrazil vymenit hotplug scsi disk, ktery povidal, ze je tezce nemocny, server po zacvaknuti noveho prestal videt scsi radic a po restartu rebuild zjistil, ze vadne byly oba disky v raidu. Akorat ze tentokrat dokazal z toho stareho nakonec data vydolovat a na novy je prezrcadlit.

Kdybych to byl vedel, tak jsem objednal dva nove daleko vetsi disky, takle jsem bral stejny, aby v poli byly dva stejne.

[Max]

Chlape, že tě to baví :). V tvém případě bych už asi pokoukával po nějaké diagnostice. Něco, co by checkovalo smart a hlásilo ti kažodou šelest. Na druhou stranu, smart není všechno a v dost vélké části disk odejde bez varování :(
Zdar Max

[Dan Ohnesorg]

To prave moc nepomaha, jednak smart neni pres nektere SCSI radice dostupny. Obvykle cim drazsi radic, tim hure se k disku da dostat.

A navic tenhle disk byl podle smartu naprosto happy az do rebuildu, taky je skoro novej, resp. umrel naprosto presne nacasovane po zaruce.

Manufactured in week 16 of year 2005
Current start stop count:      57 times
Recommended maximum start stop count:  10000 times

Error counter log:
          Errors Corrected    Total      Total   Correction     Gigabytes    Total
              delay:       [rereads/    errors   algorithm      processed    uncorrected
            minor | major  rewrites]  corrected  invocations   [10^9 bytes]  errors
read:          0     1230        60         0          0      27735.354          60

Vsech 1230 chyb nasbiral az vcera v noci, do te doby tam svitila nula.

[Aleš Kapica]

Není to sice moc k tématu, ale je mi opravdu moc líto firem, které místo administrátora, který má zájem o dlouhodobý job ale chce odpovídající prachy, raději hledají někoho kdo k nim půjde dělat za míň, a stejně po chvíli uprchne na lepší.

[Max]

Jenomže on neodešel kvůli pěnězům . Myslím si, že peníze měl lepší, než má teď. Byl totiž na jednom pohovoru v místě bydliště, ale neozvali se mu. Tak vzal job u nás a dojížděl každý den přes hodinu. No a po dvou měsících se mu ozvali a tak to vzal.
Celý to byla jen čistě jeho blbost a odnášíme to my.
Zdar Max

[Aleš Kapica]

Čas jsou taky peníze. Osobně bych z práce, kvůli které bych zabil 2 hodiny denně (hoďka tam a hoďka zpět) taky utekl. Krom toho bych celkem i chápal že utekl do důvěrně známého prostředí. Nic to však nemění na tom, že nechápu management firem které upřednostňují "mladé, dynamické" zaměstnance před "starými". S věkem se značně mění poměr výše platu vůči ochotě změnit zaměstnání. Mladý spíš oželí finance a jde jinam i z naprosto malicherných příčin, než ten na kom je závislá rodina. Takového větinou vyštve až neadekvátní ocenění jeho práce. Pochopitelně by bylo bláhové se pak domnívat, že by jinde nastoupil za míň.

[Max]

To ano, já cesty třeba prospím :). A přes skoro celé céčko? Žádné přestupy, žádné vyrušování, to se to spinká :), nebo se dělají jiné věci. Neřeknu, když je to přestup za přestupem, to by mne také štvalo :-/
Jinak hážeš všechny do stejného pytle . Mladí vs. staří. Hloupost . Navíc dle tvých argumentů by to mělo být spíše svobodní vs. zadaní .
Já jsem třeba bez závazků, ale jinam bych nešel, ani kdyby nabízeli více. Ani, kdybych to měl přímo pod bytem a nemusel denně jezdit 45 min tam a 45 min zpět.
Každý má jiné prioriy a někoho může ovlivňovat rodina, někoho ne.
Zdar Max

[Max]

Navíc si myslím, že je hloupej. Údajně pracoval asi 3 roky jako MS správce. Přišel k nám a moc toho neuměl, řekl bych, že se dosta naučil, ale tím, že od nás odešel ztratil šanci pestré práce různých technologií apod. a vrátil se čistě jen ke správě MS sítě v AD bez nějaké složité topologie sítě atd. Ale to je jeho věc, třeba netouží poznávat nové technologie a mít pestrou práci, třeba ho čistě MS AD baví (správá AD+Exchange, asi nic víc jiného)
Zdar Max