Silent Data Corruption

29.12.2009 20:38 | Přečteno: 1580× | poslední úprava: 29.12.2009 20:41

Česky bychom řekli třeba stárnutí dat. Znamená to, že jednou jsem měl datový soubor na disku a dneska se na něj chci podívat, a on tam zdánlivě je, ale s poškozeným obsahem. Jsou i prudší průběhy zestárnutí dat - naruší se třeba obsah adresáře a fsck objeví nekonzistenci. Nebo se FS rovnou rozpadne. Potom ho na stejném disku znova vytvoříme, data vrátíme ze zálohy, a jede to dál jako by nic.

Fenomén stárnutí je známý a pojmenovaný. Když to někomu stálo za to, můžeme si myslet, že je to hromadný jev, že na světě aspoň milióny počítačů mají narušená data. Ale jediné vysvětlení, které jsem kde vyslechl nebo přečetl, bylo hodně vágní. To víte, něco se vždycky může stát. Třeba zachyboval disk nebo sběrnice, nebo je chyba v modulu pro ovládání konkrétního železa, nebo ve firmware disku nebo diskového pole. Podle mě to jsou všechno řečičky. Hardware i jádro jsou konstruovány tak, aby buď fungovaly, nebo navodily chybový stav. A takovým způsobem by měl být naprogramován i firmware. Čili někde tady musí být nějaký konkrétní fenomén, který to všechno způsobuje.

Mezi počítačovými techniky se vypravuje taková historka. Nějaká firma, jméno jsem zapomněl, dodala disky určené k nepřetržitému provozu v diskových polích, načež po krátké době honem distribuovala nový firmware k vůli chybě. Ta chyba podle vysvětlení dotyčné firmy byla následující: jestliže disk nemůže po sobě něco přečíst, tak místo aby ohlásil chybu, přiřadí místo nečitelného bloku náhradní blok z náhradního prostoru, a náhodný obsah tohoto bloku vrátil jako přečtená data. Nebylo to spojeno s žádným chybovým hlášením. Firma se omlouvá za chybu ve firmware a přeje si, abychom jí zachovali přízeň. Teda takovéhle firmě bych opravdu zachoval přízeň za to, že se přiznala. Ale nevěřil bych jí, že tu chybu někdo naprogramoval. Copak to vůbec jde, takhle se splést? Copak to jde ve vývojovém oddělení firmy s miliardovým obratem týdně?

Jenže ten obrat dělají disky do PC a ne serverové. Disk má fungovat tak, že když nějaký blok nejde zapsat k vůli defektu na magnetickém povrchu, disk přiřadí náhradní blok a na něj se to povede zapsat. Když nějaký blok ale nejde přečíst, potom logicky konzistentní chování je jedině ohlásit chybu. Marketingově optimální chování je ale asi jiné. Kdo by si chtěl koupit disk, který hlásí chybu třeba uprostřed filmu? To radši ať to zablýská nějakým nesmyslným obrázkem, ale za chvilku se to srovná a můžeme se dívat dál, no ne? Prostě já myslím, že programátor se nesplet. Spletl se technik, který místo serverového firmware do disků nahrál pécéčkový firmware. Případně manažer, který nařídil prodat PC disky za cenu serverových a nenařídil odpovídající výměnu firmware ...

Taky by se dalo říct, že klasické paradigma, podle kterého železo buď udělá co má, nebo vrátí chybový stav, je zvolna vytlačován novým schématem, kdy se komponenta tváří jako nekonečně spolehlivá, na všechno má samoopravné mechanismy, a když přece jenom udělá chybu, tak se zkrátka nedá nic dělat. O těchhle věcech se nepíše, pokud vím. Vývojáři počítačových komponent to samozřejmě znají. K vůli stárnutí dat napřed nahonem vymysleli RAID6 a potom mnohem dokonalejší ZFS.

Teď bych měl asi napsat něco o algoritmech RAID6 a o ZFS. Ale jednak o nich nic nevím, a jednak by to bylo moc dlouhý.

       

Komentáře

[dad]

Vas prostoduchy zapisek nyni vytlacil muj frekventovany blog z hlavni stranky ...

[marek_hb]

minimálně bych si stěžoval na ÚV a žádal exemplární potrestání ....

[krnoha]

Jestli jsem někomu narušil jeho genialitu, tak se omlouvám.

[vencour]

Geniální je jen V.K., že, Dade?

[Miloslav Ponkrác]

Ano, tak to bohužel je.

Můžete se spolehnout, že i smart na discích je zfalšovaný, a tak je to všude.

Firma, která nefalšuje, tak jí neviditelná ruka nechá zkrachovat. Protože oproti jiným firmám, vyrábějící „spolehlivý“ hw bude roznesena na kopytech, respektive brána za špatnou koupi, i kdyby v reálu vyráběla ten nejlepší a nejkvalitnější hw.

Falšuje se na všech úrovních, například TDP Intel procesorů je tak nejasně definované, že ke skutečnosti je třeba k němu přidat odhadem minimálně pár desítek procent při porovnání s TDP AMD procesorů.

Trik s GB, kdy definice 1 GB = 10^9 bajtů a disk vypadá větší už je běžný. Jenom to kazí to, že výrobci operačních systémů nechtějí na tento trik přistoupit.

O tom, že si koupíte 10 cm bedýnky s 300 W výkonu PMPO je další trik, přičemž podle běžné metodiky dají třeba 2W RMS.

Myslím, že by stálo za to mít filesystém, který by přidával md5 součty ke každému clusteru a porovnával. Možná bychom se ještě velmi divili, jak nespolehlivé disky jsou. POkud nějaký takový fs existuje (nevím o něm), bude to můj favorit.

Ale jinak zakrývat chyby bude nutné, až se rozšíří flash a ssd. Flash samo o sobě teď dělá triky typu 2 bity na buňky, teď se pokouší 3 bity na buňku a prý už je v dohledu i 4 bity. Tím se z digitálního záznamu stává fakticky analogový se všemi nespolehlivostmi a s obrovskými náchylnostmi výsledných dat na šum, rušení, teplotu, stárnutí jako u analogových věcí. Čím více bitů na buňku, tím méně spolehlivé to je, ale levnější, marketinkově to má vyšší kapacitu a lépe se to bude prodávat. Je jasné, jaký trend zvítězí.

[vencour]

Na téma ekonomika a pověst jsem narazil na zajímavý článek i diskusi.

[moira]

Myslím, že by stálo za to mít filesystém, který by přidával md5 součty ke každému clusteru a porovnával. Možná bychom se ještě velmi divili, jak nespolehlivé disky jsou. POkud nějaký takový fs existuje (nevím o něm), bude to můj favorit.

ZFS?

[R]

SMART funguje, tak o nejakom falsovani radsej nic nepis, ak nemas dokazy.

[Miloslav Ponkrác]

Tady nejsme na policii. Mimochodem, o falšování smartu tady na abclinuxu bylo psáno již několika lidmi (tedy ne mnou).

[trekker.dk]

SMART funguje tak, jak ho výrobce implementuje. A jak ho někteří výrobci implementují se můžeš podívat do nedávného blogu "Spolehlivost velkých disků".

Jestli má z vás dvou někdo radši sklapnout, tak jsi to ty.

[R]

A kde je to falsovanie? Ak ostava po prepise pocet realokovanych sektorov nulovy, tak sektor realokovany nebol (=zapis sa podaril, sektor vyzera byt fyzicky vporiadku). Takyto sektor vznikne napriklad pri vypadku napajania pocas zapisu (osobne mam vyskusane), prepisom sa opravi bez realokacie.

Disk moze mat rozne zavady - napriklad niekedy zapisovat nespolahlivo. Narobi si sektory, ktore nevie precitat, ale potom zase zapisuje dobre a po prepise to funguje. Takychto diskov WD som mimochodom uz par videl (20-40GB).

[krnoha]

Vida, disk se sám spravil. Jaký samoopravný mechanismus mohl použít? Kromě realokace sektoru mě nic nenapadá.

[R]

Pending sector = sektor, ktory sa neda citat. To znamena, ze nesedia opravny mechanizmus zistil chybu, ktoru nedokaze opravit. Dane miesto povrchu moze byt fyzicky poskodene, ale nemusi - moze tam byt zapisana blbost, ktora sa prepisanim opravi.

[Shadow]

Podívejte se trošku blíže na causu WD Green z EADS série, která se v Linuxu uparkuje k smrti. Když jsem to kdysi zkoumal, narazil jsem na příspěvky, které tvrdily, že patch od WD jenom upravil SMART, aby lhal o Load Cycle Count. Důkaz nemám, disk jsem vrátil ve 14ti denní lhůtě, nicméně zkuste Googlit, třeba něco najdete.

Dovolte mi vám nicméně položit jeden dotaz - když tu tak vehementně tvrdíte, že SMART funguje - máte tedy vy konkrétní důkazy o tom, že SMART všech disků na trhu vrací vždy a ve všech případech pravdivé údaje? Nebo jen slepě věříte výrobcům?

[R]

Uz niekomu ten disk odisiel, alebo sa jedna len o tu hodnotu v SMARTe?

V roznych implementaciach SMARTu su rozne bugy, u Hitachi som napr. videl podtecenie poctu realokovanych sektorov - bol tam jeden necitatelny sektor, ale v SMARTe bolo 0. Po prepisani ("opraveni") sektora sa tam objavilo nejake velke cislo.

[Shadow]

To parkování hlaviček bylo slyšitelné, takže se nejednalo pouze o hodnotu ve SMARTu. Každopádně, pokud vás zajímají detaily, zkuste googlit, určitě toho najdete spoustu.

[Acci]

Mac OS 10.6 už přešel na definici: 1 GB = 10^9 bajtů. Těžko říct, jestli je to dobře nebo ne.

[Jendа]

Podle mě dobře, ale možná je to tím, že mám radši konzistenci SI předpon (pro 2^n tu máme Ki, Mi, Gi, Ti).

[disorder]

niektori ludia su proste nenasytni, aj v dobe terabajtovych diskov im chyba miesto, a zli zli vyrobcovia ich klamu tym, ze spravne pouzivaju SI

[trekker.dk]

Jenom to kazí to, že výrobci operačních systémů nechtějí na tento trik přistoupit.

Jak kdy, jak kdo. Třeba takový dd už taky násobí 1000 místo 1024. Hnus velebnosti

[Jendа]

Chová se v souladu s IEC 60027-2.

[trekker.dk]

...nikoliv však v souladu se zdravým rozumem

[Jendа]

SI násobky 10^n se používaly dlouho před nástupem počítačů. Osobně mi přijde docela zdrávo, že k, M, G, T tedy znamená stejně jako všude jinde 10^n, a když chci vyjádřit binární násobek, použiji předpony Ki, Mi…

[Ladicek]

Zato bity se tak dlouho před nástupem počítačů nepoužívaly, pravda? Jaký má smysl násobit desíti něco, co samo znamená dvojková číslice (číslice ve dvojkové soustavě)? SI je z mého pohledu počítačníka naprosto nezajímavý piece of crap.

[Roger]

To je zvlastni, ze zrovna u nasobku dvojkovych cislic - tedy megabitu - plati SI pocitani (1 Mb/s = 10^6 bitu za sekundu)...

[Ladicek]

Do síťařiny nedělám, takže jsem si na to nevzpomněl, ale máš pravdu, megabitisti násobí desíti. Můj argument je mimo, ale to nevadí, mebibitisti jsou prostě untermensch

[Kvakor]

V jednom článku (v nějakém papírovém počítačovém časopise), co jsem kdysi četl, to bylo vysvětlené jako dědictví z časů telegrafu a dálnopisu, které neměly žádný důvod používat binární jednotky a tudíž se od těch dob v telekomunikacích používají jednotky metrické.

[Jendа]

Já třeba nevidím žádný důvod, proč by se měla velikost pevných disků vyjadřovat v n*2^m.

[M. Lox]

Myslím, že by stálo za to mít filesystém, který by přidával md5 součty ke každému clusteru a porovnával. Možná bychom se ještě velmi divili, jak nespolehlivé disky jsou. POkud nějaký takový fs existuje (nevím o něm), bude to můj favorit.

Reiser4!

[M. Lox]

Tedy, ten vlastně AFAIK kontroluje validitu jenom dat, nikoliv stromu, takže taky nic moc, i když lepší než drátem do oka. Sorry za neoprávněný výkřik.

[Shadow]

Jo, tak přesně tohle mi dělal jeden SATA řadič - nebudu jmenovat značku (Promise) - naštěstí jsem to objevil včas, takže škody byly minimální. Ale bylo pěkné sledovat, jak každé přečtení trošku většího souboru vrátí jiný MD5 checksum. S autorem nemohu než plně souhlasit, takové chování výrobce je trestuhodné. Silent data corruption je snad to nejhorší, s čím se může člověk setkat - je totiž velmi pravděpodobné, že se chyby dostanou i do záloh, pokud se na to dost brzy nepřijde.

K tomu RAIDu 6, mám pocit, že linuxový SW RAID 6 nemá schopnost opravit silent data corruption na jednom z disků. Snad se lze spolehnout alespoň na mismatch_cnt u individuálních disků v poli. A na Linuxu ZFS nemáme... nicméně, snad bude něco v BTRFS. Ale než ten bude stabilní pro produkční nasazení...

[krnoha]

No, představ si RAID6 z n disků. Na jednom disku jsou chybná data, takže máme n bloků a parita nesouhlasí. Můžeme z nich vzít libovolných n-2 a dopočítat vynechané dva bloky. Dopočítané dva bloky můžeme porovnat s obsahem těch samých dvou bloků přečtených. Jestliže nám vyjde, že oba dopočtené bloky jsou špatně, máme důvod k domněnce, že chyba je na některém z těch n-2 vybraných. Jestliže ale vyjde, že jenom jeden dopočtený blok je špatně, máme důvod k domněnce, že ten jeden je skutečně špatně. Můžeme ho přepsat správnou hodnotou a máme inteligentně opravenou konzistenci. Napsal jsem to kostrbatě, ale snad je to k pochopení.

Z toho mi vyplývá, že consistency check na RAID6 má docela slušnou šanci poškozená data opravit. Doufám že ji využije.

[Shadow]

To ano, akorát tuto schopnost neočekávej od linuxového SW RAIDu (leda by sis jí tam doprogramoval sám). Ten něco takového totiž AFAIK neumí a nedělá. A možná ani dělat nebude. Tohle jsem totiž dohledával (protože RAID 6 používám) před nedávnem, a dokonce jsem narazil i na nějaký dotaz tohoto charakteru na příslušném mailing listu, kde příslušný správce pěkně vysvětlil, proč to dělat nebude. Bohužel, detaily už si nepamatuji (kromě matného dojmu, že jsem mu tehdy snad i dal za pravdu), ale dohledat to určitě půjde.

[..... Izak .....]

No hlavne zjistit, ktery blok je ten spravny ) ... i kdyz u RAID6 a vypadku jednoho bloku by to slo ... ale ne automaticky ... kdo to ma furt kontrolovat.

[R]

Co je to za nezmysel? Kazdy disk, ktory pri citani nevie precitat sektor, vrati chybu. Kazdy, este som nevidel taky, ktory nie. Ak taky nahodou existuje, tak je to vazna chyba vo firmware a chcem vediet vyrobcu, model a verziu firmware.

[Käyttäjä 11133]

CO je tak dokonalého na RAID-Z/ZFS co by RAID-DP/WAFL (ve verzi co je v Data ONTAP 8, uznávám limit 16TB/aggregát je ústřel) neuměl?

[alkoholik]

Umi behat bez draheho zeleza od NetApp?
BTW: Od chvile, kdy jsme shaneli po cele Evrope nahradni FC disky s jejich firmware, nejsem na jejich vyrobky zvedavy..

[Käyttäjä 11133]

Pánové si neplatí za support? :) Drahého železa od NetAppu? Cena za NetApp je zhruba stejná jako za enterprise storage od SUNu. Jistě nemůže se cenou srovnávat s home made storage systémem, ale na trh domácností snad NetApp ani nemíří, ne? Já myslel, že se bavíme právě o těch aplikacích, kde na spolehlivosti záleží.

[Käyttäjä 11133]

A až příště budeš shánět něco k NetAppům, ozvi se, dám ti kontakt na jednoho hodně rozumného NetApp STAR partnera.

[alkoholik]

NetApp jsme vyhodili a mame pole od Dellu. Taky zadna vyhra.
;(
A jak jsem psal ta super vlastnost ZFS je, ze slape i na "home made storage systemech".

[Käyttäjä 11133]

Diskové pole od Dellu bych nechtěl ani zadarmo :) NetApp má svoje problémy, ale pořád je to asi to nejlepší co na trhu je, nic jiného ti prostě ten Snap Manager pro SAP nenabídne

[alkoholik]

Problemy? Treba ze se pole vypne, kdyz do 24h nevymenite vadny disk? Zadne nemate, jste v Praze, pole bezi v Amsterdamu a jedine nahradni disky lezi v Londyne.
Ale raid.timeout nebo jak to presne bylo jsem nakonec nasel..
;)

[Käyttäjä 11133]

Co je to za enterprise storage, když tam nemáte spare disky? A s tím degradovaným režimem je to trošku jinak, že... do degradovaného režimu se appliance přepíná ve chvíli, kdy ztráta libovolného dalšího disku v raid group vyústí v data loss. Věř tomu nebo ne na světě jsou společnosti, které raději zažijí service break, než příjdou o data a přesně pro takové je NetApp filer nakonfigurován v defaultní konfiguraci. Pokud chceš riskovat ztrátu dat měl by si vědět co děláš a pak si dost chytrý na to aby sis přečetl manuál. A volbu options raid.timeout si znal. - NetApp Basic Concepts Quickstart Guide

By mě možná i zajímalo pro kterou společnost pracuješ ať vím komu se vyhnout obloukem

[alkoholik]

Problem c.1: majitel setril, kde se dalo.
Problem c.2: appliance instaloval typek, ktery byl kratce pote vyhozen.
Problem c.3: doslo ke zmenam v siti vcetne ip adres mail serveru, ale nikdo to neupravil v appliance.
Problem c.4: vsichni si mysleli, ze monitoring porad funguje.
Problem c.5: spare disky uz byly v provozu, ale nikdo to nevedel.
Takze nejdriv se pole vypnulo a pak se cetly manualy.
Ale neboj se, s nasi firmou pravdepodobne nebudes mit nikdy nic spolecneho.

[..... Izak .....]

No tak to v tom jejich webu asi taky nevideli, ze je online ) kdyz se pole nezahlasi, doporucuje opravu a vynutit nahlaseni se na web netappu (treba i pres email) ... kdyz je dobre nakonfigurovano, prijde disk sam primo od netappu ... nebot to zjisti sami.

[Käyttäjä 11133]

kdyz je dobre nakonfigurovano, prijde disk sam primo od netappu ... nebot to zjisti sami.

Jo jo, to je rozdíl mezi NetAppem od NetAppu a nSeries storage systému od IBM, kluci z NetAppu zavolají a řeknou že disk je na cestě, lidem z IBM musíš volat ty a disky z nich přímo tahat :D

[..... Izak .....]

No u IBM to funguje taky ... akorat IBM je takova zabrzdena ... taky jsme myslim 2 IBM netappy prodali )

[Käyttäjä 11133]

Jo ty děláš ve Storyflexu... Jsem se na ten profil měl podívat dřív :)

[Käyttäjä 11133]

Ach, teďka vidím jak strašně za to vlastně může NetApp samotný a jak to vlastně nebyla odfláknutá instalace :D

[..... Izak .....]

jelikoz mam NetApp certifikat ... asi 3 ... tak muzu rict, ze je to FUD )

NetApp vypne, pokud mate degradovany Raid a nemate SPARE .... a to je sakra rozdil. NetApp je enterprise reseni, tedy predpoklada dokonce 2 spare disky, tak mluvi best pr. ... kdo je nedodrzuje je vul )

Obecne vzato, NetApp ma servis 4 hod, nebo 24hod, mi sami mame X disku NetApp v kazde pobocce.

Jinak treba diskove pole HP EVA vypne polici, pokud nekdo vynda disk a neda tam dalsi, pry chyba cirkulace nebo co ) ... no ale EVA umi redundnanci az na vypadek cele police ))

[Käyttäjä 11133]

jelikoz mam NetApp certifikat ... asi 3 ...

LOL. Hláška století.

NetApp vypne, pokud mate degradovany Raid a nemate SPARE ....

To není pravda, alespoň ně u RAID-DP... I RAID-DP je RAID degradovaný i pokud je ve FAILU jeden disk z RAID group, kdežto appliance se celá přepne do degradovaného režimu až když jsou FAIL oba disky v RAID-DP grupě a není k dispozici žádný spare na který by se udělalo recovery.

tak mluvi best pr. ... kdo je nedodrzuje je vul )

Občas stojí best practices za starou belu a jsou obsoletní... Zrovna ty pro Snap Manager for SAP a Oracle over NFS stojí za starou belu a pěkně jsme se na tom shodli s tím člověkem z NetAppu co jsme ho měli na návštěvě ve Finsku.

Obecne vzato, NetApp ma servis 4 hod, nebo 24hod,

Pravda pravdoucí, my sami máme servis na disky 4h (ale ne od NetAppu).

Jinak treba diskove pole HP EVA vypne polici, pokud nekdo vynda disk a neda tam dalsi, pry chyba cirkulace nebo co ) ... no ale EVA umi redundnanci az na vypadek cele police ))

Ano, ony se tak ty enterprise storage systémy chovají, je jedno jestli máš Hitachi Data Systems, nebo NetApp, vždycky je v defaultní konfiguraci preferovaný service break před ztrátou dat.

No nic NetAppisto, kdy a kde zajdem na pivko? :D