Silent Data Corruption (diskuse)

[dad]

Vas prostoduchy zapisek nyni vytlacil muj frekventovany blog z hlavni stranky ...

[marek_hb]

minimálně bych si stěžoval na ÚV a žádal exemplární potrestání ....

[krnoha]

Jestli jsem někomu narušil jeho genialitu, tak se omlouvám.

[vencour]

Geniální je jen V.K., že, Dade?

[Miloslav Ponkrác]

Ano, tak to bohužel je.

Můžete se spolehnout, že i smart na discích je zfalšovaný, a tak je to všude.

Firma, která nefalšuje, tak jí neviditelná ruka nechá zkrachovat. Protože oproti jiným firmám, vyrábějící „spolehlivý“ hw bude roznesena na kopytech, respektive brána za špatnou koupi, i kdyby v reálu vyráběla ten nejlepší a nejkvalitnější hw.

Falšuje se na všech úrovních, například TDP Intel procesorů je tak nejasně definované, že ke skutečnosti je třeba k němu přidat odhadem minimálně pár desítek procent při porovnání s TDP AMD procesorů.

Trik s GB, kdy definice 1 GB = 10^9 bajtů a disk vypadá větší už je běžný. Jenom to kazí to, že výrobci operačních systémů nechtějí na tento trik přistoupit.

O tom, že si koupíte 10 cm bedýnky s 300 W výkonu PMPO je další trik, přičemž podle běžné metodiky dají třeba 2W RMS.

Myslím, že by stálo za to mít filesystém, který by přidával md5 součty ke každému clusteru a porovnával. Možná bychom se ještě velmi divili, jak nespolehlivé disky jsou. POkud nějaký takový fs existuje (nevím o něm), bude to můj favorit.

Ale jinak zakrývat chyby bude nutné, až se rozšíří flash a ssd. Flash samo o sobě teď dělá triky typu 2 bity na buňky, teď se pokouší 3 bity na buňku a prý už je v dohledu i 4 bity. Tím se z digitálního záznamu stává fakticky analogový se všemi nespolehlivostmi a s obrovskými náchylnostmi výsledných dat na šum, rušení, teplotu, stárnutí jako u analogových věcí. Čím více bitů na buňku, tím méně spolehlivé to je, ale levnější, marketinkově to má vyšší kapacitu a lépe se to bude prodávat. Je jasné, jaký trend zvítězí.

[vencour]

Na téma ekonomika a pověst jsem narazil na zajímavý článek i diskusi.

[moira]

Myslím, že by stálo za to mít filesystém, který by přidával md5 součty ke každému clusteru a porovnával. Možná bychom se ještě velmi divili, jak nespolehlivé disky jsou. POkud nějaký takový fs existuje (nevím o něm), bude to můj favorit.

ZFS?

[R]

SMART funguje, tak o nejakom falsovani radsej nic nepis, ak nemas dokazy.

[Miloslav Ponkrác]

Tady nejsme na policii. Mimochodem, o falšování smartu tady na abclinuxu bylo psáno již několika lidmi (tedy ne mnou).

[trekker.dk]

SMART funguje tak, jak ho výrobce implementuje. A jak ho někteří výrobci implementují se můžeš podívat do nedávného blogu "Spolehlivost velkých disků".

Jestli má z vás dvou někdo radši sklapnout, tak jsi to ty.

[R]

A kde je to falsovanie? Ak ostava po prepise pocet realokovanych sektorov nulovy, tak sektor realokovany nebol (=zapis sa podaril, sektor vyzera byt fyzicky vporiadku). Takyto sektor vznikne napriklad pri vypadku napajania pocas zapisu (osobne mam vyskusane), prepisom sa opravi bez realokacie.

Disk moze mat rozne zavady - napriklad niekedy zapisovat nespolahlivo. Narobi si sektory, ktore nevie precitat, ale potom zase zapisuje dobre a po prepise to funguje. Takychto diskov WD som mimochodom uz par videl (20-40GB).

[krnoha]

Vida, disk se sám spravil. Jaký samoopravný mechanismus mohl použít? Kromě realokace sektoru mě nic nenapadá.

[R]

Pending sector = sektor, ktory sa neda citat. To znamena, ze nesedia opravny mechanizmus zistil chybu, ktoru nedokaze opravit. Dane miesto povrchu moze byt fyzicky poskodene, ale nemusi - moze tam byt zapisana blbost, ktora sa prepisanim opravi.

[Shadow]

Podívejte se trošku blíže na causu WD Green z EADS série, která se v Linuxu uparkuje k smrti. Když jsem to kdysi zkoumal, narazil jsem na příspěvky, které tvrdily, že patch od WD jenom upravil SMART, aby lhal o Load Cycle Count. Důkaz nemám, disk jsem vrátil ve 14ti denní lhůtě, nicméně zkuste Googlit, třeba něco najdete.

Dovolte mi vám nicméně položit jeden dotaz - když tu tak vehementně tvrdíte, že SMART funguje - máte tedy vy konkrétní důkazy o tom, že SMART všech disků na trhu vrací vždy a ve všech případech pravdivé údaje? Nebo jen slepě věříte výrobcům?

[R]

Uz niekomu ten disk odisiel, alebo sa jedna len o tu hodnotu v SMARTe?

V roznych implementaciach SMARTu su rozne bugy, u Hitachi som napr. videl podtecenie poctu realokovanych sektorov - bol tam jeden necitatelny sektor, ale v SMARTe bolo 0. Po prepisani ("opraveni") sektora sa tam objavilo nejake velke cislo.

[Shadow]

To parkování hlaviček bylo slyšitelné, takže se nejednalo pouze o hodnotu ve SMARTu. Každopádně, pokud vás zajímají detaily, zkuste googlit, určitě toho najdete spoustu.

[Acci]

Mac OS 10.6 už přešel na definici: 1 GB = 10^9 bajtů. Těžko říct, jestli je to dobře nebo ne.

[Jendа]

Podle mě dobře, ale možná je to tím, že mám radši konzistenci SI předpon (pro 2^n tu máme Ki, Mi, Gi, Ti).

[disorder]

niektori ludia su proste nenasytni, aj v dobe terabajtovych diskov im chyba miesto, a zli zli vyrobcovia ich klamu tym, ze spravne pouzivaju SI

[trekker.dk]

Jenom to kazí to, že výrobci operačních systémů nechtějí na tento trik přistoupit.

Jak kdy, jak kdo. Třeba takový dd už taky násobí 1000 místo 1024. Hnus velebnosti

[Jendа]

Chová se v souladu s IEC 60027-2.

[trekker.dk]

...nikoliv však v souladu se zdravým rozumem

[Jendа]

SI násobky 10^n se používaly dlouho před nástupem počítačů. Osobně mi přijde docela zdrávo, že k, M, G, T tedy znamená stejně jako všude jinde 10^n, a když chci vyjádřit binární násobek, použiji předpony Ki, Mi…

[Ladicek]

Zato bity se tak dlouho před nástupem počítačů nepoužívaly, pravda? Jaký má smysl násobit desíti něco, co samo znamená dvojková číslice (číslice ve dvojkové soustavě)? SI je z mého pohledu počítačníka naprosto nezajímavý piece of crap.

[Roger]

To je zvlastni, ze zrovna u nasobku dvojkovych cislic - tedy megabitu - plati SI pocitani (1 Mb/s = 10^6 bitu za sekundu)...

[Ladicek]

Do síťařiny nedělám, takže jsem si na to nevzpomněl, ale máš pravdu, megabitisti násobí desíti. Můj argument je mimo, ale to nevadí, mebibitisti jsou prostě untermensch

[Kvakor]

V jednom článku (v nějakém papírovém počítačovém časopise), co jsem kdysi četl, to bylo vysvětlené jako dědictví z časů telegrafu a dálnopisu, které neměly žádný důvod používat binární jednotky a tudíž se od těch dob v telekomunikacích používají jednotky metrické.

[Jendа]

Já třeba nevidím žádný důvod, proč by se měla velikost pevných disků vyjadřovat v n*2^m.

[M. Lox]

Myslím, že by stálo za to mít filesystém, který by přidával md5 součty ke každému clusteru a porovnával. Možná bychom se ještě velmi divili, jak nespolehlivé disky jsou. POkud nějaký takový fs existuje (nevím o něm), bude to můj favorit.

Reiser4!

[M. Lox]

Tedy, ten vlastně AFAIK kontroluje validitu jenom dat, nikoliv stromu, takže taky nic moc, i když lepší než drátem do oka. Sorry za neoprávněný výkřik.

[Shadow]

Jo, tak přesně tohle mi dělal jeden SATA řadič - nebudu jmenovat značku (Promise) - naštěstí jsem to objevil včas, takže škody byly minimální. Ale bylo pěkné sledovat, jak každé přečtení trošku většího souboru vrátí jiný MD5 checksum. S autorem nemohu než plně souhlasit, takové chování výrobce je trestuhodné. Silent data corruption je snad to nejhorší, s čím se může člověk setkat - je totiž velmi pravděpodobné, že se chyby dostanou i do záloh, pokud se na to dost brzy nepřijde.

K tomu RAIDu 6, mám pocit, že linuxový SW RAID 6 nemá schopnost opravit silent data corruption na jednom z disků. Snad se lze spolehnout alespoň na mismatch_cnt u individuálních disků v poli. A na Linuxu ZFS nemáme... nicméně, snad bude něco v BTRFS. Ale než ten bude stabilní pro produkční nasazení...

[krnoha]

No, představ si RAID6 z n disků. Na jednom disku jsou chybná data, takže máme n bloků a parita nesouhlasí. Můžeme z nich vzít libovolných n-2 a dopočítat vynechané dva bloky. Dopočítané dva bloky můžeme porovnat s obsahem těch samých dvou bloků přečtených. Jestliže nám vyjde, že oba dopočtené bloky jsou špatně, máme důvod k domněnce, že chyba je na některém z těch n-2 vybraných. Jestliže ale vyjde, že jenom jeden dopočtený blok je špatně, máme důvod k domněnce, že ten jeden je skutečně špatně. Můžeme ho přepsat správnou hodnotou a máme inteligentně opravenou konzistenci. Napsal jsem to kostrbatě, ale snad je to k pochopení.

Z toho mi vyplývá, že consistency check na RAID6 má docela slušnou šanci poškozená data opravit. Doufám že ji využije.

[Shadow]

To ano, akorát tuto schopnost neočekávej od linuxového SW RAIDu (leda by sis jí tam doprogramoval sám). Ten něco takového totiž AFAIK neumí a nedělá. A možná ani dělat nebude. Tohle jsem totiž dohledával (protože RAID 6 používám) před nedávnem, a dokonce jsem narazil i na nějaký dotaz tohoto charakteru na příslušném mailing listu, kde příslušný správce pěkně vysvětlil, proč to dělat nebude. Bohužel, detaily už si nepamatuji (kromě matného dojmu, že jsem mu tehdy snad i dal za pravdu), ale dohledat to určitě půjde.

[..... Izak .....]

No hlavne zjistit, ktery blok je ten spravny ) ... i kdyz u RAID6 a vypadku jednoho bloku by to slo ... ale ne automaticky ... kdo to ma furt kontrolovat.

[R]

Co je to za nezmysel? Kazdy disk, ktory pri citani nevie precitat sektor, vrati chybu. Kazdy, este som nevidel taky, ktory nie. Ak taky nahodou existuje, tak je to vazna chyba vo firmware a chcem vediet vyrobcu, model a verziu firmware.

[Käyttäjä 11133]

CO je tak dokonalého na RAID-Z/ZFS co by RAID-DP/WAFL (ve verzi co je v Data ONTAP 8, uznávám limit 16TB/aggregát je ústřel) neuměl?

[alkoholik]

Umi behat bez draheho zeleza od NetApp?
BTW: Od chvile, kdy jsme shaneli po cele Evrope nahradni FC disky s jejich firmware, nejsem na jejich vyrobky zvedavy..

[Käyttäjä 11133]

Pánové si neplatí za support? :) Drahého železa od NetAppu? Cena za NetApp je zhruba stejná jako za enterprise storage od SUNu. Jistě nemůže se cenou srovnávat s home made storage systémem, ale na trh domácností snad NetApp ani nemíří, ne? Já myslel, že se bavíme právě o těch aplikacích, kde na spolehlivosti záleží.

[Käyttäjä 11133]

A až příště budeš shánět něco k NetAppům, ozvi se, dám ti kontakt na jednoho hodně rozumného NetApp STAR partnera.

[alkoholik]

NetApp jsme vyhodili a mame pole od Dellu. Taky zadna vyhra.
;(
A jak jsem psal ta super vlastnost ZFS je, ze slape i na "home made storage systemech".

[Käyttäjä 11133]

Diskové pole od Dellu bych nechtěl ani zadarmo :) NetApp má svoje problémy, ale pořád je to asi to nejlepší co na trhu je, nic jiného ti prostě ten Snap Manager pro SAP nenabídne

[alkoholik]

Problemy? Treba ze se pole vypne, kdyz do 24h nevymenite vadny disk? Zadne nemate, jste v Praze, pole bezi v Amsterdamu a jedine nahradni disky lezi v Londyne.
Ale raid.timeout nebo jak to presne bylo jsem nakonec nasel..
;)

[Käyttäjä 11133]

Co je to za enterprise storage, když tam nemáte spare disky? A s tím degradovaným režimem je to trošku jinak, že... do degradovaného režimu se appliance přepíná ve chvíli, kdy ztráta libovolného dalšího disku v raid group vyústí v data loss. Věř tomu nebo ne na světě jsou společnosti, které raději zažijí service break, než příjdou o data a přesně pro takové je NetApp filer nakonfigurován v defaultní konfiguraci. Pokud chceš riskovat ztrátu dat měl by si vědět co děláš a pak si dost chytrý na to aby sis přečetl manuál. A volbu options raid.timeout si znal. - NetApp Basic Concepts Quickstart Guide

By mě možná i zajímalo pro kterou společnost pracuješ ať vím komu se vyhnout obloukem

[alkoholik]

Problem c.1: majitel setril, kde se dalo.
Problem c.2: appliance instaloval typek, ktery byl kratce pote vyhozen.
Problem c.3: doslo ke zmenam v siti vcetne ip adres mail serveru, ale nikdo to neupravil v appliance.
Problem c.4: vsichni si mysleli, ze monitoring porad funguje.
Problem c.5: spare disky uz byly v provozu, ale nikdo to nevedel.
Takze nejdriv se pole vypnulo a pak se cetly manualy.
Ale neboj se, s nasi firmou pravdepodobne nebudes mit nikdy nic spolecneho.

[..... Izak .....]

No tak to v tom jejich webu asi taky nevideli, ze je online ) kdyz se pole nezahlasi, doporucuje opravu a vynutit nahlaseni se na web netappu (treba i pres email) ... kdyz je dobre nakonfigurovano, prijde disk sam primo od netappu ... nebot to zjisti sami.

[Käyttäjä 11133]

kdyz je dobre nakonfigurovano, prijde disk sam primo od netappu ... nebot to zjisti sami.

Jo jo, to je rozdíl mezi NetAppem od NetAppu a nSeries storage systému od IBM, kluci z NetAppu zavolají a řeknou že disk je na cestě, lidem z IBM musíš volat ty a disky z nich přímo tahat :D

[..... Izak .....]

No u IBM to funguje taky ... akorat IBM je takova zabrzdena ... taky jsme myslim 2 IBM netappy prodali )

[Käyttäjä 11133]

Jo ty děláš ve Storyflexu... Jsem se na ten profil měl podívat dřív :)

[Käyttäjä 11133]

Ach, teďka vidím jak strašně za to vlastně může NetApp samotný a jak to vlastně nebyla odfláknutá instalace :D

[..... Izak .....]

jelikoz mam NetApp certifikat ... asi 3 ... tak muzu rict, ze je to FUD )

NetApp vypne, pokud mate degradovany Raid a nemate SPARE .... a to je sakra rozdil. NetApp je enterprise reseni, tedy predpoklada dokonce 2 spare disky, tak mluvi best pr. ... kdo je nedodrzuje je vul )

Obecne vzato, NetApp ma servis 4 hod, nebo 24hod, mi sami mame X disku NetApp v kazde pobocce.

Jinak treba diskove pole HP EVA vypne polici, pokud nekdo vynda disk a neda tam dalsi, pry chyba cirkulace nebo co ) ... no ale EVA umi redundnanci az na vypadek cele police ))

[Käyttäjä 11133]

jelikoz mam NetApp certifikat ... asi 3 ...

LOL. Hláška století.

NetApp vypne, pokud mate degradovany Raid a nemate SPARE ....

To není pravda, alespoň ně u RAID-DP... I RAID-DP je RAID degradovaný i pokud je ve FAILU jeden disk z RAID group, kdežto appliance se celá přepne do degradovaného režimu až když jsou FAIL oba disky v RAID-DP grupě a není k dispozici žádný spare na který by se udělalo recovery.

tak mluvi best pr. ... kdo je nedodrzuje je vul )

Občas stojí best practices za starou belu a jsou obsoletní... Zrovna ty pro Snap Manager for SAP a Oracle over NFS stojí za starou belu a pěkně jsme se na tom shodli s tím člověkem z NetAppu co jsme ho měli na návštěvě ve Finsku.

Obecne vzato, NetApp ma servis 4 hod, nebo 24hod,

Pravda pravdoucí, my sami máme servis na disky 4h (ale ne od NetAppu).

Jinak treba diskove pole HP EVA vypne polici, pokud nekdo vynda disk a neda tam dalsi, pry chyba cirkulace nebo co ) ... no ale EVA umi redundnanci az na vypadek cele police ))

Ano, ony se tak ty enterprise storage systémy chovají, je jedno jestli máš Hitachi Data Systems, nebo NetApp, vždycky je v defaultní konfiguraci preferovaný service break před ztrátou dat.

No nic NetAppisto, kdy a kde zajdem na pivko? :D