Portál AbcLinuxu, 18. říjen 2017 09:56

Dotaz: ZFS - errors: 33265615 data errors, use '-v' for a list

21.1. 20:20 PanZvedavy
ZFS - errors: 33265615 data errors, use '-v' for a list
Přečteno: 731×
Odpovědět | Admin

Dotaz na zkusene borce se ZFS. Zkolaboval me jeden 20TB pool RaidZ2, kdy pri odejiti disku a jeho vymene za jiny zacal behem resilveringu odchazet dalsi a dalsi az jsem v zoufale snaze protocil 5 novych HDD pro obnovu.
Soucasnej status je = scan: resilvered 6.52T in 113h53m with 33265615 errors. Tzn. prisel jsem o hodne dat vetsinou mp3 a filmy. Polovina ale zustala. Nemuzu dat zpool status -v, protoze pri tomto mnozstvi chyb se k vypisu nedostanu.
Takze otazka je, je nejaky prikaz pro ZFS jak smazat na danem poolu vsechny zkoruptovany soubory? A kdyz ne, jak hromadne overit, ktery soubory jsou uz v haji a smazat je?

Nástroje: Začni sledovat (1) ?Zašle upozornění na váš email při vložení nového komentáře.

Odpovědi

Tomáš Bžatek avatar 22.1. 10:43 Tomáš Bžatek | skóre: 29 | Brno
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Odpovědět | | Sbalit | Link | Blokovat | Admin

Ze zajimavosti - co to bylo za disky?

Koupim litajiciho tucnaka
22.1. 14:26 PanZvedavy
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Seagate SV35 Sata, 4 roky stare. Nektere jsem povymenoval jeste v zaruce, a zbytek zlehka hlasil par chyb, ale resilvering spustil konstantni shit-storm a to byla konecna. Az budu priste kupovat HDD, tak jedine ty s 5 letou zarukou.
22.1. 22:57 rum
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Podstatne je nekupovat ode stejneho vyrobce, stejny model, stejne datum vyroby
Max avatar 22.1. 19:09 Max | skóre: 65 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Odpovědět | | Sbalit | Link | Blokovat | Admin
Provozuji ZFS, několik Poolů, vše postaveno na WD RE4 4TB SATA. Zajímalo by mně, zda jsi dělal pravidelně scrub a kontrolu SMARTu u disků?
Díky
Zdar Max
Měl jsem sen ... :(
22.1. 20:08 PanZvedavy
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Kontrola smartu ano - vetsinou par realokovanych sektoru, kdyz se mnozstvi zvetsilo na vic jak 15-20, sel disk pryc. Pravidelny scrub ne, spise 1-2x do roka, pro dobrej pocit, a za ty roky provozu tohoto poolu ani zadny vadny data nebyly. Tady to spise vypada, ze pokud je SATA disk starsi jak 2-3 roky pri konstantnim provozu(byt serie urcena pro 24/7), tak pri dnesni kvalite vyroby si uz clovek zahrava. Proto se budu orientovat pokud finance dovoli na disky s 5letou zarukou.
Max avatar 22.1. 20:30 Max | skóre: 65 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Mně se velmi osvědčili WD Black. Pro domácího uživatele, co chce mít stabilní storage, který všechno vydrží, jsou to podle mně nejlepší disky. Do firmy nechávám nakupovat WD RE4 4TB, páč mají pár fičurek oproti WD Black a jsou levnější, jak SASový disky.
Jinak na čem tedy ty disky odešly? Na vadných sektorech?
Zdar Max
Měl jsem sen ... :(
22.1. 20:39 PanZvedavy
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
jo, na vadnych sektorech
Heron avatar 23.1. 14:41 Heron | skóre: 51 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Kontrola smartu ano - vetsinou par realokovanych sektoru, kdyz se mnozstvi zvetsilo na vic jak 15-20, sel disk pryc.
Tohle je dobré dělat už při prvním vadném sektoru a určitě nemít víc nalomených disků v poolu.

Taky je dobrý dělat smart testy (short třeba každý den a long každý týden). K tomu občas ten scrub. Pokud se ty disky nechají delší dobu být a moc se po nich nechce, tak se to ani ve smart stats neprojeví. Takže je potřeba neustále dělat testy.

Scrub je určitě užitečnej, ale kontroluje pouze zapsaná data - pokud je dat v poolu málo, tak to nezkontroluje celé disky - proto je nutné dělat ještě ty long testy.
23.1. 15:47 R
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Disky predsa maju Auto Offline Data Collection. Na 3,5" diskoch to byva defaultne zapnute, na notebookovych vypnute. Vie to najst vadne sektory a bud realokovat alebo zvysit hodnotu atributu "198 Offline_Uncorrectable".
23.1. 18:22 lertimir | skóre: 60 | blog: Par_slov
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
to je jen obezlicka. na to abych zjistil, ze sektor je v poradku musim ho precist. kazdy jednotlivy, jinak to spolehlive nevim. a to jsou long testy a checky pole. precist cely 3T disk proste cca 20 000 sekund trva, s tím se nic udelat neda. a pravidelne ten cas je tomu treba dat. a u zfs ecc pameti jsou take dobre. a na 20t poli tak 32g pameti.
Max avatar 22.1. 21:23 Max | skóre: 65 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Odpovědět | | Sbalit | Link | Blokovat | Admin
Jak tomu má člověk rozumnět, že se k výpisu nedostaneš? Spadne to na něčem? A pokud ne, tak kde je problém? Dlouhé čekání? Pomalý výpis? Zkoušel jsi to spustit třeba ve screenu, přesměrovat výstup do souboru a nechat to třeba přes noc?
Pokud by to proběhlo, tak to můžeš jednoduše předhodit nějakému mazači.
Zdar Max
Měl jsem sen ... :(
22.1. 21:55 PanZvedavy
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Cekat na 33 milionu zaznamu? To jsou pomale sata v raidz2. Tohle prave potrebuju obejit, pac to bych se do duchodu nedockal.
Max avatar 22.1. 22:28 Max | skóre: 65 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
33m řádků smažeš z db během pár vteřin. Nevím, jak to má ZFS přesně uloženo a jak s tím dokáže hospodařit, ale nechat to spuštěný ve screenu přes noc, za to nic nedáš. Vždy to můžeš scratchovat.
Zdar Max
Měl jsem sen ... :(
23.1. 13:35 ES
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Videl bych to ze chcipe dalsi disk(y) a nekorektne o tom informuje (teda neinformuje) takze ceka ceka ceka... vraci vadny data ale neinformuje o tom ze nastala chyba.... (a ze uz jsem jich takovych vydel)

33M zaznamu je na jednu stranu brnkacka, na druhou stranu rika ze je neco hodne spatne.

24.1. 18:55 Michal
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Odpovědět | | Sbalit | Link | Blokovat | Admin
Ted uz vis, proc se vsude pise: !!!!! POZOR !!!!! nedavej do jednoho pole disky ze stejne serie !!!!! POZOR !!!!! Vetsinou tam davaji vice vykricniku u toho warningu nez jsem jich sem napsal ja, je to velkym fontem, cervene a blika to.

Ja mam 8x 3TB WD Red v RAIDZ2 (ze stejne serie... delat nakup v 8 ruznych shopech aby byla nejaka sance na ruzne serie je opruz a vetsina to beztak bere ze stejneho velkoobchodu) a zatim dobry.

Jinak ti jinou radu nedam nez zbyterk osazenstva, ten vypis musis nechat dobehnout
24.1. 20:47 PanZvedavy
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list

Odpovedel sis sam. Pravdepodobnost, ze v situaci, kdy si vsichni prodejci objednavaji specificke zbozi z jednoho skladu, ze dostanu zasadneji odlisene serie, je naivni. Leda, ze bych disky kupoval s mesicnima odstupama, abych si pockal na doprodej jedne varky a pak vzal z novejsi, coz lze tezko podchytit, pokud v danem skladu nepracuji.

Spis bych potreboval nejakej command do bash, jak otevrit mkv a mp3 soubory, abych mohl vypsane chybove hlasky hodit do souboru a pak to predhodit rm.
Celkem me udivuje, ze u tak pokrocile veci jako je ZFS neni k ruce neco jako "zpool XYZ clear data-errors" nebo neco takoveho.

Max avatar 25.1. 00:38 Max | skóre: 65 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: ZFS - errors: 33265615 data errors, use '-v' for a list
Nebo to můžeš řešit jednodušeji a udělat nákup různých modelů / výrobců.
Jinak bych dodal, že poškozený mkv/mp3 nepoznáš moc lehce. Osobně nemám zkušenost s takto posratým ZFS, takže nevím, jak se chová k takovému poškození, zda zahodí celý soubor a označí ho jako vadný, nebo konstatuje, že je poškozený (má v sobě pár chybných dat) a umožní ho otevřít a pracovat s ním, jen s tím rozdílěm, že ti začne třeba přehrávání videa zlobit v půlce apod.
Pokud by to tak bylo, tak to asi jednoduše neprojdeš.
Najdi si jeden vadný soubor a vyzkoušej si to na něm, pokud by ho ZFS zahazoval celý, může checknout soubory pomocí "file"., což by mělo být hodně rychlý.
Zdar Max
PS: to s tím výpisem přes noc ve screenu s přesměrováním do file jsi nezkoušel? A pokud ne, tak proč?
Měl jsem sen ... :(

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.