Dotaz: Utilitka na "vymazání" vadných sektorů na disku?

[Petr Tomášek]

Zdravím!

Před několika dny jsem koupil na net z druhé ruky jakousi sestavu - jakou není důležité. Byl v tom i 500GB HDD, který jsem chtěl použít na nějakou maličkost. Co v takovém případě dělám jako první, je pv celého disku do /dev/null. Skončilo to někde cca na 5% vadným sektorem. Smartctl -t short taky chcípl a smartctl pak hlásil jeden "pendlující" sektor, jinak nic. Pomocí ddrescue jsem zjistil, že vadný je jenom jeden fyzický blok o velikosti 4096B. Už jsem si říkal, že zkusím, co udělá mke2fs v kombinaci s badblocks, protože tuto srandu jsem ještě kupodivu neměl tu čest vyzkoušet.

Jenže ještě předtím jsem se rozhodl vyzkoušet, co udělá přepsat disk samýma nulama (pv < /dev/zero > /dev/sd$$$) a ejhle, přepsání se zdařilo bez problému a smartctl teď nehlásí ani žádný chybný sektor, ani žádný "pendlující". Asi to bylo jenom ňáké kosmické záření, ale disk by mohl být v pořádku.

Popravdě, obsah tohoto disku je mi vcelku jedno (prázdný NTFS), ale přemýšlím, jestli by v takovém případě nebylo efektivní mít utilitku, která bude hledat vadné sektory a když je najde, tak se bude snažit přepsat *jenom* ty vadné nulama?

Otázka zní, existuje již něco takového? V manuálu k 'badblocks' jsem nic nenašel...

Odpovědi

[X]

badblocks + chkdsk

[Petr Tomášek]

aptitude search chdsk

A nic...

[d.c.]

Hledal bych v okolí ddrescue a toho druhého programu, co je úplně jiný, ale jmenuje se skoro stejně. Nicméně se domnívám, že je to boj, který nelze vyhrát.

Postup, kdy u nového nebo nově zakoupeného postaršího disku nejprve uděláš dd do /dev/null nebo ekvivalent, je velmi dobrý. Při čtení si totiž disk nemůže vymýšlet. Buď (s větším či menším úsilím) data z disku dokáže vydolovat, nebo ne. (Větší úsilí by mělo teoreticky vyvolat nějaké chyby, které by se objevily v dmesg, ale některé disky je tiše zatlučou.)

Při zápisu je situace jiná. Disk zapíše sektor a obratem kontroluje, zda se zdařilo. Když kontrola zápisu selže, sektor na disku je označen za vadný a použije se místo něj jiný. Uživatel se tak nemusí nic dozvědět. Data o vadných sektorech IMHO nejsou na moderních discích uživatelsky dostupná ani dokumentovaná mimo interní dokumentaci výrobce disků, takže k vadným sektorům se již nikdy nedostanete.

[ewew]

Pozri hdparm alebo HDAT2. HDAT2 je vlastne DOS s programom HDAT2. Určite by som sledoval parametre S.M.A.R.T či tam nejaký parameter prudko nestúpa. Iste vieš, že ak disk vykazuje chyby môže a nemusí fungovať o nejaký čas. Tiež testovanie môže poškodenému disku skrátiť životnosť. Tieto pokusy sú väčšinou rizikové a môžu ľahko zničiť disk a sú na vlastné riziko.

[Mti.]

Cim "modernejsi" disky, tim vetsi blok podepsany crc. Pokud nedestruktivne (treba vypadek napajeni pri zapisu nebo vlivem vibrace vzdaleni hlavy od plotny...) nezapises spravne i 1 sektor, vetsinou se tvari nespravne cela skupina - pak prepsani toho 1 sektoru vetsinou nic neresi. Proto to castej spravi prepis (treba pomoci dd) s rozumne velkym blokem (u starych disku se vystacilo s malyma kilobajtama, kdyz to nechcu resit, saham na novych(-ejsich) discich zrovna po bs=1M). Disk ten blok realokuje nekam bokem, protoze pri zapisu si to muze dovolit. Pri cteni musi chybu priznat, bo nema data.

Takze pokud by smartctl dokazal rict, na kterem bloku test selhal (vetsinou ano), tak si to prepocitej na vetsi blok a posli tam dd. To co hledas je seek= a bs= (a count, at to i hned skonci )

Pokud Ti nejde o puvodni data, je vetsinou pohodlnejsi to tim dd prepsat cele. Poresis tim i ty ostatni bloky, ktere byly nekde kolem s podobnym problemem a nemusis to hledat jednotlive. Pri prodeji/posouvani disku dal je to taky hezky zvyk...

Pokud smartctl hlasi , ze test selhal, pise i na jake LBA adrese "n" (512B blok), muzes si tam zkusit hrabnout pomoci dd.

dd if=/dev/sdx of=/dev/null bs=512 skip=n count=1

...melo by to taky selhat, pokud je vypocet spravne :)

Zvetsis si blok a muzes tam hrabnout pro kontrolu, ze pocitas spravne... 512B je 0.5kB. Do 64kB bloku se jich vleze 2x tolik - 128. Tedy "treba" pro 64kB blok bude n/128...(bez desetinnych mist, nutno spocitat a dosadit vysledek )

dd if=/dev/sdx of=/dev/null bs=64k skip="n/128" count=1

No...a az to "chces" udelat... tak to prepis: dd of=/dev/zero of=/dev/sdx bs=64k seek="n/128" count=1

(dulezite je pocitat nez nekam zatnes ...a dobre je pocist si v man dd , co dela skip a co seek )

Pokud se problem "vyresil" (at uz opravou stopy nebo realokaci), melo by nasledne cteni z toho bloku projit bez chyby.

Pokud to nepomuze, muzes zvetsit blok (a prepocitat pozici! pro seek/skip).

No... a pokud je to ojedinely pripad a timto se vyresi, prima, mas disk na hrani. Pokud tam takoveho bude vic, tak je jednodussi to prepsat nulama cele. Jako zoufala varianta je zalozit partice vyslovne DALEKO od problematickeho mista, ale...takovy disk uz stene "nechces".... a kdyz je nejhur, muzes se utesovat, ze porad jsou v nem aspon dobre magnety.

[Max]

Pokud ti chcípá i smarttest, tak je to prostě totálně nedůvěryhodný disk a patří do koše.
To, že ti smart ukazuje jeden vadný sektor, je nesouvisející, nelze to brát na 100%.
Přepis disku nulama je hodně nevypovídající test. On i badblocks v nedestruktivním režimu nedokáže odhalit některé chyby. Aneb všechny testy ti projdou, ale pak badblocks v destruktivním režimu nakonec něco najde.
Jak už jsem řekl, i problémový smart test je pro mě signálem ten disk vyhodit.
Zdar Max

[Petr]

Hazet disky do kose je fakt prasarna.

[Max]

Obrazně řečeno, nejdřív kladivo, vyndat magnety a pak elektroodpad.
Zdar Max

[billgates]

My si nechavame PCB. Obcas sa nejaky menic alebo eeprom/nand/nor moze zist, pri dnesnom probleme s IC obecne :)

[Max]

Vzhledem k tomu, že je to mimo náš scope, tak toto neřešíme a jsou pro nás hodnotné jen ty magnety :D.
Každopádně magnetické disky obecně vyřazujeme. Zkontrolujeme, že jsou ok, přemázneme, znovu SMART, pak je dáme do krabice, tu dáme na recepci a do pár minut je prázdná :D.
Zdar Max

[Petr Tomášek]

To nějak nesedí. Po přepsání onoho sektoru nulama všechno funguje jak má. Short i long smarttest. Několikeré přepsání disku nulama. Několikeré přečtení disku do /dev/null. Několik rund f3write a f3read. Ve SMARTu pořád ani jeden vadný sektor, ani jeden realokovaný, ani jeden pednlující. Nějak ti ta tvoje teorie nesedí.

Prostě to zvonka vyzerá na náhodnou chybu na disku (např. nějakým magnetickým polem nebo kosmuckou částicí), které v tomto případě šlo korigovat přepsáním sektoru. Data pochopitelně v /dev/null, ale o ta mi stejně nešlo.

[Max]

Destruktivní test "badblocks -wv"
Zdar Max

[Petr Tomášek]

Běží, zatím při 0xaa 57% 0/0/0 errors, tj. už je za oním místem. Zítra dám vědět až to doběhne celé.

[Petr Tomášek]

# badblocks -wsv /dev/sdk
Checking for bad blocks in read-write mode
From block 0 to 488386583
Testing with pattern 0xaa: done                                                 
Reading and comparing: done                                                 
Testing with pattern 0x55: done                                                 
Reading and comparing: done                                                 
Testing with pattern 0xff: done                                                 
Reading and comparing: done                                                 
Testing with pattern 0x00: done                                                 
Reading and comparing: done                                                 
Pass completed, 0 bad blocks found. (0/0/0 errors)

A smartctl:

...

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       19
  3 Spin_Up_Time            0x0027   153   128   021    Pre-fail  Always       -       1341
  4 Start_Stop_Count        0x0032   088   088   000    Old_age   Always       -       12560
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   098   098   000    Old_age   Always       -       1697
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       454
191 G-Sense_Error_Rate      0x0032   084   084   000    Old_age   Always       -       16
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       124
193 Load_Cycle_Count        0x0032   188   188   000    Old_age   Always       -       36068
194 Temperature_Celsius     0x0022   112   098   000    Old_age   Always       -       31
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       1

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%      1614         -
# 2  Short offline       Completed without error       00%      1602         -
# 3  Short offline       Completed: read failure       90%      1592         39801192
# 4  Short offline       Completed: read failure       90%      1574         39801192
# 5  Short offline       Interrupted (host reset)      90%       385         -
2 of 2 failed self-tests are outdated by newer successful extended offline self-test # 1

...

[LarryL]

Výpis ze SMARTu je velmi podobný mému. Taky "Completed: read failure" v 90%. Current_Pending_Sector se vynuloval, ale Multi_Zone_Error_Rate zůstal. A taky nemáš nulový Raw_Read_Error_Rate. A tipuji, že tvůj HDD je taky značky WD.

Jen tak ze zvědavosti se zeptám. Moje nečitelné (vadné) sektory byly v místě souboru s obrazem virtuálky (qcow2). Neměl jsi na tom disku taky nějaké obrazy virtuálek? Ptám se proto jestli taková chyba sektoru nemohla vzniknout nějakou kolizí hostujícího a hostovaného OS (přesněji jejich FS). Není to moc pravděpodobné, ale pro jistotu se ptám.

[Petr Tomášek]

Neměl jsi na tom disku taky nějaké obrazy virtuálek? Ptám se proto jestli taková chyba sektoru nemohla vzniknout nějakou kolizí hostujícího a hostovaného OS (přesněji jejich FS). Není to moc pravděpodobné, ale pro jistotu se ptám.

Ne, byl to disk z druhé ruky a na něm byl NTFS, víc jsem nezkoumal. Viz původní dotaz.

V podstatě nový disk. Ještě proveď několik smart testů, aby odrolovaly ty chyby LBA_of_first_error a bude i bezvadný...

[drnest]

Jo stalo se mi, že po přealokování špatného sektoru, ten počet vadných smazal. Je to prasárna, protože pak v tom SMART výpisu nejde poznat, že už něco přealokoval.

[Petr Tomášek]

Jak víš, že sektor přealokoval?

[Peter Golis]

Otázka zní, existuje již něco takového? V manuálu k 'badblocks' jsem nic nenašel...

Samozrejme že to existuje, aj keď len s vynechaním používania vadného bloku. Neprepíše to nulami ten "pokazený sektor".

Napríklad nástroj fsck.ext4 má parametre na prácu s badblocks aby pri čítaní chyby odhalil. Ale logicky ich odhalí len ak mu to vyreportuje elektronika disku, alebo ak sa jedná o chybu čítania metadát chránených checksumom (v prípade silent data corruption).

Pre takéto prípady vznikli NextGEN FS ktoré odhalia nekonzistenciu dát pri ich čítaní alebo pri scrube. A v prípade redundantného zápisu poskytnú opravené dáta.

Ak chceš ten disk na niečo trochu zmysluplné, tak použi BTRFS s profilom DUP, ako už bolo určite povedané veľa krát.

[Petr Tomášek]

Samozrejme že to existuje, aj keď len s vynechaním používania vadného bloku.

Na to jsem se ale neptal, o tom vím. Prozatím stačilo přepsat ten sektor nulama a disk zdá se funguje. Momentálně na něm běží f3write, tak uvidíme...

[Peter Golis]

Na to jsem se ale neptal, o tom vím.

V tom prípade by som odporučil o presnejšiu formuláciu otázky.

Inak ten disk by fungoval aj bez prepísania nulami. Pred pár rokmi som riešil niečo podobné, ale nemal som šťastie že mi disk zahlásil chybu čítania. Liečba bola podobná.

[Petr Tomášek]

Otázka byla položena naprosto exaktně („existuje utilitka, která vyhledá vadné sektory a pokusí se je přepsat nulama?“). Odpověď na tuto otázku je buď ANO, NE nebo NEVÍM.

Otázka NEZNĚLA:

• jak zachránit disk ? (není potřeba, pro moje potřeby je disk v pořádku)
• zda-li tomu disku lze důvěřovat? (pro moje potřeby ano, zvláště po několikerém testu pomocí f3)
• jak předat výsledek badblocks mkfs.ext2/3/4
• jak vyhrát válku na Ukrajině?
• atd...

Nevím, proč tady spousta rozumbradů má tendenci odpovídat na to, na co se je nikdo neptal...

[Peter Golis]

Odpoveď je tým pádom áno, a zabezpečuje ju technológia SMART priamo vo FW disku. A k tomu nepotrebuješ žiadnu utilitu na ktorú si sa pýtal.

Akurát by ma zaujímalo čo považuješ za "vadný sektor". Pre upresnenie myslím Silent Data Corruption.

[Petr Tomášek]

Odpoveď je tým pádom áno, a zabezpečuje ju technológia SMART priamo vo FW disku.

Očividně nemáše pravdu. Člověče, čteš ty vůbec to, na co „odpovídáš“?

[Peter Golis]

Áno, čítal som to. A tak isto som písal že som riešil podobný problém. Akurát že, ako som spomínal, u mňa to nereportovalo chybu, a rovno vrátilo náhodné dáta čím u mňa nastával známy silent data corruption. Že výrobcovia neimplementujú ten SMART korektne je vedľajšie. Tým nemyslím znižujúci sa počet rezervných sektorov, štandardne reportovaná rezerva 200 sektorov je pri 1/2T disku nič. Je to len historická brzda, podobne ako keď disky reporujú veľkosť sektoru 512b kvôli spätnej kompatibilite s už dávno mŕtvym OS DOS.

A rovno sa opýtam, aký význam má prepísať pár vadných sektorov ak sa chyba na škrknutej platni disku vždy rozlieza? Ak ich človek nechce použiť, tak ich môže nechať označené na úrovni FS nech sa na ne nezapisuje.

[Petr Tomášek]

A rovno sa opýtam, aký význam má prepísať pár vadných sektorov ak sa chyba na škrknutej platni disku vždy rozlieza?

V tom případě to smysl nemá. To ale je očividně jen jeden z možných scénářů, jak ukazuje tento případ (ano, takový případ jsem řešil před 2r a pak ten disk je na vyhození/na magnety/na elektroniku...)

[d.c.]

Ne. Omlouvám se, že jsem rozředil stručnou odpověď vysvětlením, proč.

[billgates]

Za vsetkych pouzivatelov operacneho systemu Windows a GNU/Linux sa Vam chcem uprimne ospravedlnit za traumu, ktora Vam bola sposobena diskutermi na portali abclinuxu. Slova nemozu vyjadrit znepokojenie, ktore vo mne vyvolavaju necitlive prispevky pod Vasou otazkou. Vsetci sme len ludia a preto Vas ziadam, najdite vo svojom vnutri dostatok lasky a porozumenia a odpustite nehodnym diskuterom, ze si dovolili vyslovit svoj nevyziadany nazor. Nasa komunita bude nadalej pracovat na sebazlepsovani, aby sa tento polutovaniahodny cin viackrat neopakoval a nikto nemusel viac zazivat taketo utrapy.

Aj Vas do buducna poprosim pridat si k profilu preferovane zamena a trigger warningy, aby diskuteri vedeli, akym citlivym temam sa vyhnut a zbytocne Vam nesposobovali dalsiu traumu. Dakujem.

[Petr Tomášek]

Za vsetkych pouzivatelov operacneho systemu Windows a GNU/Linux sa Vam chcem uprimne ospravedlnit za traumu, ktora Vam bola sposobena diskutermi na portali abclinuxu.

Ale prd. Jen mi tady soudruh Golis vytýká, že jsem prý dostatečně přesně nespecifikoval otázku. LOL.

[Peter Golis]

A bolo v tej otázke špecifikované že sa má jednať o nástroj v implementovaný pomocou nástroja bežiaceho pod OS, keď odmietaš nástroj priamo implementovaný vo FW disku?

[Mintaka]

Pokud se jedná o rotační disk, tak bývalo dobrým zvykem, že se dala u výrobce sehnat utilitka na nízkoúrovňové formátování. Měly ji i některé BIOSy.

Kromě dat a metadat souborového systému jsou na rotačních discích také navigační značky další informace, ke kterým systém nemá přístup.

Kdysi jsem míval na servisních CD CLI program HDDregenerator (ale netuším, zda to byl ten který je na http://www.dposoft.net/hdd.html)

Ten si s diskem dokázal hrát i několik dnů a i hodně problematický disk uschopnit. Nebylo neobvyklé, že některé takto zregenerované disky fungovaly i řadu dalších let bez závad (převážně jako disky, kde na ztrátě dat nezáleželo.)

[LarryL]

Smartctl -t short taky chcípl a smartctl pak hlásil jeden "pendlující" sektor, jinak nic. ... Popravdě, obsah tohoto disku je mi vcelku jedno (prázdný NTFS), ale přemýšlím, jestli by v takovém případě nebylo efektivní mít utilitku, která bude hledat vadné sektory a když je najde, tak se bude snažit přepsat *jenom* ty vadné nulama?

Mám dojem, že řešíš přesně to co jsem řešil já nějaký měsíc zpátky. smartctl -t short mi taky chcípt. Já jsem ale nezjišťoval vadný sektor pomocí ddrescue, tak jako ty, ale po spuštění smartctl -a /dev/sdb jsem viděl, že vadný sektor je na pozici, kterou mi to vypsalo v kolonce "LBA_of_first_error". Následně jsem zjistil jméno souboru (pomocí příkazu debugfs), který se v daném místě nachází. Snažil jsem se daný soubor zachránit. Pak jsem dané místo (vadný sektor) přepsal nulami za pomoci příkazu hdparm --yes-i-know-what-i-am-doing --repair-sector <číslo_sektoru> /dev/sdX a následně jsem znovu spustil Smartctl -t short. Znovu to chcíplo, ale už na jiném (vedlejším) sektoru. Pořád to byl ten samý soubor. Takže znovu jsem přepsal nulami a znovu spustil smartctl -t short. Po přepsání asi 10ti vadných sektorů nulami už konečně short test doběhl do konce. Jestli si dobře vzpomínám, tak se ty vadné sektory po přepsání nulami reallocovaly samotným FW disku a vadné sektory se už (zřejmě) přestaly používat.

Takže stručně řečeno. Utilitku na to nemám - dělal jsem to ručně. Pokud bys to chtěl mít automatizované, tak bys to musel v bashi nebo pythonu naprogramovat. Nepovažuji, ale za šťastné mít tu utilitu jen na zjištění vadného sektoru a přepsání nulami. Spuštění utility by ti zničilo soubor a ty bys neměl informaci o jaký soubor by šlo. Tak když už bys takovou utlitku programoval, tak by bylo dobré, aby nejdříve vypsala jméno souboru, který se nachází v místě vadného sektoru, a až po potvrzení by se vadný sektor přepsal nulami.

PS: řešil jsem to u ext4, tudíž nevím jak bude reagovat NTFS když mu přepíšeš nějaký sektor (nějakého souboru) nulami.

[Petr Tomášek]

Díky, hdparm alespoň částečně dělá, to na co jsem myslel. Nenapadlo mě, že hdparm bude něco takového umět.

Jestli najdu čas, zkusím přidat možnost vadné sektory přemazat do "badblocks", ale nechtěl jsem se ztrácet čas, pokud by už něco takového existovalo hotové...

(Jinak NTFS na tom konkrétním disku je mi jedno, přišlo mi jen škoda ten disk vyhodit kvůli jednomu vadnému sektoru a jako to vypadá, tak teď funguje i ten - a to dokonce bez realokace...)

[LarryL]

Když se teď dívám na SMART na ten můj disk, tak vidím, že "196 Reallocated_Event_Count" je tam stále nula. To co se připočetlo bylo "1 Raw_Read_Error_Rate". Takže nevím jestli to byl vadný sektor nebo jen nějaká "snížená schopnost" přečíst daný sektor na disku. Každopádně mě to definitivně přesvědčilo, že dnes se má používat BTRFS.

[Petr Tomášek]

No, právěže u mě tam byl předtím 1 "pendlující" sektor, ten se při přepsání sektoru nulama změnil na 0 a zároveň narostlo 200 "multi zone error rate" na 1.

Podle mě je nejpravděpodobnější vysvětlení, že k žádné realokaci nedošlo, jenom přepsáním sektoru se ho podařilo znovu "naformátovat"...

[LarryL]

právěže u mě tam byl předtím 1 "pendlující" sektor, ten se při přepsání sektoru nulama změnil na 0

Myslím, že u mne to bylo taky tak.

a zároveň narostlo 200 "multi zone error rate" na 1.

U mě to bylo stejné. Po nějakém čase se 200 "multi zone error rate" změnilo z 1 na 0.

Podle mě je nejpravděpodobnější vysvětlení, že k žádné realokaci nedošlo, jenom přepsáním sektoru se ho podařilo znovu "naformátovat"...

Nevím. Článek říká:

If you check the Current Pending Sector Count SMART parameter of your drive, you will notice a raw value of this attribute. The value indicates the number of sectors waiting to be remapped (reallocated). These sectors are basically damaged storage blocks — bad sectors — on the drive.

[Petr Tomášek]

These sectors are basically damaged storage blocks — bad sectors — on the drive.

„Basically“. On to ten disk musí nějak zjistit, zda-li je ten sektor opravitelný nebo ne. Problém je v tom, že když jej nepřečte, nemůže jej ani realokovat a ani se nebude pokoušet sektor jen tak přepsat. Teprve ve chvíli, kdy je disku dán příkaz daný sektor přepst se skutečně uvidí. Buď je sektor označený za vadný a použije se náhradní (pokud jsou) a nebo přepis pomůže a pak se použije vesele dál...

[LarryL]

Asi máš pravdu, až u zápisu se rozhodne jestli je sektor úplně mrtvý. Ale IMHO většina firem disk vyhodí už při problému se čtením dat.

[LarryL]

hdparm --yes-i-know-what-i-am-doing --repair-sector <číslo_sektoru> /dev/sdX

Nenapadlo mě, že hdparm bude něco takového umět.

I tohle by mělo fungovat, ale nezkoušel jsem:

sudo dd if=/dev/zero of=/dev/sdX bs=512 count=1 oflag=direct seek=<číslo_sektoru>