Dotaz: Odešel USB disk?

[OldFrog {Ondra Nemecek}]

Ehm, mám takový nejapný dotaz, dá se něco udělat s diskem, který hlásí to co níže?

Je to starý USB disk Western Digital My Book, minulý týden jsem ho zaplnit po okraj daty a pak už z něj nic nepřečetl...

Nov  4 19:21:33 test kernel: usb 2-2: new high-speed USB device number 3 using ehci-pci
Nov  4 19:21:34 test kernel: usb 2-2: New USB device found, idVendor=1058, idProduct=1103
Nov  4 19:21:34 test kernel: usb 2-2: New USB device strings: Mfr=1, Product=2, SerialNumber=3
Nov  4 19:21:34 test kernel: usb 2-2: Product: My Book
Nov  4 19:21:34 test kernel: usb 2-2: Manufacturer: Western Digital
Nov  4 19:21:34 test kernel: usb 2-2: SerialNumber: 57442D574341534D30303137353737
Nov  4 19:21:34 test kernel: usb-storage 2-2:1.0: USB Mass Storage device detected
Nov  4 19:21:34 test kernel: scsi host9: usb-storage 2-2:1.0
Nov  4 19:21:34 test kernel: input: Western Digital My Book as /devices/pci0000:00/0000:00:13.2/usb2/2-2/2-2:1.1/0003:1058:1103.0006/input/input21
Nov  4 19:21:34 test kernel: hid-generic 0003:1058:1103.0006: input,hidraw4: USB HID v1.11 Device [Western Digital My Book] on usb-0000:00:13.2-2/input1
Nov  4 19:21:34 test mtp-probe: checking bus 2, device 3: "/sys/devices/pci0000:00/0000:00:13.2/usb2/2-2"
Nov  4 19:21:34 test mtp-probe: bus: 2, device: 3 was not an MTP device
Nov  4 19:21:35 test kernel: scsi 9:0:0:0: Direct-Access     WD       My Book          1025 PQ: 0 ANSI: 4
Nov  4 19:21:35 test kernel: sd 9:0:0:0: Attached scsi generic sg3 type 0
Nov  4 19:21:35 test kernel: sd 9:0:0:0: [sdc] 1465149168 512-byte logical blocks: (750 GB/698 GiB)
Nov  4 19:21:35 test kernel: sd 9:0:0:0: [sdc] Write Protect is off
Nov  4 19:21:35 test kernel: sd 9:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Nov  4 19:21:35 test kernel: sdc: sdc1
Nov  4 19:21:35 test kernel: sd 9:0:0:0: [sdc] Attached SCSI disk
Nov  4 19:22:00 test kernel: sd 9:0:0:0: [sdc] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
Nov  4 19:22:00 test kernel: sd 9:0:0:0: [sdc] Sense Key : Medium Error [current] 
Nov  4 19:22:00 test kernel: sd 9:0:0:0: [sdc] Add. Sense: Data phase error
Nov  4 19:22:00 test kernel: sd 9:0:0:0: [sdc] CDB: Read(10) 28 00 2b aa a2 87 00 00 f0 00
Nov  4 19:22:00 test kernel: blk_update_request: I/O error, dev sdc, sector 732603015
Nov  4 19:22:25 test kernel: sd 9:0:0:0: [sdc] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
Nov  4 19:22:25 test kernel: sd 9:0:0:0: [sdc] Sense Key : Medium Error [current] 
Nov  4 19:22:25 test kernel: sd 9:0:0:0: [sdc] Add. Sense: Data phase error
Nov  4 19:22:25 test kernel: sd 9:0:0:0: [sdc] CDB: Read(10) 28 00 2b aa a3 09 00 00 06 00
Nov  4 19:22:25 test kernel: blk_update_request: I/O error, dev sdc, sector 732603145
Nov  4 19:22:25 test kernel: Buffer I/O error on dev sdc1, logical block 732603082, async page read
Nov  4 19:22:25 test kernel: Buffer I/O error on dev sdc1, logical block 732603083, async page read
Nov  4 19:22:25 test kernel: Buffer I/O error on dev sdc1, logical block 732603084, async page read
Nov  4 19:22:25 test kernel: Buffer I/O error on dev sdc1, logical block 732603085, async page read
Nov  4 19:22:25 test kernel: Buffer I/O error on dev sdc1, logical block 732603086, async page read
Nov  4 19:22:25 test kernel: Buffer I/O error on dev sdc1, logical block 732603087, async page read

Jde vlastně o USB rámeček na disk, uvnitř je Green Power Western Digital disk, když ho připojím napřímo přes SATA, dostanu:

Nov  4 19:36:35 test kernel: ata3.00: exception Emask 0x0 SAct 0x200000 SErr 0x0 action 0x0
Nov  4 19:36:35 test kernel: ata3.00: irq_stat 0x40000008
Nov  4 19:36:35 test kernel: ata3.00: failed command: READ FPDMA QUEUED
Nov  4 19:36:35 test kernel: ata3.00: cmd 60/01:a8:0e:a3:aa/00:00:2b:00:00/40 tag 21 ncq 512 in#012         res 41/40:00:0e:a3:aa/00:00:2b:00:00/40 Emask 0x409 (media error) F
Nov  4 19:36:35 test kernel: ata3.00: status: { DRDY ERR }
Nov  4 19:36:35 test kernel: ata3.00: error: { UNC }
Nov  4 19:36:35 test kernel: ata3.00: configured for UDMA/133
Nov  4 19:36:35 test kernel: sd 2:0:0:0: [sdc] tag#21 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
Nov  4 19:36:35 test kernel: sd 2:0:0:0: [sdc] tag#21 Sense Key : Medium Error [current] [descriptor] 
Nov  4 19:36:35 test kernel: sd 2:0:0:0: [sdc] tag#21 Add. Sense: Unrecovered read error - auto reallocate failed
Nov  4 19:36:35 test kernel: sd 2:0:0:0: [sdc] tag#21 CDB: Read(10) 28 00 2b aa a3 0e 00 00 01 00
Nov  4 19:36:35 test kernel: blk_update_request: I/O error, dev sdc, sector 732603150
Nov  4 19:36:35 test kernel: Buffer I/O error on dev sdc1, logical block 732603087, async page read
Nov  4 19:36:35 test kernel: ata3: EH complete

Přes USB se mi pomocí smartctl nepodařilo nic přečíst, po připojení napřímo přes SATA dostávám:

root@test ondrej# smartctl --all /dev/sdc
smartctl 6.4 2015-06-04 r4109 [x86_64-linux-4.2.3-200.fc22.x86_64] (local build)
Copyright (C) 2002-15, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green
Device Model:     WDC WD7500AACS-00ZJB0
Serial Number:    WD-WCASM0017577
LU WWN Device Id: 5 0014ee 256333e1f
Firmware Version: 01.01B01
User Capacity:    750,156,374,016 bytes [750 GB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.5, 3.0 Gb/s
Local Time is:    Wed Nov  4 19:39:25 2015 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
See vendor-specific Attribute list for marginal Attributes.

General SMART Values:
Offline data collection status:  (0x84)	Offline data collection activity
					was suspended by an interrupting command from host.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(20400) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 235) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x303f)	SCT Status supported.
					SCT Error Recovery Control supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0003   186   013   021    Pre-fail  Always   In_the_past 5700
  4 Start_Stop_Count        0x0032   085   085   000    Old_age   Always       -       15847
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000e   200   200   051    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   048   048   000    Old_age   Always       -       38234
 10 Spin_Retry_Count        0x0012   100   100   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0012   100   100   051    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   099   099   000    Old_age   Always       -       1244
192 Power-Off_Retract_Count 0x0032   199   199   000    Old_age   Always       -       985
193 Load_Cycle_Count        0x0032   017   017   000    Old_age   Always       -       549338
194 Temperature_Celsius     0x0022   121   071   000    Old_age   Always       -       29
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0012   200   200   000    Old_age   Always       -       18
198 Offline_Uncorrectable   0x0010   200   200   000    Old_age   Offline      -       18
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   051    Old_age   Offline      -       5

SMART Error Log Version: 1
ATA Error Count: 536 (device log contains only the most recent five errors)
	CR = Command Register [HEX]
	FR = Features Register [HEX]
	SC = Sector Count Register [HEX]
	SN = Sector Number Register [HEX]
	CL = Cylinder Low Register [HEX]
	CH = Cylinder High Register [HEX]
	DH = Device/Head Register [HEX]
	DC = Device Command Register [HEX]
	ER = Error register [HEX]
	ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 536 occurred at disk power-on lifetime: 38234 hours (1593 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 01 0e a3 aa 40  Error: UNC at LBA = 0x00aaa30e = 11182862

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 01 a8 0e a3 aa 2b 08      00:00:34.626  READ FPDMA QUEUED
  60 01 a0 0d a3 aa 2b 08      00:00:34.626  READ FPDMA QUEUED
  60 01 98 0c a3 aa 2b 08      00:00:34.626  READ FPDMA QUEUED
  60 01 90 0b a3 aa 2b 08      00:00:34.626  READ FPDMA QUEUED
  60 01 88 0a a3 aa 2b 08      00:00:34.626  READ FPDMA QUEUED

Error 535 occurred at disk power-on lifetime: 38234 hours (1593 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 0e a3 aa 40  Error: UNC at LBA = 0x00aaa30e = 11182862

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 00 d8 87 a2 aa 2b 08      00:00:30.461  READ FPDMA QUEUED
  60 00 d0 87 a1 aa 2b 08      00:00:30.459  READ FPDMA QUEUED
  60 00 c8 87 a0 aa 2b 08      00:00:30.458  READ FPDMA QUEUED
  60 00 c0 87 9f aa 2b 08      00:00:30.456  READ FPDMA QUEUED
  60 00 b8 87 9e aa 2b 08      00:00:30.454  READ FPDMA QUEUED

Error 534 occurred at disk power-on lifetime: 38234 hours (1593 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 09 a3 aa 40  Error: UNC 6 sectors at LBA = 0x00aaa309 = 11182857

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 06 09 a3 aa 2b 00      00:02:34.067  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:30.133  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:26.197  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:21.997  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:17.930  READ DMA EXT

Error 533 occurred at disk power-on lifetime: 38234 hours (1593 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 09 a3 aa 40  Error: UNC 6 sectors at LBA = 0x00aaa309 = 11182857

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 06 09 a3 aa 2b 00      00:02:30.133  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:26.197  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:21.997  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:17.930  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:13.994  READ DMA EXT

Error 532 occurred at disk power-on lifetime: 38234 hours (1593 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 09 a3 aa 40  Error: UNC 6 sectors at LBA = 0x00aaa309 = 11182857

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 06 09 a3 aa 2b 00      00:02:26.197  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:21.997  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:17.930  READ DMA EXT
  25 00 06 09 a3 aa 2b 00      00:02:13.994  READ DMA EXT
  25 00 01 08 a3 aa 2b 00      00:02:13.994  READ DMA EXT

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed: read failure       90%     38226         566431729
# 2  Short offline       Completed: read failure       90%     38226         566431729
# 3  Extended offline    Completed: read failure       90%     38226         566431729
# 4  Conveyance offline  Completed: read failure       90%     38226         566431729
# 5  Short offline       Completed: read failure       90%     38226         566431729
# 6  Short offline       Completed: read failure       90%     38226         566431729

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Lze nějak zachránit data? Proč to píše Unrecovered read error - auto reallocate failed? Nešlo by ta data nějak umazat aby mohl realokovat?

Nejsem v tomhle kovaný, budu rád za radu.

---

---

Odpovědi

[lertimir]

Můj názor je ten, že disk vyčerpal možnosti realokace a nemá kam tedy se problémy s povrchem přesunout. Ty chyby se objevují v podstatě na celém disku, chyby ve error lozích smartu jsou na LBA 11182857 (cca 10% kapacity), v self testech jsou na 566431729 (cca 35%) a v logu jádra 732603087 (cca 50%). V smartu je strašná hodnota 549338 parkování hlav. což u 5700 hodin provozu znamená parkování 100x za hodinu.

Podle mne disk je skoro mrtvý, Vytvořil bych někde prostor a nakopíroval disk na blokové úrovni pomocí ddrescue do souboru a pak bych pracoval s touto kopií na záchranu dat. ddrescue je nejšetrnější způsob, jak data z disku dostat a nepoškodit jej víc než je nutné. A provést co nejdříve za pár dní se z něj nemusí podařit dostat žádná data.

[R]

Disk ma zatial len 18 vadnych sektorov (resp. o tych vie) a ziadne realokovane. Realokacia zlyha preto, ze sektor sa nedari precitat.

Ak sa da filesystem namountovat (ak je to ext3/ext4, tak mountovat s parametrami ro,noload), tak skopirovat dolezite data po suboroch. Az potom sa hrat s ddrescue.

[OldFrog {Ondra Nemecek}]

Souborový systém je ntfs a disk připojit nelze. Nevím, zda by šel připojit z Windows nebo zda by šel připojit nějak násilně. Ani nevím, zda má smysl se o to pokoušet. Píše to skutečně 18 offline vadných neopravitelných sektorů:

Nov  5 08:55:52 localhost smartd[750]: Device: /dev/sdc [SAT], 18 Currently unreadable (pending) sectors
Nov  5 08:55:53 localhost smartd[750]: Device: /dev/sdc [SAT], 18 Offline uncorrectable sectors

Dá se nějak zjistit, co je na těch 18ti sektorech uloženo resp. jaké soubory jsou vadou dotčeny?

Prozatím jsem spustit ddrescue a dělám zálohu celého disku /dev/sdc Běží to pomalu, ale na nic si to zatím nestěžuje (použil jsem parametry --verbose --preallocate).

[lertimir]

Také je vhodné použít log, protože pak se dá restaurace kdykoliv přerušit a v logu je přesně to co se doteď provedlo. ddrescue jede tak, že v prvním kole, když narazí na problémy se čtením udělá skok dopředu a čte dále aby co nejméně poškozovala nečitelné části. v druhém kole limituje ty nepřečtené části z druhé strany. v třetím kole skáče dovnitř oblastí a pokouší se s tama něco přečíst. Pokud je to NTFS, tak doporučuji program GetDataBack. Na NTFS mne nikdy nezklamal.

[OldFrog {Ondra Nemecek}]

Jenže není potřeba ty smart hodnoty nějak převádět? Myslím, že 100 parkování za hodinu bych slyšel jako ťukání, sedím vedle toho disku. Nebo bych to neslyšel?

Umí dneska USB disky smart? Pokud ne, použil bych jako náhradu interní disk, abych měl lepší přehled o zdraví disku.

[lertimir]

Slyšet moc to být nemusí. To je otázka jestli ten převodník usb-sata pustí smart příkazy dále. Některé ano, některé ne, je to kus od kusu.

[R]

Vacsina prevodnikov to pusti, ale treba vyskusat rozne parametre -d (napr. -d sat alebo -d usbjmicron).

[lertimir]

Ale jak tazatel psal na usb mu smart nevypsalo, takže jeho asi ne.

[OldFrog {Ondra Nemecek}]

Každý se rád potěší trablemi druhých, tak se pochlubím

S diskem jsem si docela užil... První pokus o kopírování pomocí ddrescue selhal po dvou dnech v 99%, protože došlo místo na disku. Není se co divit, udělal jsem si na cílovém disku místo podle výpisu partišny v gparted, ale pak kopíroval celé zařízení a na ten nevelkým rozdíl jsem dojel. A protože jsem při spouštění ddrescue nezadal log soubor, nemohl jsem plynule navázat.

Zkusil jsem tedy vygenerovat přibližný log soubor pomocí --generate-mode, což trvalo další den. Vůči tomuto log souboru jsem pak spustil druhý průchod, ale co čert nechtěl, v 80% mi vypnuli elektriku a na naběhnutí počítače jsem místo textového souboru s log souborem na disku našel několikamegový binární blob. Ne, opravdu jsem se díval do správného souboru a opravdu tam byl rozsyponý čaj. WTF?! Pro jistotu jsem na cílovém disku udělal fsck, kupodivu bez problému. Nechápu, co se stalo.

Budiž, o pracně získaný přibližný log soubor jsem přišel, co takhle celý postup opakoval od nuly - ale správněji? To se nakonec povedlo a zdá se, že mám většinu dat zpátky a že skutečně bylo chybných je těch 18 sektorů. Nakonec jsem zkontroloval souborový systém na obrazu disku, ve found.000 jsem našel jen jeden soubor, kopírovaný v okamžiku zaůplnění disku na 100%. Takže ke větší újmě snad ani nedošlo. Co s porouchaným diskem budu teprve řešit.

Pro podobné nešťastlivce jako jsem já uvedu, jak jsem měl postupovat hned od začátku:

# získat obraz celého disku, hlavně zadat log soubor:
ddrescue -vv --no-split --no-trim /dev/sdc MyBook-sdc.bin MyBook-sdc.log

# pokusit se získat co se nepovedlo předtím:
ddrescue -vv --retry-passes=3 /dev/sdc MyBook-sdc.bin MyBook-sdc.log

# takto můžu vadný disk odpojit a vyndat z pc (pokud umí deska a disk hotplug - AHCI):
echo 1 > /sys/block/sdc/device/delete

# nastavit loop zařízení, portscan najde v obrazu disku partišny, abych je mohl připojit:
losetup --find --partscan --show MyBook-sdc.bin

# připojíme data, radši v readonly režimu, zde poznámka, proč nebyl readonly režim použit 
# už při losetup - protože ntfs-3g pak partišnu odmítnul připojit, asi si připojení na disk 
# nějak poznamenává nebo co:
mount   --options ro /dev/loop0p1 MyBook-sdc.dir/

# data odpojíme:
umount  --force /dev/loop0p1

# zde jsem nastavil /dev/loop0p1 jak raw disk pro virtuálizovaná WindowsXP 
# a provedl kontrolu disku z Windows XP, což skončilo úspěšně

# po vypnutí WindowsXP můžu loop zařízení smazat, je to jediný loop v systému takže stačí:
losetup --detach-all

Použité zdroje:

• https://www.gnu.org/software/ddrescue/manual/ddrescue_manual.html
• http://wiki.ubuntu.cz/ddrescue
• http://askubuntu.com/questions/69363/mount-single-partition-from-image-of-entire-disk-device
• http://forum.root.cz/index.php?topic=4294.0

[lertimir]

ano log soubor jsem připomínal hned druhý den. Co se moholo stát s logem netuším, když jsem dělal restauraci já tak jsem i v logu se díval lessem jak restaurace postupuje. Možná starý disk bude stačit přeformátovat. Prohnal bych ho přes

# badblocks -wsv -o /root/<badblocks.txt> /dev/<device>

který vygeneruje log s bad sectory. A pak záleží na filesystému. ext4 se to umí přehodit, ntfs asi ne.

# mkfs.ext4 -l /root/<badblocks.txt> /dev/<device>

[OldFrog {Ondra Nemecek}]

Jojo, jenže když jsem četl to upozornění na log soubor, tak už to běželo Prostě jsem neměl nervy na to si přečíst dokumentaci, protože jsem musel dohnat práci, která byla na tom nedostupném disku

Badblocks už běží (s parametry -svw) a zatím tam nevidím ani jednu chybu, myslím že běží už poslední průchod (pattern 0x00). Asi to ten firmware disku realokuje transparentně.

Souhlas, asi tam dám ext4, jiná alternativa mě nenapadá. Ntfs se rád zbavím a dávat nějaké supermoderní souborové systémy (btrfs) na nespolehlivý disk mi nepřijde jako dobrý nápad.

[R]

Prepisanim sa tie sektory realokuju, stacilo by pouzit dd namiesto badblocks. Pozri potom do SMARTu, tam to uvidis.

[OldFrog {Ondra Nemecek}]

Takže po badblocks, který proběhl bez chyby, jsem ještě spustil extended self-test - taky dokončeno bez chyby:

smartctl 6.4 2015-06-04 r4109 [x86_64-linux-4.2.5-201.fc22.x86_64] (local build)
Copyright (C) 2002-15, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green
Device Model:     WDC WD7500AACS-00ZJB0
Serial Number:    WD-WCASM0017577
LU WWN Device Id: 5 0014ee 256333e1f
Firmware Version: 01.01B01
User Capacity:    750,156,374,016 bytes [750 GB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.5, 3.0 Gb/s
Local Time is:    Wed Nov 11 09:25:36 2015 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
See vendor-specific Attribute list for marginal Attributes.

General SMART Values:
Offline data collection status:  (0x82)	Offline data collection activity
					was completed without error.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(20400) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 235) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x303f)	SCT Status supported.
					SCT Error Recovery Control supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   200   200   051    Pre-fail  Always       -       170
  3 Spin_Up_Time            0x0003   183   013   021    Pre-fail  Always   In_the_past 5825
  4 Start_Stop_Count        0x0032   085   085   000    Old_age   Always       -       15849
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000e   200   200   051    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   048   048   000    Old_age   Always       -       38388
 10 Spin_Retry_Count        0x0012   100   100   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0012   100   100   051    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   099   099   000    Old_age   Always       -       1245
192 Power-Off_Retract_Count 0x0032   199   199   000    Old_age   Always       -       986
193 Load_Cycle_Count        0x0032   017   017   000    Old_age   Always       -       550942
194 Temperature_Celsius     0x0022   116   071   000    Old_age   Always       -       34
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0012   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   051    Old_age   Offline      -       0

SMART Error Log Version: 1
ATA Error Count: 1709 (device log contains only the most recent five errors)
	CR = Command Register [HEX]
	FR = Features Register [HEX]
	SC = Sector Count Register [HEX]
	SN = Sector Number Register [HEX]
	CL = Cylinder Low Register [HEX]
	CH = Cylinder High Register [HEX]
	DH = Device/Head Register [HEX]
	DC = Device Command Register [HEX]
	ER = Error register [HEX]
	ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 1709 occurred at disk power-on lifetime: 38353 hours (1598 days + 1 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 01 0e a3 aa 40  Error: UNC at LBA = 0x00aaa30e = 11182862

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 01 e8 0e a3 aa 2b 08   4d+21:17:43.459  READ FPDMA QUEUED
  60 01 e0 0d a3 aa 2b 08   4d+21:17:43.459  READ FPDMA QUEUED
  60 01 d8 0c a3 aa 2b 08   4d+21:17:43.459  READ FPDMA QUEUED
  60 01 d0 0b a3 aa 2b 08   4d+21:17:43.459  READ FPDMA QUEUED
  60 01 c8 0a a3 aa 2b 08   4d+21:17:43.459  READ FPDMA QUEUED

Error 1708 occurred at disk power-on lifetime: 38353 hours (1598 days + 1 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 0e a3 aa 40  Error: UNC at LBA = 0x00aaa30e = 11182862

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 00 10 87 a2 aa 2b 08   4d+21:17:39.271  READ FPDMA QUEUED
  60 00 08 87 a1 aa 2b 08   4d+21:17:39.269  READ FPDMA QUEUED
  60 00 00 87 a0 aa 2b 08   4d+21:17:39.267  READ FPDMA QUEUED
  60 00 f0 87 9f aa 2b 08   4d+21:17:39.265  READ FPDMA QUEUED
  60 00 e8 87 9e aa 2b 08   4d+21:17:39.263  READ FPDMA QUEUED

Error 1707 occurred at disk power-on lifetime: 38351 hours (1597 days + 23 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 3e ca 36 40  Error: UNC at LBA = 0x0036ca3e = 3590718

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 08 38 38 ca 36 56 08   4d+19:29:06.339  READ FPDMA QUEUED
  ef 10 02 00 00 00 00 08   4d+19:29:06.339  SET FEATURES [Enable SATA feature]
  27 00 00 00 00 00 00 08   4d+19:29:06.339  READ NATIVE MAX ADDRESS EXT [OBS-ACS-3]
  ec 00 00 00 00 00 00 08   4d+19:29:06.338  IDENTIFY DEVICE
  ef 03 46 00 00 00 00 08   4d+19:29:06.338  SET FEATURES [Set transfer mode]

Error 1706 occurred at disk power-on lifetime: 38351 hours (1597 days + 23 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 3e ca 36 40  Error: UNC at LBA = 0x0036ca3e = 3590718

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 08 e0 38 ca 36 56 08   4d+19:29:02.304  READ FPDMA QUEUED
  ef 10 02 00 00 00 00 08   4d+19:29:02.304  SET FEATURES [Enable SATA feature]
  27 00 00 00 00 00 00 08   4d+19:29:02.303  READ NATIVE MAX ADDRESS EXT [OBS-ACS-3]
  ec 00 00 00 00 00 00 08   4d+19:29:02.303  IDENTIFY DEVICE
  ef 03 46 00 00 00 00 08   4d+19:29:02.303  SET FEATURES [Set transfer mode]

Error 1705 occurred at disk power-on lifetime: 38351 hours (1597 days + 23 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 3e ca 36 40  Error: UNC at LBA = 0x0036ca3e = 3590718

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 08 40 38 ca 36 56 08   4d+19:28:58.281  READ FPDMA QUEUED
  ef 10 02 00 00 00 00 08   4d+19:28:58.280  SET FEATURES [Enable SATA feature]
  27 00 00 00 00 00 00 08   4d+19:28:58.280  READ NATIVE MAX ADDRESS EXT [OBS-ACS-3]
  ec 00 00 00 00 00 00 08   4d+19:28:58.280  IDENTIFY DEVICE
  ef 03 46 00 00 00 00 08   4d+19:28:58.280  SET FEATURES [Set transfer mode]

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%     38383         -
# 2  Conveyance offline  Completed without error       00%     38379         -
# 3  Short offline       Completed without error       00%     38379         -
# 4  Extended offline    Completed: read failure       90%     38353         566431729
# 5  Conveyance offline  Completed: read failure       90%     38353         566431729
# 6  Short offline       Completed: read failure       90%     38353         566431729
# 7  Extended offline    Completed: read failure       90%     38226         566431729
# 8  Short offline       Completed: read failure       90%     38226         566431729
# 9  Extended offline    Completed: read failure       90%     38226         566431729
#10  Conveyance offline  Completed: read failure       90%     38226         566431729
#11  Short offline       Completed: read failure       90%     38226         566431729
#12  Short offline       Completed: read failure       90%     38226         566431729
9 of 9 failed self-tests are outdated by newer successful extended offline self-test # 1

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Ale nesedí mi počet realokovaných sektorů - jak to že tam není žádný? Není to divné?

Pochopil jsem, že pokud se hodnota Raw_Read_Error_Rate a Seek_Error_Rate během používání zvětšuje a současně je Reallocated_Sector_Ct nenulový, je disk na cestě k zániku. Takže jsem projel disky (sdc je ten, co předtím selhal):

# smartctl --all /dev/sda | grep "Error_Rate\|Reallocated_Sector"
  1 Raw_Read_Error_Rate     0x000f   200   200   051    Pre-fail  Always       -       0
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   200   200   051    Pre-fail  Always       -       0
200 Multi_Zone_Error_Rate   0x0009   200   200   051    Pre-fail  Offline      -       0

# smartctl --all /dev/sdb | grep "Error_Rate\|Reallocated_Sector"
  1 Raw_Read_Error_Rate     0x000f   116   092   006    Pre-fail  Always       -       102865479
  5 Reallocated_Sector_Ct   0x0033   100   100   036    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   056   045   030    Pre-fail  Always       -       6275603780849
200 Multi_Zone_Error_Rate   0x0000   100   253   000    Old_age   Offline      -       0

# smartctl --all /dev/sdc | grep "Error_Rate\|Reallocated_Sector"
  1 Raw_Read_Error_Rate     0x000f   200   200   051    Pre-fail  Always       -       170
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000e   200   200   051    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   051    Old_age   Offline      -       0

# smartctl --all /dev/sdd | grep "Error_Rate\|Reallocated_Sector"
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

Zřejmě bych neměl moc věřit sdb a sdc, ale proč je nulový počet realokovaných sektorů u sdc nechápu.

Nemáte někdo tušení?

[lertimir]

Význam Raw_Read_Error_Rate záleží na výrobci. Seagate tam mají počet chyb, které korigovaly interní mechanismy disku a hodnota se mění velmi rychle a cyklicky se protáčí. WD tam ty picky mají nulu a něco až když chyba přesáhne korekční možnosti kódu.

[OldFrog {Ondra Nemecek}]

Aha, /dev/sdb je opravdu Seagate a ta hodnota se skutečně pořád mění. Dík, dobrá poznámka.

[Ruža Becelin]

OT: hlavne si uprav to parkovani (max je tusim 300s, default 8s), jinak se to uparkuje k smrti...

[OldFrog {Ondra Nemecek}]

To bude zřejmě ten IntelliPark http://www.silentpcreview.com/article786-page1.html

IntelliPark™ — Delivers lower power consumption by automatically unloading the heads during idle to reduce aerodynamic drag.

Nastavit to hdparm ale nezvládne

# hdparm -B 255 /dev/sdc

/dev/sdc:
 setting Advanced Power Management level to disabled
 HDIO_DRIVE_CMD failed: Input/output error
 APM_level	= not supported

Podle Problem_with_hard_drive_clicking je třeba použít idle3-tools/

# idle3ctl -s 255 /dev/sdc
Idle3 timer set to 255 (0xff)
Please power cycle your drive off and on for the new setting to be
taken into account. A reboot will not be enough!

Po vypnutí a zapnutí disku se hodnota drží takže to je snad ok Jsem netušil že je s těmi disky tolik práce...

[Ruža Becelin]

Jo presne, musi se pouzit wdidle3 (dos) nebo idle3-tools.

Je to prvni vec co delam na _jakemkoli_ disku od WD, at uz to ma Intellipark nebo ne...

[R]

Ak je na disku necitatelny (pending) sektor a zapises do neho nove data, tak firmware disku ich najprv zapise na povodne miesto a skusi precitat. Ak je to OK, tak bol pravdepodobne predtym sektor len zle zapisany (napriklad vypadok napajania pocas zapisu) a teda sa nerealokuje. Ak sa data z povodneho sektora precitat nedaju, sektor sa realokuje.

[R]

BTW. Ak sa taketo sektory budu nadalej objavovat na nahodnych miestach, tak moze byt vadna hlava.

[OldFrog {Ondra Nemecek}]

Ak je to OK, tak bol pravdepodobne predtym sektor len zle zapisany (napriklad vypadok napajania pocas zapisu)

Aha, to je možné, pár tvrdých vypnutí za provozu ten disk určitě zažil.

[OldFrog {Ondra Nemecek}]

Přátelé, děkuju za cenné rady, které bych si sám dával obtížně dohromady. Když to shrnu, tak záludné bylo hlavně to, že podle všeho tvrdé odpojení disku od napájení během provozu spojené se zaplněným diskem vedli k tomu, že disk pak nešel připojit a smart test selhával, takže to vypadalo jako nějaká drsná chyba disku.

Ve skutečnosti ale stačilo vytvořenit binární kopii disku, projet ho pomocí badblocks a disk šlo dále používat. Udělal jsem pro jistotu i nově partišnu, zkontroloval smart long self-testem, změnil souborový systém a omezil parkování hlaviček. A - nastavil pravidelné zálohování

Takže díky a hodně zdravých bloků na disku všem!

[lertimir]

To že disk byl natvrdo vypnutý se zátěže jsi se nepochlubil. V dnešním probufferovaném světě je to kritická informace. Externí disk vyrvaný z napájení určitě nemá dost náboje v kondenzátorech na to, aby zapsal to, co má v interní cache do ploten. Jak vidno nemusí mít ani dost náboje na zapsání do smart tabulek, klidně událost mohla být i proto, že disk neměl náboj na to, aby zapsal jeden sektor, začal ho psát a pak energie došla a tím pádem totálně neseděly součty. Pokud to byl kritický sektor v alokačních tabulkách NTFS tak si ho při příštím přejetí hlav na čtení namarkoval jako neopravitelný a NTFS se z toho neshrabalo. A těch 18 sektorů mohlo být vytvořené právě tímto způsobem při několika opakovaných vypnutích. Samozřejmě projetím badblocks se do těch sektorů data zapsala a přečetla a zjistilo se, že sektory jsou v pořádku. (Interní disk spíše dostane dost náboje z kondenzátorů zdroje, aby nutné operace dokončil, i když to také preferované operace není.)

[OldFrog {Ondra Nemecek}]

Ano, to je to ponaučení. Se divím, že se nevyrábí nějaká řada disků odolnějších proti tomuto zacházení, třeba s kondíkem vevnitř. U externích disků k tomu musí občas docházet.

U nás v bytě máme ten problém, že občas „problikne světlo“, tj. dojde k krátkemu přerušení proudu, odhadem tak 0.1 sec. Mám přepěťovku, ale očividně by to chtělo i UPSku