Dotaz: btrfs - co se stalo?

[marek_hb]

Příloha:

• co_se_stalo.txt (75032 bytů)

Ahoj,

včera jsem večer přišel k počítači (aktukální arch 64) a nic - boot se sekl na připojení /media/data - když jsem dal boot bez /dev/sdb, tak system naběhl, ale datový disk se nedal připojit (mountováno z rescuecd):

[root@sysresccd ~]# mount /dev/sdb /mnt/
mount: /mnt: wrong fs type, bad option, bad superblock on /dev/sdb, missing codepage or helper program, or other error.

v příloze je výpis z konzole (dmesg a moje pokusy o záchranu) - ve zkratce:

[root@sysresccd ~]#  btrfs device scan
Scanning for Btrfs filesystems
[root@sysresccd ~]# 
[root@sysresccd ~]#  btrfs device scan /dev/sdb
Scanning for Btrfs filesystems in '/dev/sdb'

[root@sysresccd ~]# btrfs scrub start /dev/sdb
ERROR: '/dev/sdb' is not a mounted btrfs device

[root@sysresccd ~]# mount -o ro /dev/sdb /mnt/
mount: /mnt: wrong fs type, bad option, bad superblock on /dev/sdb, missing codepage or helper program, or other error.

[root@sysresccd ~]# btrfs-zero-log /dev/sdb
bash: btrfs-zero-log: command not found
[root@sysresccd ~]# btrfs
btrfs               btrfs-convert       btrfs-image         btrfs-select-super  
btrfsck             btrfs-find-root     btrfs-map-logical   btrfstune           

[root@sysresccd ~]# btrfs rescue zero-log /dev/sdb
parent transid verify failed on 246251520 wanted 186763 found 186761
parent transid verify failed on 246251520 wanted 186763 found 186761
parent transid verify failed on 246251520 wanted 186763 found 186761
parent transid verify failed on 246251520 wanted 186763 found 186761
Ignoring transid failure
leaf parent key incorrect 246251520
ERROR: could not open ctree
[root@sysresccd ~]#  file -s /dev/sdb
/dev/sdb: DOS/MBR boot sector
[root@sysresccd ~]# btrfs check /dev/sdb
Opening filesystem to check...
parent transid verify failed on 246251520 wanted 186763 found 186761
parent transid verify failed on 246251520 wanted 186763 found 186761
parent transid verify failed on 246251520 wanted 186763 found 186761
parent transid verify failed on 246251520 wanted 186763 found 186761
Ignoring transid failure
leaf parent key incorrect 246251520
ERROR: cannot open file system
[root@sysresccd ~]# btrfsck --init-extent-tree /dev/sdb
Opening filesystem to check...
Checking filesystem on /dev/sdb
UUID: 2ff9fcaf-4022-4cfd-b22a-321aa39fe3a0
Creating a new extent tree
parent transid verify failed on 29442048 wanted 4 found 186770
Ignoring transid failure
Failed to find [30392320, 168, 16384]
btrfs unable to find ref byte nr 202571776 parent 0 root 1  owner 1 offset 0
Failed to find [1384082587648, 168, 16384]
btrfs unable to find ref byte nr 1384525234176 parent 0 root 1  owner 0 offset 0
Failed to find [30392320, 168, 16384]
btrfs unable to find ref byte nr 246284288 parent 0 root 1  owner 0 offset 0
[1/7] checking root items... skipped
[2/7] checking extents
parent transid verify failed on 202424320 wanted 186763 found 186759
parent transid verify failed on 202424320 wanted 186763 found 186759
parent transid verify failed on 202424320 wanted 186763 found 186759
parent transid verify failed on 202424320 wanted 186763 found 186759
Ignoring transid failure
bad block 202424320
ERROR: errors found in extent allocation tree or chunk allocation
[3/7] checking free space cache
cache and super generation don't match, space cache will be invalidated
[4/7] checking fs roots
root 5 missing its root dir, recreating
ERROR: errors found in fs roots
found 60034904064 bytes used, error(s) found
total csum bytes: 0
total tree bytes: 12894208
total fs tree bytes: 11812864
total extent tree bytes: 114688
btree space waste bytes: 1964195
file data blocks allocated: 59846623232
 referenced 59791736832
extent buffer leak: start 29392896 len 16384
WARNING: dirty eb leak (aborted trans): start 29392896 len 16384
extent buffer leak: start 20971520 len 16384
WARNING: dirty eb leak (aborted trans): start 20971520 len 16384
extent buffer leak: start 29458432 len 16384
WARNING: dirty eb leak (aborted trans): start 29458432 len 16384
extent buffer leak: start 29491200 len 16384
WARNING: dirty eb leak (aborted trans): start 29491200 len 16384
extent buffer leak: start 29523968 len 16384
WARNING: dirty eb leak (aborted trans): start 29523968 len 16384
extent buffer leak: start 29409280 len 16384
WARNING: dirty eb leak (aborted trans): start 29409280 len 16384
extent buffer leak: start 29425664 len 16384
WARNING: dirty eb leak (aborted trans): start 29425664 len 16384
extent buffer leak: start 29507584 len 16384
WARNING: dirty eb leak (aborted trans): start 29507584 len 16384
extent buffer leak: start 20987904 len 16384
WARNING: dirty eb leak (aborted trans): start 20987904 len 16384
extent buffer leak: start 21004288 len 16384
WARNING: dirty eb leak (aborted trans): start 21004288 len 16384
extent buffer leak: start 29474816 len 16384
WARNING: dirty eb leak (aborted trans): start 29474816 len 16384
extent buffer leak: start 29540352 len 16384
WARNING: dirty eb leak (aborted trans): start 29540352 len 16384
[root@sysresccd ~]# btrfs check /dev/sdb
Opening filesystem to check...
Checking filesystem on /dev/sdb
UUID: 2ff9fcaf-4022-4cfd-b22a-321aa39fe3a0
[1/7] checking root items
Error: could not find extent items for root 2341
ERROR: failed to repair root items: No such file or directory
[root@sysresccd ~]# mount -o recovery,ro /dev/sdb /mnt/
[root@sysresccd ~]#

pomohlo až:

btrfsck --init-extent-tree /dev/sdb

z arch fora: https://bbs.archlinux.org/viewtopic.php?id=233724

teď je disk připojenej jako readonly, tahám z něj poslední přidaná data a přemýšlím co s ním - je to tenhle disk

fstab pro něj vypadá takhle:

#UUID=2ff9fcaf-4022-4cfd-b22a-321aa39fe3a0      /media/data     btrfs           rw,relatime,space_cache,subvolid=5,subvol=/     0 0

co mi teď došlo je, že jsem na něj asi ještě nikdy nepustil ani scrub, ani defrag a je to pravěký ext4 konvertovaný na btrfs

trochu mě to zchladilo myšlenky na nasazení btrfs i na NAS disk - je to starý zyxel310 s původním fw, kerý jsem se už kdysi dávno chystal nahradit openwrt - seká se rsync/rsnapshot přes NFS a mám podezření na moc starou verzi NFS (na tom zyxelu) a čekal jsem v podstatě už jen na vyřešení NFS legrace (která mě na stabilní verzi openwrt trochu překvapila...). Tak nevím, jestli čekat, nebo na ten NAS dát dev verzi openwrt, kde už je to opravené

A chtěl jsem disk v NASu taky převést na BTRFS - mohl bych vynechat rsync a podobné a řešit zálohy přes btrfs send | recieve, jenže tohle bylo tak nějak překvapení...

mátě někdo nápad, jak tomu disku pomoc k normálnímu fungování, případně co s tím nasem (už jsem to tady kdysi řešil, pak mě ta myšlenka nějak opustila, protože všechno fungovalo a nechtělo se mi to rozvrtat)?

dík moc

M

Odpovědi

[Max]

Chybí mi info o tom, zda SMART data jsou stále ok. A pokud ano, zda je ok i SMART long test (provést, až vytaháš data).
To, že je SMART ok, ještě neznamená, že je vše ok, obzvláště u tak starých disků.
Zdar Max

[NN]

Ten disk je fyzicky v poradku?

[marek_hb]

fyzicky vypadá ok - je v bedně, se kterou se skoro nehýbe, nikam ho netahám - 2 roky byl na stojáka v NASu, ted 3 na stoják v desktopu. Poslední jeho SMART je tady - SMART long zkusím večer, až dojedu z práce a dotahám zbytek dat.

Data se zatím tváří ok, při kopírávání se žádný problém nevyskytl.

Je fakt, že jsem se k tomu disku choval v poslední době nepěkně - sypal jsem na něj snapsohty, řešil mazání a hledání duplicit (vždycky třeba 700Gb snapshot, v něm přesouvání/mazání hromady dat, pak zase smazání toho snapshotu), kopíroval z něj/na něj data z kamery.

Prostě se docela zapotil, tak třeba se to filesystemu moc nelíbilo. Nebo začíná odcházet...

[Max]

Měsíc starý SMART nemusí odpovídat aktuálnímu stavu, proto jsem se na to ptal.
Zdar Max

[marek_hb]

jo, to je mi jasný, jen to je nejnovější co mám ted k dispozici - večer přetáhnu posledních pár věcí a dám sem čerstvý.

[Josef Kufner]

je to pravěký ext4 konvertovaný na btrfs

Co jsem slyšel, ty konverze nebyly úplně v pořádku a byla s nimi spousta problémů. Možná jsi na nějaké právě narazil.

[marek_hb]

Je to možný, ale je to zkonvertovaný už 3 roky a zatím v pohodě. Ale třeba tomu mohlo pomoc, že jsem ho zaplnil skoro na 90% - do teď byl plný lehce přes půlku.

[Josef Kufner]

Jo, hodně z toho bylo při docházejícím místu na disku.

[j]

Pokud mi skleroza slouzi, tak tam v pripade ty konverze byl nejakej problem na tema ze to zachovavalo nejakou moznost se zpet na Ext vratit. Coz se dalo pomoci nejakyho toolu vyzmizikovat (samo pak uz to vratit neslo). A tahle vec mimo jiny zabirala misto, ktery ale btrfs vlastne nevidel. Takze je klidne mozny, ze ti misto proste doslo.

Ale ber to jako hodne strelbu na slepo ... ale zas tak sklerotickej asi nejsem.

https://btrfs.wiki.kernel.org/index.php/Conversion_from_Ext3

Viz snapshot a moznost to pripojit jako ext3.

[marek_hb]

jj, tohle tam bylo, ale bylo to jako snapshot a ten už jsem kdysi zmizel

jinak výpis smartctl --all /dev/sdb vypadá ted takhle:

[root@archlinux marek]#   smartctl --all /dev/sdb
smartctl 7.0 2018-12-30 r4883 [x86_64-linux-5.1.11-arch1-1-ARCH] (local build)
Copyright (C) 2002-18, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital AV-GP (AF)
Device Model:     WDC WD20EURS-63S48Y0
Serial Number:    WD-WMAZA7283100
LU WWN Device Id: 5 0014ee 206c79b17
Firmware Version: 51.0AB51
User Capacity:    2 000 398 934 016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.6, 3.0 Gb/s
Local Time is:    Tue Jun 18 19:07:25 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (38100) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 367) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       5
  3 Spin_Up_Time            0x0027   166   159   021    Pre-fail  Always       -       6658
  4 Start_Stop_Count        0x0032   093   093   000    Old_age   Always       -       7144
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   045   045   000    Old_age   Always       -       40365
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   097   097   000    Old_age   Always       -       3240
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       266
193 Load_Cycle_Count        0x0032   198   198   000    Old_age   Always       -       6877
194 Temperature_Celsius     0x0022   110   106   000    Old_age   Always       -       40
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

[root@archlinux marek]# 

[Want]

Co takhle na to nejdřív vypustit test, aby to něco taky zkontrolovalo?

[marek_hb]

už běží - do teď jsem tahal data

[lertimir]

Ty jsi na disk NIKDY nepustil test?

[marek_hb]

ne - nenapadlo mě to, fungoval, zálohy mám, co jsou nějaká klikátka přes který jsem dělal oddíly, tak ty hláslily stav ok, tak jsem to bral jako dobrý

[k3dAR]

Pred asi 2roky sem delal take conv z ext4 na btrfs, odstranil sem mpznost vraceni a asi po tejdnu se to cele rozsypalo...

[marek_hb]

ok, tak minimálně disk v NASu nechám na pokoji...

[lertimir]

No konverzi jsem nedělal nikdy, ale btrfs postavené z nuly se nerozsypalo samo nikdy. A o problému s nečitelností jsem se dověděl vždy včas. (Ale na rozdíl od tazatele, mám měsíčně long smart testy a scrub a týdně short testy)

[k3dAR]

Disk byl fyzicky ok, preformatil sem na ext4 a slape dodnes bez chyb...

[marek_hb]

tak jsem zkontroloval data, zálohy mám (snad) komplet a zkusil jsem disk mountnout jako rw, tváří se ok, číst z něj jde, ale je více/méně připojenej jako readonly, dmesg se pri pokusu o scrub start, btrfs filesystem defragment plní errorama a warningama?

[  506.813554] BTRFS error (device sdb): unable to find ref byte nr 64225280 parent 0 root 5  owner 1 offset 0
[  506.813555] ------------[ cut here ]------------
[  506.813556] BTRFS: Transaction aborted (error -2)
[  506.813580] WARNING: CPU: 2 PID: 2126 at fs/btrfs/extent-tree.c:7106 __btrfs_free_extent.isra.0+0x6ff/0x980 [btrfs]
[  506.813581] Modules linked in: cfg80211 rfkill 8021q garp mrp stp llc nvidia_drm(POE) nvidia_modeset(POE) nvidia(POE) snd_hda_codec_hdmi input_leds mousedev joydev pktcdvd coretemp kvm_intel fuse kvm snd_hda_codec_realtek snd_hda_codec_generic ledtrig_audio iTCO_wdt ppdev gpio_ich iTCO_vendor_support snd_hda_intel drm_kms_helper snd_hda_codec snd_hda_core snd_hwdep drm i2c_i801 irqbypass snd_pcm r8169 pcspkr ipmi_devintf realtek ipmi_msghandler snd_timer libphy syscopyarea lpc_ich snd sysfillrect soundcore sysimgblt intel_agp intel_gtt fb_sys_fops agpgart parport_pc evdev parport pcc_cpufreq mac_hid acpi_cpufreq vboxnetflt(OE) vboxnetadp(OE) vboxpci(OE) vboxdrv(OE) sg crypto_user ip_tables x_tables ata_generic pata_acpi btrfs libcrc32c crc32c_generic xor raid6_pq sd_mod hid_logitech ff_memless hid_generic sr_mod cdrom usbhid hid uhci_hcd ahci firewire_ohci libahci firewire_core pata_jmicron crc_itu_t libata scsi_mod ehci_pci ehci_hcd floppy
[  506.813605] CPU: 2 PID: 2126 Comm: btrfs-transacti Tainted: P        W IOE     5.1.11-arch1-1-ARCH #1
[  506.813605] Hardware name: Gigabyte Technology Co., Ltd. EP35-DS4/EP35-DS4, BIOS F6 06/19/2009
[  506.813620] RIP: 0010:__btrfs_free_extent.isra.0+0x6ff/0x980 [btrfs]
[  506.813621] Code: 8b 40 50 f0 48 0f ba a8 b0 12 00 00 02 0f 92 c0 5e 84 c0 0f 85 ce c9 09 00 be fe ff ff ff 48 c7 c7 80 53 62 c0 e8 c0 46 31 e7 <0f> 0b e9 b6 c9 09 00 83 e8 01 48 8b 7d 00 b9 11 00 00 00 48 8d 74
[  506.813622] RSP: 0018:ffffb5108a567c48 EFLAGS: 00010286
[  506.813623] RAX: 0000000000000000 RBX: 0000000000000001 RCX: 0000000000000000
[  506.813624] RDX: 0000000000000007 RSI: 0000000000000086 RDI: 00000000ffffffff
[  506.813625] RBP: ffffa0637cbb67e0 R08: 00000000000006c8 R09: 0000000000000001
[  506.813626] R10: 0000000000000000 R11: 0000000000000001 R12: 0000000003d40000
[  506.813627] R13: 0000000000000000 R14: 0000000000000005 R15: 00000000fffffffe
[  506.813628] FS:  0000000000000000(0000) GS:ffffa06427b00000(0000) knlGS:0000000000000000
[  506.813629] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[  506.813630] CR2: 0000044c7f5c5000 CR3: 00000001a06d4000 CR4: 00000000000006e0
[  506.813630] Call Trace:
[  506.813633]  ? __switch_to_asm+0x41/0x70
[  506.813634]  ? _raw_spin_lock+0x13/0x30
[  506.813636]  ? _raw_spin_unlock+0x16/0x30
[  506.813653]  ? btrfs_merge_delayed_refs+0x2ee/0x330 [btrfs]
[  506.813668]  __btrfs_run_delayed_refs+0x6ec/0xfb0 [btrfs]
[  506.813670]  ? syscall_return_via_sysret+0xf/0x7f
[  506.813672]  ? preempt_count_add+0x79/0xb0
[  506.813674]  ? _raw_spin_lock_irqsave+0x26/0x50
[  506.813689]  btrfs_run_delayed_refs.part.0+0x4e/0x160 [btrfs]
[  506.813705]  btrfs_commit_transaction+0x50/0x930 [btrfs]
[  506.813722]  ? start_transaction+0x9b/0x490 [btrfs]
[  506.813723]  ? __next_timer_interrupt+0xc0/0xd0
[  506.813739]  transaction_kthread+0x13a/0x180 [btrfs]
[  506.813741]  kthread+0xfb/0x130
[  506.813757]  ? btrfs_cleanup_transaction+0x520/0x520 [btrfs]
[  506.813759]  ? kthread_park+0x90/0x90
[  506.813760]  ret_from_fork+0x35/0x40
[  506.813762] ---[ end trace 71cf75a66cddf4a4 ]---
[  506.813764] BTRFS: error (device sdb) in __btrfs_free_extent:7106: errno=-2 No such entry
[  506.813765] BTRFS info (device sdb): forced readonly
[  506.813767] BTRFS: error (device sdb) in btrfs_run_delayed_refs:3008: errno=-2 No such entry
[  537.782008] perf: interrupt took too long (18943 > 17303), lowering kernel.perf_event_max_sample_rate to 10500
[  653.735113] print_req_error: I/O error, dev fd0, sector 0 flags 0
[  653.735121] floppy: error 10 while reading block 0
[  666.005398] print_req_error: I/O error, dev fd0, sector 0 flags 0
[  666.005407] floppy: error 10 while reading block 0
[root@archlinux marek]# 

a ted už zase nejde připojit - asi bylo těch oživovacích pokusů moc, ale data jsou snad ok...

no asi nic - smartctl -t long /dev/sdb píše 367 minut do konce, pak se uvidí...

[Josef Kufner]

Pusť na to badblocks. Umí i nedestruktivní režim, kdy to zkusí disk přepsat sem a tam a pak to vrátí data zpět.

[Aleš Kapica]

No a co vrací?:

btrfs device stats /mountpoint

Jinak si nemůžu pomoct, ale jsi hazardér. Zásadně používám Btrfs a to v raid1. Právě proto abych se vyhnul problémům jako teď řešíš ty.

A pokud jde o testování disku – rotační disk není SSD, a test běží v rámci disku, takže nijak nebrání v normální práci. A je to základní věc. Pokud je totiž na disku někde zásadní chyba, tak ten disk test ani neskončí.

[marek_hb]

[root@archlinux marek]# btrfs device stats /media/data/
[/dev/sdb].write_io_errs    0
[/dev/sdb].read_io_errs     0
[/dev/sdb].flush_io_errs    0
[/dev/sdb].corruption_errs  0
[/dev/sdb].generation_errs  0

hazardér - může být, ale je to "normální" desktop - jedno SSD, dva rotační disky + NAS na multimedia a zálohy + něco zálohovaný na google photos, tak jsem o dalším disku nepřemýšlel

do teď jsem s btrfs neměl problém a jsem s ním spokojený. Jinak smart ještě běží, zbývá 10% k dokončení, musím jet dneska do práce dřív, tak až se vrátím dám sem výledek

[Aleš Kapica]

Ok. Tak proč teda není to Btrfs přes ty dva disky?

Ano, Btrfs se dá používat v single mode, pokud je pod tím nějaký raid (jiný než 0), který zajistí, že pro vadný blok existuje jinde kus kódu, který ho nahradí.

Jednou ze zásadních věcí, proč používám Btrfs je, že si hlídá kontrolní součty datových bloků, takže ihned odhalí problém, když blokové zařízení něco vrací špatně.

K tomu výpisu ze stats. Jelikož v něm nebyla žádná chyba na úrovni zařízení, podíval jsem se ještě jednou do toho tvého výpisu. Nevím sice co jsi s tím diskem dělal, než se dostal do tohoto stavu, ale vypadá to, jako kdyby na něm nedoběhla nějaká operace spojená se snapshoty (byl vypnutý natvrdo?)

Z vlastní zkušenosti doporučuji víc trpělivosti. Jednou se mi stalo, že jsem na připojení Btrfs (na kterém bylo několik tisíc snapshotů) čekal několik hodin – do té situace jsem se dostal tím, že jsem ten stroj (který předtím běžel několik měsíců) restartoval dřív, než se stačily všechny zrušit.

[lertimir]

No btrfs, a úplně stejně ext4, xfs a jakýkoliv jiný FS, i nad jedním diskem, ale je to tak s vědomím, že když disk klekne data jsou v čoudu. Rozdíl je v tom, může upozornit dříve, že disk má problém. A když máš mdraid (1 10 5) tak stejně nemáš zajištěno, že když ti disk odchází a nějaký blok disk vrací chybně, ale zatím disk jako celek se tváří OK, jak najít, kde jsou správná data.

[Aleš Kapica]

Promiň, ale srovnávat tyhle FS s Btrfs, to se snad ani nehodí. Jediný FS, který s ním lze nějakým způsobem srovnat je ZFS.

[lertimir]

Aleš to myslí podle mne tak, že nepracuješ se základní bezpečnostní premisou. A to je: Každé záznamové zařízení může kdykoliv s jakékoli příčiny a v jakémkoliv rozsahu selhat. Za 30 let, co pracuji na počítačích, jsem potkal mnohé ztráty dat, pokud se uživatelé tímhle neřídili, včetně mých vlastních. A na poličce mám jako muzeum 8 disků 3,5" a 3 disky 2.5", které jsou nefunkční a které havarovaly v mých osobních počítačích nebo noteboocích, od starého 80MB disku do nedávného 2TB a 3TB. A některé z nich i po mnohem menším počtu hodin, než máš najeto. Poslední byl systémový disk 320GB v servříku někdy v lednu. Pokud nemáš vnitřně ve své mysli nastaveno, že cokoliv může kleknout a vím co s tím dělat, tak dříve nebo později tě to bude stát data.

Jen pro doplnění ta poslední havárie disku byla taková, že vše bylo v pořádku před havázií zcela v pořádku. Vypnul jsem korektně server, odjel na víkend, v neděli přijel, zapnul server, a nic. Disk nenašel ani BIOS. A nenašel se ani v jiném počítači ani v dokovací stanici, něco asi odešlo na desce a byl konec. Pokud nepracuješ s takovou možností, a nemáš vymyšleno, co dělat, jsi hazardér.

[marek_hb]

tak dlouhý test doběhl - koukněte na něj prosím, níž zkusím odpovědět na Vaše dotazy

[root@archlinux marek]# smartctl -a /dev/sdb
smartctl 7.0 2018-12-30 r4883 [x86_64-linux-5.1.11-arch1-1-ARCH] (local build)
Copyright (C) 2002-18, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital AV-GP (AF)
Device Model:     WDC WD20EURS-63S48Y0
Serial Number:    WD-WMAZA7283100
LU WWN Device Id: 5 0014ee 206c79b17
Firmware Version: 51.0AB51
User Capacity:    2 000 398 934 016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.6, 3.0 Gb/s
Local Time is:    Wed Jun 19 18:43:23 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (38100) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 367) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       5
  3 Spin_Up_Time            0x0027   162   159   021    Pre-fail  Always       -       6900
  4 Start_Stop_Count        0x0032   093   093   000    Old_age   Always       -       7146
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   045   045   000    Old_age   Always       -       40389
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   097   097   000    Old_age   Always       -       3240
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       266
193 Load_Cycle_Count        0x0032   198   198   000    Old_age   Always       -       6879
194 Temperature_Celsius     0x0022   110   106   000    Old_age   Always       -       40
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%     40377         -
# 2  Short offline       Completed without error       00%     40368         -
# 3  Extended offline    Aborted by host               90%     40368         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

[root@archlinux marek]# 

Ok. Tak proč teda není to Btrfs přes ty dva disky?

na druhém disku je oddíl s windows a exfat oddíl, na který lezu jak z win, tak z linuxu - důvod pro win jsou hry, programy ke kameře a GPS a pak taky strýček Příhoda - občas se hodí

Nevím sice co jsi s tím diskem dělal, než se dostal do tohoto stavu, ale vypadá to, jako kdyby na něm nedoběhla nějaká operace spojená se snapshoty (byl vypnutý natvrdo?)

dělo se s ním zhruba tohle: dlouho to byl datový disk, tak z půlky plný. Zálohy jsem řešil tak, že jsem jednou za čas shodil X a pomocí rsnapshot jsem vybrané adresáře poslal na NAS připojený pomocí NFS.
Po čase jsem si řekl, že by se k tomu daly použít btrfs snapshoty - udelal jsem readonly snapshot /root i /media/data a ten jsem chtěl zase stejně jako předtím pomocí rsnapshot poslat na NAS. Ale nejdřív jsem chtěl data porovnat a odstranit dplicitní a podobně - dělal jsem to zase pomocí snapshotů - prostě rw snapshot, vyzkoušet co potřebuju a když to bude ok, tak to pustit na ostrá data.
Takže na disk jsem dělal/mazal poměrně dost snapshotů + tam přibývaly i snapshoty z /root ncdu /media/data/ občas psalo obsazeno 3.7TB z 1.8 a podobný věci

Jenže něco ve skupině rsnapshot - rsync - btrfs - NFS spolu nemluví. Rsnapshot se prostě při kopírování z btrfs snapshotů náhodně zasekne a tváří se jakoby nic - nevím kde je problém - vzhledem k tomu, že přes sambu a cp problém není, tak tipuju, že trable může působit stará verze NFS v nasu (zyxel 310) - poslední aktualizace vyšla někde v roce 2016. Asi se dokopu na děj dát openwrt (už jsem to tady pradávno řešil a přijde mi to jako docela ok řešení). Jenže aktuální 18.06.2 openwrt trpí NFS bugem, který je opravený v dev verzi (nebo se dá použít verze z 17) - tak to teď zkouším ve virtualboxu

a to byla možná poslední kapka pro ten filesystem - virtualni disky mám taky na něm a nevím co za to může, ale občas dojde k tomu, že počítač nejde po hraní s virtuálem korektně vypnout - tak v 1 případě z 10 se vypínání zasekne a pomůže až tvrdý restar/vypnutí. To se stalo asi 2 za poslední dobu (naposledy tak před týdnem) - nevím ,jestli to mohlo způsobit pád fs, nebo jestli padlý fs mohl zaseknout vypnutí

Aleš to myslí podle mne tak, že nepracuješ se základní bezpečnostní premisou. A to je: Každé záznamové zařízení může kdykoliv s jakékoli příčiny a v jakémkoliv rozsahu selhat

to bych úplně neřekl - data mám na datovém disku, na NASu a dokud je nemám srovnaná/zálohovaná, tak je nemažu ani ze zdroje + fakt důležité věci mám ještě na notebooku a gdisku. Jasně, vím, že nic není 100%, ale do teď mi to fungovalo a asi i stačilo. O data jsem už samozřejmě přišel ,ale v 90% případů vlastní blbostí (otočený směr dd, dd poslané na jiný disk, upadnutý disk na chodní a mohl bych pokračovat ...)

Teď je situace taková, že jsem na ten disk udělal nově mkfs.btrfs a tlačím na něj data ze zálohy.

 

[Aleš Kapica]

Btrfs je COW FS a ty se na ukádání virtuálních disků z principu nehodí, pokud nemají yu soubory nastavený atribut nocow. Ovšem pak si musí řešit konzistenci dat souborový systém ve virtuálu. Já už takovým způsobem virtuály několik let nepoužívám. Všechno jedu jako diskless.

[marek_hb]

dlouhý test jsem stopnul a dal nejdřív krátký, dlouhý jsem ted pustil znova - smartctl --test=short /dev/sdb:

[root@archlinux marek]# smartctl -a /dev/sdb
smartctl 7.0 2018-12-30 r4883 [x86_64-linux-5.1.11-arch1-1-ARCH] (local build)
Copyright (C) 2002-18, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital AV-GP (AF)
Device Model:     WDC WD20EURS-63S48Y0
Serial Number:    WD-WMAZA7283100
LU WWN Device Id: 5 0014ee 206c79b17
Firmware Version: 51.0AB51
User Capacity:    2 000 398 934 016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.6, 3.0 Gb/s
Local Time is:    Tue Jun 18 21:27:54 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (38100) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 367) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       5
  3 Spin_Up_Time            0x0027   166   159   021    Pre-fail  Always       -       6658
  4 Start_Stop_Count        0x0032   093   093   000    Old_age   Always       -       7144
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   045   045   000    Old_age   Always       -       40368
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   097   097   000    Old_age   Always       -       3240
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       266
193 Load_Cycle_Count        0x0032   198   198   000    Old_age   Always       -       6877
194 Temperature_Celsius     0x0022   109   106   000    Old_age   Always       -       41
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     40368         -
# 2  Extended offline    Aborted by host               90%     40368         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

[root@archlinux marek]# 

[marek_hb]

Ahoj,

tak smart je asi ok:

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital AV-GP (AF)
Device Model:     WDC WD20EURS-63S48Y0
Serial Number:    WD-WMAZA7283100
LU WWN Device Id: 5 0014ee 206c79b17
Firmware Version: 51.0AB51
User Capacity:    2 000 398 934 016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.6, 3.0 Gb/s
Local Time is:    Wed Jun 19 18:43:23 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (38100) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 367) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       5
  3 Spin_Up_Time            0x0027   162   159   021    Pre-fail  Always       -       6900
  4 Start_Stop_Count        0x0032   093   093   000    Old_age   Always       -       7146
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   045   045   000    Old_age   Always       -       40389
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   097   097   000    Old_age   Always       -       3240
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       266
193 Load_Cycle_Count        0x0032   198   198   000    Old_age   Always       -       6879
194 Temperature_Celsius     0x0022   110   106   000    Old_age   Always       -       40
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%     40377         -
# 2  Short offline       Completed without error       00%     40368         -
# 3  Extended offline    Aborted by host               90%     40368         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

[root@archlinux marek]# 

scrub taky nepíše asi nic špatného:

[root@archlinux marek]# btrfs scrub status /media/data
scrub status for a6dcc736-c72b-4c5e-a109-8e32b58bf790
	scrub started at Sun Jun 23 15:51:53 2019 and finished after 04:17:17
	total bytes scrubbed: 1.32TiB with 0 errors

fstab vypadá takhle:

UUID=a6dcc736-c72b-4c5e-a109-8e32b58bf790	/media/data  btrfs     	rw,relatime,space_cache,subvolid=5,subvol=/0 0

mám s tím diskem/fstabem něco dělat, nebo to vypadá ok?

na druhou stranu - dokopal jsem se k uklizení na disku, odstranil jsem duplicitní data (pomocí dupeguru) a přišel na chuť i3wm...

díky za všechny rady a nasměrování

M

[Aleš Kapica]

Smart dojel, scrub taky. Vyskočily během to co co jel scrub nějaké warningy do logu? Pokud ne, žádné chyby nevykázal, takže FS je podle mě ok. Používal bych ho dál. I když jak už jsem tady zmínil. Jsem zhýčkaný a preferuji bezpečnost svých dat, takže všude, kde mám Btrfs přímo nad blokovým zařízením používám raid1. V single modu ho používám jen tam, kde se mi o konzistenci dat stará vrstva co je pod ním (Ceph, HW raid, atp.)

Jinak moje nedávná zkušenost s Btrfs v raid1 módu nad 2x SSD od Samsungu je taková, že pokud chybí ve fstabu volba, která zajistí, že ty disky udělají discard, tak, se od určitého momentu, kdy se zaplácnou všechny buňky, ten FS brutálně zpomalí, nicméně sám o sobě žádné chyby nevykazuje, protože to zvládá řešit je mu to trvá dlouho. Takže bacha na to.

[marek_hb]

ahoj, warning žádný nevyskočil - je to v podstatě znova udělaný fs od začátku - ne konverze a na něj jsou ze zálohy vrácený data, který jsem pročistil pomocí dupeguru. Virtuály jsem přesunul taky mimo btrfs.

tak uvidím.

díky moc

[lertimir]

Podle mne problém mohl vzniknout při vypínání. Tady jsi uvedl, že jsi několikát systém musel vypnout natvrdo.

virtualni disky mám taky na něm a nevím co za to může, ale občas dojde k tomu, že počítač nejde po hraní s virtuálem korektně vypnout - tak v 1 případě z 10 se vypínání zasekne a pomůže až tvrdý restar/vypnutí. To se stalo asi 2 za poslední dobu (naposledy tak před týdnem) - nevím ,jestli to mohlo způsobit pád fs, nebo jestli padlý fs mohl zaseknout vypnutí

Moje zkušenost je taková, že právě ve chvilích, kdy se na FS intenzívně pracuje, přesuny, mazání většího objemu dat. je vypínání pomalé. Na pracovní stanici mám btrfs mimo jiné na 6TB RAID1 poli a 8 TB disku. A při rebootu/vypnutí dojede výpis do stavu, kde píše že vypnutí/reboot stav dosažen, ale počítač pořád běží, LED disku svítí naplno, Uklízí se rozpracované struktury do btrfs disků. A někdy se uklízí dlouho, Po fakt velkých změnách uklízel i 5 minut než se se restartnul/vypnul.

[marek_hb]

může být, ale tady to bylo po delším čase - jednou jsem to restartoval já ráno - to viselo vypnutí celou noc a jednou manželka. To zase nešel vypnout celé dopoledne (vypínal jsem ho když jsem šel ráno do práce)