Dotaz: Jaký FS na disk s vadnými sektory

[MM]

Ahoj,

jaký filesystem doporučujete na externí disk s vadnými sektory? Šlo by na tom disku udělat něco jako raid, aby se to tam samo 2x, klidně i 3x nahrávalo a v případě problémů se to přečetlo z funkční oblasti (a ideáně moc to nezdržovalo při problémech čtení)?

Chtěl bych tam nahrávat věci, co jdou stáhnout i z internetu, ale chtěl bych je mít lokálně a nechci je stahovat znovu a znovu a je mi líto vyhodit disk, který ještě docela funguje...

---

---

Odpovědi

[eagle.metawerzum]

Odpověď je jasná.. Žádný, disku který už má vadných sektorů tolik, že nejdou realokovat nejde věřit.

[Petr Tomášek]

vadných sektorů tolik, že nejdou realokovat nejde věřit.

Dotaz zněl jinak.

[marbu]

No, teoreticky bys mohl na ten disk zkusit hodit btrfs s dup profilem pro data, splňovalo by to první podmínku: data bude btrfs ukládat dvakrát, a když je z první kopie později nepřečne, zkusí druhou, pokud ale budou oboje kopie kaput, tak btrfs vrátí hned chybu a data z toho už nedostaneš. Nejsem si ale jistý, že se dá říct, že to nebude zdržovat (záleží na stavu a typu toho disku).

Ale prakticky je to imho používat takový disk špatný nápad, ale pokud si chceš hrát s daty co si můžeš dovolit ztratit, tak je tohle jedna možnost jak o ně přijít a něco zajímavého se při tom naučit :)

Dup mód pro data se aktuvuje přes: mkfs.btrfs -d dup. Viz btrfs glossary:

DUP: A form of "RAID" which stores two copies of each piece of data on the same device. This is similar to RAID-1, and protects against block-level errors on the device, but does not provide any guarantees if the device fails.

a DUP_PROFILES_ON_A_SINGLE_DEVICE z man page pro mkfs.btrfs.

[MM]

Díky, vyzkouším

[marbu]

Ale počítej s tím, že o ty data takto dřív nebo pozďeji příjdeš. Důvod proč brtfs dup pro data implementuje není aby se dal používat na vadném disku, ale abys o data pokud možno nepřišel, když disk takto začne selhávat.

Další věc, co je dobré si uvědomit je, že moderní disky dneska mají v sobě složitou logiku, která řeší mimo jiné správu vadných bloků a nějakou formu kontrolních součtů. Takže jak už tady někdo píše, pokud jako admin zpozoruješ vadné bloky, znamená to, že to ani disk už nedokáže sám řešit, a to je jasný signál k jeho výměně.

[Petr Tomášek]

Tady je zase někdo hodně chytrý, aniž by znal konkrétní use-case tazatele.

Třeba mu vůbec nevadí, pokud by o ta data přišel (třeba proto, že jsou r/o a má jich mnoho kopií a neřeší, jak moc jsou konzistetní), co kurňa víte?

[k3dAR]

vime to ze v dnesni dobe se snazit pouzivat naborenej HDD pro jakejkoliv ucel je silenost kdyz...

[salam]

Tak to je dobrej vejšplecht. Tady je někdo hodně blbý.

[Peter Golis]

To mi pripomína legendárny raid-2 známy z optických médií. Dáta sa zapisovali 2x, a druhá kópia sa zapísala o kúsok ďalej pod iným uhlom. Tým sa zabezpečila solídna odolnosť voči škrabancom.

Naozaj je to ono, alebo len niekto znovu vynašiel koleso (aj s automatickou kontrolou a úpravou geometrie)?

[Fuzo]

Jedině pětikilové kladivo. Jenom nezodpovědný člověk může vadný disk i nadále používat. Hlavně při dnešní ceně disků.

[Petr Tomášek]

Tak i vadný disk se dá k něčemu ještě využít. Mám tu 3 TB disk s 500 vadnými sektory, a občas jsem ho používal jako dočasné překladiště na nezkomprimované video (mezi renderem a komprimací). Využiju tu kapacitu, jiný bych musel koupit, a když se to pokazí, tak o nic nejde.

[Michal Kubeček]

To asi záleží na tom, jak dlouho se to renderuje a konvertuje. :-)

[Aleš Kapica]

Tohle může označit za správné řešení fakt jenom Petr Tomášek.

Tohle je totiž ta nejspolehlivější cesta jak si zavléct mezi zdravá data poškozený soubor, který na první pohled vypadá ok, ale pak se hrozně divíte, že to nejde přehrát, nebo rozbalit.

[Peter Golis]

Ak mu nesedí vizuálna kontrola, tak predsa môže danú úlohu zopakovať. A FS by si mal predsa pridať ďalší sektor do zoznamu badblocks aj sám, keďže disk by mu snáď mohol nahlásiť chybu čítania alebo zápisu. Ak je teda pravda, že silent data corruption neexistuje.

[Aleš Kapica]

Ak mu nesedí vizuálna kontrola, tak predsa môže danú úlohu zopakovať.

Kristepane, ty máš čas vizuálně kontrolovat každou kravinu?!

Tohle jsou chyby, které nevznikají ihned při kopírování, ale časem. Proto se to taky jmenuje "silent data corruption" což do důsledku přeloženo znamená škodolibé "v tichosti ti data poseru".

Ty tam navalíš data v domnění že bude všechno ok. A pak se divíš jak vyoraná myš. Podobná věc se stala kolegovi zrovna v pátek, kdy si kolega uložil na 1TB disk s ext4 image pro klonování Windows. Nejdřív myslel, že je blbě něco s vytvořením oddílů, než nás napadlo aby to zkusil ověřit kontrolním součtem.

[Peter Golis]

Pokia1 on tie svoje filmy strihá a renderuje, tak je logické že si pozrie výsledok. Ak si ty nekontroluješ po sebe tvoju robotu, tak to vyznieva ako zo štátnej sféry.

[magor]

Všechna čest, ale kolega asi neukládal něco na čem mu tak nezáleží a v tom je rozdíl. Všechna čest, ale tazazatel se ptal jinak a co mu radíte (všichni) ví sám dobře i o tom mluví. Když něco souboru bude pozná taky sám, o tom riziku taky ví A PROTO SE PTÁ JAKÝ FS BUDE PROTI PODOBNÝM CHYBÁM VÍCE ODOLNÝ, JE JASNÉ, ŽE CHYBNÝ SOUBOR (ZVLÁŠTĚ VIDEO, OBRÁZEK, PDF A PODOBNÉ SLOŽITÉ) NEOPRAVÍ ALE NĚJAKÝ TEXT (TŘEBA PLAYLIST APOD) LZE REKONSTRUOVAT. JAK BUDE DLOUHO TRVAT NEŽ POCHOPÍ, ŽE BUDE LEPŠÍ SEHNAT SPOLEHLIVĚJŠÍ DISK, KAŽDÝ DĚLÁ CHYBY A VĚTŠINOU SE POUČÍ. Už dole jsem radil fat, nejvíce multiplatformní, nejvíce nástrojů k vytáhnutí ztracených souborů, žádná nechtěná autokontrola.

[Aleš Kapica]

Ta odpověď tady, a nejenom tady, už dávno padla – libovolný FS, který aktivně hlídá kontrolní součty.

[paul2no]

A proto jsem ten disk naformátoval jako btrfs.

[Aleš Kapica]

Lepší než drátem do oka, ale ani to není samospasitelné, protože Btrfs ti jenom do syslogu napíše co máš oželet. Kloudná data z toho už nevydoluješ.

[vandrovnik]

A to platí pro soubor jako celek, nebo jen pro poškozené sektory?

[Aleš Kapica]

Pro soubor jako celek.

[xxl]

Oct 30 12:56:06 test kernel: BTRFS warning (device dm-2): checksum error at logical 3152781312 on dev /dev/mapper/vg-test--btrfs--single, sector 8271312, root 5, inode 258, offset 2011406336, length 4096, links 1 (path: down/debian-9.5.0-amd64-DVD-1.iso)
Oct 30 12:56:06 test kernel: BTRFS error (device dm-2): bdev /dev/mapper/vg-test--btrfs--single errs: wr 0, rd 0, flush 0, corrupt 18, gen 0
Oct 30 12:56:06 test kernel: BTRFS error (device dm-2): unable to fixup (regular) error at logical 3152781312 on dev /dev/mapper/vg-test--btrfs--single
Oct 30 12:56:08 test kernel: BTRFS warning (device dm-2): checksum error at logical 3310731264 on dev /dev/mapper/vg-test--btrfs--single, sector 8579808, root 5, inode 258, offset 2114043904, length 4096, links 1 (path: down/debian-9.5.0-amd64-DVD-1.iso)
Oct 30 12:56:08 test kernel: BTRFS error (device dm-2): bdev /dev/mapper/vg-test--btrfs--single errs: wr 0, rd 0, flush 0, corrupt 19, gen 0
Oct 30 12:56:08 test kernel: BTRFS error (device dm-2): unable to fixup (regular) error at logical 3310731264 on dev /dev/mapper/vg-test--btrfs--single

[xxl]

Nohoře to bylo při scrubu.

Tohle je při čtení souboru:

+ cp /mnt/down/debian-9.5.0-amd64-DVD-1.iso .
cp: error reading '/mnt/down/debian-9.5.0-amd64-DVD-1.iso': Input/output error

Oct 30 13:24:19 test kernel: BTRFS warning (device dm-2): csum failed ino 258 off 26062848 csum 3267397387 expected csum 3302095631
Oct 30 13:24:19 test kernel: BTRFS warning (device dm-2): csum failed ino 258 off 26062848 csum 3267397387 expected csum 3302095631
Oct 30 13:24:19 test kernel: BTRFS warning (device dm-2): csum failed ino 258 off 26062848 csum 3267397387 expected csum 3302095631

[marbu]

Btrfs ti nedá data zasažených bloků (nejmenší jednotka z hlediska souborového systému, která bývá větší než diskový sektor), protože checkum se kontroluje při čtení každého bloku. Takže teoreticky můžeš zbytek souboru přečíst, ale prakticky většina programů, co pracují se soubory, to hned po takové chybě vzdají. Navíc výpadek jednoho bloku může prakticky znamenat ztrátu celého souboru.

[Peter Golis]

Čau,

Mohol by si po čase nejakého používania prezradiť štatistiky chybovosti "silent data corruption", pred tým ako ho od zlosti hodíš o zem?

[futurolog]

No ja by som na ten disk zapisal nuly, potom ho asi 3-4 krat formatoval a potom by som ho rozdelil disk na 4 rovnake particie, z dvoch by som vytvoril RAID0 a z tych dvoch RAID0 spojenych by som vytvoril RAID1 ale ono to bude uplne nahovno lebo ten disk ma vadne sektory...

[Nereknu]

Kolik má Giga ten disk?

[MM]

je to 500G

[Michal Kubeček]

a neni lepsi za ~1000Kc koupit novej externi 500GB, nebo ~1200Kc 1TB?

[k3dAR]

v nouzi za 500Kc ext 500GB jetej, ale bez vadnejch sektoru...

[Peter Golis]

Podľa povahy otázky sa jedná o disk určený na prácu s kópiami. Teda o zálohovanie internetu, prenosy takých dát a podobné bezcennosti. Na také niečo stačí vedieť čo zlyhalo a zopakovať prenos.

V tom prípade by som aj ja zrecykloval obnosený disk z poškodeniami, a za ušetrené peniaze by som si kúpil fidorku.

[Karel Nocar]

jj, fidorku, už jsem dlouho neměl. V minulosti bývala na stromečku.

[lertimir]

do 1K se dají pořídit dost zajímavé jeté disky 1, 2, 3, 4, 5, 6, 7, 8, 9.

[Chytrex]

+1

Šetřit se má na správném místě a tohle není ten případ.

[magor]

-1 nechopil jsi důvod ani později.

[vandrovnik]

A jsou ty vadné sektory roztroušené napříč celým diskem, nebo je vadná nějaká oblast? Protože jestli roztroušené, myslím si, že klasický raid s tím nebude dělat dobrotu - může se stát, že při natrefení vadného sektoru bude příslušna partition z raidu vyhozena, pak se totéž stane i s tou drouhou (a třetí apod.) a data budou nedostupná. Pokud jsou ale vadné sektory soustředěny v několika oblastech, šlo by udělat několik partition v těch zdravých částech.

[OldFrog {Ondra Nemecek}]

Kdysi dávno jsem tohle na disku s vadnou oblastí udělal, prostě jsem udělal kolem problémového místa (s dostatečnou rezervou) partition, tu jsem nechal nevyužitou a používal jen zbytek. Jenže to bylo v době, kdy disky ještě nelhaly o své geometrii, a dalo se věřit, že je to opravdu lokální problém média. Dnes už bych do něčeho takového nešel.

Koneckonců mke2fs má dodnes parametry -c a -l, ale to je věc, která pochází ještě z dřevních dob, kdy bylo údajně běžné, že ani nový disk nebyl úplně "čistý" a uživatel dostal seznam (z výroby) vadných bloků od výrobce. Ale to už i já znám jen z vyprávění.

[Petr Tomášek]

Nevymýšlel bych složitosti - podle mě je mkfs.ext4 -c a -l kanonické řešení. S raid bych to ani nekombinoval.

[marbu]

Akorát že to nebude moc dobře fungovat. Jak píše Michal Kubeček, tohle už v dnešní době nemá žádný význam, protože disk si ty sektory spravuje a realokuje sám. V ext4 je to stále podporované spíše historicky, v lvm nebo btrfs se zpracováním badblocks souboru už nikdo neobtěžoval.

Ze stejného důvodu s vámi souhlasím, že ten raid (tady) není dobrý nápad.

[Aleš Kapica]

Opět co jsem napsal už o kus výše: Tohle může označit za správné řešení fakt jenom Petr Tomášek.

Pokud vím, tak ext4 by default kontrolní součty pro datové bloky vůbec neřeší. A osobně jsem se už několikrát s tímhle FS spálil. Vědomě ho používám jen tam, kde jsem si jist že mi to nebude škodit – kupř. u virtuálních disků v raw formátu, kde by neustálé počítání kontrolních součtů degradovalo výkon. Tam se totiž stará o tyhle věci souborový systém ve virtuálu.

[Milan Uhrák]

Měl jsem v serveru 3x 1TB disk, na jednom z nich jsem při kontrole našel cca 13000 vadných sektorů. Kdy se tam objevili, nevím. Po výměně ležel chvíli jen tak na stole, pak jsem ho vrazil do svého PC a po asi třech letech používání na mezisklad zálohy pošty ze serveru má stále 13000 vadných sektorů a nestalo se mi, že by zápis nebo čtení zkolabovalo.

Jo a mimochodem, během výměny těch 1TB ( posupně všech třech disků ) za nové 2TB mi jeden nový umřel během noční synchronizace bez varování a jeden "zdravý" 1TB s 68000 nalítaných hodin během restartu. ). Vyměňoval jsem postupně disk po disku, synchronizace večer, kdy je provoz nulový.

Také bych nakřáplý disk na nic důležitého nepoužíval, ale občas zdání klame ..

[Andrej]

jaký filesystem doporučujete na externí disk s vadnými sektory?

To nemá smysl. Nestojí to za čas, úsilí, riziko. Disk s vadnými sektory bude mít i další problémy, například extrémně nízké přenosové rychlosti, několikasekundové výpadky při čtení atd.

Šlo by na tom disku udělat něco jako raid, aby se to tam samo 2x, klidně i 3x nahrávalo a v případě problémů se to přečetlo z funkční oblasti (a ideáně moc to nezdržovalo při problémech čtení)?

Samozřejmě. To něco se jmenuje Btrfs. Btrfs umí redundanci nejen na několika discích, ale i v rámci jednoho disku. Informace jsou v man mkfs.btrfs, konkrétně v kapitole dup profiles on a single device.

mkfs.btrfs -m dup -d dup ... /dev/sdɛ

Z té manuálové stránky bych ještě rád citoval: In any case, a device that starts to misbehave and repairs from the DUP copy should be replaced! DUP is not backup.

(a ideáně moc to nezdržovalo při problémech čtení)

Nesplnitelný požadavek. Dejme tomu, že jedna kopie nepůjde přečíst a zkusí se druhá. Jenže to, že blok nelze přečíst, disk třeba ohlásí až po pěti sekundách marných pokusů, místo aby za obvyklých 5 milisekund prostě přečetl blok. Nebo ten disk po dvou minutách čekání (nebo kolik to dnes implicitně je) resetuje kernel, protože marné pokusy můžou zablokovat celou NCQ frontu, včetně požadavků na bloky, které by se přečíst daly.

je mi líto vyhodit disk, který ještě docela funguje...

Disk buď funguje na sto procent, nebo stojí za hovno. Nakonec neexistuje nic cennějšího než data na disku. Nemá smysl ta data svěřovat něčemu, co selhává.

[Petr Tomášek]

je mi líto vyhodit disk, který ještě docela funguje...

Disk buď funguje na sto procent, nebo stojí za hovno. Nakonec neexistuje nic cennějšího než data na disku. Nemá smysl ta data svěřovat něčemu, co selhává.

Už na začátku psal, že tam chce stahovat téměř bezcenné data z webu. ... Já bych tam dal v tom případě fat pokud tam nemají být velké media.