Dotaz: Zpomalení HDD

[lertimir]

Nevíte co může způsobit obrovské zpomalení hardisku? Mám externí WD Element 5TB (2,5¨ verze, napájení z USB3) a v poslední době se zápis do něj neuvěřitelně zpomalil. Rychlost se pohybuje mezi 5 a 10 MB/s. Nejdříve jsem podezříval btrfs filesystem, ale pak jsem i zkusil přeformátovat na ext4 a rychlost je fakticky stejná. Přičemž zápis v pořádku proběhne a také veškeré smart hodnoty se tváří také v pořádku. Nenapadá někoho co s tím?

---

---

Odpovědi

[lertimir]

No a teď jsem ještě zkusil přímé

dd if=/dev/urandom of=/dev/sdb1 bs=4M count=500 status=progress      
2097152000 bytes (2.1 GB, 2.0 GiB) copied, 260 s, 8.1 MB/s 
500+0 records in
500+0 records out
2097152000 bytes (2.1 GB, 2.0 GiB) copied, 276.292 s, 7.6 MB/s

a

dd if=/dev/zero of=/dev/sdb1 bs=4M count=200 status=progress
838860800 bytes (839 MB, 800 MiB) copied, 61 s, 13.7 MB/s
200+0 records in
200+0 records out
838860800 bytes (839 MB, 800 MiB) copied, 66.3183 s, 12.6 MB/s

a to fakt není rychlost.

[Peter Golis]

Nebude to jeden z diskov so šindľovým zápisom?

[Olaf]

Můžeš to zkusit připojit k jinému počítači?

[GeorgeWH]

Pokial mas WDBU6Y0050BBK, tak tu sice nie je, ale je tam 2TB a 4TB verzia (WDBU6Y0020BBK, resp. WDBU6Y0040BBK) a oba su SMR, takze predpokladam, ze aj 5TB verzia bude SMR.

[lertimir]

Smart hlási WDC WD50NDZW-11A8JS1.

[k3dAR]

vzhledem k tomu ze uz asi minimalne pred rokem, WD 2.5" bez SMR melo maximalne 512GB, tak na 1000% u 5TB jde o SMR disk

[lertimir]

A co s tím? dá se to nějak restaurovat? Nebo je to zkusit reklamaci?

[xxxs]

ked sa nedohodnu slusne, mozes to skusit hrat na klamanie spotrebitela.

[Peter Golis]

Keby to bol disk so šindľovým zápisom ktorý nezatajuje skutočnú veľkosť bloku, zápisové šindľové zóny a veľkosť cache, tak by sa s tým dalo niečo robiť. Presnejšie, jadro by upravilo zápisy aby nedochádzalo ku takýmto spomaleniam alebo rovno ku zátuhom systému kvôli IO WAIT (či na čom mi to stálo keď som lpnil podobný 2T disk|.

Alternatívne sa dá spomaliť rýchlosť zápisu na cca 100MB alebo menej, a neprepisovať ho na doraz. Alebo to rovno reklamovať.

Tieto SMR disky sú v pohode ak na ne človek občas odsype trochu dát. Ale pri nahrávani viac ako desiatok GB na jednu šupu to už dosť škrípe. A škrípe to aj pri paralelných zápisoch.

[lertimir]

Možná jsem našel řešení. Provádím dd přímo na /dev/sdb tedy i bez partition table a zatím to jede cca 70 MB/s v prvních 35 GB. Takže možná se sekládají šindele. Dostal jsem se do té situace, pravděpodobně pro to, že jsem na disku spustil defragmentaci btrfs a i když tam bylo asi 8% volno, defragmentace vše spotřebovala (a asi trochu chybně jsem pustil defragmentaci přímo na celý file system a ne skriptem postupně po jednotlivých souborech jako to dělá třeba btrfsmaitenance) a vzhledem k tomu, že operaci dělá root, tak to byl skutečně HW limit.

(Předchozí odstavec jsem začal psát včera odpoledne. No bohužel po noci zápisu je i tento zápis na 10MB/s v oblasti 2,5TB - podle atop. Takže řešení to asi nebude.)

[Peter Golis]

Spustil by som na to vynulovanie s limitim rýchlosti (rýchlosť podľa uváženia):

dd if=/dev/zero bs=4K | pv --rate-limit 50M > /dev/SDX

A potom transfer údajov, tiež s limitom na rýchlosť.

To je tak. Tie SMR čo o sebe zatajujú dôležité údaje, sú vhodné len na občasné odloženie malého množstva dát. A musia mať niekoľko šindľových zón voľných, o ktorých disk mlčí. Inak človeku vypadajú zuby kým sa mu to nahrá.

[lertimir]

Protože jsem jel z chalupy do bytu tak jsem mazání vypnul a znovu zapnul v neděli večer. již to dojelo, celkově rychlost větší. Ne tolik propadů a celková rychlost dd byla 33MB/s. Ted jsem začal kopírovat data rsyncem a jedou cca 60MB/s tak uvidíme. Ano problém je že skutečné parametry disku se před OS schovávají. A absolutně to schovají USB interface lsblk -z mi všude píše none. Přičemž btrfs zony (naproti např ext4) umí a umí s nimi pracovat (od 5.12 jádra), ale disk nic neřekne.

[Peter Golis]

Ja mám v Asus PN62S a v ňom na priamo (bez USB prevodníku) SATA disk Seagate ST2000LM015 (2T), a tiež ma to nasr...

Teda nie SMR, ale že disk zatajuje tie zóny. A k tomu bonus, šachta na disk v tom Mini PC je len pre 7 mm. Nakoniec som to nahrával po dávkach bez paralelizácie, a potom som kontroloval checksumy keďže mi ten disk tuhol pri nahrávaní keď si sám na pozadí defragmentoval zóny.

Takže veľa zdaru a trpezlivosti. A na také hračky neodporúčam paralelný zápis, ten zabíja ajtak už dosť pomalé I/O.

[lertimir]

S paralelním zápisem souhlas. Už mě dojíždí rsync, rychlost vypadá přijatelná. Jednotlivé soubory jsou mezi 30-65MB/s uvidím celkový výsledek. Na tom disku je moje přenosná kolekce HiRes hudby (DSF a flac) a celkem asi 4,2TB tak to trvá dlouho.

No k tomu zatajování. Před 10 lety jsem psal do diskusí o SSD, že hlavní problém je, že SSD zamlčují, co se v nich děje. Že mají své "erase bloky" jejichž smazání trvá dlouho, uvnitř "erase bloku" se fakticky dá zapisovat jen sekvenčně a "write bloky" jsou větší než "read bloky" a nenapadlo mne, že podobná situace nastane i v HDD. Ta SMR zóna je fakticky obdobná jako erase blok v SSD a uvnitř ní je náhodný přístup jen na čtení a na psaní ji to jen sekvenční, takže uvnitř ní zápis jako by logovým způsobem. Výrobci to zakryjí a místo toho aby tuhle optimalizaci dělal OS a filesystem s vědomím této struktury, tak to honí bez znalosti dat ve firmware. Díky tomu problému jsem zjistil, že ani můj NVMe disk nereportuje systému zóny.

[Peter Golis]

Yep. A také krásne výsledky mali aj v ZFS už v roku 2014, a teraz škrt cez rozpočet. Keby tam dali "Cooperative Host/Drive Firmware", tak je svet krajší. Aj vlk by sa nažral, aj koza by ostala zahalená.

[lertimir]

Tak dokopírováno. výsledek z rsync

sent 4.651.978.098.976 bytes  received 1.117.482 bytes  59.327.010,57 bytes/sec

Takže mohl bych s omezenou platností jednoho pokusu říci, že přepsání celého disku nulami restauruje problém se zonami.

[k3dAR]

takze me ocekavani naplneno

[k3dAR]

nezkoumal sem nijak technickou stranku SMR, ale obecne SMR proste nahraje data do nejake (rychlejsi) casti z ktere to pak uklizi na cilovou(pomalou) cast, cim vic dat nahravas, tim dele trva uklid a tim dele se pri dalsim "zapisu" nedostanes zpet na normalni rychlost...

pred casem byla afera ze WD delal SMR i u NAS disku a neinformoval o tom, pak musel info o vsech HDD zverejnit a myslim ze i prodejci to zacli psat do popisku, ale u externich disku asi ne kdyz ani nepisou co je v tom za model disku...

dalsi vec je ze bych cekal ze po zapsani tim dd nul na celej disk, FW pochopi ze neni uz co zpetne uklizet a mel by se hned probrat, takze je sance ze neni problem s SMR ale vadnej disk (teda predpokladam ze jsi to zkusil strcit do jineho usb portu a i do jineho stroje)

[k3dAR]

jo ted koukam ze si disk neprepsal nulama celej ale jen kousek, zkus celej

[Michal]

Proveril jsi, ze je v poradku USB?

[Peter Golis]

Že by neskontroloval chyby pre USB v dmesg? Neverím.