Dotaz: SMR disk v RAIDu

[sysel]

Mám v domácím serveru dva 4 TB disky jako RAID1 pomocí btrfs. Jedná se o WD Red ještě s poctivým CMR zápisem. Chtěl bych přidat třetí. Jenže ty potvory dělají nové disky akorát se SMR zápisem. Což o to, na skladiště dat typu fotky a videa by to nevadilo, ale co až to bude potřeba jednou přebalancovat? To se z toho já i ten disk asi po****. Má s tím někdo zkušenosti, jak se to chová? Jinak koukal jsem že existují i WD Red Pro co by SMR mít neměly, ale já zase nepotřebuju disk co má 7200 otáček a o to pak víc topí, hučí a žere. Ale možná nebudu mít na zbyt.

Odpovědi

[PetebLazar]

Že by se někde v koutě nějakého skladu nenašel ještě jeden 4TB WD Red s 64MB cache?

4.cz/product/199732/WD_Red_4TB_3_5_WD40EFRX_.html?gclid=EAIaIQobChMItOXE85rp6gIVA7TtCh1MNgT3EAYYCSABEgIpl_D_BwE

https://www.mironet.cz/wd-red-4tb-interni-disk-35quot-intellipower-64mb-cache-sata-iii+dp195311/

[k3dAR]

WD po te afere zacal uvadet zda jde o SMR, tady u WD Red maj 4TB bez SMR uvedene a dostupne WD40EFRX...

[PetebLazar]

Pozor, Heureka vrací mix SMR a CMR modelů (ve zvoleném obchodě je třeba vybrat/ověřit dostupnost právě WD40EFRX s 64MB cache což by měl být ten původní model bez šindelového záznamu).

[k3dAR]

toho sem si nevsim, takze tech obchodu co to maji uz moc neni, aspon ze ten tebou zminovanej Mironet ma EFRX :)
btw: jeste me zarazilo ze na tom linku k WD co sem daval, jsou CMR >=8GB EFAX ktere je pritom znaceni modelu s SMR u velikosti 2-6TB

[PetebLazar]

Ten model EFRX asi již výrobce prodejcům nedodává(nevyrábi?), takže jde asi opravdu o zbytky. Kupodivu Alza jich (pokud jsou údaje v e-shopu správné) pár také má.

V tom je asi ta čuňárna, že pro HDD stejného označení řada WD Red a modelu EFAX jsou použity vlastnostmi dvě odlišné technologie (SMR/CMR) bez toho, že by to výrobce jasně deklaroval. Asi by bylo vše OK, kdyby modely se SMR pojmenovali WD Brown což podle těch co to navrhovali přesně odpovídalo jejich vlastnostem. https://blog.westerndigital.com/wd-red-nas-drives/

Založením řady WD Red Plus snad chtějí ty CMR vyčleněnit což mi přijde také jako marketingový krok (původně non-SMR řada WD Red zůstane částečně/zcela SMR), pokud tak měli ty SMR modely vyčlenit do vlastní řady WD Red Minus.

[trekker.dk]

Někdo to zkoušel (nějaký článek určitě najdete na webu) a resilvering ZFS na SMR disku trvá 11 dní. Hádám, že podobně špatně to bude fungovat i u btrfs.

[Heron]

Rozhodně nedoporučuju. Pro COW FS je SMR naprosto nevhodný podklad a bude i za běžného provozu nutnost přeskládání zón. O rebalance se ani netřeba bavit. Teoreticky by tomu mohl pomoct parametr ssd_spread, kdyby se to trefilo do různých zón, což nelze garantovat.

Pokud není nutné použít WD, tak Seagate má ještě docela výběr CMR disků. Pro tohle použití IronWolf.

[PetebLazar]

Jak si stoji Seagate Exos 7E8 vůči Ironwolf Pro (pro osazení 6-8 HDDs pro mdadm/ZFS dle use case)? V současnosti vychází ten Exos ve 4(6)TB výrazně levněji než IWP.

[Max]

Docela levný disk / alternativa pro WD RE4/Gold/Ultrastar HC310 je Toschiba MG04.
WD Red je šmejd (= přebarvený WD Green), WD Red Pro je trochu lepší šmejd. Ta Toshiba je kvalitou jako Ultrastar HC310, ale cenou poněkud nižší. Záruka 5 let. Pokud bych měl tedy uvažovat nad něčím rozumným, tak bych asi šel do té Toshiby (jinak pár ks. mám nasazených v práci v ZFS storage a teď jsem koupil dva ks i na privát jednomu známému).
Zdar Max

[PetebLazar]

Cílem je saturovat 10Gbps síť v sekvenčním čtení/zápisu, takže bych rád využil HDDs s rychlostmi spíše vyššími. Teoreticky 6 HDD a'(220-250MB/s) by to snad aspoň na vnějších cylindrech mohlo atakovat. U MG04 to vypadá spíš na 205MB/s+. S případnou redundancí 2 HDD u RAID6/Z2 by se pool/pole mělo vejít na 8 SATA portů.

U těch starších modelů HDD mám obecně obavu o jejich dostupnost při případném dokupování. Na druhou stranu ta cena je lákavá. Jde o HDD deklarovaný jako enterprise, jak je na tom s TLER/ERC/... a jsou vhodné pro vícediskové osazení (vibrace)?

[Max]

WD = TLER (Time-Limited Error Recovery)
Seagate = ERC (Error Recovery Control)
Samsung + Hitashi = CCTL (Command Completion Time Limit)

Nevím, jak tomu říká Toshiba, ale fci lze zjistit pomocí smartctl a ta Toshiba to má:

# WD WD4000FYYZ-01UL1B2
root@storage:~ # smartctl -l scterc /dev/da10
smartctl 7.0 2018-12-30 r4883 [FreeBSD 11.3-RELEASE-p11 amd64] (local build)
Copyright (C) 2002-18, Bruce Allen, Christian Franke, www.smartmontools.org

SCT Error Recovery Control set to:
           Read:     70 (7.0 seconds)
          Write:     70 (7.0 seconds)


# TOSHIBA MG04ACA400E
root@storage:~ # smartctl -l scterc /dev/da19
smartctl 7.0 2018-12-30 r4883 [FreeBSD 11.3-RELEASE-p11 amd64] (local build)
Copyright (C) 2002-18, Bruce Allen, Christian Franke, www.smartmontools.org

SCT Error Recovery Control set to:
           Read:     70 (7.0 seconds)
          Write:     70 (7.0 seconds)

Pokud jde o saturování 10Gbit, tak nevím, takto bych to asi nikdy nepočítal. Po nějaké době provozu ti do toho stejně vleze fragmentace, nebo nutnost dělat dvě věci najednou a ubiješ to na iops. Navíc pokud použiješ CoW FS, tak počítej s dalším performance impactem. Se podívej na Heronův blog, jakých výkonů dosáhl s 6x HDD ZFS VDEV / aka RAID10.
Jinými slovy, od 6 disků se ZFS nečekej nějaké heroické výkony.

Jinak ta Toshiba je hlučnější, možná má i vyšší vybrace. Do serveru je to ovšem jedno (skříně jsou dost tuhý a hluk nevadí).
Zdar Max

[PetebLazar]

SCT Error Recovery Control set to: Read: 80 (8.0 seconds) Write: 80 (8.0 seconds)

To pro RAID asi není dobře, to je chování pro desktop nasazení (ale možná jde timeout zrušit jako u Seagate HDD), pokud až po max. 8 sec HDD konečně vzdá "dopočet dat" a s chybou jako výsledkem se teprve dostanou ke slovu vyšší vrstvy redundance (RAID/Z2). U HDD s RAID oriented firmware by k žádným pokusům o rekonstrukci dat nemělo dojít, disk by to měl okažitě vzdát s chybou (v opačném případě může dojít k zámrzu storage). Jen tak jde garantovat průchodnost IO, proti například situaci kdy na jednom z disků se poškodí větší část magnetického povrchu a v sekvenčním čtení z této oblasti se HDD o každý z postižených x000 sektorů pokouší s timeoutem až 8sec.

Po nějaké době provozu ti do toho stejně vleze fragmentace, nebo nutnost dělat dvě věci najednou a ubiješ to na iops.

Jde o storage objemných B-RAW souborů (pořízený materiál z kamery) a případně uložení renderu z NLE v max. lossless formátu pro následný ext. encoding do cílových formátů (tj. typicky sekvenčně zapsané/čtené soubory).

[Max]

Pardon, ten výpis byl špatně, opravil jsem to. Default je 7s. Jen nevím, zda je to fakt default, nebo zda to tak nastavuje FreeNAS.
Každopádně někdo doporučuje 2-3s. Zatím jsem s těmi 7s neměl problém, a to ani v případě, kdy jsem měnil fakt hodně špatný disk, na který šel i tak zápis.
Zdar Max

[Max]

Jo, jinak dřív jsem nad tím moc nepřemýšlel, vždy to bylo zapnutý by default, ale teď koukám, že některé disky to by default zapnutý nemají, třeba HGS (Ultrastar HC310). Takže si to na některých zbylých diskách zapnu. Řeší se to tady : Checking for TLER, ERC, etc. support on a drive.
Kurnik, taková hloupost, je vidět, že se vždy nějaká muška najde :-/.
Zdar Max

[PetebLazar]

Některé RAID řadiče (myslím, že podobně postupovaly i některé NASy co připouštěly osazení "desktop-ready" HDD) se s takovou situací patrně uměly vypořádat a v případě, že vrácení dat trvalo neúměrně dlouho tento HDD označily jako nefunkční a s dalšími požadavky se na něj již neobracely. Na toto chování se myslím nelze spoléhat u SW-based storage při využití systémových SATA či HBA řadiče. Tam musí být HDD správně chybný, aby při opakovaném selhání nedocházelo k neuměrnému timeoutu (nevzpomínám si zda mdadm má nějakou automatickou policy pro vyřazení takového memberu). Možnost zrušit předem timeout je asi dostatečnou alernativou, pokud nejde o systémový volume a k vícečetnému timeoutu dojde ještě před samotným zrušením timeoutu.

Už je to přes čtvrt století kdy jsem spravoval svůj první "RAID" (mirror) na Novell Netware 3.11, který jestli si vzpomínám správně měl v rámci mirror struktury několik % z kapacity vyhrazenu tzv. HotFix area, do které realokoval na úrovni mirroru obsah v místě chybných sektorů, takže zajistil po chybě okamžitě redundanci na stávajících HDD. Přemýšlím zda v roce 1993 vůbec měly (v tomto případě SCSI HDD) již automatickou interní realokaci chybných sektorů. Každopádně Netware zajistil, že validní (čitelná) hodnota z druhého člena byla opět dostupná na obou členech (na jiném části HDD). V té tobě možné ještě Verify bylo opravdu znamenalo verify a bylo možné ověřovat úspěšnost samotného zápisu.

[PetebLazar]

Tápu mezi zacílením řad WDC Gold Enterprise-Class a WDC Ultrastar DC HC300. U toho Gold explicitně zmiňují ochranu proti vibracím. To by asi mohlo evokovat lepší připravenost pro multi-bay osazení.

Trochu mne děsí non-volatile cache na bázi flash zmíněná u WDC DC HC300. Explicitně zmiňují zlepšení výkonu zápisu, ne účel ochrany dat (dejme tomu při výpadku napájení uložení z RAM do flash a po obnově následné dodatečné zapsání HDD již potvrzených dat). https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/data-center-drives/ultrastar-dc-hc300-series/data-sheet-ultrastar-dc-hc310.pdf

Finally, the addition of flash-based non-volatile cache (NVC) on both SATA and SAS models helps improve write performance.

U WDC Gold Enterprise-Class ji nezmiňují. https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/internal-drives/wd-gold/product-brief-wd-gold-2579-810192.pdf

To nemusí nic znamenat, garance pěti let a deklarované max. roční zatížení až 550TB je snad shodné pro obě řady. Zvláštní, stejné TBW/y pro celou řadu bez rozdílu jejich kapacity? To zavání omezení ze strany řídící elektroniky. Jak u WDC HC tak i WDC Gold. To by u zastánců konspirativních teorií mohlo u obou vzbuzovat dojem přítomnosti flash ku-vitka, které pokud přes něj projdou všechny zápisy (tj. 550TBx5let >2750TBW, při logické velikosti cache 256MB bude muset být flash fyzicky výrazně větší i u SLC by šlo o enormní opotřebení množstvím přepisů) by se mohlo ukázati Achilovou patou. Jeden se snaží utéct od SSD k HDD, kde očekává především otáčení ploten a vystavování hlav a ona flash.

[trekker.dk]

U WDC Gold Enterprise-Class...

Ten jsem si nedávno koupil. Hledal jsem normální disk do RAIDu v desktopu (tj. požadavek 7200 otáček a žádné SMR), nenašel jsem nic jiného, než enterprise disk do datacentra. :-/

[PetebLazar]

Tak to vypadá, že tu non-volatile cache mají asi i ty Exos 7E8.

Advanced Write Caching (Internal NOR flash)

https://www.seagate.com/enterprise-storage/exos-drives/exos-e-drives/exos-7e8/