Dotaz: RAID(Z) a kombinace disků

[Michal2]

Plánuji vytvořit pool s velikosti ~22 TiB reálně použitelné kapacity. Používám kalkulačku
https://wintelguy.com/zfs-calc.pl
protože v případě RAIDZ je dost netriviální úkol to spočítat. Na rychlosti nezáleží.

Použiji běžné consumer disky (WD RED, seagate ironwolf). Vychází mi z toho následující kombinace:

1) 3 * 14TB RAIDZ -> 24.5 TiB, cena 40.5k
2) 4 * 10TB RAIDZ -> 25.5 TiB, cena 35k
3) 5 * 10TB RAIDZ2 -> 25.9 TiB, cena 44k
4) 6 * 8TB RAIDZ2 -> 28.1 TiB, cena 40.1k

Cenově vychází nejlépe 2. Otázka je - jak velký průšvih jsou 4 tak velké disky v RAID5 pokud se budou pravidelně scrubovat a SMART testovat? Jakou byste volili kombinaci vy?

Odpovědi

[romanch]

Jestli je to do opravdového Serveru, tak bych bych volil cca 7x-8x 6TB SAS v RAIDZ1 nebo RAIDZ2 (třeba HGST SAS - cca 35k) Používám ZFS na cca 6ti Clusterech tj. 20serverů a od WD SATA (Red i Black) jsem utekl po přetrvávajících chybách v několika verzích HDD. JPP - údajně od nějaké kapacity HDD (počtu ploten) je rotační člen uložen jen dole v jednom ložisku a to je "riziko". Jinak moje zkušenosti - všude HP DL380,360,350 G7,G8 i G9 a SATA/SAS RAID řadiče nastavené na JBOD mód, všude HGST SAS a najednou je klid, ale může to být "šum" :))

PS: vlastně v jedné G7 mám 6x SATA v HW raidu a funguje to 5 let - teď babo raď :)

R.

Pozdrav našeho ředitele : "Práci čest, soudruzi IT" :)

[bigBRAMBOR]

no a HGST uz nám pomalu mizí, nové disky co objednáme jako HGST uz chodí značené jako WD.

[dustin]

WD Red je pomalý 5400 rpm. Mám dobré zkušenosti s Toshibami (nevím, zda to opravdu vyrábí).

V SW polích máme jenom saty a běží OK. ZFS si s nimi rozumí v pohodě. "Rychlá" data jsou na SSD, storage na satách. Spíš máme v serverech co nejvíce paměti na buffery, ta je dnes levná.

[Michal2]

Je to server s LSI SAS 9207-8i dvěma osmijádry a 256GB paměti. Ale je jen jeden. Musím být schopen v případě potřeby ty disky vyndat a nacpat do prvního lepšího desktopu a co nejrychleji zprovoznit (systém je na USB flešce, přenadám disky, přendám flešku a za 30 minut jedu, otestováno). Takže bych raději se SAS neSASkoval.

[dustin]

Jasně, dělám to taky tak. Pokud bys neměl volné SATA porty, můžeš přehodit i ten řadič. Pokud by byl onboard, osmiportová nová PCI-e karta z ebaye stojí <2k, možná je dobré ji mít i s kabely SFF8087 -> 4xSATA ve skladu. Dáváme je do HP serverů, ve kterých chceme JBOD disky na mdraid/zfs vedle/místo interního raidového HP SmartArray.

[Sten]

Na takhle velká disková pole bych spíš doporučoval dvě parity, WD Red má URE <10 in 10¹⁵ (tedy desítky TB), což je IMO nepříjemně blízko jejich kapacitě, při rebuildu takového pole je tak docela velká pravděpodobnost URE a bez další parity nemá ZFS jak to opravit.

[Michal2]

To URE nevím jak je určené... Mám 8x 3TB WD RED (URE 10^14 !) v dost zaplněném RAIDZ2 už pět let. Scrub tam běží každý měsíc a také se z toho hodně čte. Statisticky jsem měl zaznamenat přes stovku URE a... nic. A silent data corruption také nic.

Ví někdo jak se vlastně URE v takovém případě reálně projeví? Selže celé pole nebo bude curruptnutý jeden soubor?

[Michal2]

Delam research a zatim to vypada, ze URE behem resilveru nezpusobi automaticky ze bych prisel o cely pool, mel bych prijit jen o 1 soubor (pripadne v nekolika snapshotech) pokud nemam deduplikaci.

Pravdepodobnost, ze se trefim do metadat je jednak mala a druhak metadata maji 2 kopie (nad ramec redundance vdevu).

[Peter Golis]

Pokiaľ máš RAID-Z, tak sa ti hádam tie stratené dáta dopočítajú a zapíšu niekam inam, a neprídeš o nič. Okrem teda zníženej kapacity disku.

[Sten]

Objeví se ve statistikách toho poolu chyba čtení. RAID-Z to automaticky opraví.

[Max]

Já nemám důvěru v nic, co má víc jak 4TB. Proto pokud bych si měl vybrat z těch 4 možností, bych šel do té čtvrté, kde je nejvíce disků a dobrá redundance.
Zdar Max

[j]

To zjevne nejsi sam, protoze vetsina vyrobcu serveru a poli ti nic vetsiho nedoda, zjevne k tomu maji dost dobrych duvodu.

Navic vic disku === vic IOps.

[Michal2]

Clovek se nic nedozvi dokud si to sam nevyzkousi, ze.
1) Vytvoril jsem 5 kusu souboru s velikosti 1 GiB
2) Vytvoril jsem z nich loop devices
3) vytvoril jsem raidz z prvnich 4
4) nakopiroval jsem tam vsechna AC-DC alba (protoze tyy jsou na test nejlepsejsi). udelal jsem snapshot. neco jsem promazal, neco prikopiroval atd. udelal jsem md5 checksumy vsech souboru
5) exportnul jsem pool
6) znicil jsem ctvrty loop
7) udelal jsem na nahodna mista na prvnim loopu 5 kusu 4kb corrupty z /dev/urandom
8) flushnul jsem cache
9) importnul jsem pool. ten se normalne pripojil RW akorat status fluchtil, ze je degraded
10) udelal jsem zpool replace za novy (paty) loop
11)

 pool: test
 state: DEGRADED
status: One or more devices has experienced an error resulting in data
	corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
	entire pool from backup.
   see: http://zfsonlinux.org/msg/ZFS-8000-8A
  scan: resilvered 862M in 0h0m with 5 errors on Tue Mar  5 19:25:53 2019
config:

	NAME                        STATE     READ WRITE CKSUM
	test                        DEGRADED     0     0     5
	  raidz1-0                  DEGRADED     0     0    10
	    loop25                  DEGRADED     0     0     0  too many errors
	    loop26                  DEGRADED     0     0     0  too many errors
	    loop6                   DEGRADED     0     0     0  too many errors
	    replacing-3             DEGRADED     0     0     0
	      12184721406757806631  UNAVAIL      0     0     0  was /dev/loop11/old
	      loop11                ONLINE       0     0     0

errors: Permanent errors have been detected in the following files:

        /test/2012.avi
        test@s1:/05 - Landslide.mp3
        test@s1:/04 - Morcheeba - Run Honey Run (Feat. Bradley).flac
        test@s1:/05 Muse - Sing for absolution.flac
        test@s1:/04 - Nervous shakedown.mp3

na cely ten 2012.avi se mi nechtelo koukat ale proscruboval jsem to a nenarazil jsem na zadny problem. behem prehravani Sing for Absolution to v polovine skoncilo nicmene to problemove misto se dalo preskocit. Samozrejme md5 u tech 5 souboru nesedel.

Soubory se nedaly pomoci cp zkopirovat, resp zkopirovala se jen cast do mista chyby, pak input output error. Predpokladam, ze kdybych byl ochoten vic si s tim vyhrat, tak nejakou variantou dd ty soubory s pominutim problemovych casti zkopiruju a fungovaly by

12) odstranil jsem snapshot
13) odstranil jsem problemove soubory
14) udelal jsem scrub
15) vysledkem je perfektne zdravy pool
Zaver necht si kazdy ucini sam podle uvazeni a podle dat, ktera tam ma.