ZFS storage - zhodnocení po 5 letech

Před 5 lety jsem vydal tento článek: ZFS : Stavba a zkušenosti se ZFS storage (2). Dělal jsem návrh svého druhého ZFS storage, kde jsem oproti prvnímu zvýšil HA (zdvojil SLOG,zdvojil řadiče, nahodil multipath / přešel ze SATA na SAS apod.)

Po víc, jak pěti letech provozu, je počet vyreklamovaných disků 0, počet závad téměř nula. Tím téměř myslím to, že po pěti letech provozu zahaprovalo spojení mezi řadičem a jbodem. Díky multipath a druhému řadiči se nic nestalo. V takto porušeném režimu pole běželo dlouho, protože jsem se ne a ne dostat k nějaké odstávce. Nakonec tu odstávku za mně udělali dělníci, kdy kolega vše zaplachtoval až příliš důkladně a jbod vyhodnotil, že nemá dostatečné flow a vypnul se.

Po tomto incidentu trvalo naběhnutí pole asi 50 minut. Celé to vázlo na importu poolu. Údajně běžná věc při takovém objemu a zaplnění, které v tu chvíli mělo (asi 90% zaplněné kapacity). Po naběhnutí komunikace obou řadičů ok. Tuto neplánovanou odstávku jsem spojil i s updatem OS (TrueNAS, minor update), takže mám zase na nějakou dobu klid. Jinak následně se spustil scrub na opravu, který má takovouto stats:

Neplánované použití

Původně jsem chtěl pole jen na zálohy. Ve finále na něm skončily nějaké VM, a to jak provozované v rámci vmware (různé obnovy testů apod.), tak VM spuštěné přímo na poli. Usoudil jsem, že bude lepší mít backupovací VM přímo na storage, odstíněné od zálohované infrastruktury.

Z toho důvodu jsem TrueNAS nemigroval na Linux, ale nechal jsem na něm dožívat verzi postavenou na FreeBSD, která je stále podporována a dlouho ještě bude. Ono totiž migrace z bhyve na KVM není podporována a nechtěl jsem tím zabíjet čas. Vize byla, že to překopu na Linux s nákupem/stavěním nového storage.

No a musím říci, že jak zaplnění pole rostlo, občas peaky k 90% a více, tak při takovém zaplnění, nebo nějakém druhu zatížení, začaly ty VM zlobit. A to tak, že backupovací Linux VM občas hodila nějaký mountpoint do RO a windowsí mašině spadla backup služba veeamu a nešla nahodit (jen restart to vyřešil). To byl jediný problém, co jsem tedy měl a trochu jsem to přisuzoval bhyve.

Nějaké statistiky

Intel Optane, kámo bro kámo, epesní výkon!!! Slzy nemohu udržet a deprese, čím to nahradím u dalšího pole. Jako, mám jeden spare Optane, co jsem nevyužil a mám sto chutí použít u nového pole ten nový optane a k tomu ten jeden starý (druhý starý bych nechal v současném poli)

Průměrně mají WD SAS disky takovýto smart (tj. na 6TB disk zapsáno 241TB dat, ty dva nepodstatné errory nejsou běžné)

Nesouvisející vsuvka

Když už jsme u počtu zápisů/přepisů, tak v práci se mnou už přes několik PC putoval stařičký sata CT250MX500SSD1 (250GB Crucial MX500), který má aktuálně Total_LBAs_Written = 223291978668, což je přeloženo do člověčiny cca 104TiB dat, což je 425 přepisů. Celý smart vypadá takto:

Jinými slovy, pokud sáhnu do historie v podobě tohoto článku: Kdo nemá SSD disk je masochista a srab, tak SSD plní své úlohy maximálně dle očekávání. Nutno říci, že mluvím o normálních SSD, né o nějakých "32bitových šmejďárnách". Nehrozí tedy ani poničení "běžným používáním" nastíněném zde: SSD a zničení běžným používáním? Možná to jde...

Závěr

Pole bylo/je určeno na zálohy, odvedlo ale větší zátěž a větší IOPS díky provozu nějakých VM, někdy i dost náročných na IOPS. Další pole už nebudu skládat z 6TB disků, ale vypadá to na nějaké z 12TB disků, nebo větších (poměr / cena / výkon apod.). A zvednu to na nějakých 0,5PB použitelnou kapacitu (tj. se zaplněním max 80%) s možností to natáhnout na 1PB.

Také už pomalu začínám navrhovat a sizovat CEPH, ale ty šílený ceny do toho hážou vidle, takže těžko říci, zda to bude projekt na letos, nebo spíše až na příští rok :-/.

Komentáře

ttttsssssss aprííl nas nenachytaš :P :P :D ;D

ty šílený ceny do toho hážou vidle, takže těžko říci, zda to bude projekt na letos, nebo spíše až na příští rok

lidi to hele viděj temějc :D ten članek je dystopickej možná až moc ale věřim že kdo chce čekat si asi jako bude muset nakonec počkat klidně i dýl než jen jeden rok :D

tlustej pirát profrcal stamiliony za uplný hovadiny🫃, tlustá pirátka šíří antisemitcký bludy🐖

dnes 03:08 Max | skóre: 72 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: ZFS storage - zhodnocení po 5 letech

Však já to vím, že je to v řiti. Aspoň jsme za včasu koupili pár serverů (každý s 2TB ram) pro SAP těsně před tím, než to šlo nahoru. V dnešní době jsou všechny cen nabídky od vendorů stažený na max 10 dní. Poptali jsme SSD storage a přišla nabídka za 10 mega s tím, že to 3x stouplo za poslední tři měsíce. Za 14 dní už říkali, že to prodají za 12 mega a teď už to bude tak za 14 mega. Takže zpátky do minulosti k rotačákům a hybridním polím, no :-/.
Jinak teď kupujeme dva servery, za asi 1,5 mega. Z toho mego je za ramky.
Zdar Max

Měl jsem sen ... :(