Dotaz: LSI 9271-8i a ZFS

[maxlink]

Zdravím,

chci se poradit, mám zde řadič LSI 9271-8i na něm pověšeno 8 SAS disků 2TB, chci nad tím postavit ZFS , odděleně na 2x SSD pro samotný systém (Linux). Jaká bude vhodná konfigurace, nastavit pole na LSI řadiči a poslat to do ZFS jako jeden block device nebo je lepší udělat hromadu samostatných disků (LSI umí pouze RAID0, nevím jestli jde disk pouze připojit do systému aby se to LSI chovano jako obyčejný HDA, takže mám 16x RAID0 a nastaveno write-through) a ZFS si ty disky už samostatně úspořádat jak potřebuji tak aby nad nimi mělo ZFS kontrolu.

Co z toho je lepší přístup pro ZFS, raději bych disky přímo do ZFS, ale mám obavu, že to toho bude LSI kecat (je nutný update firmware aby to LSI umělo?)

Díky Max.

Odpovědi

[tup]

Pokud má fungovat ZFS self-healing, musí mít ZFS přístup ke každému disku. Žádný block device na úrovni HBA bych tedy rozhodně nevytvářel - mělo by jít nastavit, že každý disk je raid0, což efektivně celé raidování vypne.

Konkrétně s tímhle HBA zkušenosti nemám, LSI HBAcka ale se ZFS používáme a fungují dobře (v Solarisu).

[maxlink]

Díky, přesně v tomto duchu jsem to četl s tím, že LSI neumí JBOD tak se to obchází s RAID0, chtěl jsem se ještě přeptat místní komunity, potvrzuje to diskuze na serverfault co jsem četl dříve i když trochu se to tam taky tluče.

Jak je to pak s výměnou disků pokud selže? Dostáva ZFS informace o "stavu" disku, jakože v LSI si to nebude tutlat pro sebe? Výměna je pak odebrání disku ze ZFS poolu, fyzická výměna, znovu nastavení v LSI klikákátku nebo přes megacli a poté opět přidání do poolu, žadný hotswap asi nepůjde? Nebo?

Max

http://serverfault.com/questions/699035/zfs-error-behind-lsi-raidcontroller

http://serverfault.com/questions/335144/megaraid-jbod-substitute

[PanZvedavy]

Aby melo ZFS vubec smysl, je dulezite zajistit mu pristup primo k diskum. Davat ZFS na raid pole vytvorene raid-radicem je znamkou naprosteho nepochopeni konceptu ZFS.
Mensi zlo je vytvorit JBOD nebo Raid0, coz se obcas jako z nouze cnost(radic vyrobce nic jineho neumoznuje) doporucuje. Timto se ale vytvari dalsi mezivrstva mezi ZFS a disky. Cert vi co ten radic s konkretnim firmwarem bude delat s disky konkretiho vyrobce, ktere bezi na konkretnim firmware v pripade, ze zacne disk zlobit. Tech kombinaci je tolik, ze to nikdo nikdy nedokaze otestovat.

Pro stabilni nasazeni se doporucuji raid-karty, ktere bud maji funkcionalitu primo od vyrobce nebo je mozne je preflasovat do "IT" modu, kdy se karta v podstate zbavi veskere logiky raid-funkci a slouzi jen jako hub pro pripojeni disku(nadava se tomu "Straight pass through") a to je presne to co ZFS pro svuj korektni beh potrebuje. ZFS totiz predpoklada(by-design), ze pracuje primo s diskem. ZFS nevi a ani nemuze vedet, tudiz ho to nezajima, ze je na ceste jeste dalsi mezivrstva v podobe raidu nebo jbodu. Kdyz tedy dojde k problemu s diskem, tak ZFS se to snazi resit po vlastni ose a v momente, kdy se do toho jeste zacne srat firmware raid radice, tak je na pruser zadelano.

Co se poslednich par let doporucovalo je karta IBM ServeRAID M1015 postavena na cipu LSI SAS2008, ktery zvlada SAS-6.0gbps/SATA III, coz je plne dostacujici pro jakykoliv plotnovej disk, ktery se dnes vyrabi. Tato karta jde relativne snadno preflashovat do IT modu(provedl jsem to u 3 kusu a bez problemu) a stoji to par babek na ebay(80-100$). Nema aktivni chladic(je urcena do serveru, kde se predpoklada hafo vetraku a mistnost s 22 stupnama), takze pokud je to storage na doma, je potreba pocitat s dodatecnym chlazenim, aby se to neupeklo.

[maxlink]

Díky za reakci, je mi vcelku jasné, že ZFS miluje "obyčejný" HW a přímo přístup k němu je to pravé ořechové kvůli celkovému designu ZFS, mám přechozí zkušenosti.

Aktuálně jsem narazil na tento řadič v serveru, myslel jsem, že pouze nastavím "passthrough", ale ouha taková volba zde není v konfiguraci,, štve mě to, protože nevím jaká "metadata" si tam to LSI žvejká,  dle diskuzí na internetu to lidé řeší právě s RAID0, jinak M1015 znám, použival jsem.

Max

[Jendа]

Já dokonce potkal řadič, kde nastavení RAID0 o jednom disku znamenalo, že to opravdu zpřístupnilo ten disk přesně tak, jak byl. Třeba to ten tvůj taky umí.

[maxlink]

Možná, každopádně jsem na IRC dostal radu ať zkusím EnableJBOD příkaz z megacli toolu, záleží to na verzi firmware, ale udajně by to mělo umět i když ofiko podpora LSI tvrdí, že JBOD není podporován na žádnem MEGAraid HW, zkusíme uvidíme, když to neprojde tak zkusím samostatné RAID0. Max

[maxlink]

Příloha:

• abc-jbod-lsi-9271-8i-conf.png (12405 bytů)

Tak je to tam, JBOD nastaven, vsechny virtual device a RAID0 pole jsem zrusil, disky se zacali hlasit primo do linuxu, tak snad to bude takto OK.

Netusite nekdo jak je s nastavenim cache na write through pri JBOD, uz tam nelze nic nastavit jelikoz nastaveni cache se da udelat jen nad LD (v megacli) a zadne LD zarizeni uz nemam, takze tak nejak predpokladam, ze to cele bezi bez cache na radici a cache si uz bude resit ZFS.

Jdu ho tedy nainstalovat a udelat nejake testy. Diky Max

root@backuper:/root# lsblk -io KNAME,TYPE,SIZE,MODEL
KNAME TYPE    SIZE MODEL
sda   disk    1.8T ST2000NM0023    
sdb   disk    1.8T ST2000NM0023    
sdc   disk    1.8T ST2000NM0023    
sdd   disk    1.8T ST2000NM0023    
sde   disk    1.8T ST2000NM0023    
sdf   disk    1.8T ST2000NM0023    
sdg   disk    1.8T ST2000NM0023    
sdh   disk    1.8T ST2000NM0023

[   14.289603] megasas:IOC Init cmd success
[   14.313649] megasas: INIT adapter done
[   14.385677] megaraid_sas 0000:04:00.0: Controller type: MR,Memory size is: 1024MB
[   14.386032] scsi2 : LSI SAS based MegaRAID driver
[   14.387980] scsi 2:0:8:0: Direct-Access     SEAGATE  ST2000NM0023     0004 PQ: 0 ANSI: 6
[   14.389048] scsi 2:0:9:0: Direct-Access     SEAGATE  ST2000NM0023     0004 PQ: 0 ANSI: 6
[   14.390088] scsi 2:0:10:0: Direct-Access     SEAGATE  ST2000NM0023     0004 PQ: 0 ANSI: 6
[   14.391346] scsi 2:0:13:0: Direct-Access     SEAGATE  ST2000NM0023     0004 PQ: 0 ANSI: 6
[   14.392610] scsi 2:0:16:0: Direct-Access     SEAGATE  ST2000NM0023     0004 PQ: 0 ANSI: 6
[   14.393758] scsi 2:0:18:0: Direct-Access     SEAGATE  ST2000NM0023     0004 PQ: 0 ANSI: 6
[   14.394785] scsi 2:0:19:0: Direct-Access     SEAGATE  ST2000NM0023     0004 PQ: 0 ANSI: 6
[   14.395793] scsi 2:0:20:0: Direct-Access     SEAGATE  ST2000NM0023     0004 PQ: 0 ANSI: 6

---

[PanZvedavy]

http://www.freenas.org/whats-new/2015/09/freenas-worst-practices.html