NetApp FAS2552 - zkušenosti, provoz, monitoring (diskuse)

[Petr]

Diky za post Maxi, toho dodavatele bych asi nevybral, kdyz lze u obchodniho jednani, ocekavam ze to same bude v pripade problemu. Diskovych poli mame xx v datacentrech po svete, historicky ibm. Jinak v dalsich firmach mame zfs at uz na solarisu nebo na freebsd, kapacitne od par TB do snad neceleho PB.

[Max]

A co používáte za hw? Jestli se mohu otázati.
Resp. byla by hw spec nějakého většího pole?
Zdar Max

[Petr______]

u toho zfs?

[Max]

Ano.
Díky.
Zdar Max

[Petr______]

U toho naseho zfs nasazeni jsou disky sasy od wdc, radice jsou od lsi/adaptecu, cpu xeony, ram ecc vsude, desky obvykle supermicro, obcas ssd dle potreby. Obvykle je to kombinace radic, cpu, 64gb a vice ram, k tomu disky dle konkretniho nasazeni (to same i pooly). Ty kombinace jsou opravdu ruzne. Treba E5-2630 v2 @ 2.60GHz, k tomu 64gb ram, k tomu 12x4tb sas wdc povesenych na Adaptec 2274500-R 71605E, dalsi 4 ssdcka povesene na nejaky onboard sata radic v tom stroji. Tohle je ale zrovna ne moc kriticky stroj jak vidis. Bezi nad tim freebsd, sdili se sambou, iscsi.

[Käyttäjä 11133]

Když mi toto řekli, už jsem se dál nesnažil vyjednávat a doteď nechápu, kam se svojí cenovou politikou mířili.

Na rozumě velké storage systémy? :) Koupil sis ten nejnižsí model od NetApp s dumpingovým pricingem, tak se nediv, že mu nikdo jiný nedokázal konkurovat

[Max]

Co je rozumně velký storage systém? Stovky TiB, nebo už se bavíme v PiB?
Jen se ptám, ať vím, jak vysoko je ta střední laťka, abych byl tak nějak v obraze.
Zdar Max

[Käyttäjä 11133]

V dnešní době to začíná na vyšších stovkách TiB... Řekl bych tak 0,5PiB+.

[Käyttäjä 11133]

Netapp ale od nich máme, protože v tom je ten fór. První firma, která se dozví o potencionálním zákazníkovi, hodí lock u NetAppu a nikdo jiný ani nesmí nabídnout cenu (prostě žádnou od NetAppu pro nás nedostane, konec), žádná soutěž neexistuje a není tak možnost se dostat níže u konkurence, prostě nulová konkurence.

To není pravda, stačí dopis s podpisem statutárního orgánu společnosti, že jste zvoleného partnera byli nuceni vyřadit z výběrového řízení; lhaní ze strany partnera na obchodní schůzce by museli uznat jako validní důvod pro takový krok a kdyby ne, tak od toho je tady Peter Kos...

[Max]

Díky za upřesnění / opravu.
Zdar Max

[Käyttäjä 11133]

ení to tedy jako u ZFS, kdy se pro SLOG vyhradí SSD, pro LARC se vyhradí SSD a lze to vždy bez problémů vrátit zpět.

NetApp používá pro transakční logy NVRAM, proto není potřeba používat SSD.

První je cluster (je myšlen cluster v rámci jednoho pole = propojení dvou řadičů), pak se lze dostat na konkrétní řadič a přímo do systému, což je ta nejnižší úroveň přístupu. Svému systému říká ONTAP.

Ještě je tam Unix shell

Relativně nedávno přišel NetApp se sw řešením, kdy poskytuje jen SW a člověk si to může rozjet na svém HW. Tomuto řešení Netapp říká ONTAP Select (SDS - software defined storage). Je dodáván formou Virtual Appliance a může běžet jak pod ESXi, tak pod KVM.

Pokud nedávno myslíš půlku roku 2015

SnapVault, slouží k zálohování, záložní lokalita není 1:1, ale je tam historie záloh SnapVault a lze dělat zálohy na jiné místo. Rozdíl oproti SnapMirror viz Comparison between qtree SnapMirror and SnapVault

Tvůj odkazovaný článek pojednává o 7-mode; v cDOT je to už jinak.

SnapRestore - přístup ke snapshotům v rámci produktů třetích stran. Kdo má licenci na SnapRestore, tak může třeba z Veeamu spustit VM přímo ze Snapshotu, kdo ne, má smůlu, nedostane se z Veeamu k datům, musí ručně vykopírovat obsah snapshotu

Hlavně SnapRestore umožňuje atomický roll-back k nějaké verzi snapshotu...

Migrace na jiný NetApp, upgrade, případně migrace na jiný NetApp a další věci by měly procházet online, bez výpadku. Zatím jsem nic z toho nezkoušel, ONTAP je stále ve verzi 8.3.2 a na devítku jsme ještě nešli. Každopádně známý dělal upgrade na svém FAS2552 a prý online a bez problémů.

Jen pokud budeš provádět migraci připojením do existujícího clusteru; já osobně bych to v mission-critical nasazení takhle rozhodně nedělal.

[MP]

Cena? Podpora sifrovani? Uz jsi na tom zazil poskozene VM obrazy?

[Max]

Configuring NetApp Volume Encryption.
Je to rok a půl, co to provozujeme, zatím jsem neměl problém s ničím. Zkoušel jsem pár věcí, jako třeba i přiřadit stejnou IP jako má SVM něčemu jinému. VM připojená na toto SVM se pak chovala tak, že šla, ale byla nestabilní, občas padla atd. Ale nikdy se neporušily data. Možná je to právě tím, že Netapp jede NFS jen v sync.
Cena, teď přesně nevím, myslím, že to bylo asi něco kolem 1,8m s tím, že v záložní lokalitě chybělo to ssd pole. Do záložní lokality se pak jeden shelf s 12x SSD ještě dokupoval.
Bylo to tedy asi těch 1,8m za :

2x FAS2552
2x 24xSAS 1,8TB 10k
1x extra Shelf s 12x SSD 400GB
kabely
instalace / konfigurace
školení
licence

Zdar Max

[trekker.dk]

Nemáte ve smlouvě náhodou napsáno, že nesmíte zveřejnit cenu, za kterou jste to koupili?

[Max]

Nevím, smlouvu jsem nepodepisoval já a finální cenu také nevím. Ale v prvních nástřelech se mluvilo orientačně takto.
Vím, že se tam šachovalo s tím SnapMirrorem, takže je dost možné, že to nakonec bylo 2,1m
Zdar Max

[Max]

Jinak to byla cena včetně maintenance na asi 3r, teď nevím, zda 4h replacement, nebo něco takového.
Zdar Max

[MP]

Tak to se mas, ja pouzivam taky nfs4.1 (zatim) proti deb9 serveru, vsude sync apod., plus upravene velikosti cache, a na poskozeni raw obrazu jsem jiz narazil. A duvod neznamy.

[Max]

Tzn. máš nfs4.1 server na debianu a mountuješ z ESXi? A jak jsi došel k tomu poškození dat? VM vytuhla a už nenaběhla, nebo jak se to celé chovalo?
A co máš jako FS pod tím NFS4.1 ?
Zdar Max

[MP]

Mountuju z proxmoxu, takze vse je deb9. Pod fs je ext4/drbd/mdraid - ted se bude predelavat na ext4/drbd/lvm/hwraid. No treba jsem na ty vm delal aktualizace z repa, vse ok a najednou pri dalsi instalaci read-only system a po rebootu vm poskozeny fs...a nikde zadna stopa...

[Max]

Já bych se té nekonzistence dat tak bál, že bych vše stavěl nad maximální kontrolou dat, tzn. dnes asi Linux + ZFS + ZFS Send to backup + SSD na SLOG. Odpadl by mi hw/mdmadm raid, drbd a ext4.
A jen ECC ram a žádný swap.
Zdar Max

[MP]

Jo to chapu, ale zfs se zde z urcitych duvodu jeste chvili neuchyti. Kazdopadne ted jsem na ten problem narazil znova - presouval jsem VM z nfs storage do lokalniho lvm storage a ...poskozeny VM na lvm. Kdyz udelam obycejny cat nfs > lvm, tak je to OK...

[aliquis]

Pekne napisane.

> agregátor

si zabil :). S netapmi robim nejaky cas ale takto napisane som to este nevidel.

> Problém je, že toto je nevratná operace, která trvá celkem dlouho (nevím, co vše se na ty SSD přesune, nezkoumal jsem to).

nic nepresuva. Zaplna sa pri pouzivani.

> Dále NetApp nepodporuje async NFS, takže sice se můžeme bavit o nějaké výkonnostní nevýhodě, ale zase máme jistotu konzistence.

no toto asi nechapem. Async IO ma zmysel pri write operacii. Ta v ontape prebieha tak ze sa zapise do RAM, nasledne skopiruje do NVRAM a posle do NVRAM partnera. Vsetko su to zapisy do pamate. Na disky sa to pise v ramci Consistency Pointu neskor. Zapisy su teda rychle a async IO by nemalo zmysel. Malo by to zmysel ak su kontrollery daleko(napriklad MCC alebo 7mode FMC) a s obmedzenou linkou. Ak by si chcel vyskusat aky by bol vykon bez kopirovania do NVRAM partnera, vypni si cluster. Potom zapisuje len do lokalnej RAM/NVRAM.

> SnapMirror vs. SnapVault

su 2 druhy SnapMirror: - Volume SnapMirror - snapmirror na volume je block by block copy. Nevie vela o filesysteme. Mozes si to predstavit ako dd. - Qtree SnapMirror - tento vie o filesysteme a je pomalsi(musi preliezat filesystem).

uvadzas linku na tento ale typicky sa snapmirror mysli ten na volume urovni. Hlavne preto ze je to block by block. Existuje aj version flexible snapmirror v cmode. Ten ja na volume urovni ale tiez na urovni suborov.

> Monitoring a notifikace

Velmi pekne to spolupracuje s grafanou. Ak sa ti s tym nechche hrat, daj si nabox: https://nabox.org/

> Migrace, upgrade apod.

mate 8.3.2, patch release neviem. To je dost stara verzia. Odporucam ist na posledny p-release 9.1.

[Max]

Díky za upřesnění. Nabox znám, ale nějak mi ten Performance manager stačí.
Myslím, že tady na abc byl i člověk, co opustil Netapp kvůli absenci async nfs, aby se dostal na lepší latence. Nijak extra jsem výkonnostní rozdíly nezkoumal, resp. netuším, do jaké míry má vliv async na síťovou komunikaci, zda to částečně neřeší i úzké hrdlo tam.
8.3.2P2, nenarazil jsem zatím na žádný problém, s vmware zatím také visím na verzi 6. Možná pak provedu upgrade, až skočím s vmware výše.
V době nasazení NetAppu byla venku verze 9, ale to byla myslím první stable, možná už tam byl i nějaký patch, ale technik nedoporučoval nasazovat. Teď už je to zase někde jinde, ale jak říkám, zatím toto stačí a není to úplně na pořadu dne.
Zdar Max

[Aliquis]

> Myslím, že tady na abc byl i člověk, co opustil Netapp kvůli absenci async nfs, aby se dostal na lepší latence. Nijak extra jsem výkonnostní rozdíly nezkoumal, resp. netuším, do jaké míry má vliv async na síťovou komunikaci, zda to částečně neřeší i úzké hrdlo tam.

Ano videl som pripevok, ak sa pamatam, mal 20ms latencie merane v packet trace. To je samo o sebe vela pre write. Ale aj keby mal metrocluster, linka prida len 1-2ms. Tam bol IMHO problem inde.

[Käyttäjä 11133]

Ta v ontape prebieha tak ze sa zapise do RAM, nasledne skopiruje do NVRAM a posle do NVRAM partnera. Vsetko su to zapisy do pamate.

NVRAM je namapovaní jako blok pamětového prostoru s přímým přístupem, k zápisu do klasické RAM nedochází; replikace do NVRAM partnera dochází atomicky a transakce se necommitne, dokud není záznam i v transakčním logu partnera; za předpokladu, že je zapojený MPHA pár samozřejmě...

Zapisy su teda rychle a async IO by nemalo zmysel.

I NVRAM se dá zaplnit :)

Zapisy su teda rychle a async IO by nemalo zmysel. Malo by to zmysel ak su kontrollery daleko(napriklad MCC alebo 7mode FMC) a s obmedzenou linkou

MetroCluster "s pomalou linkou" ale není podporovaná konfigurace :)

Qtree SnapMirror - tento vie o filesysteme a je pomalsi(musi preliezat filesystem.

To platilo u 7-mode.

[Aliquis]

> NVRAM je namapovaní jako blok pamětového prostoru s přímým přístupem, k zápisu do klasické RAM nedochází; replikace do NVRAM partnera dochází atomicky a transakce se necommitne, dokud není záznam i v transakčním logu partnera; za předpokladu, že je zapojený MPHA pár samozřejmě...

NVRAM je karta s vlastnou baterkou. Zapis ide vzdy do RAM. Zapis na disky sa deje z RAM. NVRAM by sa pouzila len ak sa controller rebootne a NVRAM obsahuje nezapisane data.

> I NVRAM se dá zaplnit :)

da :) Ale problem nie je samotna NVRAM ale pomaly nasledny zapis na disk.

> MetroCluster "s pomalou linkou" ale není podporovaná konfigurace :)

Pomala linka: kazda vzdialenost navyse prida nejaku tu latenciu. Pekne je to popisane v TR: https://www.netapp.com/us/media/tr-3548.pdf Storage response time increases by the link latency. For example, if storage has a response time of 1.5ms for local access, then over 100km the response time increases by 1ms to 2.5ms.

Ale ano, linka ma byt nasizeovana spravne :)

> To platilo u 7-mode.

Stale plati. Ale interny engine sa zmenil. Ale stale su 2. Mno a potom je tu Unified replication relationships co sa da pouzit aj na SnapMirror volume ale je to logical replication pod kapotou.

[Tomáš Srnka]

V prvom rade gratulujem k netappu a prajem vela stastnych rokov bez problemov a vypadkov.

Par poznamok z mojich skusenosti (prevadzkovany velky FAS3250, 3x NexentaStor 4.x, 3x NexentaStor 5.x):
NetApp, the good:
- NetApp ma dobre odladene systemy na konkretne use-casey (oracle DBs, VMs atd), tak isto aj featury funguju paradne, ak su pouzivane 100% podla manualu.
- NetApp v MetroClustri v pripade dodrzania dizajnu funguje, ak by som znova potreboval tuto funkcionalitu tak idem do full flash NetApp-u
- Lokalny partner-i

NetApp, the bad:
- WAFL sa vie pokazit do stavu, ze sa chcel cely aggregate opravovat. V nasom pripade bol zratany cas repairu po reboote na 30 dni v offline mode. Nastastie nejakym zazrakom isiel poskodeny FS zmazat, nahrat z backupu a ostranit poskodeny blok na WAFL.
- NetApp support je OK ak mas dobreho partnera. Ziskat takmer akykolvek support z L3 z Netappu je bez sialenych licencii za support takmer nerealne... (moja skusenost)
- Performance NetAppu na male subory je totalne katastrofalny
- Akekolvek rozsirenie supportu alebo HW je vyrazne drahsie ako pri prvom nakupe


NexentaStor, the good:
- NexentaStor licencie sa daju v pohode zjednat. Tak isto nasledny HW s napr 4hr supportom + licky by ta vysli menej ako cely NetApp. Celkovo total cena NexentaStor vs NetApp vyjde v prospech Nexenty, teda asi zalezi jak si to vie clovek vydealovat. Dokonca by som vobec neriesil SMC ale napr Dell alebo Lenovo.
- NexentaStor support - dostat sa k L3 engineerovy, ktory vie priamo riesit bugy v systeme alebo ho tunit je vyrazne lepsi (moja skusenost).
- Full root access
- Pri spravnom dizajne je cena/vykon exceletna

NexentaStor, the bad:
- Znalost ZFS a design guidu je nutnost. Resp Ak ma clovek partnera tak to zanho zastresi. Riesil som si sam + konzultoval so snajpom.
- Shitty UI v pripade 4.x verzie
- Zrusenie root shellu v pripade 5.x verzie, teda treba si pytat root heslo cez support portal
- Zo zaciatku kopec bugov v 4.x verzii, pri 1k datasetoch + 14 snapshtoch per dataset sa rozbijala random async replika.
- Dobugovany cinder openstack driver od nexenty, vela casu s ich engineermi nakoniec fixed k spokojnosti
- Neexistuje poriadna alternativa metro-clustru. Teda existuje High Performance Replication, ale nemal som odvahu ju nasadit do vmware prostredia (vsan vyhral, ale to je na inu debatu).

[Max]

Pěkný shrnutí, díky.
Jak jedeš pooly na té Nexentě? Jedeš RAID-Zx? Používáš ssd na slog? Je možné sem hodit nějakou hw spec. jednoho z těch ZFS polí?
Díky
Zdar Max
PS: snajpa je ohledně ZFS dobrej vyšlapávač pěšinky pro ostatní ...

[Tomáš Srnka]

Ahoj,

Pouzivam 3x raidz2 po 8 diskoch. Nepouzivam SLOG, je to full-flash pole. Mame zapnutu lz4 kompresiu s pomerom 1.72x. Na netappe sme ledva mali 1.1x + nam to zabijalo CPU...

# zpool status -v
  pool: data
 state: ONLINE
  scan: scrub repaired 0 in 4186h16m with 0 errors on Sat Feb  3 07:00:13 2018
config:
        NAME                       STATE     READ WRITE CKSUM
        data                       ONLINE       0     0     0
          raidz2-0                 ONLINE       0     0     0
            c0t50000396DC8B773Dd0  ONLINE       0     0     0
            c0t50000396DC8B6F3Dd0  ONLINE       0     0     0
            c0t50000396DC8B76F9d0  ONLINE       0     0     0
            c0t50000396DC8B7701d0  ONLINE       0     0     0
            c0t50000396DC8B76E9d0  ONLINE       0     0     0
            c0t50000396DC8B76FDd0  ONLINE       0     0     0
            c0t50000396DC8B7739d0  ONLINE       0     0     0
            c0t50000396DC8B7705d0  ONLINE       0     0     0
          raidz2-1                 ONLINE       0     0     0
            c0t50000396DC8B6F4Dd0  ONLINE       0     0     0
            c0t50000396DC8B6F39d0  ONLINE       0     0     0
            c0t50000396DC8B76F5d0  ONLINE       0     0     0
            c0t50000396DC8B7715d0  ONLINE       0     0     0
            c0t50000396DC8B75BDd0  ONLINE       0     0     0
            c0t50000396DC8B7721d0  ONLINE       0     0     0
            c0t50000396DC8B770Dd0  ONLINE       0     0     0
            c0t50000396DC8B7725d0  ONLINE       0     0     0
          raidz2-2                 ONLINE       0     0     0
            c0t50000396DC8B6F49d0  ONLINE       0     0     0
            c0t50000396DC8B6F55d0  ONLINE       0     0     0
            c0t50000396DC8B7711d0  ONLINE       0     0     0
            c0t50000396DC8B76EDd0  ONLINE       0     0     0
            c0t50000396DC8B75C5d0  ONLINE       0     0     0
            c0t50000396DC8B7719d0  ONLINE       0     0     0
            c0t50000396DC8B7729d0  ONLINE       0     0     0
            c0t50000396DC8B6F51d0  ONLINE       0     0     0

Config je cca:

2x Dell R730xd (controller)

- 2x Intel 10GE DP x520 - 256 GB RAM

- 2x 12 core XEON v4 high freq (neviem presny model z hlavy)

- 2x SAS3 radic v passthru mode

 

- 24x Toshiba SX04SR? 1,92TB SSD v JBODe (myslim, ze MD1420)

NexentaStor + HA plugin.

 

K tomu existuje este dalsia nexenta pre DR backupy, kde su rotacne disky a SLOG na SSD. Ta je ulozena v druhom DC a priamy L2 tunel. Tam sa primarne pole replikuje pre pripad, ze by sa nieco katastrofalne stalo. Replika bezi par krat do dna. Este zaujimavostou je, ze na primarnom poli drzime 3 dni snapshoty (okrem teda zakaznickych) a na sekundarnom 21 dni, cim sa zaujimavo setri miesto a v pripade potreby starsieho snapshotu sa proste posle snapshot spat cez zfs send/receive na primarne pole.

[Max]

Pěkný, ještě by mně zajímal ten SAS3 řadič, to je nějaké LSI HBA, ne?
Zdar Max

[Tomáš Srnka]

Este priatelska rada:

"Pole má dva řadiče (=prostě servery, hafec jader, hafec ram, každý 2x 10Gbit pro připojení ke storage atd.), kde se definuje, jaký řadič má vlastnit jaký disk. Proto je dobré pole rozdělit do dvou agregátorů, aby disky v jednom agregátoru vlastnil jeden řadič a v druhém agregátoru další řadič a byla tak rozdělena zátěž. Když padne jeden řadič, druhý převezme jeho fci (vlastnictví disků u služeb), to je cajk."

Vyskusaj si to pri plnej produkcii. Z mojej skusenosti su casto oba agregaty az moc zatazene a v pripade padu jedneho z nich ide cele pole do ... v lepsom pripade su jeho odozvy v sekundach. Idealne by sa v peaku teda nemala CPU / Net utilizacia dostat nad 35-40%. Zataz nestupa uplne linearne, ale horsie.

[systemak]

Vyskusaj si to pri plnej produkcii. Z mojej skusenosti su casto oba agregaty az moc zatazene a v pripade padu jedneho z nich ide cele pole do ... v lepsom pripade su jeho odozvy v sekundach. Idealne by sa v peaku teda nemala CPU / Net utilizacia dostat nad 35-40%. Zataz nestupa uplne linearne, ale horsie.

presne tak ziadne prevzatie funkcii druhym radicom, sekundove lagy az pad na drzku...

[cthulhu]

NFS 4.1 bude supportovane v Solarisu 11.4 (momentalne beta) viz. dokumentace