Dotaz: SAN backup/disaster recovery

[Marty]

Zvazujeme nasazeni SAN(iSCSI) jako uloziste pro Xen virtualy.

Chtel bych se zeptat na vase zkusenosti se SAN obecne:

Meli jste se SAN nekdy problem - HW,SW?

Je lepsi single nebo dual controller SAN?

Jak zalohujete SAN?

Mate jeden SAN nebo vice v clusteru HA?

Jake pouzivate disky - SATA/SAS - 7200 nebo 15000 otacek?

Postavili jste si SAN sami (Opensource) nebo jste koupili hotove reseni - HP,DELL,EMC,NetApp...?

Odpovědi

[gtz]

Přílohy:

• es6642.jpg (10462 bytů)
• minisanProducts4.jpg (14631 bytů)

Při použití kvalitního HW odpadají problémy se SW apod. Problémy jsou maximálně s nekompatibilitou ostatních FC zařízení komunikujích na jiné úrovni.

 

Single Controller je vždy levnější, ale zase při výpadku čekáte na servis. při dual controlleru máte do FC Switche připojeno přes 2 páry toto zařízení. Dá se i přes Dual Controller udělat HA CLuster apod.

 

Zálohování SAN - na druhé dedikované pole popř. do clusteru a následně do SAN páskového systému LTO.

 

Obyvklým je dávat vždy jeden cluster HA na 1x SAN i když pomocí SAN BLADE se dá docílit vícenásobné HA

 

SATA se používají pro velké pole ( disky ES ), SAS disky pomalu nahrazují výkonem disky FC

 

SAN lze bez problémů poskládat z kvalitních komponentů ( dělám to takto již celkem dlouho ), popř. lze vzít hotový výrobek od HP,DELL,SUN a ostatních.

[Marty]

Kdyz skladas SAN - jaky software/os pouzivas?

Obyvklým je dávat vždy jeden cluster HA na 1x SAN i když pomocí SAN BLADE se dá docílit vícenásobné HA

Zajima me spis scenar: 2x Xen hypervisor server - iSCSI - 1x SAN

v pripade ze nepojede SAN = velky problem Lepe poridit jedno SAN s dual controlerem nebo nejak naconfigurovat 2x SAN cluster?

Jak caste jsou hw problemy SAN?

[gtz]

Přílohy:

• remoteredundant.jpg (12493 bytů)
• esx.jpg (13403 bytů)

De-facto není skládaný SAN, jen kvalitní výběr všeho tj. servery od SUNU, FC switche od QLOGICu , diskové pole MSA , HITACHI popř. nějaký low-end ( promise ) , pásková jednotka MSL popř. nějaký jiný loader DLT ( Tandberg , Overland ).

Software jsem používal RH Enterprisse a Suse SLES, s OpenSource lze toto také nakonfigurovat, ale jsou s tím problémy na nízké úrovni a vždy se jedná o problémy s železem.

HW problémy nebývají zvykem, jedná se spíše o poruchy zdrojových jednotek, vadné controlléry jsou minimen, ale pro HA je ideální použít dual. Server máte přes FC port napojený na 2 kanály, každý k jinému portu v případě výpadku pole jede dále. Single controller je vždy jen na storgage části.

SAN = Storage Area Network == je to vždy jen o úložišti a propojení ostatní infrastruktury tak, aby vše chodilo. Na serveru se musí použít duální FC karty ( cca 45 000 jedna ) na propojení s HBA. HBA propojuje jak servery tak pole tak i páskovou jednotku. Záleží jaké se použije diskové pole a zda má certifikaci pro VMVARE/RH , na poli v pohodě uděláte xx lun kolik potřebujete, ty potom sfázujete s LVM. Samozřejmně se musí počítat s GFS pokud budete toto celé realizovat na Linuxu.

Nevím na co přesně to budete používat, ale v dnešní době lze bez problémů dodat pole, které má kapacitu cca 82TB v 4U provedení. Cena odpovídá cca 750 000,-, ale zase pokud potřebujete rychlost, pak lze použít FC hlavu s kterou sfázujete další storage ( optimalizace na server a databáze )

FC pole single 3 U, 2x 4 Gbit FC to host, 512 MB cache, 16x 500 GB SATA cca 5000 €

FC pole dual 3 U, 2x 4 Gbit FC to host, 512 MB cache, 16x 500 GB SATA cca 7500 €

Switch HBA počítejte cca 150 000,-

Pásková jednotka FC od cca 250 000,-

Server 2U - 2x Xeon 5550, 24 GB DDRAM , 3 x SAS , 2 x FC karta cca 250 000,-

Orientační ceny

[Marty]

Nemuzu si vyskakovat... 150 000,- je strop ktery mam.

Takze to vidim na nejake iSCSI + SuperMicro a OSS nebo Nexentu/Open-E

[gtz]

Bohužel 150K je celkem hodně málo, samozřejmně lze uvažovat o nějakém 4U SuperMicru s Open_E ,u Open-E se platí licence za TB. Možná v těchto podmínkách bych volil Supermicro s CentOS.

[Marty]

SuperMicros s CentOS - mit jeden stoj jako SAN?

Je to obvykle mit ve firme jediny SAN, na kterem bezi klicove virtualy pro firmu?

[gtz]

4U server má cca 16 pozic pro HDD, vhodnou kombnací karet a SW lze na něm udělat IP-SAN ( iSCSI SAN ), 1x SAN je zcela standardním řešením, jen ten SAN musí být někde zálohován.

Jeden server s HW RAIDEM a musíte oželet nějaké SAN věci, ale i tak by to mělo být funkční. K SAN pak bude přístup přes iSCSI. SAN standardně přistupuje přes LAN serveru, kde to tam celé běží. Doporučuji si na googlu najít schémata SANu apod. sanx

Pro virtualizace free je celkem slušné toto : ovirt

[Marty]

Kdy se tedy pouziva SAN cluster?

2 stroje se shodnym poctem disku - iSCSI target jako HA.

- data se zapisuji na oba SAN stroje (DRBD nebo neco podobneho)
- jeden iSCSI target (IP) ktery bezi na SAN 1 a v pripade jeho nedostupnosti se presune na SAN
- jeste me napada iSCSI multipath

Jeden SAN + jeho zaloha. V pripade hw padu SANu je potreba vymenit hw a pokud jsou necitelne disky tak obnovit kompletni SAN ze zalohy. Coz se muze rovnat nedostupnosti SAN/nemoznosti provozovat virtualy v radu hodin. Tohle se opravdu bezne toleruje v jinych firmach?

[gtz]

SAN cluster se používá tam, kde je potřeba zvýšit rychlost a celkovou kapacitu SANu.

Cluster je něco jako spojení více storage do jedné jednotky a hlavně se používá pro zlepšení HA pro dostupnost aplikací. geoCluster atd.

SAN nesmi padnout, proto jsou vždy použité duální controlléry, RAID je v RAID-6 s 2x HS, Zatím se nestalo, že by odešlo více disků než 1. Vždy je tento SAN zálohován buď na druhé pole nebo někam jinam na pásku ( zase přes FC ), z pásky je případná obnova celkem rychlou záležitostí, ale já vždy preferuji druhé pole do Mirroru. Jeden iSCSI target (IP) ktery bezi na SAN 1 a v pripade jeho nedostupnosti se presune na SAN IP target běží někde na serveru a v případě pádu z hlediska erroru je problém, kam ho chcete přesouvat, když IP-SAN padne ? většinou se to celé řeší pomocí OPEN-E nebo WSS od MS. S iSCSI jsem měl více-problémů , nakonec jsem šel vždy do FC řešení. Řešení pro obnovu IP-SAN jsou celkem hodně drahým špásem.

Pokud máte omezené prostředky pak bych asi šel do nějakého HW-boxu ( 2u - 4u ), který by byl přes FC připojen do serveru. Ty HW boxy RAID mají na straně HW tak jsou tam problémy menší a dá se tam nadefinovat xx-raid-setu co potřebujete. Na serveru Vám poběží klidně ESX ve verzi FREE,a jako storage úložiště použijete ten HW box.

IP multipath ano, připojit 2x GB do každého serveru křížem, tak , aby v případě problémů na straně 1 se to celé synclo jinam.

Výpadky se netolerují --- vždy se na SAN uzavírá servis NBD s zásahem do 4 hod. (cca 30 000.- ročně )

[gtz]

iSCSI dnes je celkem v kurzu, ale spousta HW nedělá iSCSI target jako iSCSI na HW, ale vytvoří si jen vlastní LUN SW na disku ( xx-TB fail na disku a v něm jsou další jednotky dělá to třeba takto WSS od MS ) a při zálohování se to chová celkem divně.

Proto bych iSCSI moc nedoporučoval, spíše jít cestou FC s tím, že následná konfigurace by byla řešena optikou přes nějaký switch od HP/CISCO. U iSCSI je jasné, že je tu možnost mít přřes iSCSI namapován celý systém vzdáleně přes IP, ale toto se dá
udělat i jinými prostředky. Stále je lepší mít nějaký FS na reálném systému.

SW na Disaster Recovery tak, aby to bylo ideálně obnovitelné bez nějaké ztráty pro Opensource moc není, spíše se používají komerční nástroje od NetVaultu,Symantecu,Legato nebo HP. Ale ty SW to je opravdu celkem slušný ranec

peněz. Bohužel freeware, který by dokátal toto no moc toho není.

[Marty]

1) IP-SAN = z hw hlediska se jedna o case + mb + cpu + RAM + RAID controler/y + disky a to cele je rizeno specializovanym OS/BIOS? Porad totiz nechapu ten vyznam dual controleru. Kdyz mi padne zakladni deska do ktere je zasazen controler tak je mi ten druhy stejne k nicemu ne? Nebo je architektura IP-SAN jina?

IP-SAN by melo slouzit pro vice fyzickych serveru, tedy umoznovat live migrace atd. Cimz se vzhledem k cene vylucuje FC reseni.

Koukam tedy po reseni typu OpenFiler v HA (2x server) aby byl zajisten beh virtualu i v pripade vypadku jednoho z mirroru(serveru) SAN.

[gtz]

Dual Controller se používá ve velkých zařízeních. U IP-SAN toto neexistuje, tam je jen Case+mb+cpu+ram+raid karta.

Single controller - SAS - FC - jeden kontroller pro 4 porty SAS nebo 2x FC ven na HBA Dual Controller - SAS - FC - DVA controllery na každém jsou 2x4 porty SAS nebo 4xFC ven na HBA

Openfiler je celkem slušný s Intel McKay šlape v pohodě.

promise SMB promise enterprisse

Tam v SMB jsou i pole přímo pro IP-SAN kam jen nacpete disky :)

[gtz]

VTrak M310i (iSCSI, 2U, 12x sATAII, Raid0/1/3/6/10/50,rPS) cca 105 000.- vč. Daně docpete tam 12 disků a máte iSCSI hootvé.