Jak na diskové pole?

26.4.2006 13:15 | Přečteno: 2038×

Protože je jaro, mohli bychom si koupit trošku novýho železa, co říkáte? Třeba takhle NFS server, aby dával pár TB prostoru. Nojo tak kudy do toho?

Na LinuxExpo se naparoval SGI s hotovým NAS serverem. Je to postaveno na SATA discích a HW raidu, který je FC kanálem připojen k obyčejnému linuxovému serveru. Na raidu se udělá filesystém XFS a na tom obyčejném serveru jsou prý navíc nějaké utility pro údržbu XFS filesystému. V těch utilitách prý je know how SGI, kde XFS před lety vynalezli. Celé bratru za půl milionu zapomněl jsem jaká kapacita, mám dojem že říkal 7TB. Jo a docela pěkný SW na monitorování a správu toho pole. To víte, jsou to profíci.

Proč SATA disky, nebyly by lepší SCSI? Existuje technologie SATA-II, liší se od obyčejného SATA nějakou optimalizací. Jenotlivé požadavky na diskové operace si disk sám hezky seřadí do fronty a než je začne provádět, přehází pořadí tak, aby se toho co nejvíc stihlo během jedné otáčky disku. Tedy to, co SCSI disky dělají od nepaměti. Říká někdo, že SATA disky jsou pomalejší než SCSI nebo že mají menší životnost? Jestliže ano, čím by se to vysvětlilo? Že by se výrobci dohodli, že SATA budou dělat co možná blbější? No možný to je.

Pojdme trochu níž. Dalo by se koupit no name diskové pole na SATA discích, externě to může mít SCSI nebo FC (ale FC switch něco stojí). Tady myslím hodně záleží na značce toho no name. Zatím máme zkušenost s poli EasyStor. Je to stabilní, ale pomalé. Radši bych viděl něco jiného. Že by INFORTREND nebo JollyNAS? Nevím, to je otázka případných dobrých nebo špatných referencí. Tak třeba reference na Discobolos jsou špatné.

Pojdme ještě níž. Zdá se že 1TB se dá v pohodě postavit na jednom serveru z vnitřních disků. V tom případě bych docela váhal nad SATA disky a spíš bych šel do SCSI. V SATA diskovém poli prý je něco, jmenuje se to backplane a je to nějaká sběrnice, na niž se dá připojovat spousta SATA disků. Jak je to možné, nevím. Ve výkonnějším diskovém poli asi těch backplanů bude víc, aby se dal protlačit větší provoz. Tak si to aspon představuju. Leč mám pochybnosti, jak je to řešeno v serveru, který údajně umožnuje třeba nějakých pět interních SATA disků. Pochybnosti o rychlosti takového řešení. Takže bych si naordinoval aspon dva interní SCSI řadiče pro větší propustnost. To zas ale znamená SW RAID5 prostředky linuxového jádra, protože interní HW RAID řadič má disky určitě všechny na jednom SCSI řetězci. Ne že by mi to vadilo, zkušenosti s interními jednodeskovými RAID řadiči mám jenom ty nejhorší. Jednoho dne řadič klekne a jiný stejný na světě není. Podrobné pomluvy Adapteců tady vypisovat nebudu.

Oproti tomu zkušenosti se SW raidem mám dobré, ale udělal jsem je na Solarisu, nikoli v linuxu.

Tož tak, pro dnešek konec samomluvy.

       

Komentáře

[Heron]

Přece není problém si koupit 4*300GB SATA disk, vrazit to do obyčejné bedny, v linuxu udělat sw raid. GigaLAN už je na prakticky na každé desce (vím, že to není úplně dokonalé). Jako low-cost řešení ideální.

[Jiri Bajer]

Akorat pozor na prehrivani (a samozrejme nemoznost hotswapove vymeny disku v mirroru/raid5). Hodne zalezi na tom, jestli to chces na ukladani filmu a pisnicek, nebo na podnikova data. B-)

[parkis]

Pokud jsou ty nároky opravdu malé, stačí interní disky a LVM. Já takhle momentálně porovozuju 1,3TB pole poskládané ze sedmi disků nejrůznějších výrobců i velikostí, sata i ata a funguje zatím něco přes rok uspokojivě. Ovšem nejsou to žádná kritická data, když něco selže tak se zas tak moc nestane.

[Petr Kroupa]

Ja uz se asi tyden chystam na otestovani temer instatniho free NAS reseni jmenem FreeNAS.

[Jiří Poláček]

Pokud je mi známo, tak Serial ATA vzniklo z návrhu Serial SCSI, které se objevilo v třetí generaci specifikace sběrnice SCSI.

V práci máme dva diskové servery Discobolos a pracují nám k plné spokojenosti, ten starší již 4,5 roku téměř bez zastavení.

[krnoha]

Děkuji za pozitivní zkušenost. Kdesi jsem vyslechl stížnosti na chování výrobce Discobola, když se něco rozbilo a chtěli po něm opravu. Ale mám to z druhé ruky, takže jsem měl radši být zticha.

[zabza]

Jak jsem to tak začal číst, hned jsem si na něco vzpomněl...

[krnoha]

Schválně jsem to tak napsal, aby to vypadalo učeně, přece! Linux je operační systém vzdělanců. To se potom nesmíme divit, že se nemůže prosadit jako většinovej.

[xxxxxxxx]

do par dnu budou na pultech disky s 750GB, takze bych se smeroval asi tam. a k tomu bud hwraid, ale sw udela taky dobrou praci

[Jiri Bajer]

Jenze pak jde dolu rychlost - napr. kdyz porovnas pristupove doby i sustained dataflow u U320 disku s 15kRPM a kapacitou 36GB a 72GB (stejny vyrobce, disky jsou v kvalitnim diskovem poli za miliony), vyjde ti, ze mensi disky jsou nezanedbatelne rychlejsi... Nemam k dispozici zadny presny benchmark, ale urcite by se dal nekde dohledat.

[Lukáš Cirkva]

Je to tak jak říkáte, nejen z tohoto důvodu se stále dodávají 36GB disky. Bohužel 18GB disky se již nevyrábí.

[Zdeněk Burda]

Pro spoustu nasazená SATA disky výkonem stačí a jsou mnohem levnější než FC nebo SCSI. Snad každý dodavatel HW nabízí i disková pole se SATA disky.

Backplane je (zjednodušeně) deska s konektorama, do kterých se zasouvají (hot-swap) disky. Backplane najdeš nejen v diskovém poli ale i v serverech.

Když chceš "protlačit větší provoz" tak ti nestačí přidat backplane, prože většinou není kam (teda u některých serverů se je standardně dodávaná 1 backplane pro 6 disků a když chceš přidat dalších 6 tak si musíš přikoupit i další backplane, ale s takovým serverem se moc často nepotkáš).

S interními RAID řadiči mám zkušenosti dobré, protože jsem ještě jiný než interní RAID řadič v počítači neviděl Nemáš spíš špatné zkušenosti s pseudo raid kartama pro SATA co se poslední dobou všude strkaj?

SW RAID je prima, ale pokud máš HW RAID, tak ušetříš hormadu přerušení (vidíš jen jedno zařízení - hw raid kartu a to je dost velký rozdíl proti tomu, když komunikuješ například s 10 samostatnými disky) a výkon procesoru (na 4 CPU Opteronu si vzal SW RAID5 při zápisu 90MiB/s jeden procesor).

[Jiri Bajer]

Jeste bych doplnil, ze SATA disky maji nejen nizsi propustnost, ale hlavne nizsi spolehlivost, nez SCSI/FC. Ty pseudoRAID adaptery jako treba ty od Promise maji vlastne jen svuj BIOS kvuli konfiguraci RAID, ty drazsi modely maji jeste XOR engine, coz je jednoucelovy HW akcelerator pro pocitani XOR pro RAID5, takze trochu ulehci procesoru. Navic jeste nektere mivaji na sobe pametovy modul a baterii, ale nejedna se o klasickou diskovou datovou cache z diskovych poli, ale jen o cache na interrupty (metadata).

Disky do lepsich SCSI policek byvaji vybirane (lepe testovane, s lepsima parametrama), takze maji vyssi spolehlivost a disky s FC rozhranim (nebo dokonce dualnim FC) byvaji mnohem spolehlivejsi - byt znatelne drazsi. Dalsi vyhodou poli oproti internim RAID kartam byva dvoucestne pripojeni - pole ma dva/vice controlleru a kazdy z nich ma na sobe zvlastni SCSI/FC port a disky(LUNy) jsou pak v systemu videt dvojmo. Inteligentni failover mezi temahle alternativnima cestama se bud resi v jadre, nebo proprietarni mezivrstvou a virtualnim device filem, ktery ukazuje na aktivni cestu. Dost casto se levnejsi pole zapojuji jako active-passive, cili se jedna z alternativnich cest celou dobu flaka a nedela se zadny load-balancing (ani round-robin).

Dalsi nezanedbatelny rozdil mezi polem a kartou je HOT-SWAP. V poli jsou disky pripojene prave pres backplane s SCA-3 kontekroty (napajeni i data v jednom, umoznuje elektricky bezpecne odpojovani/pripojovani za chodu), kdezto karty se k diskum pripojuji pres 68pinove konektory.

Pro zajimavost: UltraATA ma propustnost 133MB/s (3.3V/5V, 66Hz clock, nabezna i sestupna hrana) SATA ma propustnost 150MB/s (LVD, 1.5GHz clock, jen 1 hrana, simplex), SATA2 ma propustnost 300MB/s (navic multiple initiator), Ultra 320 LVD SCSI ma 320MB/s, FC ma 200MB/s (2Gb, shortwave, full-duplex), SAS ma 300MB/s (3Gb, LVD, full-duplex), iSCSI ma 100MB/s (1Gb ethernet, simplex).

Nicmene napr. pri srovnani FC a U320 je potreba brat v uvahu ruzne protokoly, jejich spolehlivost a overhead, popr. duplex pouzite sbernice.

[Zdeněk Burda]

Se spolehlivostí bych se u SCSI/FC disků moc neoháněl, někdy je to s jejich umíráním docela šílené.

O tom jaký disk se pořídí je potřeba rozhodnout v závislosti na konkrétním nasazení a velikosti měšce.

Dalsi vyhodou poli oproti internim RAID kartam byva dvoucestne pripojeni

No ono tohle není jen výsadou externích polí Například server SUN Fire V890 umí FC-AL (vím, není to to samé jako vícecestné připojení k poli, ale může to pomoc).

Dalsi nezanedbatelny rozdil mezi polem a kartou je HOT-SWAP. V poli jsou disky pripojene prave pres backplane s SCA-3 kontekroty (napajeni i data v jednom, umoznuje elektricky bezpecne odpojovani/pripojovani za chodu), kdezto karty se k diskum pripojuji pres 68pinove konektory.

Jak kde, třeba u serveru SUN Fire V40z to tak určitě není, je tam normální backplane a když do serveru osadíš RAID kartu, tak akorát přepojíš SCSI kabel se základní desky na tu kartu...

[Jiri Bajer]

FC-AL (private loop topologie na fiberchannelu, tj. ta nejstarsi a nejhloupejsi) ale nijak neovlivnuje pocest cest k disku - pokud ti odejde vlakno pro vstup, se samotnym vystupnim si nevystacis - cili IMHO jsi tam, co u SCSI s hotswapem - nebo jsem neco prehledl? (ze by multi-initiator?)

Jinak k tem backplanum: mas recht, to urcite jde, HP rx4640 s Windows dela totez a spousta ProLiantu taky - dik za doplneni. B-)

[Zdeněk Burda]

Sorry, nedopsal jsem to, SF880 umí pro připojení disků použít 2x FC-AL (dualportové disky, jeden host adapter je integrován na desce, druhý se přidá do pci). Reálně to zvládne něco kolem 100-200MiB/s a to se mi na interní disky vůbec nezdá špatný

[Lukáš Cirkva]

Disky do lepsich SCSI policek byvaji vybirane (lepe testovane, s lepsima parametrama), takze maji vyssi spolehlivost a disky s FC rozhranim (nebo dokonce dualnim FC) byvaji mnohem spolehlivejsi - byt znatelne drazsi...

Zpusob vyberu disku je magie, kterou vyrobci neradi zverejnuji. Podle mych informaci ma z tovarny kazdy disk urcity pocet vadnych bloku. Tyto vadne bloky jsou samozrejme realokovany a pri sekvencnim cteni u techto realokovanych bloku dochazi k velkemu zpozdeni zpusobeny zdlouhavym presunem hlavicky. Prave na zaklade poctu a rozlozeni techto oblasti se vybiraji kvalitnejsi disky.

[Jiri Bajer]

Souhlas, primary defect list je uz z tovarny, do growing defect listu pribyvaji az badblocky pri beznem provozu. Navic pokud vim, tak pri flashnuti diskoveho firmware se growing vymaze...

[Lukáš Cirkva]

Pro spoustu nasazená SATA disky výkonem stačí...

Z pohledu maximálního počtu prodaných diskových polí si dovolím souhlasit. V případě požadavku na vyšší dostupnost, škálovatelnost nebo propustnost je již často třeba sáhnou po dražším řešení na technologii FC nebo SCSI.

Backplane je (zjednodušeně) deska s konektorama, do kterých se zasouvají (hot-swap) disky. Backplane najdeš nejen v diskovém poli ale i v serverech.

Bohužel občas backplane obsahuje aktivní prvky. Vadný backplane se špatně vyměňuje bez nutnosti vypnutí zařízení.

S interními RAID řadiči mám zkušenosti dobré, protože jsem ještě jiný než interní RAID řadič v počítači neviděl Nemáš spíš špatné zkušenosti s pseudo raid kartama pro SATA co se poslední dobou všude strkaj?

Já mám zase opačné zkušenosti. Výkonější bývají až velmi drahé řadiče, kdy z praxe se jedná o druhou nejvíce poruchovou část HW hned po discích a to nezávisle na výrobci noname i značkovém. Proto jsou vhodnější disková pole s redundantními řadiči.

[Zdeněk Burda]

S interními RAID řadiči mám zkušenosti dobré, protože jsem ještě jiný než interní RAID řadič v počítači neviděl Nemáš spíš špatné zkušenosti s pseudo raid kartama pro SATA co se poslední dobou všude strkaj?

Já mám zase opačné zkušenosti. Výkonější bývají až velmi drahé řadiče, kdy z praxe se jedná o druhou nejvíce poruchovou část HW hned po discích a to nezávisle na výrobci noname i značkovém. Proto jsou vhodnější disková pole s redundantními řadiči.

Já to myslel jako nadsázku, viděl jsi už někde externí řadič (jako je externí modem) u počítače? Přece se všechny strkají do pci(-x) slotu nebo se připojují do jiné sběrnice

Samozřejmě vím, že diskové pole mívá redundantní řadiče...

[Lukáš Cirkva]

Já to myslel jako nadsázku, viděl jsi už někde externí řadič (jako je externí modem) u počítače? Přece se všechny strkají do pci(-x) slotu nebo se připojují do jiné sběrnice

Reagoval jsem na dobré zkušenosti s interními řadiči. Externí řadič moc smyslu nemá, když i interní mají porty pro připojení externích zařízení.

Samozřejmě vím, že diskové pole mívá redundantní řadiče...

To je dobře, ovšem nikdo netvrdil opak.