Dotaz: Datové úložiště rychlejší než 1 Gbit

[Michal2]

Zdravím, potřebuji vyřešit datové úložiště pro pracovní stanici, ESXi sever a pár běžných počítačů. Bude to asi 8*4TB v RAID6. A stále nevím, jak to vyřešit. Vidím následující možnosti:

1) koupím běžný linux/BSD NAS s 2 nebo 4 1Gbit síťovkami a switch podporující teaming - tohle řešení odpadá, teaming je sice fajn ale každý stream má jen 110 MB/s a to nestačí.

2) koupím "NAS" s Thunderbolt2 (případně TB1, eSATA v nejhorším případě USB 3 - nejpomalejší a zatěžující procesor ) a bude to pekelně rychlé (viděl jsem video s přenosem přes 1 GB/s) a TB2 karty do počítačů ale lze k ní připojit jen jedno zařízení současně takže to také odpadá

3) postavím PC s 10Gbit síťovkami, koupim takové síťovky minimálně do pracovní stanice a serveru a koupím 10Gbit switch. Bude to pekelně drahé.

4) koupím nějaké profi SAN řešení. Bude to megapekelně drahé.

Budu vděčný za každou radu nebo jinou alternativu řešení...

Odpovědi

[gogol]

Ja by som najprv pozistoval kde konci hranica sirky pasma pre datove prenosy na OS, ktory aktualne pouzivam. Rovnako je dolezite ci ti aplikacia vie posielat data takou rychlostou akou chces. Neviem ako Win8, ale napriklad WinXP konci so sirkou pasma niekde v okoli 700Mbit/s a je jedno ci tam pichnes 10Gbit sietovicu alebo neodaj este aj rychlejsiu.

[Michal2]

Na serveru je ESXi a na WS linux. Obojí jsou poměrně nové dvouprocesorové stroje. Tam problém není a nebyl by snad ani v případe 10 Gbit sítě.

Na dalších počítačích je směska Win7/MacOS/Linuxu a všechny jsou v pohodě schopné saturovat 1Gbit síť (nejlépe na tom je Win7, nejhůře MacOS ale rozdíly jsou malé).

Jinak "aplikací" je prosté kopírování souborů. Většinou právě jednoho ale zato obrovského. Další aplikací bude iSCSI připojené k ESXi (současný NAS iSCSI neumí tak používám NFS). To překvapivě není žádný problém, VS spuštěný z NFS jen pomaleji bootuje, jinak se to skoro nepozná.

[Käyttäjä 11133]

VS spuštěný z NFS jen pomaleji bootuje, jinak se to skoro nepozná.

Citation needed...

[chsajarsa]

SAN switch vyjde prakticky stejne draho jako 10Gbit ethernet. Drazsi jsou HBA. V momente, kdy budes budovat separatni LAN pro storage, coz z tveho prispevku vyplyva, tak vlastne budujes stejne SAN, jen ne na FC.

iSCSI ma pomerne velky overhead, takze z hlediska vykonu je pro ESXi vhodnejsi NFS(i kdyz jen o kousek). Radeji bych volil FCoE nez iSCSI pokud je duraz na vykon. Nejde tak ani o datovy tok na sitovce. Ten samozdrejme bude plne vytezovat cele pasmo, ale spise o efektivnost daneho protokolu.

ESXi jeste do nedavna melo maximalni propustnost na 10Gbps kolem 7Gbps(jak je na tom 5.5 nevim).

Zalezi kolik do toho hodlas vrazit.

[sewi]

Mezi NFS a iSCSI je jeden podstatnej rozdil. iSCSI exportuje blokovy device a ne file system. takze neumi "sdilet"data. To same plati o SAN/FC

[kpt. Pejsek]

Pro podobne ucely pouzivame reseni postavene na SAS. Diskove pole S300Q-D424, dva sas switche LSI SAS6160, v serverech (2U twiny od Asus) HBA LSI SAS 9200-8e. V provozu zhruba rok a bez problemu (XEN Debian Wheezy, VMware).

[vagojan]

V lepší ceně by byla HP P2000g 3 dual controler SAS naplněná 24 900GB SAS 10k RPM 2.5 disky. (nebo samozřejmě klon tohoto dothillu od jiných firem). Nebo FC/iscsi verze.. o fous dražší.

Každopádně jedná se o podobná řešení a jsou o dost robustnější než samostatný server s 2TB SATA disky a iSCSI. Do produkce bych se snažil dostat spíš něco takového... jako tato SAN řešení.

[kpt. Pejsek]

Urcite muze byt, pred tim rokem pro nas bylo vyhodnejsi pole QSAN. Nicmene o samotne pole nejde, spis o to, ze je to postavene ne na iSCSI nebo FC, ale SAS.

[windoge]

Zjisti kde je bottleneck, s 3 1Gbit sitovkama v bondu musis dat pres 3 GB/s. Co je to za switch? Neni chyba v nem?

[VSi]

Ani LACP bonding nedá víc než 1Gb/s na jeden flow. Kvůli tomu, aby bylo zaručené pořadí doručení ethernet rámců.

[Michal2]

Tam je problém v tom, že jedno navázané spojení prochází jedním kanálem. Neexistuje aby polovina paketů šla tady a druhá polovina tam. Takže kumulativně (z několika počítačů) toho násobku dosáhnu. To však neřeší problém rychlosti jednoho přenosu...

[trekker.dk]

Neexistuje aby polovina paketů šla tady a druhá polovina tam.

Existuje, linuxový bond má režim balance-rr - musí to ale zvládnout i switch. Podle dokumentace ale stejně rychlost nebude rovna součtu rychlostí zapojených rozhraní.

[VSi]

Pro SAN nepoužívat bonding/teaming, ale multipath. http://pubs.vmware.com/vsphere-4-esxi-installable-vcenter/index.jsp?topic=/com.vmware.vsphere.esxi_server_config.doc_41/esx_server_config/managing_storage/c_managing_multiple_paths.html Případně SAS pole, ale to už nebude o moc levnější než 10Gb/s ethernet, pokud vůbec.

[lertimir]

Myslím, že primárně záleží jakým způsobem se s tím úložištěm bude pracovat. Pokud tam budou normální 4TB disky na 7200 rpm, tak jediný stream významně rychlejší než 110MB/s, který jsou schopny vyrobit disky, bude v případě že ten stream bude jen jeden, bude velký a nikdo další na úložiště ani nesáhne. Pokud by byly streamy dva, tak když oba pojedou 110MB/s budete rádi a jakákoliv větší paralelizace se utopí na seeku disků pole (např. v případě, že několik virtuálních strojů bude současně něco chtít.) Pokud je opravdu tak nezbytně nutné zvýšit rychlost streemu pro jeden proces, tak to bude jen řešení na 10Gbit.

Plotnový disk na 7200 rpm má řádově cca 130 IOPS, NCQ to o něco zvedne, ale principielně významně se výš nedá jít. Takže jestli budu 3 streemy každý o 110 MB/s, každý čte po 2MB blocích, tak je to 55 IOPS na streem a dohromady 165 IOPS a to je víc než disk dá. Nemluvě o tom jestli tam nějaký proces se začne hrabat v kilobytových souborech. Paralelizace do RAIDu sice zvedne streamový IO průtok dat, ale nic neudělá s IOPS. Navíc mnoho lidí říká, (já s ním nemám praktickou zkušenost) jak je právě RAID 6 náchylný na IOPSy a jak jeho výkon prudce padá při paralelní práci.

[VSi]

Určitě záleží na charakteru zátěže, a pokud tam bude hodně seeků, tak nemá cenu nějakou velkou propustnost řešit.

Na druhou stranu jsem si teď zkusil jak se chová linuxový RAID6 z 6 ks obyčejných 2TB disků. Četl jsem paralelně 3 cca 10 GB soubory přes dd s blokem 1 MB. Každé čtení šlo v průměru 110 - 120 MB/s, což jsem ani nečekal. Takže u 8×4TB bych to neviděl úplně beznadějně. Pokud tam není žádná trvalá IOPS intensive zátěž, a občas je potřeba zkopírovat pár velkých souborů, tak určitě poznám že mi to půjde třeba 400MB/s místo 110MB/s. Pokud to teda ta pracovní stanice stíhá generovat/konzumovat.

Jinak ten 10Gb/s ethernet by nemusel být zas tak drahý. Pokud jde o připojení 1 workstation a 1 serveru ke storage, stačí 2x jednoportová karta, a do storage dvouportová + podle vzdálenosti buď SFP+ kabel, nebo SFP+ transcievery a optika. Do 30 000 Kč by se to mohlo vejít.

[Käyttäjä 11133]

SFP+ kabel

Jmenuje se to twinax...

[chsajarsa]

Tak cteni u RAID6 se i celkem cekat da. On ma RAID6 slusny vykon na cteni, ale zapis na klasicky RAID6 je dost pomaly -3xread+3xwrite operace na kazdy zapis. Navic u 8 4TB disku by v pripade vypadku disku dochazelo k dopocitavani RAIDu asi i vice nez tyden.

[Jendа]

Tak jsem schválně spustil přepočítání RAID6 z 15 500GB disků. Tamto asi bude trvat méně než 8x dýl.

md1 : active raid6 sda2[0] sdo2[14] sdn2[13] sdm2[12] sdl2[11] sdk2[10] sdj2[9]
                     sdi2[8] sdh2[7] sdg2[6] sdf2[5] sde2[4] sdd2[3] sdc2[2] sdb2[1]
      5075645952 blocks super 1.2 level 6, 512k chunk, algorithm 2 [15/15] [UUUUUUUUUUUUUUU]
      [>....................]  check =  0.1% (453532/390434304) finish=315.2min speed=20615K/sec

[lertimir]

Rychlosti ale nemusejí být konstantní. Když jsem opravoval můj RAID 5 na 4x1,5TB discích. tak počáteční rychlosti (do 5%) byly 80MB/s, ale závěrečné (přes 95%) méně než 20MB/s.

[Jendа]

Jelo to takhle celou dobu.

[Šangala]

Nebylo to omezené? Něco jako, bylo?

echo  75000 > /proc/sys/dev/raid/speed_limit_min
echo 800000 > /proc/sys/dev/raid/speed_limit_max

[Jendа]

Nebylo.

[lertimir]

Neměl jsem to omezené.

[Šangala]

Jen pro upřesnění, ono je to omezené vždy (myslím že default je 1k - 100k), pak záleží na tom, jaká je další disková aktivita a z toho vyleze rychlost rebuild-u - otázkou je jestli se to na ty limity dostane, na ty default celkem jistě ano (jestli se nepletu s tím minimem 1k).

[trekker.dk]

Pokud je opravdu tak nezbytně nutné zvýšit rychlost streemu pro jeden proces, tak to bude jen řešení na 10Gbit.

Proteče vůbec takový objem dat přes sběrnici od těch disků?

[Michal2]

I řadič v běžných Intelích chipsetech dá přes 1GB/s takže naplní 10Gbit zcela bez problému.

[r23]

Mám vyzkoušené intelovské 10Gbit karty 82599, reálně 6.5 Gbps na windows. Zase tak drahé to není.

[Kit]

A co třeba místo neustálého kopírování obrovského souboru používat snapshoty? Ty jsou mnohem rychlejší.

[Michal2]

Synology tvrdí, že je možné dosáhnout 350MB/s read a 200MB/s write v RAID5 při použití agregace 4x 1Gbit.

http://www.synology.com/en-global/products/performance/#five_to_twelve_bay

Stále nejsem přesvědčený, že se takto podaří protlačit jeden stream. Musím si k tomu více nastudovat. Každopádně by to znamenalo koupit nějakou čtyřportovou síťovku do všech stanic a managovatelný switch s miliónem portů. Pořád by to bylo nejlevnější řešení.

TB zařízení jsou úplně jiná liga, i ten nejprimitivnější, který prostě zpřístupňuje samotné disky a spoléhá na SW RAID na straně počítače http://www.lacie.com/products/product.htm?id=10607 by měl z pěti disků dát 780 MB/s

TB2 jako PROMISE Pegasus2 by mely davat kolem 1GB/s (limitovano disky)

USB3 je podle všeho ještě více out, než jsem si myslel. Nenašel jsem zařízení schopné dát víc než 300MB/s

10GBit síť by měla dát 700MB/s

[Ivan Vecera]

Muzu doporucit switch Zyxel XGS1910-24 ktery ma 2 10 GbE porty. Na jeden bych dal NAS a na druhy pripadne ESXi a workstationy pak na 1 GbE porty. Sam to mam takto doma resene. Cena je pomerne prizniva...cca 16 tis. za switch + 10 GbE sitovka ASUS PEB-10G (Broadcom chipset) za cca 3800,- + nejaky Direct-attached kabel (1m nebo 3m).

[Michal2]

Díky za názor. Vlastně jsem zvažoval podobné řešení.

Do NASky Gbit připojit do stávající infrastruktury. Kromě toho ASUS PEB-10G/SFP PLUS Dual a do ESXi a pracovni stanice ASUS PEB-10G/SFP PLUS Single.

To je 12k za síťovky a 4000 za kabely. Asi idelani reseni. Do doby, nez pribude dalsi WS

[Ivan Vecera]

Proc 10GbE na workstationy? Nestaci 1GbE? 10GbE porty bych nechal pro NAS a pripadne ESXi.

[Michal2]

WS tam je jen jeden- 2 procesory, 128 GB paměti,... a ta ten 10Gbit potřebuje snad ještě víc než ESXi server. Zbytek jsou jen obyčejná PC.

[Ivan Vecera]

WS a 128GB? Na co to pouzivas ? Sam jsem mel na desktopu 64GB kvuli virtualizaci a ZFS a to uz jsem si pripadal jak exot .

[Michal2]

Díky za názor. Vlastně jsem zvažoval podobné řešení.

Do NASky Gbit připojit do stávající infrastruktury. Kromě toho ASUS PEB-10G/SFP PLUS Dual a do ESXi a pracovni stanice ASUS PEB-10G/SFP PLUS Single.

To je 12k za síťovky a 4000 za kabely. Asi idelani reseni. Do doby, než přibude další WS

[vagojan]

Jakou to má mít prostupnost? Čtení je u raid6 tak do 500iops. Zápisy tak 100iops. Jaké je využití? NearLine storage max 8 hodin denně a spíš bloková čtení a zápisy, jinak se utaví disky.Takže nevhodné na systémové disky a DB. Z hlediska prezentace bych volil iscsi. 4x 1Gbps uplink z targetu a na iniciátorech mít multipath.