Dotaz: Velice rychlé síťové úložiště - jaké?

[JaPaTak]

Zdravím všechny. Potřeboval bych nějaké společné úložiště pro několik serverů. Mělo by být alespoň tak rychle přístupné, jako lokální sata2 disky. Existuje vůbec něco takového? Myšlenka by byla udělat 1 zvláštní data server s několika gigabit síťovkami jimiž by byl spojen s ostatními servery. K datům by se potom přistupovalo přes nfs. Netuším ale jak je to s rychlostí. Podle všeho by v nfs problém být neměl, jde asi o to zda to bude dostatečně rychlé propojení mezi těmi servery. Máte někdo nějaké zkušenosti s podobným návrhem či nějaký lepší nápad? Ty servery by měly být terminal servery a na datovém serveru by měly být domovské adresáře, proto je potřeba dostatačná rychlost.

Odpovědi

[kozzi]

Já v tom nevidím potíž, to že tam budou domovské adresáře. Záleží kolik jich tam bude a hlavně kolik lidí tam bude přistupovat naráz.

[JaPaTak]

No naráz ze začátku asi maximálně 50 lidí. Nicméně uživatelů tam bude o dost víc a budou mít možnost si na terminal serveru ve screenu pustit třeba nějaké stahování. Nevím jestli se na to GigaLan hodí. Dalo by se pro zrychlení práce na data serveru udělat nějaká velká paměťová cache, do které by se data zapisovala a až potom ukládala na disk? A za další mě vrtá hlavou to, že budu potřebovat alespoň 2 data servery v clusteru, kdyby se s jedním něco stalo. Takhle by měl vypadat asi finální návrh:

--------------------switch-------------------------------------------------------------
   |            |           |           |              |                            |
server 1    server 2    server 3    server 4    ZÁLOŽNÍ DATA SERVER        ------switch2-----   ... další switche ....
   |            |           |           |              |                    ||||||||||||||||
   ---------DATA SERVER---------------------------------                        klient. pc
 

[vencour]

Ja koukam, o čem to píšete, několik serverů s gigovýma síťovkama, co tam chcete dát za železo jako switche, routery? Tedy kde čekáte úzké hrdlo v celé topologii?

[JaPaTak]

Síťové prvky má na starosti někdo jiný. Ale prý jsou ty switche dost drahý a dobrý a vzájemně budou propojený optikou. Každý z "klientských switchů" by měl na každém portu dodávat plných 100mbps, některé budou gigové. "Serverový switch" bude gigový na každém portu. I tak ale bude asi úzký hrdlo v síťových prvcích.

[Marv-CZ]

Pro zvýšení propustnosti lze použít bonding (u switchů to bývá nazýváno truncking).

[Jiří J.]

Pokud se nepletu, Linux kernel si uchovává v RAM cache již defaultně.

# free
             total       used       free     shared    buffers     cached
Mem:        312656     308528       4128          0     123860     132728
-/+ buffers/cache:      51940     260716
Swap:            0          0          0

Po sync && echo 3 > /proc/sys/vm/drop_caches:

# free
             total       used       free     shared    buffers     cached
Mem:        312656      13848     298808          0        188       3524
-/+ buffers/cache:      10136     302520
Swap:            0          0          0

[Jiří J.]

NFS se kvůli takřka nulové bezpečnosti nedoporučuje na domovské adresáře. Nevím, jak je na tom s rychlostí filesystém používající FUSE, ale zkusil bych sshfs, při testovacím provozu jsem ho rozjel a limit byl dán 100Mbit síťovkou.. ke zvýšení rychlosti (snížení nároků na CPU) by snad mohla posloužit nějaká rychlejší šifra..

[kozzi]

sshfs bych urcite nepouzival. Na toto neni podle me idealni.

[al-Quaknaa]

Více-méně souhlasím, jde ale o to, co je prioritou, pokud je opravdu potřeba šifrovat všechen provoz, tak mě dobré alternativy nenapadají (tím neříkám, že neexistují). Určitě bych vám doporučil kouknout se na glusterfs, možná vám nebude úplně sedět, skutečné šifrování taky nemá (počítají s ním v další verzi a vývoj jde poměrně rychle kupředu). Upozornil bych asi, že NFSv4 by mohlo na první pohled řešit některé vaše problémy, ale v linuxu ještě moc dospělý není - zkoušeli jsme to na serveru (s Kozzim .. proč vlastně odpovídám na něj .. hmm, co už) a pár klientů to s přehledem zaseklo. sshfs s pár klienty by vám ale hodně rychlo zabralo většinu procesoru(ů) a síť by pak bottleneck asi nebyla. Ještě se na to víc podívám, tohle mě zajímá :)

[kozzi]

Zdar jsem si rikal kdyz se ozves tohle je prece spis tvoje parketa nez moje. Co si myslis o http://wiki.lustre.org/index.php?title=Main_Page

[al-Quaknaa]

To je o dost jiná liga a pro tohle použití by to byl overkill. Stejně jako třeba Ceph nebo jiné tyhle velké clusterovací systémy. Stačí si o nich něco přečíst na wiki a je jasné, že je to pro clustery s tera/petybyty dat a desítkami-stovkami-tisíci serverů. A celé to je v lokální síti a rozhodně to neslouží ke sdílení home adresářů ;)

[kozzi]

Asi si to rozjedu doma mam tu dva kompy tak pres to budu sdilet porno

[al-Quaknaa]

OMFG :D Nemusíš být tak konkrétní, stačí říct "ke sdílení velkého objemu dat". Ale jinak se kdyžtak poděl (o výsledky testů, of course). A když už budeš u toho testování, vyzkoušej i to GFS, OCFS, GlusterFS a další, jo ;) ?

[kozzi]

jj zitra ti reknu vysledky. Teda pokud si ty "velky objemy dat" nebudu chtit prekontrolovavat pri kazde kopii . Jo jinak TBBT je super.

[al-Quaknaa]

hehe :D No, Trancelius mi zítra donese díly 6 - 10, bude se slavit. A o těch výsledcích zítra upřímně pochybuju ;) Ty systémy nevypadají nijak zvlášť jednoduché na nastavení, glusterfs je tak nejjednodušší. Ale to už jsme tu trochu offtopic ..

[Josef Kufner]

NFS je dostatečně bezpečné, pokud máš pod kontrolou všechny stroje, což je tento případ.

[Jiří J.]

Pokud se do sítě nedostane cizí stroj, pak ano.

[JaPaTak]

No do serverovny volný přístup nebude, nfs server port bude otevřený jen pro několik ip/mac adresy. A co se týče tý cache, já myslím takovou "opravdovou" rozšířenou diskovou cache. Nevím přesně jak moc tohle splňuje standartní linuxová cache.

[Josef Kufner]

Standardní linuxová cache funguje dobře. Chce to prostě jen kus volné paměti. U NFS je zdržení akorát při zavírání souboru otevřeného pro zápis, kdy se čeká až vše bude opravdu uloženo.

[Jakub Suchy]

Zalezi take kolik serveru tam nakonec bude. Ja bych se NFS vyhnul a nasadil bych GFS. Pokud je to po LAN, da se pouzit Global Network Block Device (um iexportovat block device pro GFS pres LAN). GFS je dostupny pres Red Hat Enterprise Linux Advanced Platform nebo napr. v CentOS. Nevim o jaky typ firmy jde, pro vetsi firmu bych urcite zvolil RHEL AP, pro mensi bych se nebal CentOS, pro akademickou sferu urcite RHEL AP, protoze tam je cena licence zlomek te puvodni.

Neco o GFS jsem napsal tady.

[Z3]

NFS se kvůli takřka nulové bezpečnosti nedoporučuje na domovské adresáře.

Nesmysl. Od verze 4 (ktera je jiz bezne soucasti i enterprise distribuci. napr. SLES 10 SP1 ji ma) se da pouzivat Kerberos autentizace. Sifrovani tam ale neni. Jinak Secure NFS bylo soucasti Solarisu, ale v praxi se moc nepouzivalo. V Linuxu byla nejaka experimentalni verze Secure NFS, ale nevim o tom, ze by ji nekdo pouzival v ostrem provozu.

Nevím, jak je na tom s rychlostí filesystém používající FUSE, ale zkusil bych sshfs, při testovacím provozu jsem ho rozjel a limit byl dán 100Mbit síťovkou.. ke zvýšení rychlosti (snížení nároků na CPU) by snad mohla posloužit nějaká rychlejší šifra..

Nevim o nikom, kdo by sshfs pro tyto ucely pouzival. Ted mam na mysli datove sklady v superpocitacovych centrech, souborove servery velkych organizaci, ... Sshfs je prima pro pripojeni domaciho pocitace, ale o vhodnosti jeho pouziti pro ucely tazatele silne pochybuji.

[rastos]

Na rozdiel o ostatných prispievateľov, mi ako prvé po prečítaní, napadli pojmy ako NAS a SAN.

[Zdenek]

A o cem myslite, ze se celou tu dobu ostatni bavi? Tedy hlavne o NAS, ale v pripade GNBD i o SAN.

[rastos]

Viac menej o rôznych formách NFS bežiacich na normálnych PC. Kdežto pod SAN si predstavujem skôr krabičku, ktorá je optickým káblom pripojená na jeden alebo viacero počítačov a každý z nich to vidí, ako svoj lokálny disk. Čo je od NFS dosť ďaleko. Ale expert nie som, takže už budem ticho.

[Z3]

Funkcnost SAN i NAS reseni dostanete i z obycejneho PC s Linuxem (pro NAS muzete pouzit NFS nebo CIFS, pro SAN iSCSI). Vyhodou SAN nebo NAS je obvykle jednoducha konfigurace a kompletni servis, nevyhodou byva vysoka cena. Obycejna PC byvaji znatelne levnejsi, poskytuji vetsi miru flexibility, ale na druhou stranu si vse musite nakonfigurovat sam.

Pokud predem vite, ze SAN nebo NAS je pro vas to prave, tak je to vyborna volba. Pokud to dopredu nevite, tak byva lepsi napred uvazovat o obycejnem PC. Pisu obycejne PC, ale kdyz hovorime o desitkach TB diskove kapacity, tak ta cena zas tak mala neni. (Zvlast kdyz si pocitac nestavite sam, ale kupujete znackovy server od HP, IBM, Sunu, ...)

[Zdenek]

Ta krabicka je ale take jen pocitac a navic s moznosti minimalni konfigurace za nehoraznou cenu. U NAS tam take bezi NFS nebo CIFS a vetsinou take na linuxu. SAN s FC vam skoro nic neprinese oproti obycejne Gbit siti s iSCSI, limitem skoro nikdy neni propustnost tohoto spojeni, ale propustnost disku. Vzdy vyjde vyhodneji si koupit poradny server, k tomu externi diskove pole a nakonfigurovat si ho sam jako SAN/NAS nez koupit hotove omezene reseni. Bavim se o reseni za stovky tisic az jednotky milionu korun.

[Dworkin]

Zasadni otazka, kolik na to mate penez?

[Z3]

My mame jeden souborovy server se 7 TB diskove kapacity, jsou tam i home adresare. Pouzivaji ho 3 aplikacni (vy jim rikate terminalove) servery, a nekolik pracovnich stanic a notebooku. Celkem asi 10-15 aktivnich uzivatelu. Jako protokoly se pouzivaji NFS a CIFS.

Co se vykonu tyce: tam vetsinou nebyva problem s propustnosti site, ale s propustnosti diskovych poli. Bezny RAID-5 se SATA disky bez problemu zvladne sekvencni zapisy nad 60 MB/s (pripadne nad 100 MB/s - zalezi na spouste veci). U nahodnych zapisu malych souboru se ale u toho pole muzete dostat pod 1 MB/s (otestovano na XFS).

Obecne se toho moc rict neda, protoze silne zalezi na tom, jak moc uzivatele budou server zatezovat. V nekterych pripadech muze jeden souborovy server obslouzit i 200 uzivatelu. V jinych pripadech ten samy server nezvladne ani 20 uzivatelu.