abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 12:33 | Zajímavý projekt

Kernel.org představil lore.kernel.org, tj. archiv diskusního listu vývojářů linuxového jádra LKML (Linux Kernel Mailing List) s řadou zajímavých funkcí. Archiv běží na softwaru Public Inbox.

Ladislav Hagara | Komentářů: 0
dnes 10:55 | Nová verze

Po devíti měsících vývoje od vydání verze 10.0 byla vydána verze 11.0 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu a na YouTube.

Ladislav Hagara | Komentářů: 0
včera 20:44 | Nová verze

Po více než 3 měsících vývoje od vydání verze 238 oznámil Lennart Poettering vydání verze 239 správce systému a služeb systemd (GitHub, NEWS).

Ladislav Hagara | Komentářů: 6
včera 15:00 | Nová verze

Bylo oznámeno vydání nové stabilní verze 1.28 a beta verze 1.29 open source textového editoru Atom (Wikipedie). Přehled novinek i s náhledy v příspěvku na blogu. Podrobnosti v poznámkách k vydání. Atom 1.28 je postaven na Electronu 2.0.

Ladislav Hagara | Komentářů: 1
včera 14:00 | Nová verze

Byla vydána nová verze 2.3.0 multiplatformního svobodného frameworku pro zpracování obrazu G'MIC (GREYC's Magic for Image Computing, Wikipedie). Přehled novinek i s náhledy na PIXLS.US.

Ladislav Hagara | Komentářů: 0
včera 13:00 | Komunita

Akční RPG hra Shadowrun Returns Deluxe, kterou lze hrát i na Linuxu je nyní zdarma na Humble Bundle. Hra vyšla díky kampani na Kickstarteru v roce 2013.

tajny_007 | Komentářů: 0
včera 01:00 | Nová verze

Byla vydána verze 1.27 programovacího jazyka Rust (Wikipedie). Z novinek je nutno zmínit podporu SIMD (Single Instruction Multiple Data). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 7
21.6. 16:22 | IT novinky

CEO Intelu Brian Krzanich rezignoval (tisková zpráva). Oficiálním důvodem je "vztah na pracovišti". S okamžitou platností se dočasným CEO stal Robert Swan.

Ladislav Hagara | Komentářů: 39
21.6. 14:11 | Komunita

Konsorcium Linux Foundation ve spolupráci s kariérním portálem Dice.com zveřejnilo 2018 Open Source Jobs Report. Poptávka po odbornících na open source neustále roste.

Ladislav Hagara | Komentářů: 1
21.6. 12:44 | Zajímavý článek

Na stránkách linuxové distribuce Ubuntu Studio byla publikována příručka Ubuntu Studio Audio Handbook věnována vytváření, nahrávaní a úpravě zvuků a hudby nejenom v Ubuntu Studiu. Jedná se o živý dokument editovatelný na jejich wiki.

Ladislav Hagara | Komentářů: 0
Jak čtete delší texty z webových stránek?
 (78%)
 (22%)
 (4%)
 (7%)
 (2%)
 (10%)
Celkem 247 hlasů
 Komentářů: 39, poslední 21.6. 17:44
    Rozcestník

    Dotaz: HA linux storage

    2.3. 10:23 Odpadlik
    HA linux storage
    Přečteno: 1297×
    Zdravím, řeším problém high availability úložiště pro Linuxové servery.

    Požadavky:
    • sdílený storage
    • high available
    • rychlý
    • POSIX kompatibilní.
    Má to být náhrada Netappu s jehož výkonem nejsem spokojen.

    Pracuji s následujícími možnostmi:
    1. Klasický NFS server s vlastním (lokálním) RAIDem a ext4/btrfs/xfs
    2. NFS server v HA clusteru (active/passive) se sdíleným storage a filesystémem ext4/btrfs/xfs
    3. NFS server v HA clusteru (active/passive) s lokálním storage typu ext4/btrfs/xfs který se replikuje na ostatní uzly pomocí DRBD
    4. všechny servery v clusteru s GFS2 sdíleným filesystémem
    Nemáte s tím někdo zkušenost?

    Nejvíce mi dává smysl možnost 1 a 3.

    1. Vím že mi dá co potřebuji. Trochu problém je s tím že to není úplně HA.

    3. Je vlastně to samé co 1. s tím, že je doplněno o HA

    Body 2 a 4 potřebují sdílené úložiště typu SAN což mi přijde zbytečně nákladné a je to další věc co by se mohla pokazit.

    Odpovědi

    2.3. 10:44 Petr
    Rozbalit Rozbalit vše Re: HA linux storage
    Tak nejak nerozumim, resis HA uloziste a pak zaroven rikas, ze na tom Ha ani tak nezalezi. Ujasni si co chces. Od NetApp jsme postupne odesli k zfs storage na freebsd. Mame ale specificke pozadavky na provoz, tudiz to co vyhovuje nam nemusi tobe.
    2.3. 10:48 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Prosim precti si muj dotaz jeste jednou. Ok?
    2.3. 12:21 Petr
    Rozbalit Rozbalit vše Re: HA linux storage
    Ja jsem to cetl, ale ty zminujes ze HA reseni vyzdaduje dalsi veci ktere ti prijdou zbytecne. Pokud potrebujes 100% HA reseni, tak proste sdileny storage je zaklad.
    2.3. 12:32 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    To neni pravda - viz DRBD. Navic sdileny storage je prave ten single point of failure :-)
    2.3. 11:16 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: HA linux storage
    Řeším něco podobného a nakonec se přikláníme ke "krabicovému" řešení na Synology.

    A to dvě Synology napárované pomocí HA. a jako základní systémy v současnosti zvažujeme.
    1. RS818+ 1U 4 disky (s 1U expanzí 8)
    2. DS1817+ 8 disků + možná další expanze. Možností 10GbE rozhraní, SSD cache na zrychlení přístup
    3. RS2416+12 disků ve 2U + možná další expanze.
    Zatím analyzujeme potřebu jednak celkových kapacit a jednak potřebu síťových výkonů než se finálně rozhodneme. Ale pro mne toto řešení je již výkonově dostatečné pro klasické disky.

    Pokud "rychlý" znamená storage na SSD a 10GeE ethernet v plné zátěži, tak je to na něco na Xeonu, ale i tak bych spíše použil NAS než něco stavěl.
    2.3. 11:29 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    To neřeší logickou stránku věci (tj jak zajistit sdílený přístup), pouze hardware - ale jinak dík za link
    2.3. 11:39 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Tak se omlouvám. Tak krabice už umí NFS. Což není úplně ono, pač to určitě nebude umět tak aby nám to vyhovovalo.
    2.3. 11:54 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: HA linux storage
    U vás je asi primárně otázky výkonu. jaké NFS umí krabice je tady a jinak krabice umí i iSCSI. Pro nás to, že na každém Synology bude RAID 1 a budou dvě spřažené do HA bude stačit, jak pro bezpečnost, tak pro výkon. Nicméně vysoké výkony jsou asi jiná otázka. Jaký výkon se od úložiště očekává. (IOPS, datová propustnost, kapacita, atd.?)
    2.3. 12:05 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    No my potřebujeme aby krabice uměla NFS i CIFS, integraci do AD s podporou RFC2307bis a navíc asynchronní NFSv4, snapshoty a kvóty na uživatele a skupiny. Chci kapacitu cca 30Tb a latenci v řádu milisekund. Krátkodobou propustnost blížící se 10Gb Ethernetu. Málokdo něco takového nabízí out-of-the-box, takže jsem se smířil že si tyto "detaily" nějak dobastlím sám. Tady mi primárně jde o zajištění HA.
    2.3. 11:18 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    Záleží na tom jaký HW a v jakém počtu máš k dispozici. Jakou máš konektivitu & etc. Z hoven sice nějaký ten bič upleteš, ale moc s ním nezapráskáš.
    2.3. 11:31 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Prosím pouze smysluplné komentáře. Samozřejmě nepředpokládám, že řešení bude zadarmo a že si i nějakou investici vyžádá. Pouze očekávám že to bule levnější než 100k Eur (což je cena za Netapp All-flash storage)
    Max avatar 2.3. 11:37 Max | skóre: 66 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: HA linux storage
    Máme 2x NetApp FAS2552 a v každém 2x SAS Agregáty (30TB) + 1x Agregát 2TB SSD, bez akcelerace pomocí ssd a výkon to má hodně pěkný. Připojeno do sítě přes 2x10Gbit ethernet a NFS4.1 + async do záložní lokality.

    Pokud bych měl řešit vlastní storage v rámci OSS, což už jsem řešil, tak bych to udělal jako teď, co mám, tj. :
    FreeBSD + ZFS + hodně ram a 2xSSD pro mirror SLOG + LSI HBA
    ZFS = snapshoty, možnost dělat send/receive na/z jiného ZFS storage, pěkné statistiky zatížení, je to vyladěný FS

    Ano, je to dražší, jak obyčejný storage s HW řadičem + ext4 a k tomu DRBD, ale výkonově je to hodně slušný.
    A případně lze použít FreeNAS, což mi přijde jako dobré klikací řešení, žádný bastl.

    Buď bych tedy osobně přemýšlel nad ZFS výše, nebo nad lokálním storage s DRBD na druhý node.
    Obě řešení samozřejmě může rozdělit a mít půl produkce na jednom nodu a půl produkce na druhým. V případě pádu pak řešíš nahození půlky služeb na druhé straně.
    Zdar Max
    Měl jsem sen ... :(
    Max avatar 2.3. 11:39 Max | skóre: 66 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: HA linux storage
    Teď koukám, že zmiňuješ "100k Eur (což je cena za Netapp All-flash storage)", možná by se tedy hodilo říci, o jakém zatížení se bavíme a jaké jsou požadavky např. na latence apod.
    Zdar Max
    Měl jsem sen ... :(
    2.3. 11:55 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Máme něco podobného. Blbé je, že Netapp neumí asynchronní NFS, což způsobuje latence v řádu desítek milisekund. To je pro nás nepřijatelné - z toho důvodu jsme nasadili něco podobného co zmiňuješ (Linux, lokální fs, hodně paměti, trocha kernel tuningu, a NFS). Akorát mě tedy mrzí že to není HA řešení. Proto ostatně tento dotaz.

    O ZFS jsem slyšel, ale raději bych něco "komerčnějšího" s možnou podporou z venčí. Taky potřebujem snapshoty, tak váhám mezi BTRFS nebo EXT4+LVM. Tady by asi zvítězilo ZFS to uznávám.

    To je ale jiný příběh. Primárně řeším problém HA, proto mě napadlo DRBD s HA clusterem.
    2.3. 11:58 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: HA linux storage
    Rozumím. To je jiná liga, než kterou potřebujeme. 10ms by nás nepálilo.
    2.3. 12:10 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    A přitom řešení je jednoduché. Asynchronní NFS a hodně paměti. 10ms by asi bylo OK, blbé je, že Netapp dává tak průměrně 40-50ms. To už se na kupříkladu subversion operacích (spousta malých souborků) dost projeví.
    2.3. 12:36 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: HA linux storage
    Pokud je rozpočet kolem 100k Euro, tak možná más smysl i nějaký testovací pokus s tím Synology, protože se dvojice dá pořídit pod 100k Kč a třeba na omezených datech se ukáže jaké to má vlastnosti.
    8.3. 21:50 aliquis
    Rozbalit Rozbalit vše Re: HA linux storage
    40-50ms je vela aj v tcpdumpe, tam bude skor iny problem. Packet trace si robil na kontroleri ci na NFS klientovi? Ktore operacie trvaju dlho(read, write, other)? Netapp async NFS nepodporuje lebo nema zmysel. Kazdy zapis ide do pamate a aj NVRAM(lokalnehe nodu a partnera). Hned potom sa potvrdi NFS klientovi. Na disk to ide v ramci consistency pointu. Mas to monitorovane grafanou? Ake mas NFS latencie v grafane? Pri citani sa pouziva readahead...
    2.3. 12:04 MP
    Rozbalit Rozbalit vše Re: HA linux storage
    http://ixsystems.com/ - HA zfs, pozadavky nutno overit. Ale pokud je duraz na latenci, asi bych do vlastniho reseni nesel.
    2.3. 12:19 Petr
    Rozbalit Rozbalit vše Re: HA linux storage
    Zfs ma komercni podporu pokud potrebujes, teba ixsystems, snapshoty atd to umi a je to vyladene ve srovnani s btrfs. Zkus si u btrfs nechat stovky snapshotu, nebo raid5/6 to nema produkcni atd. Nasadit to do produkce bych nechtel, ale kazdy to mame jinak.
    2.3. 12:34 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Mám podobné výhrady k btrfs a nikde neříkám že bych ho určitě použil....
    4.3. 08:58 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    Měl jsem na Btrfs kolem deseti tisíc snapshotů a jelo to ok. Problémy mohou nastat až při jejich odstraňování, obzvláště u pomalého blokového zařízení. Pokud se nestihnout všechny odstranit před případným restartem stroje, projde mount po restartu teprve až se všechny operace dokončí - čekal jsem takto téměř to půl dne a během té doby se modlil, aby všechno dojelo v pořádku. Od té doby jsem chytřejší a raději je odstraňuji postupně.
    Max avatar 2.3. 13:15 Max | skóre: 66 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: HA linux storage
    Přílohy:
    Nemáme problémy s latencema, resp. jen tu a tam. NetApp je připojen ke switchi HP5700 přes 2x10Gbit a to samé každý server DL380G9/nod.
    Používáme ESXi 6.0 a připojení přes NFS4.1
    Ve špičkách jdeme s těma pár SAS diskama k 5k IOPS (nepočítám ssd agregátor) a občas latence vyskočí na 25, někdy i k 50ms, ale běžnějších jsou latence v průměru kolem 3ms.
    Statistiky z toho jednoho NetAppu viz příloha.
    Běží nám tam :
    - 2x Exchange 2013 (celkem 550 mailboxů, cca 2TB)
    - KerioConnect 400 uživatelů (1TB)
    - svn (30GB)
    - Filserver (pro 250 uživatelů, 600GiB)
    - helpdesk (redmine), nagios, ftp/ftps/sftp
    - Oracle 11XE db pro Apex
    - Apex + Glassfish
    - 3x IIS Server
    - citrix pro 25 desktopů
    - sharepoint 2013
    - x2go pro 20 uživatelů
    - wsus pro 500 stanic (cca 600GiB)
    - wiki
    - print servery
    - telefonní ústředna mx-one
    - ESET ERA
    - doménové a dns servery
    - nějaký apache a malé VM.

    Na tom 2TB SSD nám pak běží SAP + Oracle + - MSSQL 2012 (500GiB) + nějaké další věci
    Zdar Max
    PS: cena těch dvou NetAppů byla celkem směšná, resp. byly levnější, jak např. hloupé pole od HP
    Měl jsem sen ... :(
    2.3. 14:46 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Hmm, dík. Tak u vás je to primárně asi úložiště pro ten ESXi jestli tomu dobře rozumím. U nás je to primárně fileserver. A latenci jsem neměřil z Netappu ale pomocí timestamp z tcpdumpu. Jako všechno funguje, ale pátrat jsem začal potom, co si jeden uživatel začal stěžovat, že SVN checkout je na lokálním filesystému 20krát rychlejší než na NFS s Netappem. Zjistil jsem, že asynchronní NFS dokáže věci poměrně brutálně zrychlit. Nejdřív jsem se hádal s Netapp supportem, proč pro cache diskových operací nevyužijí NVRAM a pak z nich vypadlo, že NVRAM se k tomu využít nedá - tj umí to pouze synchronní NFS.

    Faktem ale je, že my tam nemáme SSD disky, pouze SAS a SATA shelfy. Ten SSD agregátor by tomu mohl dost pomoci.

    Abych byl úplně detailní, tak je víc věcí, co mne na Netappu štve. Tristní synchronizace s AD a implementace NFSv4 s Kerberosem je prakticky nepoužitelná. Support je taktéž tragický - pokud chce člověk detailní technické informace typu "já opravdu nejsem lama, dejte mi kontakt na vývojáře", tak má smůlu.

    Ale to je na další diskusi někde jinde. Nechci moc odbíhat od tématu :-)
    2.3. 16:14 Soptadv
    Rozbalit Rozbalit vše Re: HA linux storage
    Ahoj,

    koukni se na HPE 3PAR File Persona specifikace, myslím že by to splnilo...

    Ale obávám se že by jsi musel přitlačit na ceně, tohle jsou pole do HI a MID levelu, ne Entry jako NetApp...

    Petr

    Max avatar 2.3. 16:26 Max | skóre: 66 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: HA linux storage
    Já ten SSD Agregátor na urychlení SAS pole nepoužívám. On je totiž v tomhle Netapp pěkně na pytel. Pokud bych přidal nějaké SSD do SAS Agregátoru, tak je to nevratný proces, není to jako u ZFS, kde si řekneš ok, teď bych chtěl urychlit tohle pole, tak odkloním SLOG na rychlý SSD a když to nebudu potřebovat, tak ho zase odeberu.
    Prostě není tam taková variabilita. Na druhou stranu, FreeBSD nepodporuje NFS4.1 a ani žádný OSS Solaris like systém, jen ty šíleně placené varianty :-/.
    V tom má zase NetApp navrch a řešením v OSS je jedině ZFSonLinux a použít Linux na NFS služby.
    Zdar Max
    Měl jsem sen ... :(
    2.3. 17:33 romanch | skóre: 4
    Rozbalit Rozbalit vše Re: HA linux storage
    Možná trochu podobné požadavky - shared HA storage pro KVM (proxmox) používáme : 2x HW server, disky v JBOD modu, nad tím ZFS raidz1 nebo 2 + nvme SSD cache. A tyhle 2 servery jsou propojené 10gbe (teď i testovacím 40gbe mellanox) a nad tím je GlusterFS, který to exportuje na každém serveru ven jiným 10gbe pro KVM Hosty SW je distribuční Debian bez úprav + ZFS, konfigurace jednoduchá za odpoledne. eliminuji tím HW raidy a řešení typu SAN (FC) Náklady 00 nic, používám nové LFF SAS disky, repas 2x Xeon HPE servery za 500E + 64GB RAM.

    2.3. 21:43 pavele
    Rozbalit Rozbalit vše Re: HA linux storage
    Dva servery - to jako dva nody s GlusterFS?
    3.3. 12:30 scott | skóre: 15
    Rozbalit Rozbalit vše Re: HA linux storage
    Tohle reseni se mi libi,ale neni lepsi pro GlusterFS mit vice nodu? A NFS by melo byt vestavene i v GlusterFS, aby se nemusel pouzivat FUSE konektor, mas s tim take zkusenosti?
    3.3. 20:52 pavele
    Rozbalit Rozbalit vše Re: HA linux storage
    Já jen, že jsem si chvíli hrál s GlusterFS se dvěma nódy a v případě výpadku jednoho nódu došlo po krátkém čase k odpojení druhého, funkčního nódu.

    A co jsem se potom díval na informace k tomuto chování, prý to není bug.

    Takže pro moje použití byl GlusterFS nevhodný - jsou potřeba nejméně 3 nódy.

    Možná mě někdo opraví, že u nové verze už s tím problém není, přece jen je vývoj a změny v GlusterFS jsou poměrně rychlé, přirovnal bych to k vývoji Btrfs.
    4.3. 08:50 hermelin | skóre: 21
    Rozbalit Rozbalit vše Re: HA linux storage
    Ahoj, pouzivam proxmox s drbd ale taky se poohlizim po necem jinem. Hlavnim duvodem je ze uz drbd neni standartne v Proxmoxu (musi se doinstalovavat z jineho repozitare), a uz sem diky tomu na mailing listu zaznamenal i nejake problemy. GlusterFS se mi na image virtualu zatim jevi jako rozumna nahrada - az bude cas mrknu na to a otestuju. Jinak problem s dvouuzlovym glusterfs je uz podle dokumentace vyreseno prostrednictvim tretiho uzlu ktery funguje pouze jako arbitr pro quorum (neuklada zadna data, pouze metadata a strukturu adresaru) - http://docs.gluster.org/en/latest/Administrator%20Guide/arbiter-volumes-and-quorum/
    4.3. 10:47 pavele
    Rozbalit Rozbalit vše Re: HA linux storage
    A ten třetí uzel musí být na samostatném serveru nebu může být na jednom ze dvou uzlů?

    Co se stane, když třetí uzel vypadne současně s druhým - oba budou nainstalované na stejném serveru?
    4.3. 15:29 hermelin | skóre: 21
    Rozbalit Rozbalit vše Re: HA linux storage
    Tak samozrejme pokud vypadnou dva jakykoliv uzly tak quorum ze neni schopny zajistit konzistenci takze svazek bude minimalne read-only nebo se ztrati uplne. Arbitr je asi dobre mit na jinem serveru nez jsou ty dva nody. Vse je ale jenom teorie - s glusterfs nikdy nic nedelal. Treba sem nekdo napise sve prakticke zkusenosti s glusterfs na dvou uzlech.
    7.3. 23:21 marbu | skóre: 29 | blog: hromada | Brno
    Rozbalit Rozbalit vše Re: HA linux storage
    Arbitr je asi dobre mit na jinem serveru nez jsou ty dva nody.
    +1
    I think warning here is a bug. The biggest cloud service provider. There is no point in being so cool in a cold world.
    5.3. 13:28 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Trochu blbé je, že GlusterFS používá afaik FUSE, tzn nikdy to nebude tak rychlé jako nativní filesystém.
    5.3. 18:24 ZS-Man | skóre: 31 | blog: B26
    Rozbalit Rozbalit vše Re: HA linux storage
    To není úplně přesné, Proxmox (QEMU) používá pro přístup k virtuálním diskům libgfapi.
    5.3. 19:14 hermelin | skóre: 21
    Rozbalit Rozbalit vše Re: HA linux storage
    presne tak - vice o tom tady - http://staged-gluster-docs.readthedocs.io/en/release3.7.0beta1/Features/libgfapi/

    podporuje jak qemu, nfs i sambu

    to by mohlo vykonove dost pomoci
    6.3. 08:41 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    lib(cokoli) = FUSE = nikdy to nebude tak rychle jako nativni filesystem v kernelu.
    6.3. 08:44 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    GlusterFS i s obrázky. Stránka sice dva roky stará, protože už jsem dávno o kus jinde (proto i nedoplněná), ale pro seznámení může stačit.
    6.3. 10:52 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Vím jak GlusterFS funguje. Je to fajn systém, ale nic to nemění na faktu že je to založené na FUSE, tj nebude to nejrychlejší (ve srovnání s NFS například).

    Co mi přijde slibné je GlusterFS ve spojení s pNFS - tomu bych opravdu rozuměl. Nezkoušel někdo?

    6.3. 11:00 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    Jo. Zkoušel. Na pytel.
    6.3. 11:30 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    No je otázka jesti jsi zkoušel opravdu pNFS a ne jen NFS. Gluster umí oba.
    6.3. 11:56 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    Pokud nevěříš, zkus si to taky Tomáši.
    6.3. 11:58 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Jj, vyzkouším :-)
    6.3. 11:05 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    GlusterFS je dobrý na sdílení souborů mezi virtály a hostiteli. Pro bloková zařízení virtuálů samotných je lepší použít distribuované blokové zařízení. Ovšem to vyžaduje minimálně tři nody (sheepdog). V případě dvounodového clusteru je lepší používat DRBD oddíly zpropagované rovnou do virtuálů. Osvědčilo se jako nejspolehlivější. Když se něco podělá, tak to nesejme všechno najednou.
    6.3. 11:28 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Virtuály neřeším, to je příliš pomalé. Když už izolace, tak nasadit kontejnery - běžet Linux VM na Linuxovém hypervizoru mi fakt přijde dnes trochu nešťastné a překonané.

    Řeším fileserver resp distribuovaný filesystém. DRBD je fajn a rychlé (pač se implementace dostala do jádra), GlusterFS má ale také BD translator který toho umí víc (DRBD v je v podstatě jen síťový RAID-1). V podstatě mi z toho vychází asi nejlépe Gluster/pNFS - to má potenciál. GFS je také OK, ale chce to SAN....
    8.3. 00:11 marbu | skóre: 29 | blog: hromada | Brno
    Rozbalit Rozbalit vše Re: HA linux storage
    Tahle poučka obecně platí pro lokální souborové systémy (jako je např. xfs, ext4, zfs), protože se použitím fuse zněkolikanásobí počet přepnutí kontextu a žádné další externí vlivy to už nepřebijou. Ale v případě distribuovaných systémů, kdy jsou ve hře třeba desítky strojů komunikujících po síti, jejich konfigurace a způsob, jak k těm strojům přistupují klienti, bych to úplně netvrdil.

    Např. v případě toho GlusterFS můžeš jako místo tzv. nativního fuse klienta zvolit nfs klienta. To že je ten nfs klient v kernelu ale automaticky neznamená, že bude tento přístup vždy bez ohledu na další okolnosti rychlejší nebo lepší. Naopak se spíš doporučuje ten fuse klient:
    The Gluster Native Client is a FUSE-based client running in user space. Gluster Native Client is the recommended method for accessing volumes when high concurrency and high write performance is required.
    Na druhou stranu je ten nfs klient zase lepší v případě čtení mnoha malých souborů z jediného klienta. Ale se z pouhého posuzování kernel vs user space bez ohledu na architekturu nedá jen tak odhadnout.
    I think warning here is a bug. The biggest cloud service provider. There is no point in being so cool in a cold world.
    8.3. 14:46 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    Z vlastní zkušenosti doporučuji používat raději toho klienta přes FUSE, než NFS. Odpadne tím řada problémů. Ale má to háček a tím je zabezpečení. Možná je dnes už situace jiná, ale když jsem si s tím hrál, tak jsem raději GlusterFS provozoval tak, aby byl zcela oddělen od veřejné sítě, na samostatné VLAN. Ovšem to platí i pro jiná distribuovaná řešení.

    Kupř. pokud někdo získá kompletní URL na připojení kontejneru cephu, nebo sheepdogu, tak může hravě nabourat FS virtuálu. Sheepdog sice měl podporu pro zamykání, ale to dělalo někdy binec při migraci. Nevím jak to má aktuálně Ceph. Na GlusterFS se mi líbila právě ta možnost sdílení souborů mezi více stroji. Jako úložiště virtuálních disků přístupných přes libgfapi to taky nebylo špatné, ale IO výkon hostitelských strojů byl velmi limitující (byly to staré šunky s velkými a pomalými SATA disky). Tak kde jedou hostitelské stroje na raidech s rychlými SAS disky to může být výkonově úplně jinde.
    16.3. 09:54 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Tak pokud se někdo může zmocnit přístupu na filesystém jednoduše přes URL, tak to svědčí o zásadní chybě v návrhu sítě. Jinak co se týče zabezpečení, tak GlusterFS to vůbec neřeší, což možná přijde později - zase to ale svědčí ve prospěch NFS, která se dá snadno a elegantně zabezpečit Kerberem - pak můžete mít bezpečný přístup i přes to Vaše URL :D
    16.3. 09:47 Odpadlik
    Rozbalit Rozbalit vše Re: HA linux storage
    Jj, myslím si to samé. Native Gluster client je asi 10x pomalejší než NFS - a lepší už to nebude. Myslel jsem si taky, že GlusterFS ve spojení s NFS by mohlo být rychlejší, zvláště pokud to pojede přes ParalelNFS (pNFS). Problémem je, že:

    - GlusterFS nepodporuje kernel NFS server

    - Ganesha NFS nepodporuje asynchronní NFS.

    Což nám dává pouze synchronní user space NFS server.Nic moc.

    Docházím k závěru, že člověk by se měl vyvarovat distribuovaných filesystémů, pokud je nutně nepotřebuje - protože prostě nejsou tak rychlé (a ani být nemohou) jako lokální fs. Prostě zůstat u starého dobrého NFS, a pokud člověk potřebuje redundanci, tak pod něj hodit ještě DRBD
    Max avatar 16.3. 11:49 Max | skóre: 66 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: HA linux storage
    Jsem téhož názoru (DRBD, nebo ZFS/Btrfs send/receive), resp. cluster fs se vyplatí až od mnohem většího nasazení, nic s pár nodama nebude mít nikdy uspokojivý výkon :-/.
    Zdar Max
    Měl jsem sen ... :(
    16.3. 12:04 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    Záleží co od toho chceš.
    16.3. 12:02 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: HA linux storage
    Docházím k závěru, že člověk by se měl vyvarovat distribuovaných filesystémů, pokud je nutně nepotřebuje - protože prostě nejsou tak rychlé (a ani být nemohou) jako lokální fs.
    Plantáte nesmysly. NFS dává smysl pouze v případě, že nemáte sdílená data křížem krážem. Tj. když klienti komunikují přes jeden společný storage. Ano, můžete také provozovat NFS porno, kdy každý šuká s každým, ovšem za nedostupnosti některého z namountovaných nodů vám může NFS nepěkně zablokovat síť.

    Pokud chcete data skutečně sdílet, tak abyste mohl kterýkoliv z nodů podle libosti a potřeby odstavit, tak dává smysl jedině distribuované řešení. A pokud se týče rychlosti - ta je limitována především tím, jak rychle jsou schopny nody ukládat a poskytovat data.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.