abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 09:22 | Pozvánky

V Praze dnes probíhá Konference e-infrastruktury CESNET. Na programu je řada zajímavých přednášek. Sledovat je lze i online na stránce konference.

Ladislav Hagara | Komentářů: 0
9.12. 20:11 | Nová verze

Byl vydán Debian 9.3, tj. třetí opravná verze Debianu 9 s kódovým názvem Stretch a Debian 8.10, tj. desátá opravná verze Debianu 8 s kódovým názvem Jessie. Řešeny jsou především bezpečnostní problémy, ale také několik vážných chyb. Instalační média Debianu 9 a Debianu 8 lze samozřejmě nadále k instalaci používat. Po instalaci stačí systém aktualizovat.

Ladislav Hagara | Komentářů: 0
9.12. 00:44 | Nová verze

Po 6 měsících vývoje od vydání verze 0.13.0 byla vydána verze 0.14.0 správce balíčků GNU Guix a na něm postavené systémové distribuce GuixSD (Guix System Distribution). Na vývoji se podílelo 88 vývojářů. Přibylo 1 211 nových balíčků. Jejich aktuální počet je 6 668. Aktualizována byla také dokumentace.

Ladislav Hagara | Komentářů: 3
8.12. 21:33 | Nová verze

Po půl roce vývoje od vydání verze 5.9 byla vydána nová stabilní verze 5.10 toolkitu Qt. Přehled novinek na wiki stránce. Současně byla vydána nová verze 4.5.0 integrovaného vývojového prostředí (IDE) Qt Creator nebo verze 1.10 nástroje pro překlad a sestavení programů ze zdrojových kódů Qbs.

Ladislav Hagara | Komentářů: 0
7.12. 11:11 | Komunita

Naprostá většina příjmů Mozilly pochází od výchozích webových vyhledávačů ve Firefoxu. Do konce listopadu 2014 měla Mozilla globální smlouvu se společností Google. Následně bylo místo jedné globální smlouvy uzavřeno několik smluv s konkrétními vyhledávači pro jednotlivé země. V USA byla podepsána pětiletá smlouva s vyhledávačem Yahoo. Dle příspěvku na blogu Mozilly podala společnost Yahoo na Mozillu žalobu ohledně porušení této

… více »
Ladislav Hagara | Komentářů: 0
7.12. 05:55 | Zajímavý článek

V Londýně probíhá konference věnovaná počítačové bezpečnosti Black Hat Europe 2017. Průběžně jsou zveřejňovány prezentace. Videozáznamy budou na YouTube zveřejněny o několik měsíců. Zveřejněna byla například prezentace (pdf) k přednášce "Jak se nabourat do vypnutého počítače, a nebo jak v Intel Management Engine spustit vlastní nepodepsaný kód". Dle oznámení na Twitteru, aktualizace vydaná společností Intel nevylučuje možnost útoku.

Ladislav Hagara | Komentářů: 5
7.12. 04:44 | Komunita

Virtualizační nástroj GNOME Boxy ve Fedoře 27 umožňuje jednoduše stáhnout a nainstalovat Red Hat Enterprise Linux, který je pro vývojáře zdarma. Vývojová verze GNOME Boxy již umožňuje jednoduše stáhnout a nainstalovat další linuxové distribuce. Ukázka na YouTube. Seznam distribucí a jejich verze, nastavení a cesty k ISO obrazům je udržován v knihovně a databázi libosinfo (GitLab).

Ladislav Hagara | Komentářů: 0
7.12. 03:33 | Nová verze

Google Chrome 63 byl prohlášen za stabilní (YouTube). Nejnovější stabilní verze 63.0.3239.84 tohoto webového prohlížeče přináší řadu oprav a vylepšení. Vylepšeny byly také nástroje pro vývojáře. Opraveno bylo 37 bezpečnostních chyb.

Ladislav Hagara | Komentářů: 10
6.12. 22:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 147. brněnský sraz, který proběhne v pátek 15. prosince od 18:00 hodin v restauraci Severka na rohu Tučkové a Zahradníkové.

Ladislav Hagara | Komentářů: 0
6.12. 22:33 | Komunita

V roce 2013 byl představen projekt Debsources, jehož cílem bylo a je poskytnout webové rozhraní ke zdrojovým kódům balíčků obsažených v Debianu. Projekt doteď běžel na doméně debian.net. Dnes bylo oznámeno, že projekt byl přesunut na oficiální infrastrukturu Debianu. Služba Debian Sources nově běží na doméně debian.org. V plánů je řada vylepšení. Již dnes je ke službě k dispozici API a procházet lze také patche a licence.

Ladislav Hagara | Komentářů: 0
Jak se vás potenciálně dotkne trend odstraňování analogového audio konektoru typu 3,5mm jack z „chytrých telefonů“?
 (8%)
 (1%)
 (1%)
 (1%)
 (75%)
 (14%)
Celkem 947 hlasů
 Komentářů: 45, poslední 1.12. 19:00
    Rozcestník

    Střípky ze stavby centrálního úložiště

    18.2.2010 23:12 | Přečteno: 4864× | Diskuze | Výběrový blog | poslední úprava: 18.2.2010 23:34

    Před nějakou dobou jsme si přestali stačit s ukládáním dat na lokální disky a museli jsme řešit rozumné úložiště zajišťující dostupnost dat pro víc počítačů v provozu 24x7 bez možnosti větší odstávky. Rozpočet jsme měli omezený, požadavky relativně vysoké.

    Postupně tu budu zveřejňovat různé střípky ze stavby. Tento článek jsem původně nechtěl publikovat dnes, ale když jsem se podíval na počet písmenek, tak jsem usoudil, že je škoda to nezveřejnit.

    Požadavky na nové úložiště

    Naše nároky na úložiště: S kolegy jsme pracovali pro distributora SUNu jako technici, takže víme jak to chodí s HW pro enterprise sféru. Věděli jsme tedy celkem přesně co nechceme - low-end řadu libovolného diskového pole. Low-end disková pole jsou většinou dost omezené záležitosti ve stylu "za hodně peněz málo muziky, hlavně když to má tu správnou samolepku". Použitelná řešení od velkých výrobců HW (SUN, IBM, HP, NetApp) začínají zase na cenách mimo náš rozpočet :-(

    Výběr skončil na řešení s využitím dvou serverů mezi kterými budou replikována data pomocí DRBD.

    Architektura zvoleného řešení

    Zvolená varianta nakonec dopadla následujícím způsobem. Pořídíme dva servery s dostatečnou diskovou kapacitou. Nainstalujeme na ně Linux, data budeme replikovat pomocí DRBD v režimu Primary-Secondary. Data budou vystavená přes NFS a iSCSI nebo AoE. Vysokou dostupnost zajistí heartbeat.

    Výběr vhodného hardware

    Hardware jsme vybrali od Supermicro, mají case, který umožňuje zastrkat až 24 hot-swap disků. V kombinaci s kvalitním RAIDem Areca 1680 s 2GiB cache zálohované baterkou máme dostatečně prostoru i výkonu. Uvedená RAID karta zvládne SATA i SAS, máme variantu s externím SAS portem, takže případné rozšíření až vyčerpáme všech 24 pozic pro disky je velmi snadné - připojíme externí box s disky a pokračujeme dál. Procesor jsme zvolili čtyřjádrový intel i7 a 6GiB ECC RAM. Do serveru také putovalo víc síťovek - 2 integrované už má, tak jsme přidali další dvě dvouportové gigabitové intelky.

    Pro DRBD je nutné zajistit aby byly oba servery stejně silné - nelze si říct, že na Secondary server použiju nějaký slabší (a hlavně levnější) stroj. Koupili jsme tedy oba servery v identické konfiguraci a se supportem na 3 roky, oprava další pracovní den po nahlášení. V případě výpadku jednoho serveru můžeme bez problémů fungovat na jeho dvojčeti.

    K serverům jsme koupili i management rozhraní, které umožňuje po síti přes IPMI rozhraní i jejich vzdálený restart. To je velmi důležité - když se server sekne, tak aby mohl druhý fungující server převzít kontrolu, můsí mít možnost násilného restartu. Konfigurace tohoto mechanismu označovaného jako STONITH je popsaná v článku na STONITH - když se oba nody HA clusteru nedohodnout a musí se vzájemně sestřelit.

    Instalace a konfigurace OS

    Konfigurace sítě

    Konfigurace síťe je relativně snadná, pokud si nepromícháte kabely při propojování :-)

    Mezi servery doporučuji nepoužívat žádné další prvky - propojte je pěkně na přímo. Používáme tzv. "bonding" kdy jsou spojené dvě síťové karty do jedné virtuální. Linux pak zajišťuje rozkládání zátěže mezi ně a v případě výpadku jedné z nich i převedení veškerého provozu na tu zbývající kartu.

    Pro bonding jsem vybral dvě různé karty, jedna integrovaná na desce, druhá v PCIe slotu. Konfiguraci stačí zapsat do standardních konfiguračních souborů CentOSu a on už její nahození zajistí při každém startu sám.

    Pro přímou komunikaci mezi servery používáme rozhraní bond0 a pro komunikaci s klienty bond1.
    [root@node1 ~]# grep bond /etc/modprobe.conf 
    alias bond0 bonding 
    alias bond1 bonding 
    options bonding mode=balance-rr miimon=100
    
    [root@node1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1
    DEVICE=eth0
    BOOTPROTO=none
    HWADDR=00:30:48:B9:6B:50
    ONBOOT=yes
    TYPE=Ethernet
    SLAVE=yes
    MASTER=bond0
    USERCTL=no
    
    [root@node1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth5
    DEVICE=eth2
    BOOTPROTO=none
    HWADDR=00:30:48:9C:2C:80
    ONBOOT=yes
    TYPE=Ethernet
    SLAVE=yes
    MASTER=bond0
    USERCTL=no
    
    [root@node1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond0 
    DEVICE=bond1
    BOOTPROTO=none
    ONBOOT=yes
    USERCTL=no
    IPADDR=172.16.1.100
    NETMASK=255.255.255.0
    
    Každý ze serverů má tedy rozhraní bond0 pro komunikaci s druhým serverem a oba stroje jsou propojené napřímo. Další rozhraní je bond1, které slouží pro servírování dat klientům a poslední používané rozhraní je libovolné volné připojené do management síťě aby bylo možné stroje spravovat. Do management síťe je také zapojené management rozhraní serverů a raid karet.

    Při konfiguraci síťe také nezapomeňte na nastevení iptables. Při jejich konfiguraci upravuji soubor /etc/sysconfig/iptables a následně aktualizuji konfiguraci pomocí iptables-restore < /etc/sysconfig/iptables. Jakmile zkusíte použít "klikací" nástroj system-config-security, tak vám konfiguraci iptables totálně rozseká a znefunkční (proto také na uvedený soubor nastavuji atribut "i" - chattr +i ...).

    Jumbo Frames

    Aby byla zajištěna maximální propustnost sítě, doporučuji začít používat tzv. Jumbo Frames. Výchozí velikost MTU v linuxu je 1500b, podle toho jaké máte síťové karty a switche po cestě doporučuji použít vyšší hodnoty. Náš switch bez problémů zvládne velikost rámce 16k, intelky síťovký zvládají 9k - nastavil jsem tedy pro všechny síťovky velikost MTU 9000.

    DRBD

    Konfiguraci DRBD a jednu z možností řešení situace kdy se DRBD rozpadne jsem popsal v jiném článku na blogu: Konfigurace DRBD a řešení situace "Split-Brain", pro pochopení způsobu konfigurace to snad stačí.

    Konfigurace DRBD pro naše použití je trochu specifická - na svazcích exportovaných z HW RAIDu mám nasazené LVM. V něm vytvořené volumy a ty jsou použité jako zařízení pro DRBD. Mám takto udělané 3 DRDB zařízení (podle konkrétních diskových skupin kde každá je určená pro jiná data) a nad nimi je zase nasazené LVM a v něm vytvořené volumy na kterých je souborový systém.

    O první úroveň LVM se stará přímo distribuce - nahazuje ho při startu CentOS standardními skripty. DRBD nahazuje heartbeat, po naběhnutí DRBD heartbeat nahodí druhou úroveň LVM, připojí souborový systém a začne startovat další služby (IP adresy, NFS, AoE). Heartbeat má nastavená pravidla tak aby nahazoval služby tam kde je DRBD ve stavu Primary. Nemůže se tedy stát, že by na node0 nahodil DRBD a připojil souborový systém a na node1 nahodil NFS.

    Jestli se vám zdá zbytečné nasadit LVM pod i nad DRBD, tak napište proč to tak nemůže být :-) Mě připadá variabilita takového řešení docela dobrým důvodem - mohu stěhovat data kam chci a jak chci aniž by to klienti poznali a zvětšování prostoru také není úplně k zahození.

    LVM na DRBD

    Pokud budete chtít tak jako já nacpat LVM na DRBD svazek, je nutné to povolit v konfiguraci /etc/lvm/lvm.conf - v sekci devices jsem upravil:
    preferred_names = [ "^/dev/drbd", "^/dev/sd", "^/dev/mapper/" ]
    filter = [ "a|/dev/drbd.*|","a|/dev/sd.*|","r|.*|" ]
    

    Heartbeat

    Instalaci Heartbeatu a Pacemakeru zvládnete pravděpodobně sami, na Internetu je k nalezení docela dost návodů. Jeden z možných: http://www.clusterlabs.org/wiki/Install Docela pěkný popis konfigurace je také k nalezení na webu Novellu o SLESu.

    Servery jsem propojil přes RS232 abych měl zaručený paralelní komunikační kanál k síťovým kartám - pro cluster je to docela důležité. Poižitá konfigurace heartbeatu (/etc/ha.d/ha.cf):
    use_logd off
    logfile /var/log/ha.log
    debugfile /var/log/ha.debug
    keepalive 1
    warntime 10
    deadtime 30
    initdead 120
    udpport 694
    bcast bond0
    baud 19200
    serial /dev/ttyS0
    node node0.domain.tld
    node node1.domain.tld
    auto_failback on
    crm respawn
    apiauth         mgmtd   uid=root
    respawn         root    /usr/lib64/heartbeat/mgmtd -v
    respawn         root    /usr/lib64/heartbeat/hbagent
    
    Zajímavé části konfigurace CRM:

    DRBD

    Nejdřív si v clusteru nadefinuji jednotlivé svazky DRBD:
    primitive drbd0 ocf:heartbeat:drbd \
    	params drbd_resource="r0" \
    	op stop interval="0" timeout="180"
    primitive drbd1 ocf:heartbeat:drbd \
    	params drbd_resource="r1" \
    	op stop interval="0" timeout="180"
    primitive drbd2 ocf:heartbeat:drbd \
    	params drbd_resource="r2" \
    	op stop interval="0" timeout="180"
    
    Chci aby všechny DRBD svazky nabíhaly do Primary stavu na stejném serveru, proto jsem je seskupil do grp_drbd. Svazky nahazuji najednou a pouze tak aby byl vždy jeden server ve stavu Master (~Primary pro DRBD, definice ms_drbd). Spouštím je na preferovaném uzlu clusteru (pravidlo loc-drbd). Protože je cluster symetrický a nastavený do režimu failover, bude v případě nedostupnosti tohoto uzlu (node1.domain.tld) použit uzel druhý.
    group grp_drbd drbd0 drbd1 drbd2 \
      meta migration-threshold="2" failure-timeout="180s"
    
    ms ms_drbd grp_drbd \
      params clone_max="2" clone_node_max="1" master_max="1" \
    master_node_max="1" notify="yes" globally_unique="false" \
      meta target-role="Started"
    
    location loc-drbd ms_drbd \
      rule $id="loc-drbd-rule" $role="Master" inf: #uname eq node1.domain.tld
    
    Jak jsem psal, nad drbd je zase LVM, je třeba ho tedy také nadefinovat. V rámci zjednodušení následného zapisování pravidel případně rozšiřování konfigurace jsem všechny LVM svazky vsadil do jedné skupiny (grp_lvm).
    primitive lvmdrbd0 ocf:heartbeat:LVM \
      params volgrpname="vgrep0" exclusive="truemeta" start="45" stop="45"
    primitive lvmdrbd1 ocf:heartbeat:LVM \
      params volgrpname="vgrep1" exclusive="truemeta" start="45" stop="45"
    primitive lvmdrbd2 ocf:heartbeat:LVM \
      params volgrpname="vgrep2" exclusive="truemeta" start="45" stop="45"
    
    group grp_lvm lvmdrbd0 lvmdrbd1 lvmdrbd2 \
      meta target-role="Started"
    
    Souborové systémy na tomto LVM je třeba také připojit, zase to musí obsloužit Heartbeat:
    primitive fs1 ocf:heartbeat:Filesystem \
      params device="/dev/vgrep0/lv0" fstype="xfs" directory="/export/d0" options="noatime"
    primitive fs2 ocf:heartbeat:Filesystem \
      params device="/dev/vgrep1/lv0" fstype="xfs" directory="/export/d1" options="noatime"
    primitive fs3 ocf:heartbeat:Filesystem \
      params device="/dev/vgrep2/lv0" fstype="xfs" directory="/export/d2" options="noatime"
    primitive fs4 ocf:heartbeat:Filesystem \
      params device="/dev/vgrep2/lv1" fstype="xfs" directory="/export/clust" options="noatime"
    
    group grp_fs fs1 fs2 fs3 fs4 \
      meta target-role="Started"
    
    Aby všechny služby startovaly na správné straně clusteru, tedy na té kde je DRBD ve stavu Primary, je třeba nadefinovat "colocation" pravidla:
    colocation grp_fs_on_grp_drbd inf: grp_fs ms_drbd:Master
    colocation grp_lvm_on_grp_drbd inf: grp_lvm ms_drbd:Master
    colocation grp_vps_on_grp_drbd inf: grp_vps ms_drbd:Master
    
    Služby sice nastartují na správné straně, ale asi v nesprávném pořadí, proto ještě pořadí explicitně určím:
    order ord_grp_fs_after_grp_lvm inf: grp_lvm:start grp_fs:start
    order ord_grp_lvm_after_ms_drbd inf: ms_drbd:promote grp_lvm:start
    
    Jak vidíte, pravidla popisující na které straně cluster nahodí služby a v jakém pořadí zapisuji již jen přes skupiny - je to tak přehlednější. Názvy těch pravidel se snažím volit co nejvíc popisné abych se v tom snadno orientoval, stejně jako v případě názvů skupin a služeb.

    Export dat ke klientům

    Ata over Ethernet - AoE

    Na straně serveru je nutné nainstalovat vblade (teda nutné, existují i jiné aoe targety, ale vblade znám), který zajistí export dat. Exportovaná dat jsou obrazy disků pro XEN, tedy velké soubory. Veškerá konfigurace vblade se zadává při startu, je tedy třeba jí zapsat do CRM. Pro spouštění je možné použít skript ocf:heartbeat:AoEtarget, ale ten neumožňuje zadání dalších příznaků, které jsou pro mě důležité, -d a -s. Umožňují totiž v novém vblade exportovat data s příznakem O_DIRECT a O_SYNC. Skript jsem tedy upravil a pojmenoval AoEtargetKl. Poslední verze vblade je důležitá - chová se stabilněji. Při provozu doporučuji věnovat trochu času čtení dokumentace a ladění sítě pro kombinaci vblade a Jumbo Frames.
    primitive aoedomU1 ocf:heartbeat:AoEtargetKl \
      params binary="/usr/local/sbin/vblade" \
    device="/export/d1/domU1.img" nic="bond1" shelf="11" slot="0" vbladeparams="-d -s"
    primitive aoedomU2 ocf:heartbeat:AoEtargetKl \
      params binary="/usr/local/sbin/vblade" \
    device="/export/d1/domU2.img" nic="bond1" shelf="12" slot="0" vbladeparams="-d -s"
    group grp_aoe aoedomU1 aoedomU2
    	meta target-role="Started"
    colocation grp_aoe_on_grp_drbd inf: grp_aoe ms_drbd:Master
    order ord_grp_aoe_after_grp_fs inf: grp_fs:start grp_aoe:start
    
    Docela prima u AoE je, že na straně klienta se při spouštění (tedy modprobe aoe) dá zadat parametr jak dlouho má klient čekat na timeout serveru. Přehození clusteru z jednoho nodu na druhý tedy aoe přežije velmi snadno, stačí nastavit rozumný timeout a není nutné řešit multipathing.

    NFS

    Konfigurace NFS bude v dalším zápisku.

    Článek je také k nalezení na mém blogu kam postupně přesunu vše technické z původního blogísku na www.zdenda.com.        

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    19.2.2010 00:18 Jan Kundrát (jkt) | skóre: 27 | blog: jkt | Praha - Bohnice
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Nerozumim, proc v /etc/sysconfig/network-scripts/ifcfg-eth1 je uvedeno DEVICE=eth0 (+ obdobne i pro druhy interface); jako jediny duvod me napada nejake znasilnovani udevu, ale nemyslim si, ze by to bylo az tak jednoduche a takhle to fungovalo.

    Pozorovali jste se zmenou MTU nejaky meritelny narust rychlosti?

    Ohledne propojeni seriovym kabelem -- konfiguraci heartbeatu nerozumim, ale prijde mi, ze pro spravnou funkci jak drbd, tak stonithu potrebujete dostupnou sit, tedy split brain u vas nastane v okamziku, kdy se rozpadne privatni sit mezi dvema uzly. Jakou vyhodu ma ona seriova linka? Zduvodneni v blogpostu je takove tautologicke :).

    Jako vyhodu LVM pod DRBD berete predpokladam moznost jednoducheho rozsireni prostym pridanim disku (coz se mi zda sice trosku fuj, asi bych to resil pridavanim "celeho noveho RAID volume" a udelanim dalsi DRBD partitiony, ale budiz) a jako duvod pro LVM nad DRBD zas moznost hezky delit misto pro virtualni stroje, je to tak?

    Jinak hezky clanek (resp. blogpost, ktery by vydal na hezky clanek).
    19.2.2010 00:39 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    U přenosu přes AoE s MTU 1500 byla rychlost kolem 10-11MiB/s, s MTU 7000 cca 75MiB/s.

    Když na sebe servery neuvidí tak nastane problém - mohou si o sobě myslet, že "zrovna já jsem naživu a ten druhý mrtvý" a nahodí služby oba najednou. Propojením seriovou linkou si zajistím alternativní cestu mezi servery - pokud umře síť, je pořád dost velká šance, že si popovídají po rs232.

    LVM nad drbd aktuálně používám jen na malé nedůležité oblasti na snapshoty. Porcování na virtuály zatím nepoužívám, ale časem budu.

    Zápisek měl být původně jen jako osnova pro článek, ale když už jsem toho měl tolik, tak jsem to zveřejnil. Počítám s postupným rozepsáním jednotlivých kapitol (konfigurace a funkce heartbeatu např.).
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    19.2.2010 06:18 pht | skóre: 48 | blog: pht
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Takové pěkné technologie a nad tím vším je ext3?
    In Ada the typical infinite loop would normally be terminated by detonation.
    19.2.2010 07:39 Zdenek
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Ja tam vidim XFS.
    19.2.2010 08:03 pht | skóre: 48 | blog: pht
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Aha. Já se řídil tím obrázkem. :)
    In Ada the typical infinite loop would normally be terminated by detonation.
    19.2.2010 09:03 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Ať si každý používá co chce :-)
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    19.2.2010 09:52 RoboShim
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Tak teda podobny reseni pouzivame taky:)

    Mame HW od Thomas Krenn s RAIDem Areca (tusim) 1260. IMPI taky.

    Mame servery od sebe dal (jeden v -2. patre a druhy ve 3. patre), takze heartbeat zeneme po vlastni siti, pro replikaci mame dalsi oddelenou sit, pres kterou se taky pripojuji data na virtualni hosty a pak sdileji ke klientum.

    S iSCSI jsme meli na zacatku problemy, takze servirujeme jenom pres NFS.

    Vytvoreny RAID disk ale mirrorujeme rovnou na druhy disk a teprve na drbd zarizenich mame VG, ktere pak rozdelujeme do LV. Je to tak jednodussi, ze pri pridani noveho disku nemusim konfigurovat znovu drbd a startovat synchronizaci, ale proste jenom vytvorim LV. Na druhou stranu, pokud se musi udelat full-sync, tak to trva na celem disku. Ale radsi si pockam na full-sync, nez bych pri upravach drbd shodil oba servery:)

    Jako FS na NFS share pouzivam reiserfs.

    heartbeat se u nas stara o nastaveni drbd primary, nahozeni VG z DRBD, aktivovani LV ve VG, pripojeni oddilu, nahozeni shared IP a nastartovani NFS.

    Pro XEN image pouzivame soubory na NFS.
    19.2.2010 10:13 neaktivni | skóre: 24 | blog: neaktivni
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Moc pekne, to bych dal klidne do clanku.
    19.2.2010 11:12 Trained.Monkey | skóre: 12 | blog: monkey
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Primlouval bych se za clanek, takhle dobry popis jsem uz dlouho necetl.

    Testovali jste uz jak se to chova kdyz jeden server vypnete ze zasuvky?
    19.2.2010 11:28 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    V testovacím režimu to běželo několik měsíců, různých násilných restartů, výpadků a dalších událostí bylo několik desítek.

    Článek bude. Začal jsem to psát jako osnovu k článku, ale když jsem viděl kolik textu jesem už napsal, zveřejnil jsem to aspoň v blogu. Mám tak možnost získat připomínky, které zohledním v článku.

    Co mám zatím poznamenáno na doplnění do článku:
    • učesat text tak aby byl čitelný a používaly se správné výrazy,
    • víc rozebrat proč jsem zvolil řešení s DRBD a ne externí diskové pole,
    • dopsat lépe konfiguraci síťě,
    • popsat heartbeat a jeho ovládání,
    • popsat základní pracovní postupy,
    • zkusit vylovit případně doměřit něco tom jak rychle se nám kvedlají disky,
    • monitoring clusteru.
    + NFS, IP adresa pro služby, GUI k heartbeatu
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    Marek Stopka avatar 19.2.2010 11:20 Marek Stopka | skóre: 57 | blog: Paranoidní blog | London, United Kingdom
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    No nevím, ale při požadavcích na vysokou dostupnost bych se asi jen stěží pouštěl do vlastního řešení :-)

    Yes, this guy have a NetApp label :)
    19.2.2010 11:39 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    To jsem čekal :-)
    1. máme omezený rozpočet
    2. drbd a heartbeat nám už pár let běží u zákazníka a vím co od toho můžu čekat
    Můžeš mi udělat odhad na kolik přijde řešení s využitím NetApp?
    • synchronní replikace dat mezi dvěma boxy
    • support 3r - fix NBD
    • počáteční kapacita 4T RAW, RAID6 pro disky 750G SATA pro data kde není třeba výkon (10ks), menší SAS disky v raid 10 pro to kde je třeba výkon a není tolik dat (10ks)
    • iSCSI nebo AoE, NFSv3 (předpokládám, že quoty a zámky fungují na NetAppu bez problémů)
    • v případě výpadku jednoho boxu je nutné aby služby fungovaly dál - je tedy nutné zajistit multipathing pro iSCSI a správné přehození NFS na druhou stranu.
    Na serverech, které používáme pro úložiště běží ještě některé další služby - např. centrální syslog, to předpokládám musím zajistit u NetAppu jiným serverem.
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    gtz avatar 19.2.2010 13:24 gtz | skóre: 27 | blog: merlins | Brno - Venkov / Rosicko
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    No nedávno jsem řešil nějaký podobný kousek, nakonec jsem pro pole i páskový autoloader volil verzi FC.
    Cena byla o něco vyšší, ale rozhodla rychlost pole 8Gbit.

    FC/SAS RAID 6, redundant controller, ASIC 667 (G6), 19”, 4x 8 Gbit FC , 2 GB cache, 12x 500 GB SATA
    cena kolem 8000€
    - nejhorší jsou trpaslíci ... Ti Vám vlezou úplně všude
    Max avatar 19.2.2010 14:07 Max | skóre: 65 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Taktéž jsem čekal, že se ozve :D.
    Zdar Max
    Měl jsem sen ... :(
    gtz avatar 19.2.2010 16:02 gtz | skóre: 27 | blog: merlins | Brno - Venkov / Rosicko
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    No taky to bylo tvořeno pro zákazníka coby home-made jen s dodržením podobných parametrů. NetApp byl pro ně celkem hodně drahý.
    - nejhorší jsou trpaslíci ... Ti Vám vlezou úplně všude
    Marek Stopka avatar 19.2.2010 17:01 Marek Stopka | skóre: 57 | blog: Paranoidní blog | London, United Kingdom
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Měli jste opravdovou nabídku, nebo jen listovku, protože oproti listovce si můžete dát tak 40% off, případně můžete jít k nSeries IBM a pak je to dalších 10 - 15% off :)
    gtz avatar 19.2.2010 17:17 gtz | skóre: 27 | blog: merlins | Brno - Venkov / Rosicko
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Nabidku pro nas delala jedna Brnenska firma, na Netappu se kvuli tomuto zjistovala moznost Projektove Ceny. I tak ta cena byla ponekud nahore. nSeries jako proc .. servery tam byly DELL / HP. Zakaznik nechtel pole typu DS3x. Ja jsem mu nabizel Hitachi AMS, s kterym mam ty nejlepsi zkusenosti i s Produktovou cenou jsem s AMS byl hodne nad jejich moznosti.

    Delam v tomto businessu (storage a ukladani dat) celkem hodne dlouho (od roku 2003), s listovkou bych tam ani nesel. Vim jak je to tezke s zakazniky jednat kdyz maji omezeny financni rozpocet.
    - nejhorší jsou trpaslíci ... Ti Vám vlezou úplně všude
    19.2.2010 12:16 Zdenek
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Pri pozadavcich na kvalitni OS bych se stezi poustel do Linuxu.

    Kde jsou dnes ty drahe UNIXy a kde je Linux?
    alblaho avatar 19.2.2010 11:55 alblaho | skóre: 17 | blog: alblog
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    To je ale bestie.

    Když si představím jak je to složité, kolik v tom běžícím kódu musí být bugů, tak je mi ouzko. Nechtěl bych řešit situaci, kdy se někde něco vysype.
    19.2.2010 12:06 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Když to rozebereš na samostatné části, tak to tak strašné není. Linux/lvm, drbd, vblade, heartbeat/pacemaker - když se něco podělá, tak jsem schopný velmi rychle nahodit služby i bez heartbeatu na jednom z těch serverů.

    Pokud se rozhodneš použít například pole připojené přes scsi/sas, můžeš se zbavit DRBD, ale zase tam bude to pole a některé bugy firmware jsou taky dobrá chuťovka, zvlášť u low-end polí které by se k takovému řešení muselo pouřídit z důvodu ceny.
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    19.2.2010 14:13 CET
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Jojo, a pak to dopada podobne, jako kdyz jsme si do firmy nakoupili male gs108t od netgear jako office switche. Pak jsme zjistili, ze nektery stanice maji pomalou sit, bud jenom na jeden server nebo na vsechny servery. Pres rok od reportovani chyby na support jsme vlastnima silama zjistili, ze problem je v neulozeni MAC adresy do pameti switchi, cili zrejme nejaka kolize a nalezeni dvou kolidujicich MAC adres. Teprve potom support odpovedel, ze to je opravdu kolize hashe, ze to je vlastnost prvni verze switche a druha by to snad mela mit opraveno. Co vic, z toho dokumentu, co poslali, vyslo najevo, ze switch nema (fyzicky) misto pro 8 tisic MAC adres, jak se pise ve vsech manualech k tomu switchi, ale jenom pro 4 tisice, a navic ten pocet je jeste zmenseny o ty hash kolize.

    V Linux reseni se aspon muzes pohrabat, v uzavrenych ne. BTW: prave se mam rozhodnout, cim nahradime par starsich windows masin pro uzivatelsky data.
    19.2.2010 14:41 KKL | skóre: 10
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Ahoj, chtěl bych se zeptat proč jste zvolili Centos. Prostě ho znáte, máte nasazený ve větším apd. Zajímalo by mě, zda jste u tohoto typu použití neuvažovali např. o
    FreeBSD/ZFS úložiště
    Solaris 10/ZFS úložiště
    OpenSolaris/ZFS úložiště
    Nemá to být flame bajt, jen mě zajímá jak to je. Sám bych zvažoval Solaris, právě kvůli stabilitě a slušné funkčnosti ZFS.
    19.2.2010 16:22 mimi.vx | skóre: 37 | blog: Mimi.VX | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    solaris ma pod oracle nejistou budoucnost .....
    USE="-gnome -kde";turris
    19.2.2010 16:36 Vskutečnosti Saýc | skóre: 7
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Krom toho, ZFS je jeste docela nova technologie, a se zalohovacicimi a HA resenimi to neni tak zhave.
    19.2.2010 16:58 KKL | skóre: 10
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Myslím, že Oracle nenechá Solaris padnout, ale třeba se pletu :) Uvidíme co přinese budoucnost.
    regine2 avatar 19.2.2010 21:18 regine2 | skóre: 11
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Není to OS, ale když se db-firma Informix nechala koupit IBM, tak přestalo jít o technologii či služby zákazníkovi, ale je z toho jen bussines až na prvním místě. Škoda.
    Dokud nepřiletí mimozemšťané, všechno už jaksi bylo.
    19.2.2010 16:57 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    CentOS případně RHEL používáme delší dobu, jsou s ním dostatečně dobré zkušenosti, má velkou komunitu uživatelů a je tu Red Hat, který za ním (RHEL) stojí. Prakticky každý u nás ve firmě zvládne jeho správu.

    U FreeBSD nevím o srovnatelném stabilním řešení pro DRBD a také se o servery nechci starat sám. Musíme tedy nasadit něco známějšího a mám pocit, že v případě Linuxu najdeme snadněji admina než v případě *BSD. Zkušenosti se ZFS na FreeBSD nemám.

    Solaris mám rád, ale na SUN HW a v trochu jiném nasazení. Umím si představit SUN Cluster + vhodné diskové pole, jenže to se dostáváme na jinou cenovou úroveň. Včera mi bylo na IRCNetu sděleno, že existuje Sun StorageTek Availability Suite umožňující podobnou funkčnost jako má DRBD, ale nemám s tím dostatečné zkušenosti. Docela by mě zajímalo jak to dopadne s OpenSolarisem a Solarisem jako takovým pod taktovkou Oracle. Taky bysme narazili se správcem Solarisu - asi jich nebude tolik jako v případě Linuxu. Sice ve firmě známe solaris 3 lidi, jenže všichni chceme správu serverů opustit a věnovat se jiným a zajímavějším věcem :-)
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    19.2.2010 17:04 KKL | skóre: 10
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Ok, díky za odpověď. Je fakt že SUN Cluster bude cenově dost jinde..... Jak to bude se SUN produkty pod Oracle jsem taky zvědavý, mám z diskuzí pocit, že jsou lidi ohledně budoucnosti dost nervozní - Oracle by měl dát k dispozici jasný plán, co bude jen udržovat, co rozvíjet a co úplně zastřelí. Sun StorageTek Availability Suite - také neznám, mrknu na to - díky za tip.

    K.
    19.2.2010 17:06 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Nejde o cenu SUN Clusteru (ten je zdarma), ale o ten HW pro Solaris pod ním a o vhodné diskové pole.
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    19.2.2010 17:29 KKL | skóre: 10
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Aha, dík za osvětu, to jsem ani nevěděl že i Cluster je zdarma. V této oblasti ( enterprise hw/sw ) se nepohybuju a vím toho o tom prd. :)
    22.2.2010 15:54 David Krch
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Pokud jde o plan co bude s jednotlivymi produkty Sun po akvizici, tak ten uz je zverejneny nekolik tydnu. Podivejte se na http://www.oracle.com/events/productstrategy/index.html, najdete tam ke kazde oblasti kratke video.
    19.2.2010 18:27 Miloš Kozák | skóre: 18 | blog: jentak
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Hezký zápisek, v létě jsem nad něčím podobným přemýšlel, ale ještě nepřišel správný čas... Nicméně v mém návrhu je ještě na vrcholu GFS2, s tím, že se GFS2 oddíl budu sdílet mezi 4mi virtualy a ty tam budou moc souběžně zapisovat (WWW,mail,...) ale nutně potřebuji i quoty a možnost simultánního zápisu.. Je možné tohoto dosáhnout pomocí NFSv3 a jak tam s quotama?
    19.2.2010 18:44 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Na NFS samozřejmě quoty normálně používáme, jinak bych měl při našem počtu uživatelů (tisíce) docela problémy :-)
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    19.2.2010 19:48 Miloš Kozák | skóre: 18 | blog: jentak
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    A jak je to se současným přístupem k filesystemu?
    frEon avatar 19.2.2010 19:03 frEon | skóre: 40 | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Pěkný článek, jen co je pravda. Akorát i tam chybí část konfigurace pacemakeru -> property, teda pokud tam máte něco zajímavého. Ono property umí dost změnit chování failoveru v různých situacích (např. volby symetric-cluster, default-resource-stickyness atp...).
    Talking about music is like dancing to architecture.
    19.2.2010 19:15 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky ze stavby centrálního úložiště
    Vím, že chybí - zatím jsou to vážně jen střípky :-) Bude určitě ve finálním článku.
    -- Nezdar není hanbou, hanbou je strach z pokusu.

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.