Dotaz: Horizontalne skalovatelna webova farma a jaky filesystem

[hates]

Zdravim, resim dilema jaky FS pouzit na horizontalne skalovatelnou webovou farmu.

Predpoklad je mit 3..N webovych serveru kde bezi vzdy FTP, Apache, PHP a MariaDB Galera Cluster. Balancing pro HTTP provoz a FTP provoz mam reseny pres HAProxy tam neni problem ani s FTP. Clustering MariaDB mam poreseny, tam je DB vzdy na lokalich discich a replikovane DB pres Galeru, webova prezentace pouziva jako hosta pro SQL localhost.

Otazka zustava na jaky FS ukladat soubory. Diskove pole bych mohl vyuzit iSCSI target pripojeny na vsechny webove nody, ale pri zapisu do jednoho souboru napriklad ze dvou webovych nodu nastane problem.

Napada me pouzit CLVM a GFS2 jako jedine reseni.

Otazka zni, mate nekdo zkusenosti s jinym FS, ktery by toto zvladl bez nejakych nastrah ?

Odpovědi

[hates]

PS, prozatim mam jeden server jako storage a na nem export pres NFS, ale toto se mi nezda jako uplne idealni reseni, protoze je tam dalsi slaby clanek v pripade vypadku NFS serveru, na ktery je exportovany iSCSI target z obrovskeho pole. Berte v potaz to, ze pole neumi jinou vec nez iSCSI.

[fish]

Problem by ti samozrejme nastal nejen pri zapisu do jednoho souboru, ale uz i pri pripojeni targetu jinak nez RO (i tak by to ale byl spatny napad). Delat z jednoho stroje prekladac iSCSI na NFS taky neni idealni. Bud GFS2 nebo OCFS (OCFS je podle me jednodussi na nastaveni). Mezivrstva CLVM je volitelna. Prinese ti vyhody deleni disku podle potreby, snapshoty (pokud nepouzivas Debian, kde snapshot nad CLVM porad jeste nefunguje), ale taky starosti s administraci cman/corosync clusteru.

[bd]

Ak uz shared file system tak urcite GFS2, OCFS je hodne nespolahlive.

[alles32]

zdar.

par mejch postrehu ke konfiguraci webovy farmy.

mit mysql spolu s webserveru(WS) je imho neidealni - neumozni skalovat to, co aktualne potrebujes (nestiha apache, nepotrebuju tedy dalsi sql). loadbalancuje se zatez mezi WS. HAproxy jsem drive pouzival, ted je ale muj oblibenec varnish. krom loadbalancingu funguje jako reverzni cache proxy a ma spousty dalsich vychytavek.

za WS je pak sdilena datastorage(DS) ve failoveru s drbd (hledej ha iscsi storage with drbd) s ext4 fs. na DS pak sql databaze - php aplikace pak cte a zapisuje na jedno ipecko. dale samotny webovky (php fajly, js, css, obrazky...) dostupny prez ftp (ale lepe sftp) a ty pak nfs vyexport a namountovat na WS jen pro cteni (mimochodem, nfs4 uz umi konkrurencni zapis). memcached pak zajisti sdileny php sessions. DS se da vyuzit jako pxe s jednou instalaci linuxu pro n WS. WS pak muze bejt diskless.

mozna bys uvital nejaky crm, treba pacemaker/corosync. pokud nebudes provozovat nejaky fileserver nebo neco, kde je dominanti diskova operace zapis, tak clusterfs mi prijde jako zbytecnost, coz ale neznamena, ze ho nemuzes pouzit

[blondak]

zrovna memcache bych jako řašení session v PHP nedoporučoval, podle zatížení to může "zapomínat" některé session, spíše bych doporučil redis.

[alles32]

zdar, zminoval jsem memcacheD, ne memcache.

[blondak]

No to na věci nic nemění, pokud dokážu zaplnit memcache(d) tak začne mazat jiná data, restart služby při upgrade => smazaná memcache(d),... jenom jsem napsal alternativu

[alles32]

jasna pasta. redis jsem neznal, dik za tip.

zda se ale, ze ne vzdy je redis idealni. nasel jsem tohle cteni Why Redis (2.8) beats Memcached for caching zminuje dva pripady, kdy ma memcached navrh. prvni je horizontalni skejlovani a druhy je kesovani malych a statickych dat. imho to jsou prave php sessions.

[Punny]

Hmm a dival jsi se treba na GlusterFS? Mit to zapojene podobne jako RAID10 treba. Nevim zda by byl na neco podobneho vhodny, ale za vyzkouseni to stoji, nebo DRBD?
Punny

[hates]

DRBD se mi nelibi z duvodu pouze dvou nodu. Nehlede na to, ze jako datove uloziste je pouzito iSCSI pole, ktera je implementovana mezi switch a pole po 10GBps a jeste to je vice boxu, ktere jsou v grupach a jednotlive servery jsou prozatim pripojeny do tohoto switche pres 1GBps v multipathingu pres dva switche a provoz jde balancovane pres oba switche. Tim mam potom na vsech serverech pripojeny target o velikosti X TB.

GlusterFS je pouzitelny s lokalnimi disky a ve finale mam na kazdem nodu X TB a data jsou rozsypany pres X serveru.

Ja jsem limitovany tim prvnim pripadem a tam je potreba pouze ten Clusterovy FS.

CLVM pouziji tak jako tak. Prozatim se mi jevi jako nejschudnejsi to GFS2. Pokud by ale umel EXT4 resit konkurencni zapisy tak by bylo reseni toto.

[alles32]

zdar, ohledne toho tveho konkurencniho zapisu hledej DLM (distributed lock manager) ci jiny cluster locking protocol. gfs ani ext todle neresi.