Dotaz: Distribuovany filesystem pro sdileni dat mezi vice VPS s HA

[alfonz]

Zdravím,

mám otázku snažím se řešit vzrůstající problém sdílení dat mezi několika VPS. Potřeboval bych filesystem který je lokálně na každé VPS(aby byl stále dostupný - i přímo lokálně) ale je zároveň distribuovaný na každou další VPS. Ideálně tak, aby byl stále připojený. Např. na vpsFree OpenVZ jsou tzv datasety - ale ty se někdy odpojí a tím končí celé použití - jelikož okamžitě veškeré aplikace přestanou fungovat a navrhnout aplikaci tak, že přežije když jí zmiznou veškerá data, není moc jednoduché (zkoušel jsem to nějak sledovat a případně zkusit remount a nic moc). Další důležitý bod je také rychlost jde o to, že některé sdílené FS jsou vcelku pomalé a v mém případě má složka co bych chtěl sdílet asi 55000 souborů (v tuto chvíli) a kolem 4GB - velká většina souborů jsou malé okolo 100KB Množství souborů bude pravděpodobně růst. Přistupuje k nim několik oddělených aplikací - každá pracuje s odděleným adresářem, které pravě běží na oddělených VPS - data však musí být přístupná na všech, jelikož app se vypínají a zapínají. Nikdy se nestane, že jedna app (nad stejným adresáře) poběží 2x či víckrát na jiné VPS či na stejné. Tzn konflikty nejsou potřeba až tak řešit.

Díval jsem se na GlusterFS a na LizardFS či Ceph. Moc moudrý jsem z toho nebyl. Vhodné by také bylo, aby to nebylo moc složité na údržbu - ideálně bez údržby a vcelku jednoduché na nasazení. U GlusterFS jsem našel, že např. při práci s PHP je to dost problematický FS, jelikož i jen listování adresáře je dost náročné - tzn složky s více soubory jsou asi problém.

Jaké varianty používáte a jaké máte zkušenosti? Díky

Odpovědi

[petr]

Zacnu mozna od konce - proc 55000 souboru o prumerne velikosti 70kb a ne data v DB?

[Kit]

Kterou distribuovanou DB bys použil pro tento typ dat? Moc velký výběr není.

[alfonz]

Nejsem si jistý jestli např. hromadu obrázků, dxf, svg, binárních dat a podobně, které jsou dobře zobrazitelné na úrovni FS chci vkládat do DB. V minulosti jsme to tak měli a moc dobře to nefungovalo - složité na údržbu a manipulaci - např. pro jednoduché přesuny a mazání bylo potřeba připojit se na DB, vykonat příkaz a a tak podobně.

[Kit]

Pro tyto účely se docela hodí služby typu Dropbox a Mega.nz.

[alfonz]

Je to vhodné na sdílení dat tímto způsobem? Tzn listování adresáře a zápis je opravdu jako by to by bylo na lokálu? tzn např. tento zápis http://www.abclinuxu.cz/clanky/syncthing by se na to také hodil? Spíše jsem předpokládal něco více jako filesystém. Ale možná je toto řešení lepší. Můžete to zkusit přibliž z jakého důvodu?

Díky.

[Kit]

Data na Dropboxu nebo Mega.nz se neustále synchronizují s daty na lokálním disku. Běžná práce se soubory je stále stejně rychlá a vše běží i offline. Po připojení se opět provede synchronizace s ostatními.

Pro popisovaný účel se mi to jeví jako nejjednodušší řešení. Dokonce se u toho dají stanovit omezení proti modifikaci dat ostatními.

Pouze Vim jsem musel trochu překonfigurovat, aby mi soubor swp nedělal ve stejném adresáři, protože se ho Dropbox neustále snažil synchronizovat se serverem.