Dotaz: Elasticsearch sizing pro cluster. Moznost vyuziti Swarmu.

[kukin]

Ahoj,

chtel jsem zeptat, jestli ma nekdo zkusenosti s elasticem.

Mam nekolik dotazu, vzhledem k tomu, ze dokumentace je velmi skoupa, tak docela badam..

Pominu beh ve Swarmu.., chtel jsem se zeptat na zakladni sizing. Posilam logy z ruznych prostredi pres logstash, ten tvori indexy per den. Prostredi muze byt realne 20 o poctu aplikaci 45. Kdyz to prezenu, tak v jeden den muze prijit 1 TB dat, to kdyby se vsechny aplikace na vsech prostredi ustacktracovaly, realne to vsak bude jine, vzhledem k tomu, ze jsou to dev-ove prostredi, kde je potreba jen sbirat logy. ( debug log level, ale traffic moc nejde ), u par prostredi to bude jine.

Realne pocitam 3 nody (6x E5-2690 v3 @ 2.60GHz, 16-32 Gb RAM) s mistem odhaduji tak 1TB per node, samozrejme je to na vsphere, takze muzu dynamicky menit.

Muj strizlivy odhad tedy 100Gb dat denne, kdy budu mit 3 shardy (optimalne pod 32 gb dle guidelinu), 1 repliku znamena, ze na kazdem nodu denne vyzeru cca 100GB mista, tedy pri velikosti disku 1 TB zachovam tydenni logy + rezervu. Je to tak?

Totiz proc jsem zminil docker, aby byl elastic skalovatelny, docela dobre funguje pouziti replik s endpoint modem dnsrr, s jednim drobnym uskalim... persistentni storage. Bud zajistim, aby containery vzdy nabihali na stejnych nodech pomoci node constrainu, (aby nedochazelo k duplikaci volumu), nebo pouziju nejspise volume plugin pro vsphere, ( glusterfs plugin nejak meska s vyvojem, a neumim si predstavit kdy by se to melo presunout do cloudu, tak tohle reseni neprojde ), pak ale netusim, kdyz budu mit volumy mimo hosty, jak moc dava smysl pouziti replik....

Diky za nazory

Odpovědi

[NN]

Problem mas jaky? Pokud je to volna debata, zaloz si blog.