Dotaz: Distribuovane FTP

[frEon]

Dobry den Resim pomerne zajimavy problem, se kterym si nevim prilis rady. Situace vypada nasledovne: mam n serveru, na kazdem jsou/budou stejna data. Potrebuji mit data vsude stejna, tzn pokud neco zmenim (smazu, presunu, pripisu, zkopiruju jinam...) na jednom (hlavnim) serveru (rikejme mu master) musi se zmena okamzite projevit na serverech ostatnich. Nejvic by se mi libilo kdybych to mohl ovladat pres ftp, tvarilo by se to jako jeden ftp server a ja bych vubec nemusel vedet ze pracuji s nekolika servery najednou. Na googlu jsem nasel drftpd, ale to neumi, pokud jsem to spravne pochopil, vsechna data mirrorovat pres n serveru, ale pouze podle ruznych algoritmu umistovat soubory na jednotlive servery. Toto reseni je se mi nehodi, protoze k datum bude potreba pristupovat (stahovat) pres http. Za namety predem dik.

Odpovědi

[azurIt]

a co pouzit nejake externe diskove pole ? pripadne sietovy disk (alebo nejake podobne riesenie).

[azurIt]

este ma napadlo vyhradit jeden server (napr. ten master) a na nom vyexportovat disk cez NFS. ostatne servery si to potom pripoja.

[frEon]

V takovém pripadě by jsme prilis zatezovali ten stroj, ktery by exportoval data. Me de o to abych tu zatez vicemene rovnomerne rozlozil na vic serveru.

[Messa]

Mít jeden server jako hlavní a na ostatních pak dostatečně často spouštět rsync nebo něco podobného...

Zajímavý by byl nějaký démon monitorující přístupy na disk a propagující tyto změny na další servery, ale o ničem nevím. Na druhou stranu by to zase nemělo být tak složité...

[frEon]

rsync by prilis zatezoval jak linku, tak stroje.

[Dunric]

Jak jste na to přišel ? Podle mě je rsync protokol daleko úspornější, alespoň co se týče zátěže linky.

The rsync remote-update protocol allows rsync to transfer just the differences between two sets of files across the network connection, using an efficient checksum-search algorithm.

[Miška]

Co me napadlo je SW raid nad temi stroji pomoci NBD - Network Block Device. Tim by bylo vsechno vsude aktualni, jen by to pri zmenach vytezovalo sit. A na strojich kde chcete mit "mirrory" by slo primountovat read-only... Jen takovej napad, mozna nikam nepovede, zkusenosti s tim nemam, jen sem o necem podobnem nedavno uvazoval...

[hates]

dalo by se to resit naproklad pomoci GFS je implementovan v RH EL. na tohle ji primo staveny. rika se tomu geograficky cluster, ale pocitejte s tim ze jakkoliv to udelate a bude se to mirrorrovat v realnem case tak sit to bude vytezovat kazdopadne. Dalsi moznost je napsiklad rsync a ty kopie delat v dobe kdy je sit nejmin vytizena

[frEon]

pri mirrorovani s vytizenim site pocitam, tomu se nelze ubranit. potrebuji ale provadet zmeny na vsech serverech okamzite (co nejdrive) a poustet rsync cronem kazdou minutu nejde.

[iSteve]

Resi to napr. GNBD na block device urovni, GFS/OCFS (pripadne podporeny jeste necim) na urovni filesystemu; nicmene bohuzel obecne je stabilni implementace neceho takovyho problem.

[andree]

najlepsie by snad bolo pouzit/vyrobit nejaky middleware, ktory by pri vsetky poziadavky preposielal dalej dotazovanemu serveru, a zaroven by pri zapisoch vykonaval nejaky magic (synchronizaciu s ostatnymi strojmi)... to ale nebude zadarmo, to by chcelo cas na nakodenie

[Messa]

Také to tak vidím

[AraxoN]

A čo takto AFS? Síce s tým praktické skúsenosti nemám, ale vyzerá to ako schodné riešenie, i keď možno overkill. Stránka je trochu neprehľadná čo sa týka fičúr a tak, rozumnejšie intro je na wikipedii.

[DAve]

Co treba Gfarm

http://datafarm.apgrid.org/document/#whats

[frEon]

Oprava, drftpd umi presne to co chci, takze ho ted instaluju, pak sem napisu jak to dopadlo...
vsem dik za reakce

[frEon]

tak nakonec jsem to udelal jinak, napsal jsem si v perlu jakesy udelatko ktere muj problem resi... je to ale celkem prasarna (ucil jsem se na tom perl), takze to asi nezverejnim... nicmene to funguje

[MiK[3]Zz]

Robit nieco v realnom case znamena robit to prave vtedy, ked zmenis nieco na tom master serveri. To znamena, ze rsync by to realne nerobil. Ak nie su tie servery pri sebe, to znamena hocijako vzdialene vo viacerych budovach, ci dokonca mestach atd..., tak je asi najidealnejsie pouzit NFS a mountovat to ako read-only na slavoch. Vytazovat sa bude siet, vytazovat sa bude hlavne master server, ale bude to realtime, ostatne treba dobre, velmi dobre nastavit NFS.

[frEon]

nfs neni bohuzel dostatecne stabilni

[Zdeněk Štěpánek]

NFS hlavne neresi to co chce tazatel. Jak jsem pochopil, tak chce mit vice identickych stroju ze kterych budou lidi tahat data a tim jednak snizi zatez tech stroju a zaroven zajisti spolehlivost a do tretice kdyz ty stroje umisti treba na pobocky firem, vzdy tu budou mit blizko a rychle.

Ty data musi byt fyzycky na vsech strojich.

Ja bych chtel postavit neco podobneho. Dva servery, identicky SW, identicka data. Oba se stejnou IP adresou, quagga si s tim poradi. Kdyz jeden vypadne, vsichni klienti automaticky pujdou na zbyvajici server.

AFS, CODA a spol je na me trochu silny kafe, ale vcelku je zajimave reseni pres mirror raid pres NBD. Ale nevim jak to bude rychly, kdyz mirror bude vyzadovat pred dokoncenim cele operace i zapsani na druhy disk.

Idealni by byl stav kdy lze zapis provest na jakykoliv server, ten v okamziku zapisu zamkne souvisejici data/adresar na druhem serveru a v dohledne dobe je tam sesynchronizuje. Nebo udelat master read/write a slave jen read-only a vsechny prichozy pozadavky pro zapisy (ftp by slo, ssh taky, ale co treba webdav) presmerovat na mastera.

Zdenek