Dotaz: Distribuce souborů po serverech

[Skřivy]

Ahoj,

už pár měsíců řeším, čím chytře distribuovat soubory po serverech. Zadání je celkem jednoduché - mít centrálně upravovaný adresář, který se automaticky bude distribuovat na servery. Na serverech by měl být read-only a celé by to mělo být koncipováno tak, že kydž vypadne server, ze kterého se to celé ovládá, tak jednotlivé servery budou mít u sebe kopii souborů a pojedou bez výpadků.

Distribují se pouze malé soubory, cca 1MB skriptů.

Co jsem zatím zkoušel: - NFS: nesplňuje podmínku ochrany proti výpadku + na hodně přetížených linkách je problematické - seznamfs: perfektní (kdyby ho dotáhli do konce - např. aby se nemusel uchovávat celý bin.log), ale občas si veme docela dost z procesoru, což mi nepříjde ok, když se tam nic neděje - GlusterFS: moloch, který se mi moc nepovedlo rozběhat

Předem upozorňuju, že řešení alá cron script, distribuční skript (ten bych asi ještě přežil, ale čekám spíš hotové řešení), ftp upload, etc. tu už byly a nebylo to ono.

Odpovědi

[petr_p]

Nepsal jste, jak moc atomické chcete aktualizace. To je totiž zásadní vlastnost, která rozhodne, jestli se spokojíte s hrubou silou typu rsync, nebo jestli budete potřebovat sofistikovaný systém typu GlusterFS.

[NN]

Mozna neco na bazi CVS / SVN..

NN

[otasomil]

>>>Zadání je celkem jednoduché - mít centrálně upravovaný adresář, který se automaticky bude distribuovat na servery.

 

A nebo servery si jej budou stahovat samy ? A jak casto ? Od toho se odviji postup reseni ukolu. A co distribuce i mezi samotnymi servery ? Nepripadala by v uvahu ?

Takze nemate na mysli neco jako mirrory Linux dister ci baliku po ruznych serverech v ramci celeho sveta jez se mezi sebou aktualizuji maximalne nekolikrat denne ?

>>>ftp upload, etc. tu už byly a nebylo to ono. Ftp pracuje s nejmensi rezii na lince a tak nevim co by melo byt pruchodnejsi.

Jde ciste jen o zalohovani dat ?

[pht]

IMHO dost nová jádra mají cache file system nebo něco takového, což by řešilo Vaše obavy z nedostupnosti, ale pak vyvstává otázka, jesli chcete v případě chyby spíše starší verzi nebo žádnou, popř. jakou hodláte tolerovat maximální odchylku a jak chcete kontrolovat, zda je všude stejně nová verze.

Trochu střízlivější mi připadá si ze souborů dělat balíčky a ty normálně začlenit do (denních) updatů.

[Skřivy]

Automatické distribuování: určitě

Mozna neco na bazi CVS / SVN..: Díky, zkusím se po tom porozhlédnout.

A nebo servery si jej budou stahovat samy ? // Buď si to budou stahovat nebo se to na ně bude tlačit

A jak casto ? // ideálně necronově - čili když je potřeba

A co distribuce i mezi samotnymi servery ? // netřeba, stačí jeden master, spousta slavů - už jsem to tu měl s glusterfs a vedlo to k prasárnám

Jde ciste jen o zalohovani dat ? // nejde o zálohování dat, to dělám jinak. Jedná se o distribuci skritpů.

Example: máte 20 stejných web serverů v různých místech světa, přičemž k některým máte jenom 512kbit linku a na nich máte sadu administračních skriptů, které jsou všude stejné.

Trochu střízlivější mi připadá si ze souborů dělat balíčky a ty normálně začlenit do (denních) updatů. // tohle se mi nelíbí - většinou je to potřeba problém řešit hned a hned vidět výsledky

IMHO dost nová jádra mají cache file system nebo něco takového // to by mohlo být fajn, zkusím o tom něco najít. Nicméně se bojím toho, že se to zhroutí na pomalých linkách nebo při delším výpadku (občas se nám povede udělat celonoční výpadek té mašiny odkud se to distribuje).

[st. Grumpa]

No, pak mi řešení se Subversion přjde optimální. Na klientech poběží v cronu co pár minut příkaz "cd /misto/se/skripty; svn up" a na serveru si to ručně zaktualizujete a svn ci to nahrajete do svn repozitáře. A díky subversion máte i historii změn ve skriptech.

Já to takhle dělám, ale bez cronu, protože mi stačí aktualizovat skripty ručně při přihlášení na server.

[dustin]

Co se stane, když během updatu padne spojení na server? Nebudou skripty nekonzistentní? Možná to svn vytahuje bokem a teprve na závěr kopíruje.

Určitě by fungoval synchronizační git fetch a po úspěšném dokončení git checkout do pracovní kopie (nebo git pull, ale nevím, zda se to chová stejně z výše uvedeného hlediska, asi jo).

[Dramon]

A co tak XtreamFS http://www.xtreemfs.org/
Měl by mít přesně tohle na pomalých linkách jako svoji specializaci

[Skřivy]

Ten jsme taky zkoušeli - zavrhli jsme ho, protože se musel spouštět ten skript na synchronizaci - proto jsme raději skočili po seznamfs. Teda tuším, nepamatuju si to přesně. ... Díky za nápad

[AraxoN]

A čo OpenAFS? Hneď druhá veta na tej stránke spomína vlastnosti, ktoré by si chcel dosiahnuť...