Distribuce souborů po serverech

Ahoj,

už pár měsíců řeším, čím chytře distribuovat soubory po serverech. Zadání je celkem jednoduché - mít centrálně upravovaný adresář, který se automaticky bude distribuovat na servery. Na serverech by měl být read-only a celé by to mělo být koncipováno tak, že kydž vypadne server, ze kterého se to celé ovládá, tak jednotlivé servery budou mít u sebe kopii souborů a pojedou bez výpadků.

Distribují se pouze malé soubory, cca 1MB skriptů.

Co jsem zatím zkoušel: - NFS: nesplňuje podmínku ochrany proti výpadku + na hodně přetížených linkách je problematické - seznamfs: perfektní (kdyby ho dotáhli do konce - např. aby se nemusel uchovávat celý bin.log), ale občas si veme docela dost z procesoru, což mi nepříjde ok, když se tam nic neděje - GlusterFS: moloch, který se mi moc nepovedlo rozběhat

Předem upozorňuju, že řešení alá cron script, distribuční skript (ten bych asi ještě přežil, ale čekám spíš hotové řešení), ftp upload, etc. tu už byly a nebylo to ono.

Odpovědi

>>>Zadání je celkem jednoduché - mít centrálně upravovaný adresář, který se automaticky bude distribuovat na servery.

A nebo servery si jej budou stahovat samy ? A jak casto ? Od toho se odviji postup reseni ukolu. A co distribuce i mezi samotnymi servery ? Nepripadala by v uvahu ?

Takze nemate na mysli neco jako mirrory Linux dister ci baliku po ruznych serverech v ramci celeho sveta jez se mezi sebou aktualizuji maximalne nekolikrat denne ?

>>>ftp upload, etc. tu už byly a nebylo to ono. Ftp pracuje s nejmensi rezii na lince a tak nevim co by melo byt pruchodnejsi.

Jde ciste jen o zalohovani dat ?

K čemu hudba, která nevede k extázi... Stop MDMA !!! I spam umí být roztomilý

IMHO dost nová jádra mají cache file system nebo něco takového, což by řešilo Vaše obavy z nedostupnosti, ale pak vyvstává otázka, jesli chcete v případě chyby spíše starší verzi nebo žádnou, popř. jakou hodláte tolerovat maximální odchylku a jak chcete kontrolovat, zda je všude stejně nová verze.

Trochu střízlivější mi připadá si ze souborů dělat balíčky a ty normálně začlenit do (denních) updatů.

In Ada the typical infinite loop would normally be terminated by detonation.

Automatické distribuování: určitě

Mozna neco na bazi CVS / SVN..: Díky, zkusím se po tom porozhlédnout.

A nebo servery si jej budou stahovat samy ? // Buď si to budou stahovat nebo se to na ně bude tlačit

A jak casto ? // ideálně necronově - čili když je potřeba

A co distribuce i mezi samotnymi servery ? // netřeba, stačí jeden master, spousta slavů - už jsem to tu měl s glusterfs a vedlo to k prasárnám

Jde ciste jen o zalohovani dat ? // nejde o zálohování dat, to dělám jinak. Jedná se o distribuci skritpů.

Example: máte 20 stejných web serverů v různých místech světa, přičemž k některým máte jenom 512kbit linku a na nich máte sadu administračních skriptů, které jsou všude stejné.

Trochu střízlivější mi připadá si ze souborů dělat balíčky a ty normálně začlenit do (denních) updatů. // tohle se mi nelíbí - většinou je to potřeba problém řešit hned a hned vidět výsledky

IMHO dost nová jádra mají cache file system nebo něco takového // to by mohlo být fajn, zkusím o tom něco najít. Nicméně se bojím toho, že se to zhroutí na pomalých linkách nebo při delším výpadku (občas se nám povede udělat celonoční výpadek té mašiny odkud se to distribuje).

3.12.2009 17:45 st. Grumpa | skóre: 12
Rozbalit Rozbalit vše Re: Distribuce souborů po serverech

No, pak mi řešení se Subversion přjde optimální. Na klientech poběží v cronu co pár minut příkaz "cd /misto/se/skripty; svn up" a na serveru si to ručně zaktualizujete a svn ci to nahrajete do svn repozitáře. A díky subversion máte i historii změn ve skriptech.

Já to takhle dělám, ale bez cronu, protože mi stačí aktualizovat skripty ručně při přihlášení na server.

3.12.2009 17:52 dustin | skóre: 63 | blog: dustin
Rozbalit Rozbalit vše Re: Distribuce souborů po serverech

Co se stane, když během updatu padne spojení na server? Nebudou skripty nekonzistentní? Možná to svn vytahuje bokem a teprve na závěr kopíruje.

Určitě by fungoval synchronizační git fetch a po úspěšném dokončení git checkout do pracovní kopie (nebo git pull, ale nevím, zda se to chová stejně z výše uvedeného hlediska, asi jo).

Dotaz: Distribuce souborů po serverech

Odpovědi