Dotaz: Distribuce dat po síti, distribuované FS nevyhovují.

[Heron]

Ahoj

Potřeboval bych program na automatickou distribuci a ukládání dat po síti.

Jak si to představuji:

* Na slave serverech (bude jich více, to je klíčové) bude nakonfigurován nějaký diskový prostor, který tento server chce poskytovat. Slave se po síti (gigabit) připojí na master server. Slave servery se mohou kdykoliv odpojovat a připojovat.

* Na masteru se pak nadefinuje, která data se uloží na sítové uzly a také redundance (data pak budou uložena na více uzlech současně).

Master bude linux, uzel může být cokoliv (především Windows). Distribuované systémy souborů tak odpadají. Bylo by dobré, kdyby data na uzlech byla normálně viditelná jako běžné soubory (read-only).

To zadání celkem dobře pasuje na nějaký torrent systém. Požadavek ovšem je centralizované ovládání z linuxového masteru. A také synchronizace dat v případě jejich změny na masteru.

Pochopitelně není nic těžkého si to napsat sám, ale rád bych znal, jestli něco takového již neexistuje.

K čemu to má sloužit je asi jasné. Dat je moc, na jeden server se sice vlezou, ale ne tak, aby se dala centrálně zálohovat. Proto bych rád uložit méně kritická (ale za to velká) data také na desktopové počítače. Každý má pod stolem desktop s hafo diskama, diskového prostoru je tedy hodně, ale je velmi špatně využívaný. Ušetřily by se disky a data by byla v bezpečí.

V případě vyhoření serveru by tak data byla k disposici na síti. Rychlost obnovy dat na serveru po výpadku v tomto případě není kritická.

Odpovědi

[Ash]

v čem nevyhovuje mountovat ty slave servery přes nfs a normálně tam ta data kopírovat v době kdy jsou online?

[Heron]

Já někde psal, že to nevyhovuje? No, mount přes SMB (jsou tam widle, takže NFS bohužel ne) mě také napadl, ale touto cestou jít nechci. Ono to směřuje spíše na něco jako rsync.

Nakonec, první polovina programu už je hotová (zjištění seznamu souborů a ověření integrity dat pomocí SHA-512 už máme hotovou, dopsat synchronizační část je hračka, ale nechtěl jsem znovu objevovat kolo).