Dotaz: zalohovani 250GB dat na FTP

[pepa]

Dobry den, resim problem jak zalohovat data na sitove disky pres FTP. Situace je nasledujici - server na kterem je cca 250GB dat (vetsinou soubory ~1MB), ktere se behem dne mohou nejakym zpusobem modifikovat a vytvaret nove. Po jednom dnu se zmeni prumerne cca 10GB souboru na kterych se prubezne pracuje. Jako uloziste zaloh se nabizi sitovy disk 500GB, pristupny pres FTP.

Moje predstava je takova, ze bych chtel jednorazove zazalohovat tech 250GB dat a nasledne by se kazdy den zalohovala pouze data, ktera byla ten den zmenena. To znamena, nejakym zpusobem by se proslo 250GB ulozenych souboru a ty, ktere by mely datum modifikace shodne s aktualnim datem by se zkopirovaly na sitovy disk do noveho adresare (ktery by mel nazev napr. aktualni datum) i s adresarovou strukturou.

Nevite zda na tohle existuje uz nejaky hotovy program, ktery by tohle zvladl? vim ze napsat nejaky jednoduchy skript by nebyl problem, ale hledam radeji hotove a odzkousene reseni.

Odpovědi

[frEon]

no tak na tohle by byl idelalni program rsync. Pokud to ale musi byt posilano pres ftp, muzes pouzit program lftp. Jeho prikaz mirror umi zkopirovat pouze data, ktery maji mtime mladsi nez data na serveru. Dalsi reseni by mohlo byt hledat soubory prikazem find a nalezene posilat pres ftp na server.

[pepa]

Ano lftp vypada opravdu zajimave, ale bohuzel pri uploadu aktualizovanych dat se prepisi ty puvodni data se kterymi je cas modifikace porovnavan, potreboval bych ta puvodni data nejakym zpusobem jeste uchovat..

[frEon]

--only-newer

[vencas]

Co popisujete se nazývá inkrementální záloha (incremental backup).

Velmi doporučuji dirvish, který obaluje rsync. Udržuje různě staré zálohy a podle jednoduše nadefinovaných pravidel je promazává, takže např. zálohu z prvního dne měsíce si můžete schovávat 4 roky, z prvního dnes týdne rok, ostatní po 2 měsících automaticky mazat.

Platí to v případě, že jsem správně pochopil "síťový disk": jako počítač s Linuxem na lokální síti, ve kterém je ten 500GB disk; na tom by běžel dirvish a připojoval se přes ssh na zálohovné klienty.

[pepa]

Jako sitovy disk mam na 'bohuzel' na mysli Sitovy storage disk jako modul pristupny pres FTP..

[cronin]

Ono je trochu problem v tom, ze je specifikovane "Co?" -- inkrementalne zalohovanie -- aj "Ako?" -- cez FTP. Tym padom zostava dost uzko specifikovany priestor, do ktoreho sa treba trafit.

Nie je to sice odpoved na otazku, ale radil by som upustit z niektorej z poziadaviek; vzhladom na objem dat asi z poziadavky "Ako?".

Alebo mozno riesit problem inkrementalnosti zaloh oddelene od prenosoveho protokolu, ktorym su prenasane na iny server. T.j. inkrementalnost riesit pomocou find+tar+gz, alebo pomocou lokalneho rsync-u (pripadne pomocou sofistikovanejsieho zalohovacieho softu) a vysledok potom preniest na zalohovaci server cez FTP. ncftp tusim obsahuje nastroj ncftp-batch (alebo take nieco), ktoremu je mozne prenasane data sypat cez ruru. Takze skus vymysliet nieco take:

cron -> find | tar | gzip | ncftp-batch -> remote server

[pepa]

Vypada to, ze konecne reseni provedu namountovanim FTP pomoci curlftpfs do nejakeho lokalniho adresare, nad kterym uz jednoduse pouziju treba rdiff-backup nebo rsync. Pro rdiff-backup jsem navic nasel zajimavy webovy frontend RdiffWeb napsany v pythonu.

[Messa]

Mohu potvrdit, že lftp je velmi pěkný program a jeho funkce mirror by pro jednoduché zálohování stačila.

V nejhorším případě můžete použít tar, který umí také balit podle času poslední modifikace souboru. Má to tu výhodu, že se přes ftp nebude tahat velké množství souborů (režie ftp trvá mnohdy déle než samotné kopírovaní) a také to, že se vcelku zaručeně zazálohují i atributy souborů (vlastník, práva apod.). Také je možné použít kompresi. Tedy, možná existuje na tohle i lepší nástroj než tar, ale chtěl jsem upozornit hlavně na to zálohování atributů, bůhví jak si právě s tímhle to ftp storage poradí...