abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 0
včera 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
včera 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 3
7.12. 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
7.12. 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 2
7.12. 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 6
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 27
6.12. 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 2
5.12. 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 6
5.12. 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 50
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (8%)
 (5%)
 (3%)
Celkem 798 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Synchronizace souborů do backup adresáře bez přepisování

19.5. 10:32 majales | skóre: 20 | blog: Majales
Synchronizace souborů do backup adresáře bez přepisování
Přečteno: 565×
Zdravím, Hledám nástroj pro synchronizaci souborů do backup adresáře, tak aby nepřepisoval existující soubory, ale udělal místo toho soubor nový. Když se nad tím tak zamýšlím, tak by bylo nejlepší aby to bylo i s kompresí, ale tu jsem schopen oželet. Umí něco takového rsync nebo unison? Díky za každý tip.

Odpovědi

Jendа avatar 19.5. 11:00 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
rsync měl nějakou volbu na generování hardlinků, ale osobně jsem na to šel pomocí btrfs nebo ZFS a snapshotů, případně pomocí rdiff-backup.
19.5. 11:27 majales | skóre: 20 | blog: Majales
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Jenže rdiff-backup je ukrutně pomalý při velkých objemech... Mám ho nasazený na zhruba 300GB adresáři a jedna synchronizace běží cca hodinu.. Pravda je to přes smbmount, ale i tak je to pomalé. ZFS ani btrfs bohužel nepadá v úvahu..
k3dAR avatar 19.5. 12:15 k3dAR | skóre: 39
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
sync 300GB za 1h po sambe neni snad tak strasne, mozna by pomohlo misto konzumnich 5k4rpm HDD pouzit nejake SSD a misto 1xGLAN pouzit bond nad 8xGLAN nebo 1x10GLAN ;)
porad nemam telo, ale uz mam hlavu... nobody
19.5. 14:54 majales | skóre: 20 | blog: Majales
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Já to teď řeším jako synchronizaci na lokálním filesystému s tím, že ten backup by se neměl v žádném případě přepsat apokud ano tak by měla být zachována předchozí verze souboru.
19.5. 19:14 majales | skóre: 20 | blog: Majales
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Navíc rdiff-backup se pokud vím už nevyvíjí celých 7 let a už se asi vyvýjet nikdy nebude..
20.5. 08:25 Filip Jirsák | skóre: 66 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
A je v tom problém? Jsou tam chyby? Nebo chybí nějaké vlastnosti?

Jinak pokud se aspoň část těch souborů nemění, nejvíc to urychlíte tak, že přes síť použijete protokol rsync, takže se nebudou přenášet celé soubory, ale jenom změny. Tedy pokud je síť úzkým hrdlem, což obvykle bývá.
k3dAR avatar 20.5. 11:45 k3dAR | skóre: 39
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
i primo tvurci upozornuji aby prenos na samba byl provaden pres ssh (stejny duvod jako rsync), pripadne zkusit misto cifs pouzit sambafs (ten ma ale limit souboru max 2GB) viz: http://www.nongnu.org/rdiff-backup/FAQ.html#cifs
porad nemam telo, ale uz mam hlavu... nobody
19.5. 15:26 Filip Jirsák | skóre: 66 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Mám ho nasazený na zhruba 300GB adresáři a jedna synchronizace běží cca hodinu.. Pravda je to přes smbmount, ale i tak je to pomalé.
Přenést 300 GB za hodinu vám připadá málo? Co tam máte za síť? Pokud je to 1 Gbit/s, přenášet po ní reálně 0,66 Gbit/s (s veškerou režií) je podle mne dost slušné.
Jendа avatar 19.5. 15:32 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Já to pochopil jako že má 300 GB souborů a rozdíl je malý, ale hodinu trvá, než se všechny projdou a vyhodnotí se změny. A tam samozřejmě záleží hlavně na počtu souborů.

Proč nejde použít btrfs? Já to udělal tak, že na Sambě (Wedos disk) mám soubor naformátovaný na btrfs a připojený přes loopback.
20.5. 08:21 Filip Jirsák | skóre: 66 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Pokud má to úložiště připojené přes smbmount, znamená to, že se všechny ty soubory musí přenést SMB protokolem na lokální počítač. Tam by se teoreticky mohly vyhodnotit ty změny, jenže už je to zbytečné, když se soubor přenesl, takže se může rovnou celý zapsat.

Rsync může využít tu svou hlavní výhodu – přenos pouze změn – jedině tehdy, když se přes síť používá protokol rsync (případně zapouzdřený do SSH). Jakmile je pro přenos přes síť použit jiný protokol a rsync porovnává „lokální“ soubory, přenáší se celé soubory. Rsync by se měl pokoušet takové situace detekovat a vypisovat červené blikající varování :-)
Jendа avatar 20.5. 17:35 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Pokud má to úložiště připojené přes smbmount, znamená to, že se všechny ty soubory musí přenést SMB protokolem na lokální počítač.
Ne, nemusí. Stačí, když se přenesou informace o času poslední změny a velikosti. Pokud se tyto nezměnily, rsync na ně v defaultním nastavení nebude vůbec sahat.
20.5. 18:05 Filip Jirsák | skóre: 66 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Pokud se tyto nezměnily
Ne pokud se nezměnily, ale pokud budou stejné. Což zrovna v případě smbmount může dopadnout všelijak. Dá se použít parametr, aby rsync zadané rozdíly v čase ignoroval, ale ten v defaultním nastavení zapnutý není.
19.5. 20:37 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Vždy je volba mezi rychlostí, efektivitou, flexibilitou a pohodlností. Já na zálohy už asi 3 roky používám backuppc a je vynikající v efektivitě (v záloze jsou soubory principiálně organizovany kompresované podle hashů a následně na hardlinkovány na jednotlivé zálohy jednotlivých strojů. Takže stejný soubor existující na několika strojích a zpracovaný v několika zálohách je fakticky v záloze pouze jedenkrát) flexibilitě ( efektivní nastavení úplných a inkrementálních záloh více úrovní, nastavení adresářových stromů které zálohovat a co vylučovat a podobně na úrovni souborů.) pohodlnosti (komfortní webové rozhraní pro definici a práci včetně pohodlné restaurace souborů a stromů na jiný stroj. (Konkrétně, manželce končil notebook tak po instalaci systému stačilo ho zavést do zálohovacího systému a ze staré zálohy určit kam se její home má restaurovat a bylo.) Nevýhoda: značná pomalost, inkrementální zálohy cca 100 minut a úplné cca 250 minut. (ale úplná záloha má 800 000 souborů a to asi rychleji stejně nejde. IOPS na rotačním disku jsou kolem 100 IOPS.)

Pokud je to záloha, která má šáhnout na všechny soubory a posoudit jestli se změnily tak na rotačním disku stejně více než cca 100 za vteřinu neudělá nijak. Žádný systém.
Jendа avatar 19.5. 21:04 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Pokud je to záloha, která má šáhnout na všechny soubory a posoudit jestli se změnily tak na rotačním disku stejně více než cca 100 za vteřinu neudělá nijak. Žádný systém.
Může být víc záznamů o souborech v jednom bloku.
19.5. 21:42 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Příloha:
Myslel jsem to tak že když máš skutečně šáhnout na soubor a spočítat hash a pak porovnat jestli hash máš tak je jedno jak máš malé soubory. Na urovni aplikace užívající FS už vetšinou nemáš informaci, jestli soubory nejsou fyzicky na disku v jednom bloku. (ale uznávam, když posuzuji, že se nezměnily časy souborů tak čtu jen inode.). Chtel jsem tim hlavně drůraznit, že když je záloha na souborové úrovni a jsou to stovky tisíc souborů tak je to pomalé z principu i když je to velikostně malé.

Jen pro info přihazuji graf ze zálohovacího serveru. Když jede něčí záloha tak vyjede primárně šedý pík, což je zálohovací oddíl postavený jako RAID 10 nad oddílem z disků sdb-e. Jasně je vidět že rychlost zálohy je limitovaná seekováním přes zálohovací oddíl. A takhle to seekuje nejen při inkrementech ale i při úplné záloze, protože zjištuje jestli soubor není stejný a tím pádem se nebude nic do zálohy přidávat.
19.5. 15:03 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Tan backup dir je namontovaný přes sambu? Pak by nešly využít ani hardlinky rsyncu, které jinak docela pěkně fungují. Např. je využívá dirvish (perlový skript nad rsyncem), který by pro tohle šel snadno nakonfigurovat.
21.5. 07:05 marek_hb
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
co takhle rsnapshot?
21.5. 09:16 majales | skóre: 20 | blog: Majales
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Díval jsem se na něj, ale z toho co jsem pochopil tak neumí zachovat původní zálohu, což je to co právě potřebuju.

Trochu se to tady pomotalo s tím, že jsem napsal, že používám rdiff-backup pro zálohování vzdáleného disku připojeného přes smbmount. To co jsem chtěl, je zálohovat lokálně adresář do adresáře tak aby se původní záloha nikdy nepřepsala a pokud vznikne stejné nazvaný soubor s jiným obsahem tak aby se ten původní zachoval a ten nový se tam taky dostal a aby se toto detekovalo třeba nagiosem. Reálně to bude adresář s podadresáři a v každém z nich soubory a podadresáře a soubory tam budou neustále přibývat.
21.5. 09:54 Filip Jirsák | skóre: 66 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Podle mne rdiff-backup i rsnapshot dělají přesně to, co popisujete, tedy inkrementální zálohování s možností obnovit soubory z předchozích záloh. V případě rdiff-backup vidíte přímo na disku poslední zálohu a předchozí zálohy musíte obnovovat příkazem, v případě rsnapshot vidíte ty předchozí zálohy přímo na disku. Rozdíl je samozřejmě v potřebném místu na disku, když se změní část souboru – u rdiff-backup bude ta společná část uložena jen jednou, v případě rsnapshot musí být na disku vícekrát, v každé variantě souboru jednou.
k3dAR avatar 21.5. 11:42 k3dAR | skóre: 39
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
neni treba obnovovat prikazem, pouzivam s rdiff-backup-fs, doplneno o patche aby slo exportovat po samba, takze vysledek je ze vsechny vidis prirustkove backup jako adresare podle datumu zalohy a v nem virtualne vidis vsechny soubory a vykopirujs co potrebujes pomoci sveho oblibeneho nastroje na kopirovani souboru :)
porad nemam telo, ale uz mam hlavu... nobody
21.5. 12:04 marek_hb
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
což ale při rsnapshotu odpadá - všechny zálohy jsou normálně čitelné bez další věci co se může rozbít (podle mě)
k3dAR avatar 22.5. 14:56 k3dAR | skóre: 39
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
nefunguje rsnapshot tak ze vsechny nezmenene soubory udela hardlink na prvotni backup (nutno tedy cilovej filesystem s podporou hardlink) a zmenene soubory nakopiruje cele i pri zmene 1 bajtu?(+ nafoukne o to cele backup dir)? oproti tomu rdiff-backup lze cilit i na filesystem bez hardfiles (aspon myslim :) ale hlavne zmenene soubory uklada jen jako rozdil...
myslim ze oboji ma sve vyhody i nevyhody... me (zatim?) pro me potreby vyhovuje vice rdiff-backup + rdiff-backup-fs :)
porad nemam telo, ale uz mam hlavu... nobody
22.5. 15:22 Filip Jirsák | skóre: 66 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Ano, funguje tak, psal jsem to o něco výše.
22.5. 19:21 marek_hb
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
jj funguje - rdiff jsem kdysi používal,ale asi jsem měl pomalý počítač nebo já nevím co, ale připojení záloh přes rdiff-backup-fs bylo pomalé (i jen pohyb v adresářích) + jsem se pak někde dočetl o možných problémech při různých verzích rdiff a tak jsem přešel na rsnapshot a vyhovuje mi víc
21.5. 10:01 marek_hb
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Mam pocit ze prave tohle umi - udela proste zalohu 1 - pak ji prekopiruje na 2 a do jednicky zapise zmeny (tak nejak) - tzn mas pak adresar treba hourly 0 a v nem normalne pristupnou adresarovou strukturu a soubory v case zalohy a pak adresar hourly 1 - 2 - 3 (podle nastaveni) a v nich predchozi zalohy. Plus muzes mit dalsi jako tydeni, mesicni

Aspon takhle nejak funguje u me - sypu pres nej zalohy na nas dik pripojeny pres nfs
Josef Kufner avatar 21.5. 14:39 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
rsnapshot stojí na rsync --link-dest. Tedy vytváří hardlinky na nezměněné soubory v předchozí záloze. Obnova je nesrovnatelně rychlejší než v případě rdiff-backup, neboť není potřeba rekonstruovat staré verze souborů z diffů.

Používal jsem rdiff-backup, nyní používám rsnapshot a je to mnohem lepší. Hlavně ta obnova starších souborů. Zdaleka nejčastější use-case záloh je právě vytažení nějaké staré verze jednoho souboru či adresáře s několika málo soubory.

Co se místa na disku týče, hardlinky docela komplikují výpočet zabraného místa i odhad, za jak dlouho místo dojde, ale celkem v pohodě se s tím dá žít. Je docela obtížné zkopírovat zálohovací disk na nový zálohovací disk, neboť je potřeba zachovat hardlinky a na to je potřeba hodně paměti.

Rozhodně s rsnapshotem doporučuju mít dedikovaný fyzický (i logický) disk jen na zálohy. Jinak to je ale dobrý a jednoduchý (není moc, co by se mohlo podělat) nástroj.
Hello world ! Segmentation fault (core dumped)
22.5. 23:00 VjEtNaM | skóre: 4
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Drive jsem pouzival rdiff-backup. Ale rychlost nic moc. Nyni pouzivam BorgBackup. Zatim jsem spokojeny. Rychlost super, deduplikace, komprese, sifrovani, mountovani zaloh pres fuse.
23.5. 12:18 m
Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
Nešel by back-in-time ? Pokud se soubory nemají přepisovat, tak toto splňuje verzováním.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.