abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 17:11 | Komunita

Byly zveřejněny videozáznamy přednášek z Fedora 26 Release Party konané 10. srpna v Praze.

Ladislav Hagara | Komentářů: 0
včera 15:33 | Komunita

Přesně před čtyřiadvaceti lety, 16. srpna 1993, oznámil Ian Murdock vydání "Debian Linux Release".

Ladislav Hagara | Komentářů: 3
včera 06:00 | Bezpečnostní upozornění

Ve virtualizačním softwaru Xen bylo nalezeno a opraveno 5 bezpečnostních chyb XSA-226 až XSA-230. Nejzávažnější z nich XSA-227 (CVE-2017-12137) umožňuje eskalaci privilegií a ovládnutí celého systému, tj. správce hostovaného systému se může stát správcem hostitelského systému.

Ladislav Hagara | Komentářů: 1
15.8. 22:00 | Zajímavý projekt

V roce 2013 proběhla na Kickstarteru úspěšná kampaň na podporu otevřeného Dobře temperovaného klavíru (Well-Tempered Clavier). Stejný tým s Kimiko Išizaka spustil před týdnem na Kickstarteru kampaň Libre Art of the Fugue na podporu svobodného Umění fugy.

Ladislav Hagara | Komentářů: 2
15.8. 13:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 143. brněnský sraz, který proběhne v pátek 18. srpna od 18:00 hodin ve sportovním areálu a restauraci BeachPub Sokolák u Brněnské přehrady aneb v hantecu u Prýglu.

Ladislav Hagara | Komentářů: 0
15.8. 10:55 | Nová verze

Byla vydána (pdf) verze 3 průběžně aktualizované (rolling release) linuxové distribuce Solus (Wikipedie). Ke stažení je v edicích Budgie, GNOME a MATE. Z novinek lze zmínit například podporu snapů. Solus 3 obsahuje Firefox 55.0.1, LibreOffice 5.4.0.3, Rhythmbox 3.4.1 nebo Thunderbird 52.2.1. Edice Budgie a GNOME přichází s GNOME MPV 0.12. Edice MATE s VLC 2.2.6.

Ladislav Hagara | Komentářů: 5
14.8. 21:44 | Nová verze

Po více než roce vývoje od vydání verze 1.0 Microsoft oznámil vydání verze 2.0 platformy .NET Core (GitHub). Přehled novinek v poznámkách k vydání a ve videu na Channel 9.

Ladislav Hagara | Komentářů: 0
14.8. 21:11 | Pozvánky

Před dvaceti lety, 15. srpna 1997, poslal Miguel de Icaza do diskusního listu GTK+ email, který je považován za zahájení projektu GNOME. Linux Desktop Meetup pořádá oslavu ve středu 16. srpna od 19:00 v brněnském Charlie's square.

Ladislav Hagara | Komentářů: 18
14.8. 11:55 | IT novinky
Na šampionátu The International 2017 byl představen bot, který poráží profesionální hráče počítačové hry Dota 2. Bot zatím umí jenom zápasy 1v1. Vývojáři pracují na podpoře 5v5. Jedná se o společný projekt organizace OpenAI a společnosti Valve. Více na stránkách OpenAI a na YouTube. Dle Elona Muska je elektronický sport mnohem komplexnější než šachy nebo go [Hacker News].
Ladislav Hagara | Komentářů: 14
14.8. 05:55 | Nová verze

Byla vydána verze 20.0 a krátce na to opravná verze 20.0.1 svobodného softwaru OBS Studio (Open Broadcaster Software, Wikipedie) určeného pro streamování a nahrávání obrazovky počítače. Přehled novinek i s náhledy a animovanými gify v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
Těžíte nějakou kryptoměnu?
 (4%)
 (2%)
 (17%)
 (77%)
Celkem 339 hlasů
 Komentářů: 21, poslední 13.8. 09:57
    Rozcestník

    Dotaz: Synchronizace souborů do backup adresáře bez přepisování

    19.5.2016 10:32 majales | skóre: 21 | blog: Majales
    Synchronizace souborů do backup adresáře bez přepisování
    Přečteno: 587×
    Zdravím, Hledám nástroj pro synchronizaci souborů do backup adresáře, tak aby nepřepisoval existující soubory, ale udělal místo toho soubor nový. Když se nad tím tak zamýšlím, tak by bylo nejlepší aby to bylo i s kompresí, ale tu jsem schopen oželet. Umí něco takového rsync nebo unison? Díky za každý tip.

    Odpovědi

    Jendа avatar 19.5.2016 11:00 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    rsync měl nějakou volbu na generování hardlinků, ale osobně jsem na to šel pomocí btrfs nebo ZFS a snapshotů, případně pomocí rdiff-backup.
    tf_train.py:93: global_step=110749, loss=1.4074e+17
    19.5.2016 11:27 majales | skóre: 21 | blog: Majales
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Jenže rdiff-backup je ukrutně pomalý při velkých objemech... Mám ho nasazený na zhruba 300GB adresáři a jedna synchronizace běží cca hodinu.. Pravda je to přes smbmount, ale i tak je to pomalé. ZFS ani btrfs bohužel nepadá v úvahu..
    k3dAR avatar 19.5.2016 12:15 k3dAR | skóre: 45
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    sync 300GB za 1h po sambe neni snad tak strasne, mozna by pomohlo misto konzumnich 5k4rpm HDD pouzit nejake SSD a misto 1xGLAN pouzit bond nad 8xGLAN nebo 1x10GLAN ;)
    porad nemam telo, ale uz mam hlavu... nobody
    19.5.2016 14:54 majales | skóre: 21 | blog: Majales
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Já to teď řeším jako synchronizaci na lokálním filesystému s tím, že ten backup by se neměl v žádném případě přepsat apokud ano tak by měla být zachována předchozí verze souboru.
    19.5.2016 19:14 majales | skóre: 21 | blog: Majales
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Navíc rdiff-backup se pokud vím už nevyvíjí celých 7 let a už se asi vyvýjet nikdy nebude..
    20.5.2016 08:25 Filip Jirsák | skóre: 66 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    A je v tom problém? Jsou tam chyby? Nebo chybí nějaké vlastnosti?

    Jinak pokud se aspoň část těch souborů nemění, nejvíc to urychlíte tak, že přes síť použijete protokol rsync, takže se nebudou přenášet celé soubory, ale jenom změny. Tedy pokud je síť úzkým hrdlem, což obvykle bývá.
    k3dAR avatar 20.5.2016 11:45 k3dAR | skóre: 45
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    i primo tvurci upozornuji aby prenos na samba byl provaden pres ssh (stejny duvod jako rsync), pripadne zkusit misto cifs pouzit sambafs (ten ma ale limit souboru max 2GB) viz: http://www.nongnu.org/rdiff-backup/FAQ.html#cifs
    porad nemam telo, ale uz mam hlavu... nobody
    19.5.2016 15:26 Filip Jirsák | skóre: 66 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Mám ho nasazený na zhruba 300GB adresáři a jedna synchronizace běží cca hodinu.. Pravda je to přes smbmount, ale i tak je to pomalé.
    Přenést 300 GB za hodinu vám připadá málo? Co tam máte za síť? Pokud je to 1 Gbit/s, přenášet po ní reálně 0,66 Gbit/s (s veškerou režií) je podle mne dost slušné.
    Jendа avatar 19.5.2016 15:32 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Já to pochopil jako že má 300 GB souborů a rozdíl je malý, ale hodinu trvá, než se všechny projdou a vyhodnotí se změny. A tam samozřejmě záleží hlavně na počtu souborů.

    Proč nejde použít btrfs? Já to udělal tak, že na Sambě (Wedos disk) mám soubor naformátovaný na btrfs a připojený přes loopback.
    tf_train.py:93: global_step=110749, loss=1.4074e+17
    20.5.2016 08:21 Filip Jirsák | skóre: 66 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Pokud má to úložiště připojené přes smbmount, znamená to, že se všechny ty soubory musí přenést SMB protokolem na lokální počítač. Tam by se teoreticky mohly vyhodnotit ty změny, jenže už je to zbytečné, když se soubor přenesl, takže se může rovnou celý zapsat.

    Rsync může využít tu svou hlavní výhodu – přenos pouze změn – jedině tehdy, když se přes síť používá protokol rsync (případně zapouzdřený do SSH). Jakmile je pro přenos přes síť použit jiný protokol a rsync porovnává „lokální“ soubory, přenáší se celé soubory. Rsync by se měl pokoušet takové situace detekovat a vypisovat červené blikající varování :-)
    Jendа avatar 20.5.2016 17:35 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Pokud má to úložiště připojené přes smbmount, znamená to, že se všechny ty soubory musí přenést SMB protokolem na lokální počítač.
    Ne, nemusí. Stačí, když se přenesou informace o času poslední změny a velikosti. Pokud se tyto nezměnily, rsync na ně v defaultním nastavení nebude vůbec sahat.
    tf_train.py:93: global_step=110749, loss=1.4074e+17
    20.5.2016 18:05 Filip Jirsák | skóre: 66 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Pokud se tyto nezměnily
    Ne pokud se nezměnily, ale pokud budou stejné. Což zrovna v případě smbmount může dopadnout všelijak. Dá se použít parametr, aby rsync zadané rozdíly v čase ignoroval, ale ten v defaultním nastavení zapnutý není.
    19.5.2016 20:37 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Vždy je volba mezi rychlostí, efektivitou, flexibilitou a pohodlností. Já na zálohy už asi 3 roky používám backuppc a je vynikající v efektivitě (v záloze jsou soubory principiálně organizovany kompresované podle hashů a následně na hardlinkovány na jednotlivé zálohy jednotlivých strojů. Takže stejný soubor existující na několika strojích a zpracovaný v několika zálohách je fakticky v záloze pouze jedenkrát) flexibilitě ( efektivní nastavení úplných a inkrementálních záloh více úrovní, nastavení adresářových stromů které zálohovat a co vylučovat a podobně na úrovni souborů.) pohodlnosti (komfortní webové rozhraní pro definici a práci včetně pohodlné restaurace souborů a stromů na jiný stroj. (Konkrétně, manželce končil notebook tak po instalaci systému stačilo ho zavést do zálohovacího systému a ze staré zálohy určit kam se její home má restaurovat a bylo.) Nevýhoda: značná pomalost, inkrementální zálohy cca 100 minut a úplné cca 250 minut. (ale úplná záloha má 800 000 souborů a to asi rychleji stejně nejde. IOPS na rotačním disku jsou kolem 100 IOPS.)

    Pokud je to záloha, která má šáhnout na všechny soubory a posoudit jestli se změnily tak na rotačním disku stejně více než cca 100 za vteřinu neudělá nijak. Žádný systém.
    Jendа avatar 19.5.2016 21:04 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Pokud je to záloha, která má šáhnout na všechny soubory a posoudit jestli se změnily tak na rotačním disku stejně více než cca 100 za vteřinu neudělá nijak. Žádný systém.
    Může být víc záznamů o souborech v jednom bloku.
    tf_train.py:93: global_step=110749, loss=1.4074e+17
    19.5.2016 21:42 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Příloha:
    Myslel jsem to tak že když máš skutečně šáhnout na soubor a spočítat hash a pak porovnat jestli hash máš tak je jedno jak máš malé soubory. Na urovni aplikace užívající FS už vetšinou nemáš informaci, jestli soubory nejsou fyzicky na disku v jednom bloku. (ale uznávam, když posuzuji, že se nezměnily časy souborů tak čtu jen inode.). Chtel jsem tim hlavně drůraznit, že když je záloha na souborové úrovni a jsou to stovky tisíc souborů tak je to pomalé z principu i když je to velikostně malé.

    Jen pro info přihazuji graf ze zálohovacího serveru. Když jede něčí záloha tak vyjede primárně šedý pík, což je zálohovací oddíl postavený jako RAID 10 nad oddílem z disků sdb-e. Jasně je vidět že rychlost zálohy je limitovaná seekováním přes zálohovací oddíl. A takhle to seekuje nejen při inkrementech ale i při úplné záloze, protože zjištuje jestli soubor není stejný a tím pádem se nebude nic do zálohy přidávat.
    19.5.2016 15:03 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Tan backup dir je namontovaný přes sambu? Pak by nešly využít ani hardlinky rsyncu, které jinak docela pěkně fungují. Např. je využívá dirvish (perlový skript nad rsyncem), který by pro tohle šel snadno nakonfigurovat.
    21.5.2016 07:05 marek_hb
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    co takhle rsnapshot?
    21.5.2016 09:16 majales | skóre: 21 | blog: Majales
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Díval jsem se na něj, ale z toho co jsem pochopil tak neumí zachovat původní zálohu, což je to co právě potřebuju.

    Trochu se to tady pomotalo s tím, že jsem napsal, že používám rdiff-backup pro zálohování vzdáleného disku připojeného přes smbmount. To co jsem chtěl, je zálohovat lokálně adresář do adresáře tak aby se původní záloha nikdy nepřepsala a pokud vznikne stejné nazvaný soubor s jiným obsahem tak aby se ten původní zachoval a ten nový se tam taky dostal a aby se toto detekovalo třeba nagiosem. Reálně to bude adresář s podadresáři a v každém z nich soubory a podadresáře a soubory tam budou neustále přibývat.
    21.5.2016 09:54 Filip Jirsák | skóre: 66 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Podle mne rdiff-backup i rsnapshot dělají přesně to, co popisujete, tedy inkrementální zálohování s možností obnovit soubory z předchozích záloh. V případě rdiff-backup vidíte přímo na disku poslední zálohu a předchozí zálohy musíte obnovovat příkazem, v případě rsnapshot vidíte ty předchozí zálohy přímo na disku. Rozdíl je samozřejmě v potřebném místu na disku, když se změní část souboru – u rdiff-backup bude ta společná část uložena jen jednou, v případě rsnapshot musí být na disku vícekrát, v každé variantě souboru jednou.
    k3dAR avatar 21.5.2016 11:42 k3dAR | skóre: 45
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    neni treba obnovovat prikazem, pouzivam s rdiff-backup-fs, doplneno o patche aby slo exportovat po samba, takze vysledek je ze vsechny vidis prirustkove backup jako adresare podle datumu zalohy a v nem virtualne vidis vsechny soubory a vykopirujs co potrebujes pomoci sveho oblibeneho nastroje na kopirovani souboru :)
    porad nemam telo, ale uz mam hlavu... nobody
    21.5.2016 12:04 marek_hb
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    což ale při rsnapshotu odpadá - všechny zálohy jsou normálně čitelné bez další věci co se může rozbít (podle mě)
    k3dAR avatar 22.5.2016 14:56 k3dAR | skóre: 45
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    nefunguje rsnapshot tak ze vsechny nezmenene soubory udela hardlink na prvotni backup (nutno tedy cilovej filesystem s podporou hardlink) a zmenene soubory nakopiruje cele i pri zmene 1 bajtu?(+ nafoukne o to cele backup dir)? oproti tomu rdiff-backup lze cilit i na filesystem bez hardfiles (aspon myslim :) ale hlavne zmenene soubory uklada jen jako rozdil...
    myslim ze oboji ma sve vyhody i nevyhody... me (zatim?) pro me potreby vyhovuje vice rdiff-backup + rdiff-backup-fs :)
    porad nemam telo, ale uz mam hlavu... nobody
    22.5.2016 15:22 Filip Jirsák | skóre: 66 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Ano, funguje tak, psal jsem to o něco výše.
    22.5.2016 19:21 marek_hb
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    jj funguje - rdiff jsem kdysi používal,ale asi jsem měl pomalý počítač nebo já nevím co, ale připojení záloh přes rdiff-backup-fs bylo pomalé (i jen pohyb v adresářích) + jsem se pak někde dočetl o možných problémech při různých verzích rdiff a tak jsem přešel na rsnapshot a vyhovuje mi víc
    21.5.2016 10:01 marek_hb
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Mam pocit ze prave tohle umi - udela proste zalohu 1 - pak ji prekopiruje na 2 a do jednicky zapise zmeny (tak nejak) - tzn mas pak adresar treba hourly 0 a v nem normalne pristupnou adresarovou strukturu a soubory v case zalohy a pak adresar hourly 1 - 2 - 3 (podle nastaveni) a v nich predchozi zalohy. Plus muzes mit dalsi jako tydeni, mesicni

    Aspon takhle nejak funguje u me - sypu pres nej zalohy na nas dik pripojeny pres nfs
    Josef Kufner avatar 21.5.2016 14:39 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    rsnapshot stojí na rsync --link-dest. Tedy vytváří hardlinky na nezměněné soubory v předchozí záloze. Obnova je nesrovnatelně rychlejší než v případě rdiff-backup, neboť není potřeba rekonstruovat staré verze souborů z diffů.

    Používal jsem rdiff-backup, nyní používám rsnapshot a je to mnohem lepší. Hlavně ta obnova starších souborů. Zdaleka nejčastější use-case záloh je právě vytažení nějaké staré verze jednoho souboru či adresáře s několika málo soubory.

    Co se místa na disku týče, hardlinky docela komplikují výpočet zabraného místa i odhad, za jak dlouho místo dojde, ale celkem v pohodě se s tím dá žít. Je docela obtížné zkopírovat zálohovací disk na nový zálohovací disk, neboť je potřeba zachovat hardlinky a na to je potřeba hodně paměti.

    Rozhodně s rsnapshotem doporučuju mít dedikovaný fyzický (i logický) disk jen na zálohy. Jinak to je ale dobrý a jednoduchý (není moc, co by se mohlo podělat) nástroj.
    Hello world ! Segmentation fault (core dumped)
    22.5.2016 23:00 VjEtNaM | skóre: 4
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Drive jsem pouzival rdiff-backup. Ale rychlost nic moc. Nyni pouzivam BorgBackup. Zatim jsem spokojeny. Rychlost super, deduplikace, komprese, sifrovani, mountovani zaloh pres fuse.
    23.5.2016 12:18 m
    Rozbalit Rozbalit vše Re: Synchronizace souborů do backup adresáře bez přepisování
    Nešel by back-in-time ? Pokud se soubory nemají přepisovat, tak toto splňuje verzováním.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.