abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 02:20 | Zajímavý článek

David Revoy, autor open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu, upozorňuje na svém blogu, že nový Inkscape 0.92 rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Problém by měl být vyřešen v Inkscape 0.92.2 [reddit].

Ladislav Hagara | Komentářů: 0
dnes 02:02 | Komunita

Øyvind Kolås, hlavní vývojář grafických knihoven GEGL a babl, které využívá grafický program GIMP, žádá o podporu na Patreonu. Díky ní bude moci pracovat na vývoji na plný úvazek. Milník 1000 $, který by stačil na holé přežití, se již téměř podařilo vybrat, dalším cílem je dosažení 2500 $, které mu umožní běžně fungovat ve společnosti.

xkomczax | Komentářů: 9
včera 23:54 | Pozvánky

DevConf.cz 2017, již devátý ročník jedné z největších akcí zaměřených na Linux a open source ve střední Evropě, proběhne od pátku 27. ledna do neděle 29. ledna v prostorách Fakulty informačních technologií Vysokého učení technického v Brně. Na programu je celá řada zajímavých přednášek a workshopů. Letos je povinná registrace.

Ladislav Hagara | Komentářů: 0
včera 22:11 | Nová verze

Byla vydána verze 1.0.0 emulátoru terminálu Terminology postaveného nad EFL (Enlightenment Foundation Libraries). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
20.1. 17:00 | Nová verze

Byl vydán Docker 1.13. Přehled novinek na YouTube a v poznámkách k vydání na GitHubu. Docker umožňuje běh aplikací v softwarových kontejnerech (Wikipedia).

Ladislav Hagara | Komentářů: 4
20.1. 15:51 | Komunita

Mozilla.cz informuje, že nástroje pro webové vývojáře se možná oddělí od Firefoxu a stanou doplňkem. Nástroje pro webové vývojáře prošly velkým přepisem a tým, který se stará o jejich vývoj, by uvítal možnost jejich častějších aktualizacích nezávisle na vydávání nových verzí Firefoxu.

Ladislav Hagara | Komentářů: 8
20.1. 07:00 | Humor

Čtenářům AbcLinuxu vše nejlepší k dnešnímu Dni zvýšení povědomí o tučňácích (Penguin Awareness Day).

Ladislav Hagara | Komentářů: 0
20.1. 06:00 | Komunita

Bylo spuštěno hlasování o přednáškách a workshopech pro letošní InstallFest, jenž proběhne o víkendu 4. a 5. března v Praze. Současně byla oznámena změna místa. InstallFest se letos vrací zpět na Karlovo náměstí do budovy E.

Ladislav Hagara | Komentářů: 0
20.1. 02:48 | Komunita

Greg Kroah-Hartman potvrdil, že Linux 4.9 je jádrem s prodlouženou upstream podporou (LTS, Long Term Support). Podpora je plánována do ledna 2019. Aktuální jádra s prodlouženou podporou jsou tedy 3.2, 3.4, 3.10, 3.12, 3.16, 3.18, 4.1, 4.4 a 4.9.

Ladislav Hagara | Komentářů: 0
20.1. 00:11 | Zajímavý článek

Výrobce síťových prvků, společnost Netgear, spustila nový program, který slibuje vývojářům, expertům, ale i běžným uživatelům vyplacení finanční odměny za nalezení bezpečnostních chyby v jejich produktech. Za nalezení zranitelnosti v hardware, API nebo mobilní aplikaci nabízí odměnu od 150 do 15 tisíc dolarů (dle závažnosti).

Michal Makovec | Komentářů: 0
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (10%)
 (2%)
 (74%)
 (3%)
 (10%)
Celkem 359 hlasů
 Komentářů: 25, poslední včera 13:34
Rozcestník
Reklama

Dotaz: rsync kontrolní součty

26.3.2013 23:28 Honza
rsync kontrolní součty
Přečteno: 437×
Dobry večer

Ted jsem dočetl článek na http://www.root.cz/clanky/sifrovane-inkrementalni-zalohy-s-duplicity/

Konkrétně mě zaujala část "jak to funguje" kde se mluví o rsync a kontrolních součtech. Jestliže to teda dobře chápu tak rsync si vypočítává kontrolní součty souborů které zálohuji a souborů které jsou v místě kam zálohuji a podle toho přenese jen části souboru které se změnili nebo přenese celé tyto soubory které se v něčem zmenili? Přičemž tyto součty si nikde neukládá a je vždy potřeba je vypočítat znova. Tudíž by mohl nastat problém jestliže zálohuji miliony drobných souborů.

tedy při rsync -avhze ssh --delete --exclude *.avi --link-dest=$VCERA

se přenesou jen ty soubory které se změnili od VCERA celé nebo pouze rozdíly v těchto souborech?

Moc děkuji za případnou odpověď

Odpovědi

Bedňa avatar 26.3.2013 23:46 Bedňa | skóre: 33 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Článok sa mi čítať nechce, ale default rsync používa rýchli chcecksum na zistenie zmeny, dá sa zapnúť voľba -c čo ale predĺži zistenie chceksum súboru, čo u malých a veľa súborov nemá zmysel. V korporátnej sfére kde ide o zaistenie konzistencie dát, by sa bolo dobré pozrieť po nejakom hotovom riešení, prípadne si napísať skript, čo chcecksum k súborom bude ukladať.
Pokecajte si s umelou stupiditou na http://www.kernelultras.org/
27.3.2013 00:51 Daniel Čižinský | skóre: 28
Rozbalit Rozbalit vše Re: rsync kontrolní součty
No, ono to checksumovani bylo puvodne zejmena na to, aby se v momente, kdy se vam prerusi prenaseni velikeho souboru, neprenasel veliky soubor po pomale lince cely znova, ale navazalo se - aniz by bylo nutne spolehat se na presny offset a jeho dodrzeni obema stranami. V nasich dobach se jiz dava prednost pouziti rsyncu bez checksumu (volba -W).
27.3.2013 06:53 Honza
Rozbalit Rozbalit vše Re: rsync kontrolní součty
ano ano to vím. Ale spíše mě zajímá ten princip teoretický jak to funguje ted protože tak moc do hloubky nevidím a pokud jsem zkoušel přenášet soubor a přidávat kusy textu tak se mi podle velikosti zdá že se přenesl cely. Nenapadá mě nic rozumného jak to otestovat.

Ale testoval jsme na malém souboru. Lepší by bylo asi nějak poškodit větší soubor. Nějaky nápad jak poškodit iso slaxu?
27.3.2013 15:47 komodo | skóre: 27 | blog: komodo
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Myslim, ze jsem to nekdy pred lety zkousel, a prenos jenom rozdilu fungoval pri pouziti rsync protokolu, ale ne pri pouziti rsyncu pres ssh.
27.3.2013 15:56 Honza
Rozbalit Rozbalit vše Re: rsync kontrolní součty
aha takto by asi odpovídalo mým poznatkům. Takže se prostě přenese cely soubor znovu.
27.3.2013 20:39 potato
Rozbalit Rozbalit vše Re: rsync kontrolní součty
To je blud, který lze velmi snadno vyvrátit. Přenáší se pouze změny. Samozřejmě jen jsou-li takového druhu, že se rsync dokáže na společných datech chytit.

Nejsnažší test je asi
dd if=/dev/urandom bs=1024 count=1 >test
cat VELIKÝSOUBOR >test
dd if=/dev/urandom bs=1024 count=1 >>test
na dvou počítačích a následně rsyncnout s --progress --verbose a kldině změřit i čas, abys měl jistotu, a porovnat RX a TX ze síťoých rozhraní.

Můj provider mi určitě nenabízí rychlost připojení přes 1,5 Gbit/s, nehledě na to, že ani nemám síťovou kartu, která by takovou rychlost uměla. Ale rsyncovat touto rychlostí téměř shodné soubory mohu pohodlně.
27.3.2013 21:44 Daniel Čižinský | skóre: 28
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Funguje to tak, ze se soubor "rozstriha" na kousky a od tech se postupne (na obou stranach) delaji checksumy. Kdyz nejaky nevyjde, prenese se. Ted z hlavy nereknu, jestli se prenese "od te chvile vse" nebo "jen kousky, co nevysly". Muzu se zkusit podivat. Kryptograficky silne to nebude, neni to delane na to - spis se predpoklada, ze chceme odolnost proti bezne chybe pri prenosu.

To, ze se soubor prenesl cely, kdyz v nem byla zmena, je trochu nepochopenim. Kdyz soubor upravite, ma novy timestamp, takze se nepredpoklada, ze jde o stejny soubor, viz FAQ http://rsync.samba.org/FAQ.html, hned druhy odstavec.

Soubor se da zmenit kdecim, dulezite je, aby vypadal jako puvodni, mozna pomuze udrzet cas zmeny stejny.

Jinak rsync vubec neni pitomy program, pan Tridgell si na priprave udelal PhD.
27.3.2013 23:40 Honza
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Souhlasím že Rsync je výborný nástroj na mnoho věcí a zálohování je jedna z nich.

Takže konečná odpověd je že je jedno jestli je použito SSH nebo přenos bez SSH vždy přenáší pouze chybný usek. A kontrolní součet není nikde uložen což se teda dá dočíst ze stránek rsync. Takže jestliže zálohuju pomocí pevnych odkazů jsou vždy přepočítány. Jestliže provedu zmenu v souboru tak se přenese celý znova protože se jedna o "jiny" soubor.

Zdálo se mi to poněkud divné že by tohle rsync neměl ošetřeno
28.3.2013 00:30 potato
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Timestamp nebo dalíš odlišné atributy mají vliv na to, že rsync musí znovu provést synchronizaci, což je velmi rychlé, pokud je obsah souboru na obou stranách stejný, nicméně se verbose výpisu samozřejmě objeví, že soubor byl sychronizován.

Termín ‚stejný soubor‘ IMO používáš trochu zvláštně. Běžně je stejný (týž) soubor prostě ten, který se stejně jmenuje. Týž soubor nemusí mít na obou stranách stejný obsah (to by nebylo zapotřebí nic synchronizovat). Navíc s --fuzzy lze rozpoznat a zbytečně nepřenášet i přejmenované soubory (viz ale diskusi v dokumentaci o --delay-updates a --delete-delay, aby to fungovalo pořádně).
1.5.2013 18:10 derata
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Děkuji za vyčerpávající odpovědi. A jak to vypadá jestliže adresář do kterého zálohuji je prázdný a porovnává se s adresáře zadaného v link-dest? Take se přenesou pouze změny v souboru?
1.5.2013 21:15 Daniel Čižinský | skóre: 28
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Predpokladam, ze jde o situaci:

1. Na jednom pocitaci je zdroj, ze ktereho se zalohuje.

2. Na druhem pocitaci je prazdny adresar, do ktereho se ma ulozit zaloha (nebo tam ani jeste neni).

3. Na tomtoez druhem pocitaci je stara zaloha, na kterou se ukazuje pomoci link-dest. Je ve *stejnem* filesystemu jako misto pro novou zalohu a pouzity filesystem umoznuje hardlinky.

4. Chceme pouzivat hardlinky a rekneme to rsyncu (-H).

Pak se to bude chovat presne jako obvykle, jen ma-li se prenest soubor totozny (definice viz vyse v debate) se souborem, ktery je jiz ve stare zaloze, vytvori se misto nej jen hardlink na jiz existujici soubor (=nove jmeno pro jiz existujici soubor).

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.