abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 14:55 | Zajímavý software

Byla vydána verze Alpha 1.0 otevřeného operačního systému pro chytré hodinky AsteroidOS. Podporovány jsou hodinky LG G Watch, LG G Watch Urbane, Asus ZenWatch 2 a Sony Smartwatch 3. Ukázka ovládání hodinek na YouTube. Jaroslav Řezník přednášel o AsteroidOS na chytrých hodinkách (videozáznam) na letošní konferenci OpenAlt.

Ladislav Hagara | Komentářů: 0
dnes 13:30 | Zajímavý software

Byly uvolněny zdrojové kódy známé rogue-like hry DoomRL. Počátky hry jsou v roce 2002. Je napsána ve FreePascalu a zdrojový kód je nyní k dispozici na GitHubu pod licencí GNU GPL 2.0. Autor pracuje na nové hře Jupiter Hell, která je moderním nástupcem DoomRL a na jejíž vývoj shání peníze prostřednictvím Kickstarteru.

Blaazen | Komentářů: 0
dnes 13:15 | Pozvánky

Přijďte s námi oslavit vydání Fedory 25. Na programu budou přednášky o novinkách, diskuse, neřízený networking atd. Release Party se bude konat 16. prosince v prostorách společnosti Etnetera. Na party budou volně k dispozici také propagační materiály, nová DVD s Fedorou 25 a samozřejmě občerstvení. Přednášky budou probíhat v češtině. Pro více informací se můžete podívat na web MojeFedora.cz. Jen připomínám, že tentokrát jsme zavedli

… více »
frantisekz | Komentářů: 0
včera 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
včera 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 4
včera 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
včera 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
7.12. 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 808 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: rsync kontrolní součty

26.3.2013 23:28 Honza
rsync kontrolní součty
Přečteno: 436×
Dobry večer

Ted jsem dočetl článek na http://www.root.cz/clanky/sifrovane-inkrementalni-zalohy-s-duplicity/

Konkrétně mě zaujala část "jak to funguje" kde se mluví o rsync a kontrolních součtech. Jestliže to teda dobře chápu tak rsync si vypočítává kontrolní součty souborů které zálohuji a souborů které jsou v místě kam zálohuji a podle toho přenese jen části souboru které se změnili nebo přenese celé tyto soubory které se v něčem zmenili? Přičemž tyto součty si nikde neukládá a je vždy potřeba je vypočítat znova. Tudíž by mohl nastat problém jestliže zálohuji miliony drobných souborů.

tedy při rsync -avhze ssh --delete --exclude *.avi --link-dest=$VCERA

se přenesou jen ty soubory které se změnili od VCERA celé nebo pouze rozdíly v těchto souborech?

Moc děkuji za případnou odpověď

Odpovědi

Bedňa avatar 26.3.2013 23:46 Bedňa | skóre: 33 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Článok sa mi čítať nechce, ale default rsync používa rýchli chcecksum na zistenie zmeny, dá sa zapnúť voľba -c čo ale predĺži zistenie chceksum súboru, čo u malých a veľa súborov nemá zmysel. V korporátnej sfére kde ide o zaistenie konzistencie dát, by sa bolo dobré pozrieť po nejakom hotovom riešení, prípadne si napísať skript, čo chcecksum k súborom bude ukladať.
Pokecajte si s umelou stupiditou na http://www.kernelultras.org/
27.3.2013 00:51 Daniel Čižinský | skóre: 28
Rozbalit Rozbalit vše Re: rsync kontrolní součty
No, ono to checksumovani bylo puvodne zejmena na to, aby se v momente, kdy se vam prerusi prenaseni velikeho souboru, neprenasel veliky soubor po pomale lince cely znova, ale navazalo se - aniz by bylo nutne spolehat se na presny offset a jeho dodrzeni obema stranami. V nasich dobach se jiz dava prednost pouziti rsyncu bez checksumu (volba -W).
27.3.2013 06:53 Honza
Rozbalit Rozbalit vše Re: rsync kontrolní součty
ano ano to vím. Ale spíše mě zajímá ten princip teoretický jak to funguje ted protože tak moc do hloubky nevidím a pokud jsem zkoušel přenášet soubor a přidávat kusy textu tak se mi podle velikosti zdá že se přenesl cely. Nenapadá mě nic rozumného jak to otestovat.

Ale testoval jsme na malém souboru. Lepší by bylo asi nějak poškodit větší soubor. Nějaky nápad jak poškodit iso slaxu?
27.3.2013 15:47 komodo | skóre: 27 | blog: komodo
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Myslim, ze jsem to nekdy pred lety zkousel, a prenos jenom rozdilu fungoval pri pouziti rsync protokolu, ale ne pri pouziti rsyncu pres ssh.
27.3.2013 15:56 Honza
Rozbalit Rozbalit vše Re: rsync kontrolní součty
aha takto by asi odpovídalo mým poznatkům. Takže se prostě přenese cely soubor znovu.
27.3.2013 20:39 potato
Rozbalit Rozbalit vše Re: rsync kontrolní součty
To je blud, který lze velmi snadno vyvrátit. Přenáší se pouze změny. Samozřejmě jen jsou-li takového druhu, že se rsync dokáže na společných datech chytit.

Nejsnažší test je asi
dd if=/dev/urandom bs=1024 count=1 >test
cat VELIKÝSOUBOR >test
dd if=/dev/urandom bs=1024 count=1 >>test
na dvou počítačích a následně rsyncnout s --progress --verbose a kldině změřit i čas, abys měl jistotu, a porovnat RX a TX ze síťoých rozhraní.

Můj provider mi určitě nenabízí rychlost připojení přes 1,5 Gbit/s, nehledě na to, že ani nemám síťovou kartu, která by takovou rychlost uměla. Ale rsyncovat touto rychlostí téměř shodné soubory mohu pohodlně.
27.3.2013 21:44 Daniel Čižinský | skóre: 28
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Funguje to tak, ze se soubor "rozstriha" na kousky a od tech se postupne (na obou stranach) delaji checksumy. Kdyz nejaky nevyjde, prenese se. Ted z hlavy nereknu, jestli se prenese "od te chvile vse" nebo "jen kousky, co nevysly". Muzu se zkusit podivat. Kryptograficky silne to nebude, neni to delane na to - spis se predpoklada, ze chceme odolnost proti bezne chybe pri prenosu.

To, ze se soubor prenesl cely, kdyz v nem byla zmena, je trochu nepochopenim. Kdyz soubor upravite, ma novy timestamp, takze se nepredpoklada, ze jde o stejny soubor, viz FAQ http://rsync.samba.org/FAQ.html, hned druhy odstavec.

Soubor se da zmenit kdecim, dulezite je, aby vypadal jako puvodni, mozna pomuze udrzet cas zmeny stejny.

Jinak rsync vubec neni pitomy program, pan Tridgell si na priprave udelal PhD.
27.3.2013 23:40 Honza
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Souhlasím že Rsync je výborný nástroj na mnoho věcí a zálohování je jedna z nich.

Takže konečná odpověd je že je jedno jestli je použito SSH nebo přenos bez SSH vždy přenáší pouze chybný usek. A kontrolní součet není nikde uložen což se teda dá dočíst ze stránek rsync. Takže jestliže zálohuju pomocí pevnych odkazů jsou vždy přepočítány. Jestliže provedu zmenu v souboru tak se přenese celý znova protože se jedna o "jiny" soubor.

Zdálo se mi to poněkud divné že by tohle rsync neměl ošetřeno
28.3.2013 00:30 potato
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Timestamp nebo dalíš odlišné atributy mají vliv na to, že rsync musí znovu provést synchronizaci, což je velmi rychlé, pokud je obsah souboru na obou stranách stejný, nicméně se verbose výpisu samozřejmě objeví, že soubor byl sychronizován.

Termín ‚stejný soubor‘ IMO používáš trochu zvláštně. Běžně je stejný (týž) soubor prostě ten, který se stejně jmenuje. Týž soubor nemusí mít na obou stranách stejný obsah (to by nebylo zapotřebí nic synchronizovat). Navíc s --fuzzy lze rozpoznat a zbytečně nepřenášet i přejmenované soubory (viz ale diskusi v dokumentaci o --delay-updates a --delete-delay, aby to fungovalo pořádně).
1.5.2013 18:10 derata
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Děkuji za vyčerpávající odpovědi. A jak to vypadá jestliže adresář do kterého zálohuji je prázdný a porovnává se s adresáře zadaného v link-dest? Take se přenesou pouze změny v souboru?
1.5.2013 21:15 Daniel Čižinský | skóre: 28
Rozbalit Rozbalit vše Re: rsync kontrolní součty
Predpokladam, ze jde o situaci:

1. Na jednom pocitaci je zdroj, ze ktereho se zalohuje.

2. Na druhem pocitaci je prazdny adresar, do ktereho se ma ulozit zaloha (nebo tam ani jeste neni).

3. Na tomtoez druhem pocitaci je stara zaloha, na kterou se ukazuje pomoci link-dest. Je ve *stejnem* filesystemu jako misto pro novou zalohu a pouzity filesystem umoznuje hardlinky.

4. Chceme pouzivat hardlinky a rekneme to rsyncu (-H).

Pak se to bude chovat presne jako obvykle, jen ma-li se prenest soubor totozny (definice viz vyse v debate) se souborem, ktery je jiz ve stare zaloze, vytvori se misto nej jen hardlink na jiz existujici soubor (=nove jmeno pro jiz existujici soubor).

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.