abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 19:33 | Zajímavý článek Marek Stopka | Komentářů: 2
včera 17:55 | Nová verze

Bylo oznámeno vydání nové verze 3.0.0 a krátce na to opravných verzí 3.0.1 a 3.0.2 nástroje mitmproxy určeného pro vytváření interaktivních MITM proxy pro HTTP a HTTPS komunikaci. Přehled novinek v příspěvku na blogu. Přispělo 56 vývojářů. Aktualizována byla také dokumentace [Hacker News].

Ladislav Hagara | Komentářů: 0
včera 01:11 | Nová verze

Byla vydána nová major verze 3.0 svobodného multiplatformního geografického informačního systému QGIS (Wikipedie). Její kódové jméno je Girona, dle názvu města, ve kterém proběhlo 15. setkání vývojářů QGISu. Přehled novinek i s náhledy a animacemi v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
23.2. 20:33 | Zajímavý článek

Nadace Raspberry Pi vydala sedmašedesáté číslo (pdf) anglicky psaného časopisu MagPi věnovanému Raspberry Pi a projektům postaveným na tomto jednodeskovém počítači a čtvrté číslo (pdf) časopisu pro kutily HackSpace věnovanému navíc 3D tisku, pájení, řezání nebo i elektronice a IoT.

Ladislav Hagara | Komentářů: 0
23.2. 18:33 | Komunita

Morevna Project, který stojí za řadou svobodného softwaru pro animátory (např. Synfig Studio, RenderChan nebo Papagayo-NG) a svobodnými (CC-BY-SA) animovanými filmy/komiksy Morevna (3. díl) a Pepper&Carrot: The Potion Contest (6. díl), sbírá do 1. března příspěvky na 4. díl svého animovaného filmu Morevna. Mezi odměnami přispěvatelům lze najít např. i videokurzy animace v Synfigu či Blenderu.

xHire | Komentářů: 0
23.2. 12:22 | Bezpečnostní upozornění

Ve středu vydaná "npm@next" verze 5.7.0 správce balíčků pro JavaScript npm (Wikipedie, Node Package Manager) přinesla řadě uživatelů Linuxu nečekanou nepříjemnost. V závislosti na způsobu instalace a ve spojení s příkazem sudo mohlo dojít ke změně vlastníka u systémových souborů, také například /. Chyba je opravena v před několika hodinami vydané verzi npm 5.7.1 [reddit].

Ladislav Hagara | Komentářů: 13
23.2. 10:00 | Nová verze

Byla vydána verze 10.5 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu. Zdůraznit lze integrovanou podporu Let's Encrypt.

Ladislav Hagara | Komentářů: 0
22.2. 12:33 | Komunita

Příspěvek na blogu Signalu (Wikipedie) informuje o založení neziskové nadace Signal Foundation, jež bude zastřešovat další vývoj tohoto svobodného bezpečného komunikátoru běžícího také na Linuxu (Signal Desktop). Brian Acton, spoluzakladatel WhatsAppu, věnoval nadaci 50 milionů dolarů [Hacker News].

Ladislav Hagara | Komentářů: 1
22.2. 05:55 | Zajímavý článek

Článek na Fedora Magazine krátce představuje programovací jazyk Rust a několik zajímavých v Rustu naprogramovaných terminálových aplikací. Jedná se o alternativu k příkazu grep ripgrep, moderní barevnou alternativu k příkazu ls exa, příkazem cloc inspirovaný tokei a zvířátko v terminálu ternimal.

Ladislav Hagara | Komentářů: 0
21.2. 23:55 | Zajímavý projekt

Byl spuštěn Humble Classics Return Bundle. Za vlastní cenu lze koupit hry Broken Sword 5 - The Serpent's Curse, Shadowrun Returns a Shadowrun: Dragonfall - Director's Cut. Při nadprůměrné platbě (aktuálně 8,48 $) také Shadowrun: Hong Kong - Extended Edition, Wasteland 2: Director's Cut - Standard Edition, Age of Wonders III a Xenonauts. Při platbě 15 $ a více lze získat navíc Torment: Tides of Numenera a Dreamfall Chapters: The Final Cut Edition.

Ladislav Hagara | Komentářů: 0
Který webový vyhledávač používáte nejčastěji?
 (2%)
 (28%)
 (62%)
 (2%)
 (3%)
 (0%)
 (1%)
 (1%)
Celkem 453 hlasů
 Komentářů: 35, poslední 21.2. 19:51
    Rozcestník

    Dotaz: rsync kontrolní součty

    26.3.2013 23:28 Honza
    rsync kontrolní součty
    Přečteno: 440×
    Dobry večer

    Ted jsem dočetl článek na http://www.root.cz/clanky/sifrovane-inkrementalni-zalohy-s-duplicity/

    Konkrétně mě zaujala část "jak to funguje" kde se mluví o rsync a kontrolních součtech. Jestliže to teda dobře chápu tak rsync si vypočítává kontrolní součty souborů které zálohuji a souborů které jsou v místě kam zálohuji a podle toho přenese jen části souboru které se změnili nebo přenese celé tyto soubory které se v něčem zmenili? Přičemž tyto součty si nikde neukládá a je vždy potřeba je vypočítat znova. Tudíž by mohl nastat problém jestliže zálohuji miliony drobných souborů.

    tedy při rsync -avhze ssh --delete --exclude *.avi --link-dest=$VCERA

    se přenesou jen ty soubory které se změnili od VCERA celé nebo pouze rozdíly v těchto souborech?

    Moc děkuji za případnou odpověď

    Odpovědi

    Bedňa avatar 26.3.2013 23:46 Bedňa | skóre: 34 | blog: Žumpa | Horňany
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Článok sa mi čítať nechce, ale default rsync používa rýchli chcecksum na zistenie zmeny, dá sa zapnúť voľba -c čo ale predĺži zistenie chceksum súboru, čo u malých a veľa súborov nemá zmysel. V korporátnej sfére kde ide o zaistenie konzistencie dát, by sa bolo dobré pozrieť po nejakom hotovom riešení, prípadne si napísať skript, čo chcecksum k súborom bude ukladať.
    KERNEL ULTRAS video channel >>>
    27.3.2013 00:51 Daniel Čižinský | skóre: 29
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    No, ono to checksumovani bylo puvodne zejmena na to, aby se v momente, kdy se vam prerusi prenaseni velikeho souboru, neprenasel veliky soubor po pomale lince cely znova, ale navazalo se - aniz by bylo nutne spolehat se na presny offset a jeho dodrzeni obema stranami. V nasich dobach se jiz dava prednost pouziti rsyncu bez checksumu (volba -W).
    27.3.2013 06:53 Honza
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    ano ano to vím. Ale spíše mě zajímá ten princip teoretický jak to funguje ted protože tak moc do hloubky nevidím a pokud jsem zkoušel přenášet soubor a přidávat kusy textu tak se mi podle velikosti zdá že se přenesl cely. Nenapadá mě nic rozumného jak to otestovat.

    Ale testoval jsme na malém souboru. Lepší by bylo asi nějak poškodit větší soubor. Nějaky nápad jak poškodit iso slaxu?
    27.3.2013 15:47 komodo | skóre: 27 | blog: komodo
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Myslim, ze jsem to nekdy pred lety zkousel, a prenos jenom rozdilu fungoval pri pouziti rsync protokolu, ale ne pri pouziti rsyncu pres ssh.
    27.3.2013 15:56 Honza
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    aha takto by asi odpovídalo mým poznatkům. Takže se prostě přenese cely soubor znovu.
    27.3.2013 20:39 potato
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    To je blud, který lze velmi snadno vyvrátit. Přenáší se pouze změny. Samozřejmě jen jsou-li takového druhu, že se rsync dokáže na společných datech chytit.

    Nejsnažší test je asi
    dd if=/dev/urandom bs=1024 count=1 >test
    cat VELIKÝSOUBOR >test
    dd if=/dev/urandom bs=1024 count=1 >>test
    
    na dvou počítačích a následně rsyncnout s --progress --verbose a kldině změřit i čas, abys měl jistotu, a porovnat RX a TX ze síťoých rozhraní.

    Můj provider mi určitě nenabízí rychlost připojení přes 1,5 Gbit/s, nehledě na to, že ani nemám síťovou kartu, která by takovou rychlost uměla. Ale rsyncovat touto rychlostí téměř shodné soubory mohu pohodlně.
    27.3.2013 21:44 Daniel Čižinský | skóre: 29
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Funguje to tak, ze se soubor "rozstriha" na kousky a od tech se postupne (na obou stranach) delaji checksumy. Kdyz nejaky nevyjde, prenese se. Ted z hlavy nereknu, jestli se prenese "od te chvile vse" nebo "jen kousky, co nevysly". Muzu se zkusit podivat. Kryptograficky silne to nebude, neni to delane na to - spis se predpoklada, ze chceme odolnost proti bezne chybe pri prenosu.

    To, ze se soubor prenesl cely, kdyz v nem byla zmena, je trochu nepochopenim. Kdyz soubor upravite, ma novy timestamp, takze se nepredpoklada, ze jde o stejny soubor, viz FAQ http://rsync.samba.org/FAQ.html, hned druhy odstavec.

    Soubor se da zmenit kdecim, dulezite je, aby vypadal jako puvodni, mozna pomuze udrzet cas zmeny stejny.

    Jinak rsync vubec neni pitomy program, pan Tridgell si na priprave udelal PhD.
    27.3.2013 23:40 Honza
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Souhlasím že Rsync je výborný nástroj na mnoho věcí a zálohování je jedna z nich.

    Takže konečná odpověd je že je jedno jestli je použito SSH nebo přenos bez SSH vždy přenáší pouze chybný usek. A kontrolní součet není nikde uložen což se teda dá dočíst ze stránek rsync. Takže jestliže zálohuju pomocí pevnych odkazů jsou vždy přepočítány. Jestliže provedu zmenu v souboru tak se přenese celý znova protože se jedna o "jiny" soubor.

    Zdálo se mi to poněkud divné že by tohle rsync neměl ošetřeno
    28.3.2013 00:30 potato
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Timestamp nebo dalíš odlišné atributy mají vliv na to, že rsync musí znovu provést synchronizaci, což je velmi rychlé, pokud je obsah souboru na obou stranách stejný, nicméně se verbose výpisu samozřejmě objeví, že soubor byl sychronizován.

    Termín ‚stejný soubor‘ IMO používáš trochu zvláštně. Běžně je stejný (týž) soubor prostě ten, který se stejně jmenuje. Týž soubor nemusí mít na obou stranách stejný obsah (to by nebylo zapotřebí nic synchronizovat). Navíc s --fuzzy lze rozpoznat a zbytečně nepřenášet i přejmenované soubory (viz ale diskusi v dokumentaci o --delay-updates a --delete-delay, aby to fungovalo pořádně).
    1.5.2013 18:10 derata
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Děkuji za vyčerpávající odpovědi. A jak to vypadá jestliže adresář do kterého zálohuji je prázdný a porovnává se s adresáře zadaného v link-dest? Take se přenesou pouze změny v souboru?
    1.5.2013 21:15 Daniel Čižinský | skóre: 29
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Predpokladam, ze jde o situaci:

    1. Na jednom pocitaci je zdroj, ze ktereho se zalohuje.

    2. Na druhem pocitaci je prazdny adresar, do ktereho se ma ulozit zaloha (nebo tam ani jeste neni).

    3. Na tomtoez druhem pocitaci je stara zaloha, na kterou se ukazuje pomoci link-dest. Je ve *stejnem* filesystemu jako misto pro novou zalohu a pouzity filesystem umoznuje hardlinky.

    4. Chceme pouzivat hardlinky a rekneme to rsyncu (-H).

    Pak se to bude chovat presne jako obvykle, jen ma-li se prenest soubor totozny (definice viz vyse v debate) se souborem, ktery je jiz ve stare zaloze, vytvori se misto nej jen hardlink na jiz existujici soubor (=nove jmeno pro jiz existujici soubor).

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.