abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 23:22 | Komunita

Na dnes, poslední středu v březnu, připadá Document Freedom Day (DFD, Wikipedie), jenž má upozornit na výhody otevřených standardů a formátů dokumentů. Organizátoři se rozhodli, že letos proběhne Document Freedom Day dvakrát. Druhý letošní Document Freedom Day proběhne 26. dubna.

Ladislav Hagara | Komentářů: 0
včera 12:33 | Nová verze

Byla vydána nová stabilní verze 1.8 (1.8.770.50) webového prohlížeče Vivaldi (Wikipedie). Z novinek vývojáři zdůrazňují vylepšenou historii prohlížení. Ukázka na YouTube. Chromium bylo aktualizováno na verzi 57.0.2987.111.

Ladislav Hagara | Komentářů: 0
včera 05:55 | Zajímavý projekt

Google na svém blogu věnovaném open source představil portál Google Open Source informující mimo jiné o více než 2000 open source projektech vyvíjených nebo používaných v Googlu.

Ladislav Hagara | Komentářů: 0
včera 03:33 | IT novinky

Pro společnost Red Hat skončil 28. února fiskální rok 2017. Dle finančních výsledků bylo čtvrté čtvrtletí, stejně jako celý fiskální rok 2017, opět úspěšné. Tržby jsou zvyšovány již 60 čtvrtletí v řadě. Za čtvrté čtvrtletí 2017 to bylo 629 milionů dolarů, tj. meziroční nárůst 16 %. Tržby za celý fiskální rok činily 2,4 miliardy dolarů, tj. meziroční nárůst 18 %.

Ladislav Hagara | Komentářů: 2
28.3. 18:22 | Bezpečnostní upozornění

V balíčku eject, příkaz pro vysunutí CD/DVD z mechaniky, v linuxových distribucích Ubuntu (USN-3246-1) a Debian (#858872) byla nalezena bezpečnostní chyba CVE-2017-6964 zneužitelná k lokální eskalaci práv. Linuxové distribuce používající eject z balíčku util-linux nejsou zranitelné.

Ladislav Hagara | Komentářů: 15
28.3. 05:55 | Komunita

Dries Buytaert, autor a vedoucí projektu Drupal a prezident Drupal Association, požádal soukromě před několika týdny Larryho Garfielda, jednoho z klíčových vývojářů Drupalu, aby projekt Drupal opustil. Larry Garfield minulý týden na svých stránkách napsal, že důvodem jsou jeho BDSM praktiky a rozpoutal tím bouřlivou diskusi. Na druhý den reagoval Dries Buytaert i Drupal Association. Pokračuje Larry Garfield [reddit].

Ladislav Hagara | Komentářů: 55
28.3. 04:44 | Humor

Společnost SAS zveřejnila na svých stránkách studii s názvem Open Source vs Proprietary: What organisations need to know (pdf). Organizace by měly například vědět, že ideální je mix 40 % open source softwaru a 60 % proprietárního softwaru [Slashdot].

Ladislav Hagara | Komentářů: 12
27.3. 23:33 | Zajímavý software

Byl vydán ShellCheck ve verzi 0.4.6. Jedná se o nástroj pro statickou analýzu shellových skriptů. Shellové skripty lze analyzovat na webové stránce ShellChecku, v terminálu nebo přímo z textových editorů. Příklady kódů, na které analýza upozorňuje a doporučuje je přepsat. ShellCheck je naprogramován v programovacím jazyce Haskell. Zdrojové kódy jsou k dispozici na GitHubu pod licencí GPLv3.

Ladislav Hagara | Komentářů: 0
27.3. 23:33 | Pozvánky

Czech JBoss User Group zve na setkání JBUG v Brně, které se koná ve středu 5. dubna 2017 v prostorách Fakulty informatiky Masarykovy univerzity v místnosti A318 od 18:00. Přednáší Pavol Loffay na téma Distributed Tracing and OpenTracing in Microservice Architecture.

… více »
mjedlick | Komentářů: 0
27.3. 11:33 | Zajímavý článek

Národní centrum kybernetické bezpečnosti (NCKB) vypracovalo (pdf) 26 podrobných bezpečnostních doporučení pro síťové správce. Tato doporučení jsou nastavena tak, aby je bylo možné aplikovat v každé instituci. Jsou rozdělena na tři základní části: bezpečnost infrastruktury, bezpečnost stanic a serverů a bezpečnost uživatelů.

Ladislav Hagara | Komentářů: 17
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (14%)
 (2%)
 (72%)
 (3%)
 (10%)
Celkem 964 hlasů
 Komentářů: 72, poslední 1.3. 11:16
    Rozcestník

    Dotaz: rsync kontrolní součty

    26.3.2013 23:28 Honza
    rsync kontrolní součty
    Přečteno: 439×
    Dobry večer

    Ted jsem dočetl článek na http://www.root.cz/clanky/sifrovane-inkrementalni-zalohy-s-duplicity/

    Konkrétně mě zaujala část "jak to funguje" kde se mluví o rsync a kontrolních součtech. Jestliže to teda dobře chápu tak rsync si vypočítává kontrolní součty souborů které zálohuji a souborů které jsou v místě kam zálohuji a podle toho přenese jen části souboru které se změnili nebo přenese celé tyto soubory které se v něčem zmenili? Přičemž tyto součty si nikde neukládá a je vždy potřeba je vypočítat znova. Tudíž by mohl nastat problém jestliže zálohuji miliony drobných souborů.

    tedy při rsync -avhze ssh --delete --exclude *.avi --link-dest=$VCERA

    se přenesou jen ty soubory které se změnili od VCERA celé nebo pouze rozdíly v těchto souborech?

    Moc děkuji za případnou odpověď

    Odpovědi

    Bedňa avatar 26.3.2013 23:46 Bedňa | skóre: 33 | blog: Žumpa | Horňany
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Článok sa mi čítať nechce, ale default rsync používa rýchli chcecksum na zistenie zmeny, dá sa zapnúť voľba -c čo ale predĺži zistenie chceksum súboru, čo u malých a veľa súborov nemá zmysel. V korporátnej sfére kde ide o zaistenie konzistencie dát, by sa bolo dobré pozrieť po nejakom hotovom riešení, prípadne si napísať skript, čo chcecksum k súborom bude ukladať.
    Pokecajte si s umelou stupiditou na http://www.kernelultras.org/
    27.3.2013 00:51 Daniel Čižinský | skóre: 28
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    No, ono to checksumovani bylo puvodne zejmena na to, aby se v momente, kdy se vam prerusi prenaseni velikeho souboru, neprenasel veliky soubor po pomale lince cely znova, ale navazalo se - aniz by bylo nutne spolehat se na presny offset a jeho dodrzeni obema stranami. V nasich dobach se jiz dava prednost pouziti rsyncu bez checksumu (volba -W).
    27.3.2013 06:53 Honza
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    ano ano to vím. Ale spíše mě zajímá ten princip teoretický jak to funguje ted protože tak moc do hloubky nevidím a pokud jsem zkoušel přenášet soubor a přidávat kusy textu tak se mi podle velikosti zdá že se přenesl cely. Nenapadá mě nic rozumného jak to otestovat.

    Ale testoval jsme na malém souboru. Lepší by bylo asi nějak poškodit větší soubor. Nějaky nápad jak poškodit iso slaxu?
    27.3.2013 15:47 komodo | skóre: 27 | blog: komodo
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Myslim, ze jsem to nekdy pred lety zkousel, a prenos jenom rozdilu fungoval pri pouziti rsync protokolu, ale ne pri pouziti rsyncu pres ssh.
    27.3.2013 15:56 Honza
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    aha takto by asi odpovídalo mým poznatkům. Takže se prostě přenese cely soubor znovu.
    27.3.2013 20:39 potato
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    To je blud, který lze velmi snadno vyvrátit. Přenáší se pouze změny. Samozřejmě jen jsou-li takového druhu, že se rsync dokáže na společných datech chytit.

    Nejsnažší test je asi
    dd if=/dev/urandom bs=1024 count=1 >test
    cat VELIKÝSOUBOR >test
    dd if=/dev/urandom bs=1024 count=1 >>test
    
    na dvou počítačích a následně rsyncnout s --progress --verbose a kldině změřit i čas, abys měl jistotu, a porovnat RX a TX ze síťoých rozhraní.

    Můj provider mi určitě nenabízí rychlost připojení přes 1,5 Gbit/s, nehledě na to, že ani nemám síťovou kartu, která by takovou rychlost uměla. Ale rsyncovat touto rychlostí téměř shodné soubory mohu pohodlně.
    27.3.2013 21:44 Daniel Čižinský | skóre: 28
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Funguje to tak, ze se soubor "rozstriha" na kousky a od tech se postupne (na obou stranach) delaji checksumy. Kdyz nejaky nevyjde, prenese se. Ted z hlavy nereknu, jestli se prenese "od te chvile vse" nebo "jen kousky, co nevysly". Muzu se zkusit podivat. Kryptograficky silne to nebude, neni to delane na to - spis se predpoklada, ze chceme odolnost proti bezne chybe pri prenosu.

    To, ze se soubor prenesl cely, kdyz v nem byla zmena, je trochu nepochopenim. Kdyz soubor upravite, ma novy timestamp, takze se nepredpoklada, ze jde o stejny soubor, viz FAQ http://rsync.samba.org/FAQ.html, hned druhy odstavec.

    Soubor se da zmenit kdecim, dulezite je, aby vypadal jako puvodni, mozna pomuze udrzet cas zmeny stejny.

    Jinak rsync vubec neni pitomy program, pan Tridgell si na priprave udelal PhD.
    27.3.2013 23:40 Honza
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Souhlasím že Rsync je výborný nástroj na mnoho věcí a zálohování je jedna z nich.

    Takže konečná odpověd je že je jedno jestli je použito SSH nebo přenos bez SSH vždy přenáší pouze chybný usek. A kontrolní součet není nikde uložen což se teda dá dočíst ze stránek rsync. Takže jestliže zálohuju pomocí pevnych odkazů jsou vždy přepočítány. Jestliže provedu zmenu v souboru tak se přenese celý znova protože se jedna o "jiny" soubor.

    Zdálo se mi to poněkud divné že by tohle rsync neměl ošetřeno
    28.3.2013 00:30 potato
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Timestamp nebo dalíš odlišné atributy mají vliv na to, že rsync musí znovu provést synchronizaci, což je velmi rychlé, pokud je obsah souboru na obou stranách stejný, nicméně se verbose výpisu samozřejmě objeví, že soubor byl sychronizován.

    Termín ‚stejný soubor‘ IMO používáš trochu zvláštně. Běžně je stejný (týž) soubor prostě ten, který se stejně jmenuje. Týž soubor nemusí mít na obou stranách stejný obsah (to by nebylo zapotřebí nic synchronizovat). Navíc s --fuzzy lze rozpoznat a zbytečně nepřenášet i přejmenované soubory (viz ale diskusi v dokumentaci o --delay-updates a --delete-delay, aby to fungovalo pořádně).
    1.5.2013 18:10 derata
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Děkuji za vyčerpávající odpovědi. A jak to vypadá jestliže adresář do kterého zálohuji je prázdný a porovnává se s adresáře zadaného v link-dest? Take se přenesou pouze změny v souboru?
    1.5.2013 21:15 Daniel Čižinský | skóre: 28
    Rozbalit Rozbalit vše Re: rsync kontrolní součty
    Predpokladam, ze jde o situaci:

    1. Na jednom pocitaci je zdroj, ze ktereho se zalohuje.

    2. Na druhem pocitaci je prazdny adresar, do ktereho se ma ulozit zaloha (nebo tam ani jeste neni).

    3. Na tomtoez druhem pocitaci je stara zaloha, na kterou se ukazuje pomoci link-dest. Je ve *stejnem* filesystemu jako misto pro novou zalohu a pouzity filesystem umoznuje hardlinky.

    4. Chceme pouzivat hardlinky a rekneme to rsyncu (-H).

    Pak se to bude chovat presne jako obvykle, jen ma-li se prenest soubor totozny (definice viz vyse v debate) se souborem, ktery je jiz ve stare zaloze, vytvori se misto nej jen hardlink na jiz existujici soubor (=nove jmeno pro jiz existujici soubor).

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.