Rozdílové soubory z binárních souborů

27.5.2011 09:43 | Přečteno: 1469× | Za vším hledej Linux | poslední úprava: 27.5.2011 11:12

Tento blogpost se zmiňuje o dvou mnou testovaných utilitách pro vytváření rozdílových souborů z binárních dat. Je v podstatě malou sondou do pléna a pokusem zjistit zda-li mi přeci jenom něco v této oblasti neuniklo.

Pro rychlé vizuální zjištění rozdílu mezi dvěma binárními soubory s oblibou používám VBinDiff, který však nelze použít pro vytvoření rozdílového souboru. Pro tento účel je z nástrojů s otevřeným kódem k dispozici xdelta3. Existují i jiné, např. bsdiff jenže ty buď nemají dobrý algoritmus, nebo neumožňují použít vícevláknovou kompresi. Každopádně v diskuzi pod tímto blogpostem uvítám každou zmínku o jiných použitelných aplikacích. V následujícím odstavci vysvětlím proč.

Xdelta3 používá sice lepší algoritmus, ale přeci jen ve srovnání s nástrojem eXdupe poněkud pokulhává. Exdupe je totiž výrazně výkonnější a rychlejší. Využívá totiž nejenom vícevláknovou kompresi, ale používá jiný algoritmus, založený na principu deduplikace dat. Bohužel eXdupe má jednu pro mne dosti podstatnou vadu - není open source, ale pouze free aplikace. Aktuální dostupná verze je 0.18 beta ale vývojáři se nijak netají s tím že jej po dokončení vývoje beta verze hodlají zpoplatnit. Je tedy otázkou, jestli pak tento nástroj bude i nadále volně dostupný alespoň pro osobní použití, a jak bude probíhat další vývoj.

Nemám čas dělat nějaké obšírnější testy, takže jen pro srovnání několik orientačních údajů.

Vytvoření rozdílového souboru virtuálního disku o velikosti 3GB provedl eXdupe za 1,5 minuty a výsledný soubor měl velikost cca 80MB. Tatáž operace provedena s xdelta3 trvala zhruba 4,5 minuty a výsledný rozdílový soubor měl 450MB. Obnova původního souboru trvala u obou utilit shodně kolem 1,5 minuty.

Aktualizace..

Nedalo mi to, a přeci jenom se porozhlédnul jestli eXdupe nemá nějakou open source variantu. Pochopitelně že má. A dokonce ji už nějaký ten pátek používám, aniž bych si to uvědomoval. Je to rdiff, který dosahuje výsledků dokonce ještě lepších. Vytvoření "záplaty" o velikosti 25MB trvalo necelé tři čtvrtě minuty a obnova původního souboru dokonce jen půl minuty.

       

Komentáře

[chrono]

Chýba tam, aké parametre boli pri tých programoch použité.

[Aleš Kapica]

Na parametrech nesejde. U xdelta3 i kdyby ses rozkrájel se pod 450M nedostaneš. A rychlost komprese je závislá mimo jiné i na tom jak rychle je schopena dodávat xdelta3 nějaká data ke zkomprimování.

[Mandarinka]

Někdy to záleží. xdelta3 má určité pracovní okno, a když se shodná data nacházejí příliš daleko od sebe, může je minout.

Příklad se kterým jsem se setkal: matroska, kterou kdosi remuxoval a přidal do ní 20mb velký font (nebo tak něco, nevím přesně velikosti o které šlo). Tím vznikla na začátku souboru příliš velká bublina, takže s defaultním nastavením okna xdelta nebyla schopná zjistit, že zbytek souboru je +-identický (remuxlá matroska většinou znamená diff v řádu jednotek až desítek kb) a diff byl prakticky tak velký jako větší ze souborů. Pokud si dobře vzpomínám tak aby xdelta takovou dítu překonala, musí být okno nastaveno alespoň na dvojnásobnou velikost (default je 16mb nebo 32mb, už nevím).

[sidik]

není open source, ale pouze free aplikace.

To přece nevadí ne? Není to fuk jestli je to oss nebo jen free? Prostě je to zdarma. Jen se v tom nemůžeš hrabat :)

vývojáři se nijak netají s tím že jej po dokončení vývoje beta verze hodlají zpoplatnit

Tak si tu licenci koupíš :) Když ti něco vyhovuje, používáš to, proč si to nekoupit? Pokud tedy cena vzhledem k využití není přehnaná.

[martina]

jsi prece na linux foru, to se tu casto nenosi (mit neco bez .src a nebo neco si koupit)

[David Watzke]

To první je pravda, to druhé sedí spíš na Windowsáky Vždycky je to pěkně vidět u statistik Humble Indie Bundle.

[Vantomas]

Jo a budu v tom tri roky zalohovat nejaka data, pak skonci podpora pro cely produkt, protoze to kupovalo malo lidi, ale zdrojove kody nezverejni, vyjdou nove nejake knihovny, zmeni se jejich ABI, program prestane fungovat a nebude moznost to nijak opravit nez prosit u autora...

[Ruža Becelin]

Bud vydaji konvertor, nebo te jako (platiciho) zakaznika dopredu upozroni, aby upgradoval...

[Aleš Kapica]

Nezapomeň si přečíst před spaním Bajaju. To je fakt dobrý krvák. Takový.. ze života.

[Ruža Becelin]

Pokud si porizuju (cti kupuj) software, kteremu hodlam sverit data, tak se predem zajimam o upgrady a podporu. Pokud to ty neudelas, tvoje chyba.

A priste bez te ofenzivy prosim...

[Aleš Kapica]

Jakápak ofenziva.. Byla to pouze narážka na to, že věřit v to že někdo na něco podobného upozorní - byť platícího klienta, je stejné jako věřit v to, že dobro v pohádkách vždy zvítězí.

Není třeba hned za vším hledat zlý úmysl.

[Ruža Becelin]

Fajn, takhle to vyzniva lip :)

Verit je blbost, co nemam na papire tak to neplati

[R]

A ked dodavatel skrachuje, tak s tym papierom si potom mozes vies co...

[Ruža Becelin]

Holt riziko :)

[Pindal]

Tak to doporučuju smlouvy tisknout na zvláště hedvábný papír

[Ruža Becelin]

Nebo si najit solventni dodavatele, to se tak obvykle dela

[Honza Jaroš]

Technický dotaz - bavíte se celou dobu o vývojářích eXdupe, kteří svůj produkt dosud ani nedokončili, natož aby jej komerčně nabízeli a vědělo se za kolik a jak dlouho? Protože pokud ano, přijde mi tahle debata naprosto ujetá...

[Pindal]

Ano, je to ujetý. I když teď nevím jestli se ptáš z profesionálního hlediska nebo jsi jen rád, že jsi našel spřízněné duše

[Ruža Becelin]

Dost pochybuju

[xkucf03]

Jedno to není -- freeware programy mají dost nejistou budoucnost a já v tomhle nerad riskuji. Něco jako "ochrana investic" platí i v případě osobního využití. Nemluvě o možnosti si program upravit (nebo nechat upravit někým jiným).

[pavlix]

Jedno to není -- freeware programy mají dost nejistou budoucnost a já v tomhle nerad riskuji. Něco jako "ochrana investic" platí i v případě osobního využití. Nemluvě o možnosti si program upravit (nebo nechat upravit někým jiným).

Přesně tak, ochrana (i časových) investic a možnost opravovat (nebo si nechat opravovat) chyby a přidávat (nebo nechat přidávat) funkcionalitu.

[qiRzT]

Asi mi něco uniká - jak souvisí komprese s hledáním rozdílů a vytvářením rozdílových souborů? Přijde mi to jako rozdílné a nezávislé úlohy. Dík za vysvětlení.

[kotyz]

Jó, xdelta, to používala nějaká live distribuce ke svojí distribuci, že nemusel člověk stahovat poakždý novej 600 MB CD image, ale jen nějakejch 100 MB a vygeneroval si ten image s aktuální verzí. Tenkrát mě to docela překvapilo, protože sem to předtim ani potom neviděl nikde používat. Ale přišlo mi to dost geniální. Dneska při tom jak mam rychlý připojení by mi to už tak superužitečný nepřišlo.

A nemůžu si vzpomenout kdeže sem to viděl použitý, je možný že to byl slax?

[mimi.vx]

mam pocit ze mimo jine buntu ....

[Bubak]

Byl rozhovor s vyvojarem Chromia, tam presne tohle resi pri binarnich updatech. Maji zdaleka nejlepsi vysledky

http://dev.chromium.org/developers/design-documents/software-updates-courgette