Deduplidog – promažte s lehkostí

Edvard Rejthar na blogu zaměstnanců CZ.NIC představil nástroj deduplidog pro odstranění duplicitních souborů.

21.1.2025 16:11 | Ladislav Hagara | Zajímavý software

Komentáře

[lol]

Kdo maže ten jede

[RealJ]

Duplicitni soubory? Soudruzi v cznicu neumi pouzivat google? Treba takovy jdupes a dalsi miliony deduplikacnich nastroju…

[[Jooky]]

fdupes ... ten pouzivam roky a plna spokojnost.

[Aleš Janda]

jdupes ani fdupes ale neumí deduplikovat podobné soubory. Ani to neumí interaktivně.

Tenhle nástroj vypadá super na promazávání bordelu a starých záloh, rozhodně zkusím!

[[Jooky[]

fdupes by default premazava interaktivne ... priebezne zobrazuje zoznam rovnakych suborov a pyta sa ktory ma nechat, alebo ci ich ma nechat vsetky. Na upratanie suborov, kde je moznost, ze som to stiahol viac krat z telefonu / internetu, je to viac nez len postacujuce ... ale ano, vyzaduje 100% zhodu v subore.

[karkar]

Hmm. já sem k těmhle nástrojům dost skeptický, typicky jsem si dělál kopie pracovních dat několikrát do roka, odlejvál to do archivu při různých příležitostech jako je změna pracovního místa, nový počítač a pod. No a za pár let jsem měl v tom archívu cca 120GB dat, kdy asi 2/3 byly jenom duplikáty stejných souborů, nakopírovaných v různých kopiích třeba 10x. Tady v takovém bordelu se těžko řeší kterou zrovna z těch 10 kopií má ten nástroj ponechat. Když to nastavim nějak automaticky v (jakože třeba první výskyt), ve výsledku budu mít rozfrcanou zálohu ve stejných adresářích ovšem v několika různých kopiích. To jsem zkoušel. Nakonec jsem nejdřív ten bordel musel uklidit ručně, všechny kopie nejprve sloučit a duplicity vyházet až pak. A pak jsem to nakopíroval na cloud a už zálohy neřešim, respektive nějaký důležitější archivy jsem si hodil na síťový disk který páskujou. Ale to jsou stejně jenom pracovní data, vzhledem k retenci mailového archívu 4 roky, se na nic staršího už nikdy nikdo nezeptá.

[..... Izak .....]

BTRFS a ten to deduplikuje, bordel bude stejny, ale nebude to zabirat data navic

[RealJ]

co jsou podobne soubory? obrazky v jinem rozliseni? Na to mas mrte nastroju. PDF faktury ktere maji stejny obsah a lisi se cislem faktury? Potes koste... Soudruzi z cznicu vynalezli kolo a jeste se tim chlubi... snad se dozijeme ze vynajdou i diskless sendvice...

[e2rd]

Dobrý den, mrzí mě, že nás vidíte takhle černě. Jedná se o malý nástroj, který jsem původně udělal pro naši interní potřebu – a ano, v době, kdy jsem ho dělal, dělal jsem si rešerši, protože strašně nerad vynalézám kolo. Vždycky jsem hrozně frustrovaný a kroutím hlavou, když vynalézám nějaké kolo. Dělal jsem si ji znovu i při psaní článku a deduplidog si nevede zas tak špatně. Jedná se o malou užitečnou utilitu, zřejmě ne pro Vás, vypadá, že znáte velké množství dobrých nástrojů, které udělají práci, co potřebujete. Zpráva na firemním blogu snad není ještě tak velké vytahování. Vydal jsem ji proto, že by mohla pomoci i ostatním. Bylo to snadné díky našemu jinému projektu, https://github.com/CZ-NIC/mininterface , za který jsem obzvláště rád. Jestli se na něj podíváte, snad nám pak odpustíte i ty diskless sendviče. S pozdravem autor

[X]

wicon, oicon = "..", ".."

Kdyz davas do zdrojaku emoji, je na case prestat s kodovanim a delat neco jineho..

[e2rd]

Haha, máte pravdu! Opravdu jsem se ale snažil vymyslet co nejpřehlednější způsob textového výpisu. Trvalo mi to rok provozu (sem tam jsem vyladil mezery mezi řádky, zkrátit na reprezentaci společné cesty apod...) Ale nakonec mi tyhle dvě ikonky přišly jako to nejlepší řešení. Když se probíráte tisíci řádky, potřebujete kouknout a vidět a všechno ostatní mi přišlo horší. Ale rád si nechám poradit! Pěkný den