abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 23:44 | Komunita

Několik posledních verzí GNOME Shellu obsahuje chybu způsobující memory leak (únik paměti). Viz například videozáznamy verzí 3.26 nebo 3.28. Nalezení chyby #64 a její opravě se věnuje Georges Basile Stavracas Neto v příspěvku na svém blogu [reddit].

Ladislav Hagara | Komentářů: 0
včera 10:33 | Komunita

V pondělí měl na YouTube online premiéru otevřený krátký 2D film Hero vytvořený v 3D softwaru Blender. Cílem stejnojmenného projektu Hero je vylepšit nástroj Grease Pencil (tužka) v Blenderu 2.8.

Ladislav Hagara | Komentářů: 3
20.4. 23:22 | Nová verze

Byla vydána verze 4.0 kolekce svobodného softwaru umožňujícího nahrávání, konverzi a streamovaní digitálního zvuku a obrazu FFmpeg (Wikipedie). Přehled novinek v Changelogu (GitHub).

Ladislav Hagara | Komentářů: 0
20.4. 17:22 | Komunita

Včera vydanou hru Rise of the Tomb Raider pro Linux lze do pondělí 23. dubna koupit na Steamu s 67% slevou. Místo 49,99 € za 16,49 €.

Ladislav Hagara | Komentářů: 0
20.4. 16:11 | Komunita

Na Humble Bundle lze získat počítačovou hru Satellite Reign (Wikipedie, YouTube) běžící také v Linuxu zdarma. Speciální akce končí v sobotu v 19:00.

Ladislav Hagara | Komentářů: 5
20.4. 15:44 | Zajímavý software

Společnost Apple koupila před třemi lety společnost FoundationDB vyvíjející stejnojmenný NoSQL databázový systém FoundationDB (Wikipedie). Včera byl tento systém uvolněn jako open source pod licencí Apache 2.0. Zdrojové kódy jsou k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 0
20.4. 15:00 | Nová verze

Po dva a půl roce od vydání verze 5.7 oznámila společnost Oracle vydání nové major verze 8.0 (8.0.11) databázového systému MySQL (Wikipedie). Přehled novinek v poznámkách k vydání. Zdrojové kódy komunitní verze MySQL jsou k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 2
19.4. 14:44 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 151. brněnský sraz, který proběhne v pátek 20. 4. od 18:00 hodin v restauraci Benjamin na Drobného 46.

Ladislav Hagara | Komentářů: 0
19.4. 13:33 | Nová verze

Byla vydána verze 18.04.0 KDE Aplikací (KDE Applications). Přehled novinek v kompletním seznamu změn a na stránce s dalšími informacemi.

Ladislav Hagara | Komentářů: 0
19.4. 13:11 | Nová verze

Bylo oznámeno vydání nové stabilní verze 1.26 a beta verze 1.27 open source textového editoru Atom (Wikipedie). Přehled novinek i s náhledy v příspěvku na blogu. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
Používáte na serverech port knocking?
 (3%)
 (7%)
 (46%)
 (27%)
 (17%)
Celkem 341 hlasů
 Komentářů: 29, poslední 5.4. 12:25
    Rozcestník

    Dotaz: Jak efektivně odstranit duplicitní soubory?

    10.12.2014 08:14 neprihlaseny Indian
    Jak efektivně odstranit duplicitní soubory?
    Přečteno: 772×
    Ahoj, potřebuji smazat duplicitní fotky, dokumenty, aj. v adresáři s celkovou velikostí 160GB. Chci mít jen jednu kopii, ostatní duplicitní soubory chci smazat. V souborech si poté udělám pořádek, ale ještě předtím bych rád tyto duplicity a poté i prázdné složky smazal, abych měl práci ulehčenou.

    Potřebuju poradit jaký nástroj na to nasadit, tak aby uměl dostatečně rychle přečíst hash souborů (či jaké metody na zjišťování souborů zde jsou?) a byl jednoduchý na obsluhu. Nevyžaduji GUI, terminál mi vyhovuje. Máte nějakou zkušenost co na těchto 160GB dat nasadit? Děkuji, Indián :)


    Řešení dotazu:


    Odpovědi

    10.12.2014 08:28 Petr
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    http://www.abclinuxu.cz/blog/Par_slov/2014/8/velky-uklid-v-pocitaci
    10.12.2014 08:44 neprihlaseny Indian
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Děkuji fdupes je to co jsem hledal :)
    Fuky avatar 10.12.2014 13:17 Fuky | skóre: 52 | blog: 4u
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?

    Ještě doplním:

    Líbí se mi volba -m, která najde duplicitní soubory a udělá z nich hardlinky.

    # aptitude install fslint
    $ /usr/share/fslint/fslint/findup -m /data
    $ /usr/share/fslint/fslint/findup --help

    Jendа avatar 10.12.2014 11:44 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Pustil bych rekurzivně sha1sum a potom výsledek setřídil a prošel.
    Cestovat na exkurzi z Ochrany ovzduší se bude autem, na naftovném se domluvíme s vrchním dovozcem.
    10.12.2014 12:05 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Třídění je zbytečné.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    Jendа avatar 10.12.2014 18:40 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Nenapadá mě jak přímočaře napsat skript, který najde duplicity v nesetříděném seznamu.
    Cestovat na exkurzi z Ochrany ovzduší se bude autem, na naftovném se domluvíme s vrchním dovozcem.
    10.12.2014 19:17 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Použiješ ten hash jako index ve slovníku.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    Jendа avatar 10.12.2014 21:01 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    No dobře, ještě jsem předpokládal, že se to bude dělat pomocí pár řádků v shellu :)
    Cestovat na exkurzi z Ochrany ovzduší se bude autem, na naftovném se domluvíme s vrchním dovozcem.
    10.12.2014 21:29 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    A shell to snad neumí?
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    Jendа avatar 10.12.2014 22:27 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Aha, umí. Akorát ve výše uvedeném blogpostu měly jenom cesty jenom k duplikátům 150 mega, takže se to možná nevejde do paměti.
    Cestovat na exkurzi z Ochrany ovzduší se bude autem, na naftovném se domluvíme s vrchním dovozcem.
    11.12.2014 01:09 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    No po té zkušenosti z úklidem, mi připadá, že optimální by bylo mít řešení ve 3 postupných krocích.
    1. Projít jen adresářovou strukturu a setřídit/zahešovat soubory podle velikosti. Různě velké soubory nejsou stejné.
    2. Pro stejně velké soubory, načíst do paměti první sektor (512B nebo 4k) a porovnat je byte_to_byte (samozřejmě porovnávat je ne po bytech, ale slovech procesoru), Hash je poměrně spousta počítání proti přimému porovnání a dá se očekávat, že pokud se soubory liší, začnou se většinou lišit dost brzy.
    3. Tím se vystrukturují "potenciálně stejné soubory" a u nich má možná smysl počítat hash, ale není mi to úplně jasné. Připadá mi, že přímé porovnání systém méně zatíží. Rozdíl identifikuji ihned a ne až po projítí celého souboru. A pravděpodobnost, že po projítí úvodního stejného sektoru, bych měl někde v hloubi souboru rozdíly a byly by uspořádány tak, že např se souborů A,B,C, by B a C byly stejné, ale já bych nejdříve vzal A a po zjištění rozdílu u obou bych musel ještě separátně porovnat B a C mi připadá menší, než ztráty z náročnějšího výpočtu hashe u všech souborů
    Navíc u menších souborů, které by se všechny "potenciálně stejné" vešly do paměti, bych porovnání mohl celé dělat způsobem 2.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.