abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 15:11 | IT novinky

    Cloudovou službu Amazon Web Services (AWS) americké firmy Amazon dnes postihl globální výpadek. Omezil dostupnost řady aplikací a webů, například populární platformu Snapchat nebo aplikaci s prvky umělé inteligence (AI) Perplexity. Podle webu Downdetector hlásily problémy také uživatelé obchodu Amazon, streamovací platformy PrimeVideo nebo platební služby PayPal.

    Ladislav Hagara | Komentářů: 3
    dnes 13:33 | Zajímavý software Ladislav Hagara | Komentářů: 0
    dnes 12:44 | Pozvánky

    Od 3. do 16. listopadu proběhnou Dny AI 2025. V úterý 11. listopadu proběhne Open source AI day v Red Hatu v Brně.

    Ladislav Hagara | Komentářů: 0
    dnes 12:22 | Zajímavý článek

    Nová čísla časopisů od nakladatelství Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 158 (pdf) a Hello World 28 (pdf).

    Ladislav Hagara | Komentářů: 0
    dnes 01:44 | Komunita

    Vývojáři GIMPu nově vydávají oficiální snap balíčky GIMPu. Jsou sestavovány přímo v jejich CI (Continuous Integration) systému.

    Ladislav Hagara | Komentářů: 7
    včera 15:22 | Nová verze

    Správce sbírky fotografií digiKam byl vydán ve verzi 8.8.0. Jedná se o převážně opravné vydání provázené aktualizacemi knihoven. Novinky zahrnují implicitní použití systémového barevného profilu monitoru, import/export hierarchie štítků, editační nástroj rozostření aj.

    |🇵🇸 | Komentářů: 0
    17.10. 13:22 | IT novinky

    Steve Jobs a superpočítač Cray-1 budou vyobrazeny na pamětních jednodolarových mincích vyražených v příštím roce v rámci série Americká inovace. Série má 57 mincí, tj. 57 inovací. Poslední 4 mince budou vyraženy v roce 2032.

    Ladislav Hagara | Komentářů: 15
    17.10. 12:22 | Pozvánky

    Byl zveřejněn průběžně aktualizovaný program konference OpenAlt 2025 o otevřeném softwaru a datech, IT bezpečnosti, DIY a IoT. Konference proběhne o víkendu 1. a 2. listopadu v prostorách FIT VUT v Brně. Vstup je zdarma.

    Ladislav Hagara | Komentářů: 0
    17.10. 12:00 | IT novinky

    Senát včera opětovně nepřijal návrh ústavního zákona, který měl do Listiny základních práv a svobod zakotvit právo občanů platit v hotovosti nebo být off-line. Návrh předložila skupina senátorů již v roce 2023. Senát dnes návrh neschválil, ale ani nezamítl. Pokud by ho přijal, dostala by ho k projednání Sněmovna a vyjádřila by se k němu vláda.

    Ladislav Hagara | Komentářů: 64
    16.10. 23:55 | Nová verze

    V programovacím jazyce Go naprogramovaná webová aplikace pro spolupráci na zdrojových kódech pomocí gitu Forgejo byla vydána ve verzi 13.0 (Mastodon). Forgejo je fork Gitei.

    Ladislav Hagara | Komentářů: 1
    Jaké řešení používáte k vývoji / práci?
     (37%)
     (47%)
     (20%)
     (20%)
     (23%)
     (18%)
     (21%)
     (18%)
     (18%)
    Celkem 245 hlasů
     Komentářů: 14, poslední 14.10. 09:04
    Rozcestník

    Dotaz: Jak efektivně odstranit duplicitní soubory?

    10.12.2014 08:14 neprihlaseny Indian
    Jak efektivně odstranit duplicitní soubory?
    Přečteno: 1373×
    Ahoj, potřebuji smazat duplicitní fotky, dokumenty, aj. v adresáři s celkovou velikostí 160GB. Chci mít jen jednu kopii, ostatní duplicitní soubory chci smazat. V souborech si poté udělám pořádek, ale ještě předtím bych rád tyto duplicity a poté i prázdné složky smazal, abych měl práci ulehčenou.

    Potřebuju poradit jaký nástroj na to nasadit, tak aby uměl dostatečně rychle přečíst hash souborů (či jaké metody na zjišťování souborů zde jsou?) a byl jednoduchý na obsluhu. Nevyžaduji GUI, terminál mi vyhovuje. Máte nějakou zkušenost co na těchto 160GB dat nasadit? Děkuji, Indián :)


    Řešení dotazu:


    Odpovědi

    10.12.2014 08:28 Petr
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    http://www.abclinuxu.cz/blog/Par_slov/2014/8/velky-uklid-v-pocitaci
    10.12.2014 08:44 neprihlaseny Indian
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Děkuji fdupes je to co jsem hledal :)
    Fuky avatar 10.12.2014 13:17 Fuky | skóre: 52 | blog: 4u
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?

    Ještě doplním:

    Líbí se mi volba -m, která najde duplicitní soubory a udělá z nich hardlinky.

    # aptitude install fslint
    $ /usr/share/fslint/fslint/findup -m /data
    $ /usr/share/fslint/fslint/findup --help

    Jendа avatar 10.12.2014 11:44 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Pustil bych rekurzivně sha1sum a potom výsledek setřídil a prošel.
    10.12.2014 12:05 Kit | skóre: 46 | Brno
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Třídění je zbytečné.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    Jendа avatar 10.12.2014 18:40 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Nenapadá mě jak přímočaře napsat skript, který najde duplicity v nesetříděném seznamu.
    10.12.2014 19:17 Kit | skóre: 46 | Brno
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Použiješ ten hash jako index ve slovníku.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    Jendа avatar 10.12.2014 21:01 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    No dobře, ještě jsem předpokládal, že se to bude dělat pomocí pár řádků v shellu :)
    10.12.2014 21:29 Kit | skóre: 46 | Brno
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    A shell to snad neumí?
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    Jendа avatar 10.12.2014 22:27 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    Aha, umí. Akorát ve výše uvedeném blogpostu měly jenom cesty jenom k duplikátům 150 mega, takže se to možná nevejde do paměti.
    11.12.2014 01:09 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
    No po té zkušenosti z úklidem, mi připadá, že optimální by bylo mít řešení ve 3 postupných krocích.
    1. Projít jen adresářovou strukturu a setřídit/zahešovat soubory podle velikosti. Různě velké soubory nejsou stejné.
    2. Pro stejně velké soubory, načíst do paměti první sektor (512B nebo 4k) a porovnat je byte_to_byte (samozřejmě porovnávat je ne po bytech, ale slovech procesoru), Hash je poměrně spousta počítání proti přimému porovnání a dá se očekávat, že pokud se soubory liší, začnou se většinou lišit dost brzy.
    3. Tím se vystrukturují "potenciálně stejné soubory" a u nich má možná smysl počítat hash, ale není mi to úplně jasné. Připadá mi, že přímé porovnání systém méně zatíží. Rozdíl identifikuji ihned a ne až po projítí celého souboru. A pravděpodobnost, že po projítí úvodního stejného sektoru, bych měl někde v hloubi souboru rozdíly a byly by uspořádány tak, že např se souborů A,B,C, by B a C byly stejné, ale já bych nejdříve vzal A a po zjištění rozdílu u obou bych musel ještě separátně porovnat B a C mi připadá menší, než ztráty z náročnějšího výpočtu hashe u všech souborů
    Navíc u menších souborů, které by se všechny "potenciálně stejné" vešly do paměti, bych porovnání mohl celé dělat způsobem 2.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.