abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 17:25 | IT novinky

Do prodeje (Farnell) se dostal jednodeskový počítač Tinker Board (unboxing). Jedná se o konkurenci Raspberry Pi 3 od společnosti Asus. Porovnání (jpg) těchto počítačů například na CNXSoft. Cena Tinker Boardu je 55 £.

Ladislav Hagara | Komentářů: 5
včera 14:44 | Zajímavý projekt

Byla zveřejněna pravidla hackerské soutěže Pwn2Own 2017, jež proběhne od 15. do 17. března v rámci bezpečnostní konference CanSecWes ve Vancouveru. Soutěžit se bude o více než milion dolarů v pěti kategoriích. Letos se bude útočit i na Ubuntu. Jedná se již o 10. ročník této soutěže.

Ladislav Hagara | Komentářů: 1
včera 13:33 | Nová verze

Po sedmi měsících vývoje od vydání verze 5.7 byla vydána verze 5.8 (YouTube) toolkitu Qt. Z novinek lze zmínit například Qt Lite pro vestavěná zařízení. Nově jsou plně podporovány moduly Qt Wayland Compositor (YouTube) a Qt SCXML (YouTube). Současně byla vydána verze 4.2.1 integrovaného vývojového prostředí (IDE) Qt Creator.

Ladislav Hagara | Komentářů: 1
včera 11:52 | Pozvánky

Lednový Prague Containers Meetup se koná ve čtvrtek 26. ledna 2017 od 18:00 v Apiary, Pernerova 49, Praha 8. Přijďte se podívat na přednášky o Enterprise Kubernetes a Jenkins as a code.

little-drunk-jesus | Komentářů: 0
včera 11:40 | Pozvánky

Program letošního ročníku konference Prague PostgreSQL Developer Days, která se koná již 15. a 16. února 2017 na ČVUT FIT, Thákurova 9, Praha 6, byl dnes zveřejněn. Najdete ho na stránkách konference včetně anotací přednášek a školení. Registrace na konferenci bude otevřena zítra (24. ledna) v brzkých odpoledních hodinách.

TomasVondra | Komentářů: 0
22.1. 02:20 | Zajímavý článek

David Revoy, autor open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu, upozorňuje na svém blogu, že nový Inkscape 0.92 rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Problém by měl být vyřešen v Inkscape 0.92.2 [reddit].

Ladislav Hagara | Komentářů: 0
22.1. 02:02 | Komunita

Øyvind Kolås, hlavní vývojář grafických knihoven GEGL a babl, které využívá grafický program GIMP, žádá o podporu na Patreonu. Díky ní bude moci pracovat na vývoji na plný úvazek. Milník 1000 $, který by stačil na holé přežití, se již téměř podařilo vybrat, dalším cílem je dosažení 2500 $, které mu umožní běžně fungovat ve společnosti.

xkomczax | Komentářů: 12
21.1. 23:54 | Pozvánky

DevConf.cz 2017, již devátý ročník jedné z největších akcí zaměřených na Linux a open source ve střední Evropě, proběhne od pátku 27. ledna do neděle 29. ledna v prostorách Fakulty informačních technologií Vysokého učení technického v Brně. Na programu je celá řada zajímavých přednášek a workshopů. Letos je povinná registrace.

Ladislav Hagara | Komentářů: 0
21.1. 22:11 | Nová verze

Byla vydána verze 1.0.0 emulátoru terminálu Terminology postaveného nad EFL (Enlightenment Foundation Libraries). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
20.1. 17:00 | Nová verze

Byl vydán Docker 1.13. Přehled novinek na YouTube a v poznámkách k vydání na GitHubu. Docker umožňuje běh aplikací v softwarových kontejnerech (Wikipedia).

Ladislav Hagara | Komentářů: 7
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (11%)
 (2%)
 (73%)
 (3%)
 (10%)
Celkem 386 hlasů
 Komentářů: 31, poslední včera 19:19
Rozcestník
Reklama

Dotaz: Jak efektivně odstranit duplicitní soubory?

10.12.2014 08:14 neprihlaseny Indian
Jak efektivně odstranit duplicitní soubory?
Přečteno: 630×
Ahoj, potřebuji smazat duplicitní fotky, dokumenty, aj. v adresáři s celkovou velikostí 160GB. Chci mít jen jednu kopii, ostatní duplicitní soubory chci smazat. V souborech si poté udělám pořádek, ale ještě předtím bych rád tyto duplicity a poté i prázdné složky smazal, abych měl práci ulehčenou.

Potřebuju poradit jaký nástroj na to nasadit, tak aby uměl dostatečně rychle přečíst hash souborů (či jaké metody na zjišťování souborů zde jsou?) a byl jednoduchý na obsluhu. Nevyžaduji GUI, terminál mi vyhovuje. Máte nějakou zkušenost co na těchto 160GB dat nasadit? Děkuji, Indián :)


Řešení dotazu:


Odpovědi

10.12.2014 08:28 Petr
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
http://www.abclinuxu.cz/blog/Par_slov/2014/8/velky-uklid-v-pocitaci
10.12.2014 08:44 neprihlaseny Indian
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
Děkuji fdupes je to co jsem hledal :)
Fuky avatar 10.12.2014 13:17 Fuky | skóre: 52 | blog: 4u
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?

Ještě doplním:

Líbí se mi volba -m, která najde duplicitní soubory a udělá z nich hardlinky.

# aptitude install fslint
$ /usr/share/fslint/fslint/findup -m /data
$ /usr/share/fslint/fslint/findup --help

Jendа avatar 10.12.2014 11:44 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
Pustil bych rekurzivně sha1sum a potom výsledek setřídil a prošel.
„To jsem nedávno zjistil, že naše televize jde ovládat po síti. Docela mě to překvapilo.“ „Jo? A kdo vám ji ovládal?“
10.12.2014 12:05 Kit | skóre: 37 | Brno
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
Třídění je zbytečné.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
Jendа avatar 10.12.2014 18:40 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
Nenapadá mě jak přímočaře napsat skript, který najde duplicity v nesetříděném seznamu.
„To jsem nedávno zjistil, že naše televize jde ovládat po síti. Docela mě to překvapilo.“ „Jo? A kdo vám ji ovládal?“
10.12.2014 19:17 Kit | skóre: 37 | Brno
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
Použiješ ten hash jako index ve slovníku.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
Jendа avatar 10.12.2014 21:01 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
No dobře, ještě jsem předpokládal, že se to bude dělat pomocí pár řádků v shellu :)
„To jsem nedávno zjistil, že naše televize jde ovládat po síti. Docela mě to překvapilo.“ „Jo? A kdo vám ji ovládal?“
10.12.2014 21:29 Kit | skóre: 37 | Brno
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
A shell to snad neumí?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
Jendа avatar 10.12.2014 22:27 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
Aha, umí. Akorát ve výše uvedeném blogpostu měly jenom cesty jenom k duplikátům 150 mega, takže se to možná nevejde do paměti.
„To jsem nedávno zjistil, že naše televize jde ovládat po síti. Docela mě to překvapilo.“ „Jo? A kdo vám ji ovládal?“
11.12.2014 01:09 lertimir | skóre: 59 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jak efektivně odstranit duplicitní soubory?
No po té zkušenosti z úklidem, mi připadá, že optimální by bylo mít řešení ve 3 postupných krocích.
  1. Projít jen adresářovou strukturu a setřídit/zahešovat soubory podle velikosti. Různě velké soubory nejsou stejné.
  2. Pro stejně velké soubory, načíst do paměti první sektor (512B nebo 4k) a porovnat je byte_to_byte (samozřejmě porovnávat je ne po bytech, ale slovech procesoru), Hash je poměrně spousta počítání proti přimému porovnání a dá se očekávat, že pokud se soubory liší, začnou se většinou lišit dost brzy.
  3. Tím se vystrukturují "potenciálně stejné soubory" a u nich má možná smysl počítat hash, ale není mi to úplně jasné. Připadá mi, že přímé porovnání systém méně zatíží. Rozdíl identifikuji ihned a ne až po projítí celého souboru. A pravděpodobnost, že po projítí úvodního stejného sektoru, bych měl někde v hloubi souboru rozdíly a byly by uspořádány tak, že např se souborů A,B,C, by B a C byly stejné, ale já bych nejdříve vzal A a po zjištění rozdílu u obou bych musel ještě separátně porovnat B a C mi připadá menší, než ztráty z náročnějšího výpočtu hashe u všech souborů
Navíc u menších souborů, které by se všechny "potenciálně stejné" vešly do paměti, bych porovnání mohl celé dělat způsobem 2.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.