abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 17:50 | Komunita

Nadace The Document Foundation (TDF) zastřešující vývoj svobodného kancelářského balíku LibreOffice slaví 5 let od svého oficiálního vzniku. Nadace byla představena 28. září 2010. Formálně byla založena ale až 17. února 2012.

Ladislav Hagara | Komentářů: 0
dnes 12:50 | Komunita

Mozilla.cz informuje, že dosud experimentální funkce Page Shot z programu Firefox Test Pilot (zprávička) se stane součástí Firefoxu. Page Shot je nástroj pro vytváření snímků webových stránek. Umí výběr oblasti, prvku stránky (např. odstavce), nebo uložení snímku celé stránky. Snímky lze ukládat na disk nebo nahrávat na server Mozilly. Nedávno bylo oznámeno, že se součástí Firefoxu stane Activity Stream.

Ladislav Hagara | Komentářů: 3
dnes 04:10 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 4.9 (zprávička) oznámil Linus Torvalds, mj. již 20 let žijící v USA, vydání Linuxu 4.10 (LKML). Přehled nových vlastností a vylepšení například na Kernel Newbies a v Jaderných novinách (1, 2 a 3). Kódové jméno Linuxu 4.10 je Fearless Coyote.

Ladislav Hagara | Komentářů: 1
včera 15:55 | Zajímavý projekt

Vyzkoušet si příkazy a vyřešit několik úkolů lze na stránkách Commandline Challenge (CMD Challenge). Úkoly lze řešit různými způsoby, důležitý je výsledek. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 16
18.2. 17:35 | Bezpečnostní upozornění

Německá Bundesnetzagentur (obdoba českého ČTU) zakázala na německém území prodej panenky Cayla kvůli „špionáži“ dětí. Tato elektronická hračka obsahuje mikrofon, reproduktor a kameru a bezdrátové komunikační rozhraní, pomocí kterého se hračka připojuje na servery výrobce. Takovýmto způsobem může hračka pomocí umělé inteligence „odpovídat“ na dotazy dítěte. Hlavní problém bude ale asi někde jinde, podle prvotních zpráv může

… více »
Petr Tomášek | Komentářů: 29
17.2. 15:30 | Bezpečnostní upozornění

CSIRT.CZ upozorňuje, že bezpečnostní experti objevili nový typ malwaru, jenž cílí na open source e-commerce platformu Magento. Malware je zajímavý tím, že se jedná o první svého druhu, jehož kód zůstává skrytý v SQL databázi zasaženého e-shopu. Škodlivý kód je volán pomocí tzv. SQL trigerru, který je spouštěn při každém vytvoření objednávky v systému.

Ladislav Hagara | Komentářů: 3
17.2. 09:00 | Nová verze

Bylo vydáno Ubuntu 16.04.2 LTS, tj. druhé opravné vydání Ubuntu 16.04 LTS s kódovým názvem Xenial Xerus. Přehled novinek v poznámkách k vydání a v přehledu změn.

Ladislav Hagara | Komentářů: 56
17.2. 06:00 | Zajímavý článek

Pavel Tišnovský se v dvoudílném článku na MojeFedora.cz věnuje tvorbě pluginů (modulů) pro bitmapový grafický editor GIMP. Pomocí pluginů lze GIMP rozšiřovat o další funkce. Implementovat lze například nové filtry nebo pomocné utility pro tvorbu animací či poloautomatickou retuš snímků.

Ladislav Hagara | Komentářů: 6
16.2. 23:32 | Komunita

Do 30. března se lze přihlásit do dalšího kola programu Outreachy, jehož cílem je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny. Za 3 měsíce práce, od 30. května do 30. srpna 2017, v participujících organizacích lze vydělat 5 500 USD. Jedná se již o 14. kolo tohoto programu.

Ladislav Hagara | Komentářů: 11
16.2. 23:13 | Nová verze

Byla vydána verze 0.92.1 svobodného multiplatformního vektorového grafického editoru Inkscape. Přehled novinek v poznámkách k vydání. Řešen je mimo jiné problém s verzí 0.92, jež rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Více v příspěvku na blogu Davida Revoye, autora open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu.

Ladislav Hagara | Komentářů: 0
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (13%)
 (2%)
 (72%)
 (3%)
 (10%)
Celkem 668 hlasů
 Komentářů: 53, poslední dnes 18:38
Rozcestník
Reklama

Dotaz: "jednoducha" deduplikace

8.12.2011 07:06 David
"jednoducha" deduplikace
Přečteno: 345×
Ahojky, potrebuji se zbavit zdvojenych souboru v urcitem adresari. A to tak, aby ten pripadnej sw nekoukal jenom na presne zazvy. Jedna se o to, ze jsem mel slozku audio a ma pritulkyne taky. Oba jsme meli pres Sambu pristup k te sve. Postupem casu to ale dopadlo tak, ze oba mame cast obsahu stejnou. Proto jsem se rozhodl, ze tyto dve slozky sloucim do jedne a budeme tam mit pristup oba. Nicmene bych to potreboval necim protahnout, abych se zbavil duplicit. Kriterium pro vyhledani nemuze byt ale jen nazev souboru, protoze ty jsme si kazdy vytvorili podle sveho. Diky za doporuceni nejakyho softiku. David

Řešení dotazu:


Odpovědi

8.12.2011 07:51 cronin | skóre: 48
Rozbalit Rozbalit vše Re: "jednoducha" deduplikace
Ja som podobný problém riešil skriptom, ktorý už samozrejme nemám. ;-) U mňa išlo o cca 80 tisíc favikon v jedom adresári, z ktorých bolo treba odstrániť duplicitné; unikátnych bolo nakoniec asi 21 tisíc.

Celé to bolo s kvadratickou zložitosťou, proste sa zobral jeden súbor a diff-ol sa so všetkými ostatnými. Jediná optimalizácia, ktorú som urobil, bolo rozdelenie súborov podľa veľkosti. I tak to bolo desne pomalé, ale keďže sa jednalo o jednorazovú záležitosť, nemalo zmysel to komplikovať optimalizáciami.

Pri audiu bude možno jednoduchšie urobiť deduplikáciu ručne, automatizovať iba identifikáciu duplicít. Ak duplikácie vznikli skopírovaním s toho istého zdroja, stačilo by ísť po menách súborov, ak je pravdepodobné premenovávanie, tak po ich veľkostiach.
8.12.2011 08:37 a1bert | skóre: 20
Rozbalit Rozbalit vše Re: "jednoducha" deduplikace
ja bych zacal necim takovym:
find /adresar -type f -exec md5sum {} \;
a pak uz podle libosti, treba sort ... uniq -d
8.12.2011 08:40 pepazdepa
Rozbalit Rozbalit vše Re: "jednoducha" deduplikace
uz to nekdo vymyslel - fdupes
8.12.2011 09:53 Kit
Rozbalit Rozbalit vše Re: "jednoducha" deduplikace
Už jsem něco podobného řešil tak, že jsem si od každého souboru spočítal MD5 a seřadil. Soubory s duplicitním MD5 se pak dají vyhledat a smazat mnohem snáze, protože jsou pod sebou.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.