abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    včera 15:22 | Nová verze

    Tento týden byla vydána nová verze 1.52 webového prohlížeče Brave (Wikipedie, GitHub). Postavena je na Chromiu 114. Z novinek lze vypíchnout možnost povolit vertikální karty (vertical tabs). Také bylo představeno Brave Search API k vyhledávači Brave Search.

    Ladislav Hagara | Komentářů: 0
    2.6. 19:55 | Komunita

    Matthias Clasen z Red Hatu oznámil v diskusním listu vývojářů Fedora Linuxu, že tým Red Hat Display Systems se zaměří na Wayland a podporu HDR na Linuxu a přestane spravovat RPM balíčky pro LibreOffice. V další major verzi RHELu už LibreOffice nebude. Pokud se nenajde správce balíčků pro Fedora Linux, zůstane pouze LibreOffice ve Flatpaku.

    Ladislav Hagara | Komentářů: 24
    2.6. 17:33 | IT novinky

    Na Steamu lze získat zdarma počítačovou hru Tell Me Why (ProtonDB). Na Epic Games Storu počítačovou hru Midnight Ghost Hunt (ProtonDB).

    Ladislav Hagara | Komentářů: 3
    2.6. 14:11 | IT novinky

    Společnost Meta představila (YouTube) brýle pro virtuální realitu Meta Quest 3. V prodeji budou na podzim a stát budou od 499,99 dolarů.

    Ladislav Hagara | Komentářů: 0
    2.6. 13:44 | Nová verze

    Byla vydána nová verze 2.41.0 distribuovaného systému správy verzí Git. Přispělo 95 vývojářů, z toho 29 nových. Přehled novinek v příspěvku na blogu GitHubu a v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    2.6. 09:00 | Nová verze

    Organizace Apache Software Foundation (ASF) vydala verzi 18 integrovaného vývojového prostředí a vývojové platformy napsané v Javě NetBeans (Wikipedie). Přehled novinek na GitHubu. Instalovat lze také ze Snapcraftu a Flathubu.

    Ladislav Hagara | Komentářů: 0
    2.6. 00:11 | Nová verze

    Byla vydána verze 1.70.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example. Jako reakce na rostoucí obavy z vlivu korporací na vývoj Rustu a předložený návrh restriktivních zásad používání ochranných známek Rustu, byl nedávno představen komunitní fork Rustu se 100 % méně byrokracie: Crab (CrabLang).

    Ladislav Hagara | Komentářů: 8
    1.6. 21:55 | Zajímavý článek

    Oliver Smith z Canonicalu shrnuje základní vlastnosti „neměnné“ distribuce Ubuntu Core také ve srovnání s protějšky Chrome OS, Fedora Silverblue a MicroOS. Canonical připravuje desktopovou variantu Ubuntu Core vedle dosavadní serverové/embedded.

    Fluttershy, yay! | Komentářů: 0
    1.6. 13:33 | Upozornění

    Z aktualizovaného seznamu chyb (pdf) procesoru AMD EPYC 7002: #1474 - procesor se po 1044 dnech od posledního resetu zasekne [reddit].

    Ladislav Hagara | Komentářů: 23
    1.6. 13:00 | Nová verze

    Fossil (Wikipedie) byl vydán ve verzi 2.22. Jedná se o distribuovaný systém správy verzí propojený se správou chyb, wiki stránek a blogů s integrovaným webovým rozhraním. Vše běží z jednoho jediného spustitelného souboru a uloženo je v SQLite databázi.

    Ladislav Hagara | Komentářů: 0
    Twitter (nejen pro příležitostné čtení)
     (86%)
     (3%)
     (11%)
    Celkem 66 hlasů
     Komentářů: 4, poslední včera 21:29
    Rozcestník

    Dotaz: Duplicitni soubory

    19.6.2010 12:23 martin
    Duplicitni soubory
    Přečteno: 908×
    Zdravím,
    Zrovna včera jsem se rozhodl že si už konečně udělám pořádek ve fotkách.
    Mám milion adresářů s fotkama některé samozřejmě i 3x.
    Celkem to dělá asi něco kolem 5k kousků.
    Pustil jsem na to jeden nejmenovaný komerční soft ale po 3 hod jsem už byl docela grogy.
    Výstupní adresář obsahoval něco kolem 2k fotek a ještě hafo zbývalo.
    Přečetl jsem tu ted nějaký příspěvek na téma
    Nejlepší hashovací fce a napsal toto

    
    #encoding: utf-8
    '''Programek na rychlou detekci duplicitnich souboru v adresari
    '''
    import os, hashlib
    
    class DupFinder(object):
        def __init__(self, adresar):
            self.database = {}
            self.__get_all_files(adresar)
            print len(self.database)
            del(self.database)
            
        def __get_all_files(self, adresar):
            dupe = 0
            for root, adresar, soubory in os.walk(adresar):
                for soubor in soubory:
                    with open(os.path.join(root, soubor), 'rb') as f:
                        hashfile = hashlib.sha224()
                        hashfile.update(f.read())
                        newhash = hashfile.hexdigest()
                        if newhash not in self.database:
                            self.database[newhash] = os.path.join(root, soubor)
                        else:
                            dupe += 1
            print ('NR Dupes in directory: %d' % dupe)
            
    if __name__ == '__main__':
        a = DupFinder('/home/martin/Fotky')
    

    Celkový čas něco kolem 10min[mám tam dopsaný přesun atd].
    Opravdu se tomu dá věřit že to najde duplikáty na 100% ?.
    Díky za jiné návrhy, třeba třídění podle spektrální analýzy atd :).

    Odpovědi

    19.6.2010 12:37 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Pokud použijete hash z binárních dat souboru, duplicitní soubory (tj. ty, které jsou na bit stejné) tím určitě odhalíte, s nízkou pravděpodobností se může stát, že jako shodné budou označeny dva různé soubory – ale myslím, že není problém ty soubory se stejným hashem porovnat bit po bitu.
    19.6.2010 12:50 martin
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Díky to jsem potřeboval vědět. Jen mě zajímá jestli i tato malá pravděpodobnost se dá
    obejít jiným druhem použitého hashe třeba sha1, sha512, md5.
    BTW a nebylo by to prolomení klíče kdyby 2 rozdílné soubory měly
    stejný hash ?
    19.6.2010 14:06 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Oebjít se to nedá, ta pravděpodobnost bude vždy nenulová. Hashovací funkce vždy přiřazuje nekonečně mnoho různých vstupů na konečně mnoho výstupů, takže vždy existují výstupy, kterým odpovídá nekonečně mnoho vstupů.

    Kdyby dva různé soubory měly stejný hash, jde o nalezení kolize – pro hashovací funkci to není žádný problém, ty s přítomností kolizí počítají (jak jsem psal v předchozí větě), jejich síla spočívá v tom, že ke známému hashi nedokážeme rychle najít nějaký vstupní dokument, případně že nejde snadno vytvořit dva různé vstupy, které mají stejný hash.

    Jinak pro hledání duplicitních souborů mi kryptografické hashovací funkce připadají jako trochu silný nástroj, podle mne by stačil třeba obyčejný CRC, který spočítáte rychleji, a u stejných otisků pak stejně soubory porovnáte bit po bitu.
    oroborus avatar 19.6.2010 13:48 oroborus | skóre: 20 | blog: Bulanci
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    BTW Pred par tyznami som rozmyslal, ze by som naprogramoval program na vyhladavanie duplicitnych suborov. Myslim, ze si teraz najdem na to cas :)

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.