abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 05:44 | Nová verze

    Unicode Consortium, nezisková organizace koordinující rozvoj standardu Unicode, oznámila vydání Unicode 17.0. Přidáno bylo 4 803 nových znaků. Celkově jich je 159 801. Přibylo 7 nových Emoji.

    Ladislav Hagara | Komentářů: 0
    včera 21:00 | IT novinky Ladislav Hagara | Komentářů: 0
    včera 18:33 | Nová verze

    Realtimová strategie Warzone 2100 (Wikipedie) byla vydána ve verzi 4.6.0. Podrobný přehled novinek, změn a oprav v ChangeLogu na GitHubu. Nejnovější verzi Warzone 2100 lze již instalovat také ze Snapcraftu a Flathubu.

    Ladislav Hagara | Komentářů: 1
    včera 12:22 | IT novinky

    Polské vývojářské studio CD Projekt Red publikovalo na Printables.com 3D modely z počítačové hry Cyberpunk 2077.

    Ladislav Hagara | Komentářů: 0
    včera 11:44 | Pozvánky

    Organizátoři konference LinuxDays 2025 vydali program a zároveň otevřeli registrace. Akce se uskuteční 4. a 5. října na FIT ČVUT v pražských Dejvicích, kde vás čekají přednášky, workshopy, stánky a spousta šikovných lidí. Vstup na akci je zdarma.

    Petr Krčmář | Komentářů: 4
    8.9. 22:00 | IT novinky

    Uživatelé komunikátoru Signal si mohou svá data přímo v Signalu bezpečně zálohovat a v případě rozbití nebo ztráty telefonu následně na novém telefonu obnovit. Zálohování posledních 45 dnů je zdarma. Nad 45 dnů je zpoplatněno částkou 1,99 dolaru měsíčně.

    Ladislav Hagara | Komentářů: 0
    8.9. 18:44 | Zajímavý článek

    Server Groklaw, zaměřený na kauzy jako právní spory SCO týkající se Linuxu, skončil před 12 lety, resp. doména stále existuje, ale web obsahuje spam propagující hazardní hry. LWN.net proto v úvodníku připomíná důležitost zachovávání komunitních zdrojů a upozorňuje, že Internet Archive je také jen jeden.

    🇵🇸 | Komentářů: 6
    8.9. 14:22 | Nová verze

    Jakub Vrána vydal Adminer ve verzi 5.4.0: "Delší dobu se v Admineru neobjevila žádná závažná chyba, tak jsem nemusel vydávat novou verzi, až počet změn hodně nabobtnal."

    Ladislav Hagara | Komentářů: 2
    8.9. 13:22 | IT novinky

    V Německu slavnostně uvedli do provozu (en) nejrychlejší počítač v Evropě. Superpočítač Jupiter se nachází ve výzkumném ústavu v Jülichu na západě země, podle německého kancléře Friedricha Merze otevírá nové možnosti pro trénování modelů umělé inteligence (AI) i pro vědecké simulace. Superpočítač Jupiter je nejrychlejší v Evropě a čtvrtý nejrychlejší na světě (TOP500). „Chceme, aby se z Německa stal národ umělé inteligence,“ uvedl na

    … více »
    Ladislav Hagara | Komentářů: 16
    7.9. 04:11 | Komunita

    V Berlíně probíhá konference vývojářů a uživatelů desktopového prostředí KDE Plasma Akademy 2025. Při té příležitosti byla oznámena alfa verze nové linuxové distribuce KDE Linux.

    Ladislav Hagara | Komentářů: 1
    Pro otevření více webových stránek ve webovém prohlížečí používám
     (83%)
     (7%)
     (2%)
     (3%)
     (3%)
     (2%)
    Celkem 157 hlasů
     Komentářů: 11, poslední 4.9. 16:12
    Rozcestník

    Dotaz: Duplicitni soubory

    19.6.2010 12:23 martin
    Duplicitni soubory
    Přečteno: 938×
    Zdravím,
    Zrovna včera jsem se rozhodl že si už konečně udělám pořádek ve fotkách.
    Mám milion adresářů s fotkama některé samozřejmě i 3x.
    Celkem to dělá asi něco kolem 5k kousků.
    Pustil jsem na to jeden nejmenovaný komerční soft ale po 3 hod jsem už byl docela grogy.
    Výstupní adresář obsahoval něco kolem 2k fotek a ještě hafo zbývalo.
    Přečetl jsem tu ted nějaký příspěvek na téma
    Nejlepší hashovací fce a napsal toto

    
    #encoding: utf-8
    '''Programek na rychlou detekci duplicitnich souboru v adresari
    '''
    import os, hashlib
    
    class DupFinder(object):
        def __init__(self, adresar):
            self.database = {}
            self.__get_all_files(adresar)
            print len(self.database)
            del(self.database)
            
        def __get_all_files(self, adresar):
            dupe = 0
            for root, adresar, soubory in os.walk(adresar):
                for soubor in soubory:
                    with open(os.path.join(root, soubor), 'rb') as f:
                        hashfile = hashlib.sha224()
                        hashfile.update(f.read())
                        newhash = hashfile.hexdigest()
                        if newhash not in self.database:
                            self.database[newhash] = os.path.join(root, soubor)
                        else:
                            dupe += 1
            print ('NR Dupes in directory: %d' % dupe)
            
    if __name__ == '__main__':
        a = DupFinder('/home/martin/Fotky')
    

    Celkový čas něco kolem 10min[mám tam dopsaný přesun atd].
    Opravdu se tomu dá věřit že to najde duplikáty na 100% ?.
    Díky za jiné návrhy, třeba třídění podle spektrální analýzy atd :).

    Odpovědi

    19.6.2010 12:37 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Pokud použijete hash z binárních dat souboru, duplicitní soubory (tj. ty, které jsou na bit stejné) tím určitě odhalíte, s nízkou pravděpodobností se může stát, že jako shodné budou označeny dva různé soubory – ale myslím, že není problém ty soubory se stejným hashem porovnat bit po bitu.
    19.6.2010 12:50 martin
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Díky to jsem potřeboval vědět. Jen mě zajímá jestli i tato malá pravděpodobnost se dá
    obejít jiným druhem použitého hashe třeba sha1, sha512, md5.
    BTW a nebylo by to prolomení klíče kdyby 2 rozdílné soubory měly
    stejný hash ?
    19.6.2010 14:06 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Oebjít se to nedá, ta pravděpodobnost bude vždy nenulová. Hashovací funkce vždy přiřazuje nekonečně mnoho různých vstupů na konečně mnoho výstupů, takže vždy existují výstupy, kterým odpovídá nekonečně mnoho vstupů.

    Kdyby dva různé soubory měly stejný hash, jde o nalezení kolize – pro hashovací funkci to není žádný problém, ty s přítomností kolizí počítají (jak jsem psal v předchozí větě), jejich síla spočívá v tom, že ke známému hashi nedokážeme rychle najít nějaký vstupní dokument, případně že nejde snadno vytvořit dva různé vstupy, které mají stejný hash.

    Jinak pro hledání duplicitních souborů mi kryptografické hashovací funkce připadají jako trochu silný nástroj, podle mne by stačil třeba obyčejný CRC, který spočítáte rychleji, a u stejných otisků pak stejně soubory porovnáte bit po bitu.
    oroborus avatar 19.6.2010 13:48 oroborus | skóre: 20 | blog: Bulanci
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    BTW Pred par tyznami som rozmyslal, ze by som naprogramoval program na vyhladavanie duplicitnych suborov. Myslim, ze si teraz najdem na to cas :)

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.