abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 14:22 | IT novinky

    V Lucemburku byly oznámeny výsledky posledního kola výzev na evropské továrny pro umělou inteligenci neboli AI Factories. Mezi úspěšné žadatele patří i Česká republika, potažmo konsorcium šesti partnerů vedené VŠB – Technickou univerzitou Ostrava. V rámci Czech AI Factory (CZAI), jak se česká AI továrna jmenuje, bude pořízen velmi výkonný superpočítač pro AI výpočty a vznikne balíček služeb poskytovaný odborníky konsorcia. Obojí bude sloužit malým a středním podnikům, průmyslu i institucím veřejného a výzkumného sektoru.

    Ladislav Hagara | Komentářů: 3
    dnes 01:22 | Nová verze

    Byla vydána (𝕏) zářijová aktualizace aneb nová verze 1.105 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a videi v poznámkách k vydání. Ve verzi 1.105 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 0
    včera 15:33 | Komunita

    Ve Firefoxu bude lepší správa profilů (oddělené nastavení domovské stránky, nastavení lišt, instalace rozšíření, uložení hesla, přidání záložky atd.). Nový grafický správce profilů bude postupně zaváděn od 14.října.

    Ladislav Hagara | Komentářů: 0
    včera 12:44 | Nová verze

    Canonical vydal (email) Ubuntu 25.10 Questing Quokka. Přehled novinek v poznámkách k vydání. Jedná se o průběžné vydání s podporou 9 měsíců, tj. do července 2026.

    Ladislav Hagara | Komentářů: 0
    včera 12:22 | Nová verze

    ClamAV (Wikipedie), tj. multiplatformní antivirový engine s otevřeným zdrojovým kódem pro detekci trojských koní, virů, malwaru a dalších škodlivých hrozeb, byl vydán ve verzi 1.5.0.

    Ladislav Hagara | Komentářů: 0
    včera 01:22 | Nová verze

    Byla vydána nová verze 1.12.0 dynamického programovacího jazyka Julia (Wikipedie) určeného zejména pro vědecké výpočty. Přehled novinek v příspěvku na blogu a v poznámkách k vydání. Aktualizována byla také dokumentace.

    Ladislav Hagara | Komentářů: 0
    8.10. 15:11 | Bezpečnostní upozornění

    V Redisu byla nalezena a v upstreamu již opravena kritická zranitelnost CVE-2025-49844 s CVSS 10.0 (RCE, vzdálené spouštění kódu).

    Ladislav Hagara | Komentářů: 5
    8.10. 14:00 | IT novinky

    Ministr a vicepremiér pro digitalizaci Marian Jurečka dnes oznámil, že přijme rezignaci ředitele Digitální a informační agentury Martina Mesršmída, a to k 23. říjnu 2025. Mesršmíd nabídl svou funkci během minulého víkendu, kdy se DIA potýkala s problémy eDokladů, které některým občanům znepříjemnily využití možnosti prokázat se digitální občankou u volebních komisí při volbách do Poslanecké sněmovny.

    Ladislav Hagara | Komentářů: 18
    8.10. 12:33 | Zajímavý software

    Společnost Meta představila OpenZL. Jedná se o open source framework pro kompresi dat s ohledem na jejich formát. Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 0
    8.10. 03:33 | IT novinky

    Google postupně zpřístupňuje českým uživatelům Režim AI (AI Mode), tj. nový režim vyhledávání založený na umělé inteligenci. Režim AI nabízí pokročilé uvažování, multimodalitu a možnost prozkoumat jakékoliv téma do hloubky pomocí dodatečných dotazů a užitečných odkazů na weby.

    Ladislav Hagara | Komentářů: 0
    Jaké řešení používáte k vývoji / práci?
     (38%)
     (46%)
     (15%)
     (17%)
     (21%)
     (15%)
     (17%)
     (15%)
     (15%)
    Celkem 204 hlasů
     Komentářů: 13, poslední 8.10. 07:41
    Rozcestník

    Dotaz: Duplicitni soubory

    19.6.2010 12:23 martin
    Duplicitni soubory
    Přečteno: 947×
    Zdravím,
    Zrovna včera jsem se rozhodl že si už konečně udělám pořádek ve fotkách.
    Mám milion adresářů s fotkama některé samozřejmě i 3x.
    Celkem to dělá asi něco kolem 5k kousků.
    Pustil jsem na to jeden nejmenovaný komerční soft ale po 3 hod jsem už byl docela grogy.
    Výstupní adresář obsahoval něco kolem 2k fotek a ještě hafo zbývalo.
    Přečetl jsem tu ted nějaký příspěvek na téma
    Nejlepší hashovací fce a napsal toto

    
    #encoding: utf-8
    '''Programek na rychlou detekci duplicitnich souboru v adresari
    '''
    import os, hashlib
    
    class DupFinder(object):
        def __init__(self, adresar):
            self.database = {}
            self.__get_all_files(adresar)
            print len(self.database)
            del(self.database)
            
        def __get_all_files(self, adresar):
            dupe = 0
            for root, adresar, soubory in os.walk(adresar):
                for soubor in soubory:
                    with open(os.path.join(root, soubor), 'rb') as f:
                        hashfile = hashlib.sha224()
                        hashfile.update(f.read())
                        newhash = hashfile.hexdigest()
                        if newhash not in self.database:
                            self.database[newhash] = os.path.join(root, soubor)
                        else:
                            dupe += 1
            print ('NR Dupes in directory: %d' % dupe)
            
    if __name__ == '__main__':
        a = DupFinder('/home/martin/Fotky')
    

    Celkový čas něco kolem 10min[mám tam dopsaný přesun atd].
    Opravdu se tomu dá věřit že to najde duplikáty na 100% ?.
    Díky za jiné návrhy, třeba třídění podle spektrální analýzy atd :).

    Odpovědi

    19.6.2010 12:37 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Pokud použijete hash z binárních dat souboru, duplicitní soubory (tj. ty, které jsou na bit stejné) tím určitě odhalíte, s nízkou pravděpodobností se může stát, že jako shodné budou označeny dva různé soubory – ale myslím, že není problém ty soubory se stejným hashem porovnat bit po bitu.
    19.6.2010 12:50 martin
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Díky to jsem potřeboval vědět. Jen mě zajímá jestli i tato malá pravděpodobnost se dá
    obejít jiným druhem použitého hashe třeba sha1, sha512, md5.
    BTW a nebylo by to prolomení klíče kdyby 2 rozdílné soubory měly
    stejný hash ?
    19.6.2010 14:06 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    Oebjít se to nedá, ta pravděpodobnost bude vždy nenulová. Hashovací funkce vždy přiřazuje nekonečně mnoho různých vstupů na konečně mnoho výstupů, takže vždy existují výstupy, kterým odpovídá nekonečně mnoho vstupů.

    Kdyby dva různé soubory měly stejný hash, jde o nalezení kolize – pro hashovací funkci to není žádný problém, ty s přítomností kolizí počítají (jak jsem psal v předchozí větě), jejich síla spočívá v tom, že ke známému hashi nedokážeme rychle najít nějaký vstupní dokument, případně že nejde snadno vytvořit dva různé vstupy, které mají stejný hash.

    Jinak pro hledání duplicitních souborů mi kryptografické hashovací funkce připadají jako trochu silný nástroj, podle mne by stačil třeba obyčejný CRC, který spočítáte rychleji, a u stejných otisků pak stejně soubory porovnáte bit po bitu.
    oroborus avatar 19.6.2010 13:48 oroborus | skóre: 20 | blog: Bulanci
    Rozbalit Rozbalit vše Re: Duplicitni soubory
    BTW Pred par tyznami som rozmyslal, ze by som naprogramoval program na vyhladavanie duplicitnych suborov. Myslim, ze si teraz najdem na to cas :)

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.