abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:55 | Nová verze

    Bylo oznámeno vydání nové verze 8.1 "Hoare" kolekce svobodného softwaru umožňujícího nahrávání, konverzi a streamovaní digitálního zvuku a obrazu FFmpeg (Wikipedie). Doprovodný příspěvek na blogu Khronosu rozebírá kódování a dekódování videa pomocí Vulkan Compute Shaders v FFmpeg.

    Ladislav Hagara | Komentářů: 0
    dnes 04:33 | Zajímavý projekt

    Byl představen open-source a open-hardware prototyp nízkonákladového raketometu kategorie MANPADS, který byl sestaven z běžně dostupné elektroniky a komponent vytištěných na 3D tiskárně. Raketa využívá skládací stabilizační křidélka a canardovou stabilizaci aktivně řízenou palubním letovým počítačem ESP32, vybaveným inerciální měřicí jednotkou MPU6050 (gyroskop a akcelerometr). Přenosné odpalovací zařízení obsahuje GPS,

    … více »
    NUKE GAZA! 🎆 | Komentářů: 0
    včera 14:22 | IT novinky

    Vědci z univerzity La Sapienza v Římě vyvinuli systém, který dokáže identifikovat jednotlivce pouze na základě toho, jak narušují signály Wi-Fi. Autoři tuto novou technologii nazvali WhoFi. Na rozdíl od tradičních biometrických systémů, jako jsou skenery otisků prstů a rozpoznávání obličeje, nevyžaduje tato metoda přímý fyzický kontakt ani vizuální vstupy. WhoFi může také sledovat jednotlivce na větší ploše než kamera s pevnou polohou; stačí, je-li k dispozici Wi-Fi síť.

    Ladislav Hagara | Komentářů: 9
    včera 04:22 | Nová verze

    SuperTux (Wikipedie), tj. klasická 2D plošinovka inspirovaná sérií Super Mario, byl vydán v nové verzi 0.7.0. Videoukázka na YouTube. Hrát lze i ve webovém prohlížeči.

    Ladislav Hagara | Komentářů: 7
    včera 03:11 | Zajímavý projekt

    Ageless Linux je linuxová distribuce vytvořená jako politický protest proti kalifornskému zákonu o věkovém ověřování uživatelů na úrovni OS (AB 1043). Kromě běžného instalačního obrazu je k dispozici i konverzní skript, který kompatibilní systém označí za Ageless Linux a levné jednodeskové počítače v ceně 12$ s předinstalovaným Ageless Linuxem, které se chystají autoři projektu dávat dětem. Ageless Linux je registrován jako operační

    … více »
    NUKE GAZA! 🎆 | Komentářů: 8
    15.3. 15:33 | Humor

    PimpMyGRC upravuje vzhled toolkitu GNU Radio a přidává alternativní barevná témata. Primárním cílem autora bylo pouze vytvořit tmavé prostředí vhodné pro noční práci, nicméně k dispozici je nakonec celá škála barevných schémat včetně možností různých animací a vizuálních efektů (plameny, matrix, bubliny...), které nepochybně posunou uživatelský zážitek na zcela jinou úroveň. Témata jsou skripty v jazyce Python, které nahrazují

    … více »
    NUKE GAZA! 🎆 | Komentářů: 3
    15.3. 14:33 | Nová verze Ladislav Hagara | Komentářů: 1
    15.3. 12:33 | Zajímavý projekt

    FRANK OS je open-source operační systém pro mikrokontrolér RP2350 (s FRANK M2 board) postavený na FreeRTOS, který přetváří tento levný čip na plně funkční počítač s desktopovým uživatelským rozhraním ve stylu Windows 95 se správcem oken, terminálem, prohlížečem souborů a knihovnou aplikací, ovládaný PS/2 myší a klávesnicí, s DVI video výstupem. Otázkou zůstává, zda by 520 KB SRAM stačilo každému 😅.

    NUKE GAZA! 🎆 | Komentářů: 4
    14.3. 22:55 | IT novinky

    Administrativa amerického prezidenta Donalda Trumpa by měla dostat zhruba deset miliard dolarů (asi 214 miliard Kč) za zprostředkování dohody o převzetí kontroly nad aktivitami sociální sítě TikTok ve Spojených státech.

    Ladislav Hagara | Komentářů: 2
    14.3. 21:33 | Nová verze

    Projekt Debian aktualizoval obrazy stabilní větve „Trixie“ (13.4). Shrnuje opravy za poslední dva měsíce, 111 aktualizovaných balíčků a 67 bezpečnostních hlášení. Opravy se týkají mj. chyb v glibc nebo webovém serveru Apache.

    |🇵🇸 | Komentářů: 2
    Které desktopové prostředí na Linuxu používáte?
     (16%)
     (7%)
     (0%)
     (11%)
     (29%)
     (2%)
     (5%)
     (1%)
     (13%)
     (24%)
    Celkem 1096 hlasů
     Komentářů: 26, poslední 12.3. 08:56
    Rozcestník

    Dotaz: btrfs deduplikace

    1.6.2019 10:05 marek_hb
    btrfs deduplikace
    Přečteno: 672×
    Ahoj,uz se snad pomalu blizi konec meho stouraciho zachvatu a tim i spam s dotazama

    Jeste bych chtel poresit dedupikaci - zkusil jsem rmlint (shreeder) a fdupes - oboje ma dost podobne vysledky (zkousim na dvou adresarich po cca 700GB dat- fotky a videa), ale nez to pustim dal na ostra (zalohovana) data pripadne i na ty zalohy, tak bych se chtel zeptat s cim mate na btrf skusenosti, nebo jake mate postupy.

    Diky moc

    M

    Řešení dotazu:


    Odpovědi

    1.6.2019 10:28 j
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Tak vzhledem k tomu, ze ani jedinej z tech dvou jmenovanych toolu deduplikaci nedela, zajimalo by me co resis.

    https://btrfs.wiki.kernel.org/index.php/Deduplication

    Tudiz trebas: duperemove -drh --hashfile=/root/btrfs.data.hash /mnt/data/

    Prvni run pobezi tak dlouho, jak vykonej mas CPU a diskovej subsystem, ale dlouho. Na nejakych 15TB dat neco mezi 3 dny az tydnem. Napocita si totiz hashe vsech bloku (pri zmineny velikosti ma ten soubor cca 8GB), a ... ulozi si je. Pri dalsich cyklech pocita hashe zmen, takze uz to nijak dlouho netrva. Kolik toho usporis, zalezi na bordelu jakej na disku mas. Klidne to muze hodit 30% i vic, specielne pokud na tom mas trebas uzivatelsky profily. Lidi sou totiz nehorazne tupi, a vsichni maji pocit, ze ten spolecnej share tam maj proto, aby si vsechno co na nem je natahali do profilu.
    1.6.2019 10:41 marek_hb
    Rozbalit Rozbalit vše Re: btrfs deduplikace

    https://wiki.gentoo.org/wiki/Fdupes

    http://www.abclinuxu.cz/blog/kenyho_stesky/2017/3/rmlint-reseni-duplicit

    Vychazel jsem z treba z tehle odkazu - dumpremove zkusim

    Dik moc

    1.6.2019 12:26 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Deduplikace znamená, že máš stejná data na různých místech v adresářovém stromu a chceš je tam mít, ale chceš ušetřit místo, tak systém data bude mít jednou a budou se na ta data různé cesty. A je možné to mít na blokové i souborové úrovni. Pokud hledáš jak najít, co je duplicitní, a něco smazat, tak možná by ti pomohl tenhle můj blog, kdy jsem ulízel asi před 5 lety.
    1.6.2019 14:09 marek_hb
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Diky za upresneni a odkaz - ted mi jde o to, ze oba adresare se castecne prekryvaji a chtel bych to dostat do stavu, ze data tam budou vzdy jednou. A pokud mozno v "zakladnich" adresarich - ne v pokus, pracovni, sdilene, pro web a podobne...

    Celkem se mi dari diky digikamu a jeho volbe "alba zalozena na datu" mit soubory roztridene a i jednotlive adresare mam vetsinou za datem pojmenovane. Ale i tak mi treba ten schreder nabidl ke smazani skoro 70 giga vseho moznyho. Poblem jsou hlavne videa zamichana do fotek.
    Jendа avatar 1.6.2019 15:41 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Tak to ale nesouvisí s btrfs.
    1.6.2019 15:49 marek_hb
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    To asi ne, ale oboje mam na btrfs, tak jsem to uvedl a i nahore jsem dostal odkaz na btrfs wiki
    Jendа avatar 1.6.2019 15:53 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Ale to co ti posílal j je něco jiného -- ta data budeš mít furt v obou adresářích (je to vlastně něco jako kdybys natahal hardlinky s tím, že to funguje i jen pro části souborů a když jeden z těch souborů změníš, automaticky se to zase rozdělí).
    1.6.2019 16:58 marek_hb
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Ok, dik, snad to zacinam chapat - co se s tim stane kdyz to prenesu na ext4? Zitra se k tomu dostanu, tak to vzkousim
    Jendа avatar 1.6.2019 17:03 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Ok, dik, snad to zacinam chapat - co se s tim stane kdyz to prenesu na ext4?
    Smazané soubory zůstanou smazané ;), deduplikace nebude fungovat, takže se to jednoduše rozkopíruje víckrát.
    1.6.2019 17:09 marek_hb
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Jo, tak to je to, co nepotrebuju. Proto jsem radsi zminil fs.
    2.6.2019 10:59 j
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    To chces ale neco jinyho nez deduplikaci. A problem tohodle pristupu je pak predevsim v tom, ze spoustu veci rozbiji. Jednoduse proto, ze spousta veci muze vyuzivat stejnej soubor, ale ocekava ho nekde jinde, tzn pri deduplikaci maji soubor kde chteji, ale na disku je jednou, kdezto pri odmazavani duplicitnich souboru to jednoduse rozbijes.

    Sekundarne odmazavani se neda v 99% delat nijak automatizovane, protoze prave kvuli tomu abys neco nerozbil, musis nejak manualne rozhodovat, co nechat a co smazat, kdezto deduplikaci si das do crona a nemusis to dal resit.

    A pak je tu samozrejme i ta cast, ze odmazat muzes jen exaktne stejny soubory, kdezto deduplikace ti resi i soubory, ktery sou stejny jen castecne.

    Jinak pro widle je celkem pekny tohle http://www.alldup.info/
    2.6.2019 11:42 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Existují tři různé způsoby, jak tohle udělat, přičemž každý má jiné vlastnosti. Vy jste nenapsal, co od toho čekáte, takže se nedá říct, který způsob je pro vás správný.

    První způsob je použití symbolických odkazů (symlink). Soubory budou skutečně v nějakém základním adresáři, z ostatních adresářů na ně povede jenom odkaz (na jméno). Když ten základní soubor změníte, změní se i obsah, který vidíte přes odkaz. když základní soubor přejmenujete nebo smažete, odkaz se stane neplatným a k souboru už se přes něj nedostanete.

    Druhý způsob je použití pevných odkazů (hardlink). Data souboru jsou pak na disku uložená jenom jednou, ale v souborovém systému je ten soubor dostupný pod různými názvy z různých adresářů. Ve skutečnosti na unixových systémech (včetně linuxu) je každý soubor takový pevný odkaz – obvykle je jenom jeden, ale klidně jich můžete mít víc. Když pak změníte obsah souboru pod jedním názvem, změní se i pod všemi ostatními názvy (protože všechny názvy odkazují na jeden obsah souboru). Když jeden soubor (přesněji jeho název) smažete, zůstává pořád dostupný pod dalšími názvy. K fyzickému smazání obsahu souboru dojde teprve tehdy, když počet odkazů klesne na nulu.

    Oba předchozí způsoby podporují všechny běžně používané linuxové souborové systémy – ext[234], btrfs, XFS, ReiserFS atd. Ale třeba FAT ani FAT32 neumí ani jeden typ odkazů. NTFS má také různé odkazy, které se ale chovají trochu jinak, než ty unixové.

    Třetí způsob je deduplikace na úrovni souborového systému. Nepodporují ji ani všechny linuxové souborové systémy, umí ji např. btrfs, řeší se to i v XFS, ale nevím, jaký je aktuální stav. Když se používá deduplikace, mohou být stejná data z různých souborů uložena na souborovém systému také jen jednou, tím se to podobá pevným odkazům. Od pevných odkazů se to ale začne odlišovat v okamžiku zápisu – nová data se zapíšou na nové místo, a na tohle nové místo začne ukazovat jenom ten soubor, který jste měnil. Ostatní soubory, které ukazovaly na stejný obsah, budou ukazovat pořád dál na ten původní. Z vnějšku se to chová jenom jako chytré šetření místem – dokud jsou data na disku stejná, jsou tam jenom jednou, jakmile se mají změnit, udělá se jejich kopie a každý soubor má svá data.
    2.6.2019 17:51 marek_hb
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    omlouvám se, měl jsem hokej mezi deduplikací a odstraněním duplicit -

    čekám od toho, že dostanu adresář adresář "Fotky" a "Videa", kde budou všechny soubory jen jednou a v to v hlavních adresářích - nepotřebuju aby se na soubor odkazovalo z více míst, další krok asi bude najit a smazat prázdné adresáře, které vzniknou vymazáním duplicit

    je mi jasné, že bez manuálního zásahu to nepůjde, snažím se najít nejjednodušší a nejbezpečnější postup - narazil jsem ted na programy v gui - dupeguru, fslint, které by mohly umět co potřebuju, případně zkusím volby toho fdupes

    díky za opravu a rady

    Řešení 1× (Filip Jirsák)
    3.6.2019 07:03 marek_hb
    Rozbalit Rozbalit vše Re: btrfs deduplikace
    Příloha:
    tak to vypadá, že dupeguru dělá to co potřebuju

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.