abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    včera 23:36 | Nová verze
    Student kyberbezpečnosti na SSPŠ vydal verzi 1.0.1 distribuce LuxOS, která stojí na Arch Linuxu a pod povrchem používá Xfce upravené do podoby macOS. … více »
    Luxopes | Komentářů: 6
    včera 21:02 | Zajímavý software
    Open source projekt BUI zpřístupňuje legendární, bleskurychlé a optimalizované uživatelské rozhraní 3D editoru Blender coby samostatnou GUI knihovnu pro jazyky Python, Rust, JavaScript a C/C++, případně pro knihovnu Dear ImGui. … více »
    👻 | Komentářů: 0
    včera 20:31 | Zajímavý software
    Vývoj je pomalý, ale desktopové prostředí MATE je stále živé. Podľa správy z OSNews.com tu máme nový správca okien pre MATE. Viac informácií nájdeš na GitHub stránke Polo od autora KeremSoke. Je to naozaj skvelá správa pre používateľov MATE a aj vybrané meno Polo podľa Marca Pola je cool.
    lukve | Komentářů: 0
    včera 08:57 | Komunita

    Skotský vývojář Mike Lothian pozastavil vývoj svého otevřeného ovladače Vino (nedostupné) pro dokovací stanice DisplayLink poté, co mu Synaptics v reakci na žádost o pomoc pohrozil žalobou kvůli údajnému porušování patentů. Firma nejprve předložila seznam 125 patentů bez specifikace, které konkrétně měl ovladač porušovat, a následně požadovala 25 tisíc dolarů za náklady na jejich přiřazení ke kódu s hrozbou, že se tato částka bude

    … více »
    👻 | Komentářů: 9
    19.11. 20:14 | Zajímavý software
    RunWisp je jedna Go binárka, ktorá spúšťa crony aj udržiava dlho bežiace procesy z jedného TOML súboru. Pri každom behu si uloží logy, exit code, trvanie, využitie CPU a RAM a všetko sa dá pozrieť vo webovom rozhraní alebo v TUI už počas behu. Vie poslať notifikácie na Slack, Discord, Telegram, na telefón atď. Licencia GPL-3.0, funguje na Linuxe, macOS aj WSL.
    Riki | Komentářů: 4
    19.11. 20:12 | Zajímavý software
    BenchUp (původně KetchUp) je open-source alternativa k proprietárnímu software SketchUp, zaměřená především na 3D návrh nábytku a práci se dřevem. Tento editor funguje v prohlížeči i jako desktopová aplikace pro Linux, Windows a macOS. Zdrojový kód projektu (převážně Rust) je dostupný na GitHubu, pod licencí MIT.
    👻 | Komentářů: 10
    19.11. 20:09 | Pozvánky
    Pražský MobileLinux Hackday je zpět, tentokrát už s devátým pokračováním! Už tento pátek 20. listopadu od 10:00 se opět sejdeme v Praze v SUSE. Přijďte si popovídat o Linuxu na telefonech, poslechnout si pár krátkých přednášek a hlavně si společně něco rozběhat, opravit nebo naprogramovat.… více »
    lkocman | Komentářů: 0
    19.11. 20:04 | Humor
    Po serii zero-day zranitelností vyšla nejfatálnější zranitelnost všech dob s CVSS 10.0. Autoři nálezu jí pojmenovali sleep2shell a týká se všech systémů.
    Max | Komentářů: 16
    8.11. 00:33 | Nová verze

    Byla vydána OpenIndiana 2026.10. Unixový operační systém OpenIndiana (Wikipedie) vychází z OpenSolarisu (Wikipedie).

    Ladislav Hagara | Komentářů: 23
    8.11. 00:22 | IT novinky

    Americký výrobce polovodičů onsemi (ON Semiconductor) zrušil plány na rozšíření výroby v rožnovském závodě v Česku za dvě miliardy dolarů (podle aktuálního kurzu zhruba 43,5 mld. Kč). Důvodem je vývoj na trhu.

    Ladislav Hagara | Komentářů: 76
    Které desktopové prostředí na Linuxu používáte?
     (8%)
     (7%)
     (4%)
     (21%)
     (30%)
     (9%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 3079 hlasů
     Komentářů: 36, poslední 11.11. 22:38
    Rozcestník

    Dotaz: Deduplikace na větším BTRFS

    29.1.2025 16:27 pet I. | skóre: 13
    Deduplikace na větším BTRFS
    Přečteno: 1579×
    Máme systém s 10 TiB BTRFS (2× 10T raid1) zaplněný na 90%. Archivujeme na něm kopie zákaznických instalací (stromy souborů) ve spoustě subvolumů a potřebovali bychom je deduplikovat abychom ušetřili místo.

    Zkoušel jsem příkaz
    duperemove -drA --dedupe-options=nofiemap --hashfile=/data/data.hash /data/
    ale padá na nedostatku paměti.

    Systém má 16 GiB a i přesto, že jsme měli připojený 256 GiB SSD jako swap device, tak to po cca měsíci spadlo. Tento program chce napřed vše načíst a až pak začne deduplikovat.

    Může mi někdo doporučit postup jak to zdeduplikovat aniž by to potřebovalo tolik paměti?

    Řešení dotazu:


    Odpovědi

    Řešení 1× (pet I. (tazatel))
    RealJ avatar 29.1.2025 16:57 RealJ | skóre: 10
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    a proc pouzivate duperemove a ne treba bees? https://github.com/Zygo/bees
    29.1.2025 17:41 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Andrěj, prehlásilo ťa to.
    29.1.2025 20:08 pavele
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Nemůžeš to zkusit pustit postupně na jednotlivé subvolumes?

    Zkusit nastavit velikost bloku na 64k? (-b 64K)

    https://wiki.tnonline.net/w/Blog/Duperemove

    https://unix.stackexchange.com/questions/711367/is-there-a-way-to-consolidate-deduplicate-btrfs
    30.1.2025 15:21 pet I. | skóre: 13
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Díky, myslím že bees použijeme. Jen ještě počkám na stabilní verzi 0.11, ta by měla být pro nás asi vhodnější než teď stabilní 0.10 a rc nechci na velkých datech riskovat.
    30.1.2025 14:41 Pozor!
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    To jako harddisky na zivem systemu povazujete za archivaci? Nez spustis bees nebo jiny dedupe tak se doporucuje full backup externi zaloha protoze pri dedupe muzou narust metadata a to pri 90% zaplnenosti zavani pruserem. Nejlevnejsi bude poridit externi disk a tam provest zalohu.
    30.1.2025 15:41 pet I. | skóre: 13
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    No "archivujeme", je to jen takový příruční archív.

    Originál je u zákazníka v provozu, většinou na dvou serverech (provozní, záložní), taky by si měl udržovat aktualizované instalační medium na externím HDD, a u nás držíme binární kopii (i s historií změn kterou asi nikdy neužijeme). No a kromě toho jsme schopni instalaci zrestaurovat nezávisle na tomto archivu, jen by to dalo více práce.
    30.1.2025 20:26 Bozpor?
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    je spis smutenjsi, ze dneska vetsina ajtaku nevi, co archivace je... archivace != zaloha
    30.1.2025 22:08 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Archív je ten ZIP súbor, a mohol by som ho vidieť?

    Napríklad na LTFS by mohol byť.
    31.1.2025 10:33 @
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    To uz onanujes :) zalohu muzes archivovat i archiv muze poslouzit jako zaloha
    31.1.2025 10:38 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Keď ti legislatíva nariaďuje napríklad 10 ročnú retenciu dát, tak vyjdú disky drahšie ako pásky. A disky sú aj menej spoľahlivé.
    31.1.2025 21:31 pavele
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Papír vyjde laciněj.
    31.1.2025 21:54 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Pozrel by som si cenové porovnanie archivácie papiera a pások na dnes už smiešnych 10TB údajov.
    1.2.2025 17:30 Peprnicek
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Zalezi jestli jen chces pro-forma vyhovet legislative nebo chces ty data o 10let i precist. Kdyz to druhe tak resis minimalne 3-2-1 zalohu a tak mas jak HDD tak i DAT, nebo co je prave technologickym hitem. A pripadne si priplatis i ulozeni v Artic World Archive :-D
    1.2.2025 19:39 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    DAT je audio páska, na tú by som údaje nearchivoval z viacerých dôvodov. Ak si ju pletieš s DDS (vyzerajú podobne), tak tie nemali garanciu udržania údajov 10 rokov. A tiež by som si pozrel dátové médiá ktoré majú v rozsahu skladovacích teplôt tebou odporúčaný "permafrost".

    Tie tvoje rady sú jak keby na teba na Linked.IN vyskočila reklama na kataster. Choď tam robiť, určite je tam pre teba voľné miesto.
    Max avatar 6.2.2025 08:39 Max | skóre: 73 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Nemusíš hned v Artic World Archive. U nás jsou poskytovatelé úložišť, které ti garantují nejvyšší úroveň zabezpečení, zaplombování, převozy a další věci, vše auditovatelné atd. A ty ceny nejsou nijak strašné, spíše dost levné, řekl bych.
    A navíc mají služby, že ti najdou to, co hledáš, do nějaké doby. Takže pokud u nich uchováváš hafec kontejnerů s papírama, tak ti jsou schopný do nějaké doby najít a dodat konkrétní papír.
    Zdar Max
    Měl jsem sen ... :(

    Založit nové vlákno • Nahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.