abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 23:33 | Nová verze

    Byla vydána nová verze 9.13 z Debianu vycházející linuxové distribuce DietPi pro (nejenom) jednodeskové počítače. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    včera 21:44 | Komunita

    Na čem aktuálně pracují vývojáři GNOME a KDE Plasma? Pravidelný přehled novinek v Týden v GNOME a Týden v KDE Plasma.

    Ladislav Hagara | Komentářů: 0
    včera 16:33 | Nová verze

    Byla vydána nová stabilní verze 3.22.0, tj. první z nové řady 3.22, minimalistické linuxové distribuce zaměřené na bezpečnost Alpine Linux (Wikipedie) postavené na standardní knihovně jazyka C musl libc a BusyBoxu. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    30.5. 00:33 | IT novinky

    FEL ČVUT vyvinula robotickou stavebnici pro mladé programátory. Stavebnice Brian byla navržená speciálně pro potřeby populární Robosoutěže. Jde ale také o samostatný produkt, který si může koupit každý fanoušek robotiky a programování od 10 let, ideální je i pro střední školy jako výuková pomůcka. Jádro stavebnice tvoří programovatelná řídicí jednotka, kterou vyvinul tým z FEL ČVUT ve spolupráci s průmyslovými partnery. Stavebnici

    … více »
    Ladislav Hagara | Komentářů: 41
    29.5. 20:33 | Komunita

    Ubuntu bude pro testování nových verzí vydávat měsíční snapshoty. Dnes vyšel 1. snapshot Ubuntu 25.10 (Questing Quokka).

    Ladislav Hagara | Komentářů: 0
    29.5. 14:55 | Nová verze

    Společnost Netgate oznámila vydání nové verze 2.8.0 open source firewallové, routovací a VPN platformy pfSense (Wikipedie) postavené na FreeBSD. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    29.5. 14:00 | Nová verze

    Byla vydána nová verze 6.16 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Tor Browser byl povýšen na verzi 14.5.3. Linux na verzi 6.1.140. Další změny v příslušném seznamu.

    Ladislav Hagara | Komentářů: 0
    29.5. 12:33 | Zajímavý článek

    Člověk odsouzený za obchod s drogami daroval letos ministerstvu spravedlnosti 468 kusů kryptoměny bitcoin, které pak resort v aukcích prodal za skoro miliardu korun. Darováním se zabývá policejní Národní centrála proti organizovanému zločinu (NCOZ). Deníku N to potvrdil přímo ministr spravedlnosti Pavel Blažek (ODS). Podle resortu bylo nicméně vše v souladu s právem.

    Ladislav Hagara | Komentářů: 58
    28.5. 20:44 | Nová verze

    Svobodný a otevřený multiplatformní editor EPUB souborů Sigil (Wikipedie, GitHub) byl vydán ve verzi 2.5.0. Stejně tak doprovodný vizuální EPUB XHTML editor PageEdit (GitHub).

    Ladislav Hagara | Komentářů: 0
    28.5. 12:22 | IT novinky

    Na základě národního atribučního procesu vláda České republiky označila Čínskou lidovou republiku za zodpovědnou za škodlivou kybernetickou kampaň proti jedné z neutajovaných komunikačních sítí Ministerstva zahraničních věcí ČR. Tato škodlivá aktivita, která trvala od roku 2022 a zasáhla instituci zařazenou na seznam české kritické infrastruktury, byla provedena kyberšpionážní skupinou APT31, veřejně spojovanou se zpravodajskou službou Ministerstvo státní bezpečnosti (MSS).

    Ladislav Hagara | Komentářů: 52
    Jaký je váš oblíbený skriptovací jazyk?
     (55%)
     (32%)
     (7%)
     (2%)
     (0%)
     (1%)
     (3%)
    Celkem 168 hlasů
     Komentářů: 13, poslední 30.5. 12:26
    Rozcestník

    Dotaz: Deduplikace na větším BTRFS

    29.1. 16:27 pet I. | skóre: 13
    Deduplikace na větším BTRFS
    Přečteno: 903×
    Máme systém s 10 TiB BTRFS (2× 10T raid1) zaplněný na 90%. Archivujeme na něm kopie zákaznických instalací (stromy souborů) ve spoustě subvolumů a potřebovali bychom je deduplikovat abychom ušetřili místo.

    Zkoušel jsem příkaz
    duperemove -drA --dedupe-options=nofiemap --hashfile=/data/data.hash /data/
    ale padá na nedostatku paměti.

    Systém má 16 GiB a i přesto, že jsme měli připojený 256 GiB SSD jako swap device, tak to po cca měsíci spadlo. Tento program chce napřed vše načíst a až pak začne deduplikovat.

    Může mi někdo doporučit postup jak to zdeduplikovat aniž by to potřebovalo tolik paměti?

    Řešení dotazu:


    Odpovědi

    Řešení 1× (pet I. (tazatel))
    29.1. 16:57 RealJ | skóre: 8
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    a proc pouzivate duperemove a ne treba bees? https://github.com/Zygo/bees
    29.1. 17:41 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Andrěj, prehlásilo ťa to.
    29.1. 20:08 pavele
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Nemůžeš to zkusit pustit postupně na jednotlivé subvolumes?

    Zkusit nastavit velikost bloku na 64k? (-b 64K)

    https://wiki.tnonline.net/w/Blog/Duperemove

    https://unix.stackexchange.com/questions/711367/is-there-a-way-to-consolidate-deduplicate-btrfs
    30.1. 15:21 pet I. | skóre: 13
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Díky, myslím že bees použijeme. Jen ještě počkám na stabilní verzi 0.11, ta by měla být pro nás asi vhodnější než teď stabilní 0.10 a rc nechci na velkých datech riskovat.
    30.1. 14:41 Pozor!
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    To jako harddisky na zivem systemu povazujete za archivaci? Nez spustis bees nebo jiny dedupe tak se doporucuje full backup externi zaloha protoze pri dedupe muzou narust metadata a to pri 90% zaplnenosti zavani pruserem. Nejlevnejsi bude poridit externi disk a tam provest zalohu.
    30.1. 15:41 pet I. | skóre: 13
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    No "archivujeme", je to jen takový příruční archív.

    Originál je u zákazníka v provozu, většinou na dvou serverech (provozní, záložní), taky by si měl udržovat aktualizované instalační medium na externím HDD, a u nás držíme binární kopii (i s historií změn kterou asi nikdy neužijeme). No a kromě toho jsme schopni instalaci zrestaurovat nezávisle na tomto archivu, jen by to dalo více práce.
    30.1. 20:26 Bozpor?
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    je spis smutenjsi, ze dneska vetsina ajtaku nevi, co archivace je... archivace != zaloha
    30.1. 22:08 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Archív je ten ZIP súbor, a mohol by som ho vidieť?

    Napríklad na LTFS by mohol byť.
    31.1. 10:33 @
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    To uz onanujes :) zalohu muzes archivovat i archiv muze poslouzit jako zaloha
    31.1. 10:38 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Keď ti legislatíva nariaďuje napríklad 10 ročnú retenciu dát, tak vyjdú disky drahšie ako pásky. A disky sú aj menej spoľahlivé.
    31.1. 21:31 pavele
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Papír vyjde laciněj.
    31.1. 21:54 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Pozrel by som si cenové porovnanie archivácie papiera a pások na dnes už smiešnych 10TB údajov.
    1.2. 17:30 Peprnicek
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Zalezi jestli jen chces pro-forma vyhovet legislative nebo chces ty data o 10let i precist. Kdyz to druhe tak resis minimalne 3-2-1 zalohu a tak mas jak HDD tak i DAT, nebo co je prave technologickym hitem. A pripadne si priplatis i ulozeni v Artic World Archive :-D
    1.2. 19:39 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    DAT je audio páska, na tú by som údaje nearchivoval z viacerých dôvodov. Ak si ju pletieš s DDS (vyzerajú podobne), tak tie nemali garanciu udržania údajov 10 rokov. A tiež by som si pozrel dátové médiá ktoré majú v rozsahu skladovacích teplôt tebou odporúčaný "permafrost".

    Tie tvoje rady sú jak keby na teba na Linked.IN vyskočila reklama na kataster. Choď tam robiť, určite je tam pre teba voľné miesto.
    Max avatar 6.2. 08:39 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Deduplikace na větším BTRFS
    Nemusíš hned v Artic World Archive. U nás jsou poskytovatelé úložišť, které ti garantují nejvyšší úroveň zabezpečení, zaplombování, převozy a další věci, vše auditovatelné atd. A ty ceny nejsou nijak strašné, spíše dost levné, řekl bych.
    A navíc mají služby, že ti najdou to, co hledáš, do nějaké doby. Takže pokud u nich uchováváš hafec kontejnerů s papírama, tak ti jsou schopný do nějaké doby najít a dodat konkrétní papír.
    Zdar Max
    Měl jsem sen ... :(

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.