Dotaz: Deduplikace na větším BTRFS

[pet I.]

Máme systém s 10 TiB BTRFS (2× 10T raid1) zaplněný na 90%. Archivujeme na něm kopie zákaznických instalací (stromy souborů) ve spoustě subvolumů a potřebovali bychom je deduplikovat abychom ušetřili místo.

Zkoušel jsem příkaz

duperemove -drA --dedupe-options=nofiemap --hashfile=/data/data.hash /data/

ale padá na nedostatku paměti.

Systém má 16 GiB a i přesto, že jsme měli připojený 256 GiB SSD jako swap device, tak to po cca měsíci spadlo. Tento program chce napřed vše načíst a až pak začne deduplikovat.

Může mi někdo doporučit postup jak to zdeduplikovat aniž by to potřebovalo tolik paměti?

---

---

Odpovědi

[pet I.]

a proc pouzivate duperemove a ne treba bees? https://github.com/Zygo/bees

[Peter Golis]

Andrěj, prehlásilo ťa to.

[pavele]

Nemůžeš to zkusit pustit postupně na jednotlivé subvolumes?

Zkusit nastavit velikost bloku na 64k? (-b 64K)

https://wiki.tnonline.net/w/Blog/Duperemove

https://unix.stackexchange.com/questions/711367/is-there-a-way-to-consolidate-deduplicate-btrfs

[pet I.]

Díky, myslím že bees použijeme. Jen ještě počkám na stabilní verzi 0.11, ta by měla být pro nás asi vhodnější než teď stabilní 0.10 a rc nechci na velkých datech riskovat.

[Pozor!]

To jako harddisky na zivem systemu povazujete za archivaci? Nez spustis bees nebo jiny dedupe tak se doporucuje full backup externi zaloha protoze pri dedupe muzou narust metadata a to pri 90% zaplnenosti zavani pruserem. Nejlevnejsi bude poridit externi disk a tam provest zalohu.

[pet I.]

No "archivujeme", je to jen takový příruční archív.

Originál je u zákazníka v provozu, většinou na dvou serverech (provozní, záložní), taky by si měl udržovat aktualizované instalační medium na externím HDD, a u nás držíme binární kopii (i s historií změn kterou asi nikdy neužijeme). No a kromě toho jsme schopni instalaci zrestaurovat nezávisle na tomto archivu, jen by to dalo více práce.

[Bozpor?]

je spis smutenjsi, ze dneska vetsina ajtaku nevi, co archivace je... archivace != zaloha

[Peter Golis]

Archív je ten ZIP súbor, a mohol by som ho vidieť?

Napríklad na LTFS by mohol byť.

[@]

To uz onanujes :) zalohu muzes archivovat i archiv muze poslouzit jako zaloha

[Peter Golis]

Keď ti legislatíva nariaďuje napríklad 10 ročnú retenciu dát, tak vyjdú disky drahšie ako pásky. A disky sú aj menej spoľahlivé.

[pavele]

Papír vyjde laciněj.

[Peter Golis]

Pozrel by som si cenové porovnanie archivácie papiera a pások na dnes už smiešnych 10TB údajov.

[Peprnicek]

Zalezi jestli jen chces pro-forma vyhovet legislative nebo chces ty data o 10let i precist. Kdyz to druhe tak resis minimalne 3-2-1 zalohu a tak mas jak HDD tak i DAT, nebo co je prave technologickym hitem. A pripadne si priplatis i ulozeni v Artic World Archive

[Peter Golis]

DAT je audio páska, na tú by som údaje nearchivoval z viacerých dôvodov. Ak si ju pletieš s DDS (vyzerajú podobne), tak tie nemali garanciu udržania údajov 10 rokov. A tiež by som si pozrel dátové médiá ktoré majú v rozsahu skladovacích teplôt tebou odporúčaný "permafrost".

Tie tvoje rady sú jak keby na teba na Linked.IN vyskočila reklama na kataster. Choď tam robiť, určite je tam pre teba voľné miesto.

[Max]

Nemusíš hned v Artic World Archive. U nás jsou poskytovatelé úložišť, které ti garantují nejvyšší úroveň zabezpečení, zaplombování, převozy a další věci, vše auditovatelné atd. A ty ceny nejsou nijak strašné, spíše dost levné, řekl bych.
A navíc mají služby, že ti najdou to, co hledáš, do nějaké doby. Takže pokud u nich uchováváš hafec kontejnerů s papírama, tak ti jsou schopný do nějaké doby najít a dodat konkrétní papír.
Zdar Max