Dotaz: btrfs a deduplikace

[Jan]

Dobry den,

resim tu problem, ze se snazim z hystoricky asi 3 domacich serveru, kde ruzne umirali disky a byly zachranovany na ruzna mista , tedy ty zalohy jsou nelogicky na ruznych mistech. Pri ruznych laborovanich s programy jako fdup jsem nahodou zjistil, ze btrfs by mel toto umet tak nejak sam od sebe.

Mozna neco delam spatne, ale ma myslenka byla to vse prekopirovat na btrfs, ktery "pozna" ty duplicitni soubory a hotovo.

Bohuzel zazrak se nekonal - pochopil jsem to spatne , nebo jen neco spatne delam ?

PS: v navalu nadseni jsem pustil konverzi 4T ext3 fs na btrfs , bezi to uz asi 3 dni, jak to tak obvykle muze trvat ? je to zaplneny cca 95%. a po dvou dnech to vyplivlo jen :

csum result is 0 for block 3387648745472 csum result is 0 for block 2896416559104

Honza

---

---

Odpovědi

[Jan]

historicky

[Václav "Darm" Novák]

Deduplikace sama od sebe pokud vím zatím nefunguje, potřebuješ nějaký nástroj který duplicity najde a deduplikaci provede. https://btrfs.wiki.kernel.org/index.php/Deduplication

[Filip Jirsák]

Sám od sebe to nepozná – musel by mít databázi kontrolních součtů všech zapsaných bloků, a když něco zapisujete, nejprve spočítat ten kontrolní součet a zjistit, zda už takový blok neexistuje. Ne že by to nešlo naprogramovat, ale není to jednoduché udělat tak, aby to nebylo spíš ke škodě než k užitku. Automaticky to může udělat třeba tehdy, když kopírujete soubor v rámci toho btrfs systému – a aktuální verze třeba příkazu cp tohle udělat umí.

Je ale možné udělat následnou deduplikaci, což je to, co vy potřebujete. Tedy nejprve se data nakopírují s duplicitami, a pak spustíte deduplikaci, která ten výpočet kontrolních součtů pro celý souborový systém udělá jednorázově. Když budete hledat „btrfs deduplication“, najdete potřebné nástroje.

[Jan]

tak nasel jsem dva, bedup, ten se nainstaluje , ale v debian7 nechodi.

pokud tady cituju chybu, tak pri nahledu dostanu "Značka MODULE není povolena!"

druhy je duperemove a ten pro zmenu ani nejde zkompilovat.

jestli jsem to pochopil, tak stejneho vysledku bych dosahl pouzitim fdupes a hardlinku.

[Jan]

ten bedup hlasi zktacene : ImportError: cannot import name ExitStack

coz teda netusim, co je a google celkem taky mlci. Neni tu nahodou nekdo, komu to na Debianu 7 64 bit funguje ?