Dotaz: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?

[ja osobne]

Aký je váš názor? Máme na firme starší backup storage server CPU E3-1220, 32GB ECC RAM, 4 x 8TB HDD zraid2 a rozmýšľam nad zapnutím ZFS deduplikácie. Backup obsahuje hlavne diskové image desktopov, zálohy emailov (rsync), zálohy SQL databáz a kopec archívov. Budú prevažovať výhody alebo skôr nevýhody ? Bojím sa extrémneho zaťaženia CPU/RAM a zníženia výkonu zápisu/čítania diskov/sieťových kariet (2 x 1Gbps zvláda momentálne 2 x 100-115MB/s). Ďakujem.

Odpovědi

[Pavel 'TIGER' Růžička]

U toho CPU bych se také obával vytíženosti, ale zkusil bych to. Vypnout se to dá vždycky.

[X]

Precti si to cele.. /blog/Max_Devaine/2019/9/zfs-stavba-zkusenosti-se-zfs-storage

[Max]

Ahoj, nedoporučuji. U svého nasazení jsem nedošel k tomu, že by tam měl být nějaký přínos.
Každopádně tady jsem sepsal, jak si zjistit, zda na tvých datech to má smysl, či nikoli, a kolik tě to bude stát ram (zda jí budeš mít dostatek):
ZFS : Stavba a zkušenosti se ZFS storage
Zdar Max

[Peter Golis]

Zmysel by to malo ak človek potrebuje z nejakého dôvodu ušetriť diskový priestor a má zabezpečený dostatočný prietok na sieti.

Samotný ZFS robí blokovú deduplikáciu, a potrebuje si pri zápise vypočítať checksumm pre každý blok aby vedel či ho už má (a referencovať), alebo ešte nie (a tak ho pripísať na disk). Ak by CPU stíhalo, tak to môže zvýšiť prietok zápisu. Ale úzkym hrdlom u teba ostane sieťovka (2x 115MB/s == 2x 920Mb/s), takže sa to nemá ako urýchliť. Pokiaľ by ovšem nebola deduplikácia na zdroji, alebo navýšenie sieťovej konektivity.

[Max]

"Zmysel by to malo ak človek potrebuje z nejakého dôvodu ušetriť diskový priestor"

To není úplně tak pravda. Smysl to má jen v případě, že to deduplikace umožní, což mnohdy neumožní, protože povaha dat je taková, že při nasazení dedup se člověk dostane na mizerný ratio. Aby se dostal člověk na dobrý ratio, musí k tomu mít hodně specifická data. Až pak začne dávat smysl zkoumat, zda se pak dedup vyplatí (režie vs ušetřená kapacita).
Zdar Max

[Peter Golis]

Rozumný človek si hádam nechá prebehnúť štatistiky či sa mu to oplatí, ekosystém okolo ZFS mu to v pohode prepočíta aj bez fyzického zapnutia deduplikácie.

No, na druhú stranu som mal zákazníka ktorý očakával kompresiu pri zápise na pásky. Ale dáta už mal pred tým v komprimovaných formátoch. Takže to bola dobrá poznámka, len neviem či mala v prípade záloh "veľmi podobných" strojov aj nejaký zmysel.

[j]

Bavime se predpokladam o on the fly dedup => zapomen na to ...

Ty disky tim absolutne zabijes, tzn tech 100MB/s co ti to dava (a dalo by nejspis i mnohem vic) to neda ani ve snu. Budes si pak gratulovat za 1/10.

Co smysl davat muze je deduplikace scriptem (tady nevim jak na tom zfs aktualne je, ale co mi skleroza slouzi, melo by to jit), kde to pustis nekdy v dobe, kdy ty disky vlastne nepotrebujes. Ale rozhodne ne v okamziku, kdy na to zapisujes nejaky data.

Tady je potreba jeste podotknout, ze jakakoli deduplikace === fragmentace. Takze pripadnej cteci vykon pujde ponekud dolu v kazdym pripade.

---

Dete s tim guuglem dopice!