Portál AbcLinuxu, 3. prosince 2021 13:42




Dotaz: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?

5.10. 11:56 ja osobne
Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?
Přečteno: 491×
Odpovědět | Admin
Aký je váš názor? Máme na firme starší backup storage server CPU E3-1220, 32GB ECC RAM, 4 x 8TB HDD zraid2 a rozmýšľam nad zapnutím ZFS deduplikácie. Backup obsahuje hlavne diskové image desktopov, zálohy emailov (rsync), zálohy SQL databáz a kopec archívov. Budú prevažovať výhody alebo skôr nevýhody ? Bojím sa extrémneho zaťaženia CPU/RAM a zníženia výkonu zápisu/čítania diskov/sieťových kariet (2 x 1Gbps zvláda momentálne 2 x 100-115MB/s). Ďakujem.
Nástroje: Začni sledovat (0) ?Zašle upozornění na váš email při vložení nového komentáře.

Odpovědi

Pavel 'TIGER' Růžička avatar 5.10. 12:14 Pavel 'TIGER' Růžička | skóre: 52
Rozbalit Rozbalit vše Re: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?
Odpovědět | | Sbalit | Link | Blokovat | Admin
U toho CPU bych se také obával vytíženosti, ale zkusil bych to. Vypnout se to dá vždycky.
5.10. 12:19 X
Rozbalit Rozbalit vše Re: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?
Odpovědět | | Sbalit | Link | Blokovat | Admin
Precti si to cele.. /blog/Max_Devaine/2019/9/zfs-stavba-zkusenosti-se-zfs-storage
Max avatar 5.10. 12:20 Max | skóre: 69 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?
Odpovědět | | Sbalit | Link | Blokovat | Admin
Ahoj, nedoporučuji. U svého nasazení jsem nedošel k tomu, že by tam měl být nějaký přínos.
Každopádně tady jsem sepsal, jak si zjistit, zda na tvých datech to má smysl, či nikoli, a kolik tě to bude stát ram (zda jí budeš mít dostatek):
ZFS : Stavba a zkušenosti se ZFS storage
Zdar Max
Měl jsem sen ... :(
5.10. 13:54 Peter Golis | skóre: 62 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?
Odpovědět | | Sbalit | Link | Blokovat | Admin
Zmysel by to malo ak človek potrebuje z nejakého dôvodu ušetriť diskový priestor a má zabezpečený dostatočný prietok na sieti.

Samotný ZFS robí blokovú deduplikáciu, a potrebuje si pri zápise vypočítať checksumm pre každý blok aby vedel či ho už má (a referencovať), alebo ešte nie (a tak ho pripísať na disk). Ak by CPU stíhalo, tak to môže zvýšiť prietok zápisu. Ale úzkym hrdlom u teba ostane sieťovka (2x 115MB/s == 2x 920Mb/s), takže sa to nemá ako urýchliť. Pokiaľ by ovšem nebola deduplikácia na zdroji, alebo navýšenie sieťovej konektivity.
Max avatar 5.10. 14:10 Max | skóre: 69 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?
"Zmysel by to malo ak človek potrebuje z nejakého dôvodu ušetriť diskový priestor"

To není úplně tak pravda. Smysl to má jen v případě, že to deduplikace umožní, což mnohdy neumožní, protože povaha dat je taková, že při nasazení dedup se člověk dostane na mizerný ratio. Aby se dostal člověk na dobrý ratio, musí k tomu mít hodně specifická data. Až pak začne dávat smysl zkoumat, zda se pak dedup vyplatí (režie vs ušetřená kapacita).
Zdar Max
Měl jsem sen ... :(
5.10. 16:58 Peter Golis | skóre: 62 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?
Rozumný človek si hádam nechá prebehnúť štatistiky či sa mu to oplatí, ekosystém okolo ZFS mu to v pohode prepočíta aj bez fyzického zapnutia deduplikácie.

No, na druhú stranu som mal zákazníka ktorý očakával kompresiu pri zápise na pásky. Ale dáta už mal pred tým v komprimovaných formátoch. Takže to bola dobrá poznámka, len neviem či mala v prípade záloh "veľmi podobných" strojov aj nejaký zmysel.
5.10. 16:38 j
Rozbalit Rozbalit vše Re: Zapínať na TrueNAS storage serveri ZFS deduplikáciu ?
Odpovědět | | Sbalit | Link | Blokovat | Admin
Bavime se predpokladam o on the fly dedup => zapomen na to ...

Ty disky tim absolutne zabijes, tzn tech 100MB/s co ti to dava (a dalo by nejspis i mnohem vic) to neda ani ve snu. Budes si pak gratulovat za 1/10.

Co smysl davat muze je deduplikace scriptem (tady nevim jak na tom zfs aktualne je, ale co mi skleroza slouzi, melo by to jit), kde to pustis nekdy v dobe, kdy ty disky vlastne nepotrebujes. Ale rozhodne ne v okamziku, kdy na to zapisujes nejaky data.

Tady je potreba jeste podotknout, ze jakakoli deduplikace === fragmentace. Takze pripadnej cteci vykon pujde ponekud dolu v kazdym pripade.

---

Dete s tim guuglem dopice!

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.