Dotaz: DD a volne miesto

[Ladislav]

Robim image disku cez DD,tar.xz a ssh, ako ale dosiahnut zrychlenie a zmensenie obrazu disku tym ze vynecham neobsadene miesto ?

---

---

Odpovědi

[ik]

Zaplnit nejprve prázdné místo výstupem z /dev/zero?

[Josef Kufner]

Pokud používáš SSD, tak může pomoci používání trim/discard. Disk by teoreticky měl vracet nuly při čtení uvolněných bloků (ale taky může vracet libovolný bordel).

Jinak:

cat /dev/zero > dočasný-soubor; rm dočasný-soubor

A komprimuj dřív, než to pošleš po síti (nuly se komprimují velmi dobře).

[cronin]

Ja používam toto:

{noformat} dd if=/dev/zero of=delete.me conv=fsync ; rm delete.me ; sync {noformat}

Tuším existuje nejaký deamon, ktorý na pozadí udržiava väčšinu prázdnych blokov vynulovaných.

[cronin]

{noformat}

Takt to dopadne, keď celý deň používate Jiru.

[k3dAR]

ten deamon buse asi jak psal Josef pro trim, tedy fstrim, ale neni to deamon, ale je to poustene (v zavislosti na distribuci) pres cron jednou tydne, tedy pokud by delal image zrovna 6.5 dne od posledniho cronem pusteneho fstrim tak nebude mit uvolnene smazane za tech 6.5 dni, coz pokud pred vytvarenim image se da ocekavat ze promazava bordel...

takze staci (teoreticky) pustit fstrim pred delanim image, ale pak stale zalezi (opet jak uz psal Josef) na tom co zrovna to dane SSD (vyrobce,model) vraci pri cteni smazanych bloku, zda nuly(ci neco jineho plosne totozneho) nebo bordel (=nekomprimovatelny)...

pak je jeste moznost udelat zalohu pres partimage (ten vynechava automaticky nepouzite misto) a prohnat to pres kompresor, nebo zalohu pres tar, nebo pokud ma jit o "parclick" a vcetne rozdeleni disku, bootloaderu atd, tak Clonezillou (ta pouzije partclone automaticky, zkomprimuje, zazalohuje rozdeleni, info o hw atd..)...

[cronin]

ten deamon buse asi jak psal Josef pro trim, tedy fstrim, ...

Nie.

takze staci (teoreticky) pustit fstrim pred delanim image, ...

Každá teória je šedivá, len strom života je večne zelený. (Goethe)

[k3dAR]

> nie

tak bud jde o fstrim poustenej cronem, nebo o mount volbu discard, ani jedno neni deamon, pokud mas jine informace napis neco jineho nez nie

[cronin]

To je ten problém, nepamätám si, ako sa ten program volal. Ale fstrim to zaručenie nie je, ten poznám a používam. Spomenul som to v nádeji, že sa niekto chytí a pripomenie mi ho.

[Jendа]

1) Například můj Kingston V300 bloky po trimu nevynuluje, pravděpodobně je vynuluje až v okamžiku, kdy je potřebuje pro realokaci jinam.

2) Na ext4 existuje utilita zerofree, která dělá nulování lépe než vytvoření souboru s nulami.

[cronin]

Čo znamená "lepšie"? Sú nuly oblejšie?

[Peter Golis]

Nuly síce niesú nulovejšie, ale zerofree vyžaduje exkluzívny zápis na prepisovaný disk. Takže buď ho musíš pred nulovaním odpojiť, alebo aspoň prepojiť len na čítanie.

A navyše sa zerofree nedá použiť na iný ako EXT FS.

[cronin]

Nooo, tomu vravím samé výhody! :-/

Teraz vážne, viem si predstaviť, že niekomu to vyhovuje, pre moje použitie je to nepoužiteľné.

YMMV

[Peter Golis]

Podobné úskalia nájdeš aj keď chceš vynulovať miesto pre FS s zapnutou deduplikáciou. To s dd nedáš, ani keby si sa rozkrájal. Každému neulahodíš, ani keby si prisypal morskú soľ na karamelky.

[k3dAR]

tak dle man: popisuje zerofree jake dd ma nevyhody:

·  it is slow;
·  it makes the disk image (temporarily) grow to its maximal extent;
·  it (temporarily) uses all  free  space  on  the  disk,  so  other
      concurrent write actions may fail.

sice ten posledni bod pada tim ze je pro zerofree potreba mit pripojeno readonly
jeste v popisu ma zerofree:

zerofree  finds  the unallocated, blocks with non-zero value content

tedy neprepisuje zbytecne prazdne bloky ktere uz jsou nulove...

[lertimir]

No to asi záleží na HW. Trim SSD v principu neříká, že ho má vynulovat, ale to, že už neobsahuje relevantní data a může si s tím HW dělat, co chce. Navíc mazací blok je obrovský. už před cca 7 lety to bylo 512k buněk a s TLC buňkami to není ani číslo dvojkové mocniny.

[R]

Namiesto dd pouzi partclone. Ten rozumie filesystemu a kopiruje len obsadene bloky.

[lertimir]

sice ne všem ale hodně ano.