Administrace komentářů

Zdar odbornici!

Nevyznam se v potrebnych detailech v tom, co vsechno se deje na disku, jak casto se tam co meni a kde, kdyz nemam na mysli jen samotna data.

Mam nasledujici scenar:
KVM virtualky pouzivaji jako disky lvm logicke svazky (raw). Tyto zalohuju na jiny pocitac tak, ze nejprve necham lokalne vytvorit komprimovane kopie. Potom je pomoci rsync k sobe stahuje zalohovac (dirvish - ten je take iniciatorem lokalni pripravy dat) s tim, ze stahuje k sobe jen rozdilna data a po siti netece cely obraz disku.

Zjistil jsem, ze kdyz pouziju lzo komprimaci, tak je to nejen rychle, kdyz ma lzo rychlost v popisu prace, ale zaroven neni prilis velky rozdil ve vysledne velikosti oproti gzipu a hlavne jsou komprimovane vysledky datove velmi podobne predchozim komprimovanym souborum z predeslych zaloh.

Speedup se na ruznych serverech s ruznymi daty virtualnich disku pohybuje klidne az kolem 300 (jinde 9, jinde 46, jinde 110...) zatimco s gzipem to bylo vzdy jen 1,0x.

Takze kdyz kouknu namatkou na nejaky server, tak vidim, ze celkova pripravena data jsou o velikosti 63GB a skutecne prenesenych dat po siti bylo jen 569MB.
Dirvish uklada data tak, ze soubory bez zmeny jen linkuje a tim vyznamne setri misto (deduplikace), ale soubory s jakoukoliv zmenou do nove zalohy nakopiruje cele (sestavi je z predchozich ulozenych dat, proto se po siti prenese jen tech 569MB ale na disku potom pribude celych 63GB, ktere tam ted uz lezi 2x - jednou z predchozi zalohy a podruhe z aktualni zalohy).

Az sem je to jasne a neni co resit. Funguje to tak uz leta.

Jenze spekuluju nad tim, jak ukladat jen rozdily tech zaloh? Mam vsak obavu, ze uloha nema reseni, ale nez to zcela zavrhnu, tak zkousim, zda vas nekoho nenapadne reseni v tomto bode.

Napadlo me neco, co se ukazalo jako slepa ulicka. Zkusil jsem vysledny soubor jednoduse rozdelit na spoustu malych casti. Klidne treba na 1000 kousku rozsekany puvodni disk a mylne jsem doufal, ze z te tisicovky malych kousku bude cela rada tech, ktere nemaji zadnou zmenu. cekal jsem tedy, ze kdyz probehne nekolik takovychto zaloh, tak se ukaze, ze spousta tech malych fajlu budou stejne (na zalohovaci tedy jen linky) a ze tim nakonec usetrim spoustu mista, Jenze ne! Kazdy jeden file byl vzdy zmeneny! Vzdy v nem byla zmena i kdyz jsem udelal zalohy hned po sobe v rozmezi jekolika minut behu systemu! Nenasel se ani jediny kousek, ktery by nemel zmenu! Rikal jsem si, ze zkusim udelat totez bez komprimace, ale taky bez vysledku! Zmena v kazdem kousicku!

Ja vlastne ani nevim odkud se tuhle zmeny berou? Je divne, ze by v kazdem kousku disku (resp. takhle rovnomerne rozlozene) doslo k nejakemu zapisu, ne?
I informace o datu pristupu se (snad?) uklada na zacatek disku, ne?
Pokud by data pri rozdelovani byla nejak posunuta, tak by to muselo (snad?) byt posunute v celem ukladanem fajlu nejak a tak by ani rsync nebyl tak moc uspesny, ne..?

Mam tedy k vyse uvedenmu 2 otazky:
1. odkud se berou ty zmeny v celem objemu dat?
2. kdyz by se rozlustil bod 1, tak ucelem toho vseho je docilit nejak toho rozdiloveho zalohovani. Nejlepe tedy rozdelenim na kousky, ktere se nemeni a ty ktere se meni... ale i zcela jiny pohled na rozdilovou zalohu obrazu disku by mne velmi obohatil. K vyse uvedenemu dodavam, ze se jedna o ruzne FS uvnitr tech zalohovanych disku a deje se to u vsech. Format LVM disku je raw.

Dekuju za pripadnou pozornost.