abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
včera 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 2
včera 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
včera 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
7.12. 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
7.12. 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 2
7.12. 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 10
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 28
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 808 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Pravidelné snapshoty do provedení zálohy

14.10.2015 10:45 Martin
Pravidelné snapshoty do provedení zálohy
Přečteno: 694×
Zdravím. Na serveru mám LVM a funkční snapshoty, který využívám zatím jen pro následné zálohování. Tzn. udělám snapshot a rcyncem to odvalím do zálohy. Následně snapshot zruším. Chtěl jsem to posunout ale dál a vykrýt místa mezi zálohama. Tzn. pokud si člověk něco smaže, abych mu to byl schopný vytáhnout v menším období, než je interval záloh (1 den). Napadá mě, že bych dělal např. každou hodinu nový snapshot. Vzniklo by mi jich dejme tomu 24, pak by proběhla ta denní záloha (rsync) a všechny snapshoty by se zrušily. No a pak by to začalo zase nanovo. Možnost obnovy historie by se mi tedy snížila na 1h. Je jasný, že pokud někdo něco vytvoří a smaže v rámci té hodiny, má smůlu, ale stav by se rozhodně oproti současnosti mnohonásobně zlepšil. Chtěl jsem se tedy zeptat, jestli na tohle generování a rušení snapshotů v konkrétním intervalu existuje nějaké hotové udělátko? Díky moc.

Odpovědi

Jesus Jimenez avatar 14.10.2015 12:37 Jesus Jimenez | skóre: 28
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Nechapu otazku...

cron?
Doaenův zákon průtahů: Čím pomaleji pracuješ, tím méně naděláš chyb. -- Murphy
14.10.2015 12:52 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Hotové udělátko neexistuje. Udělat by se to dalo pomocí Btrfs - na LVM snapshoty v tomto zapomeň.

A udělal bych to tak, že bych - dejme tomu - co hodinu dělal snapshot, ten poslední bych rsyncoval pryč a po přenesení rsyncem bych snapshoty starší než 24 hodin rušil. Popř. bych si udělal skript pro rsync-backup, který by z těch snapshotů dělal rozdílové zálohy a rušil by je pak postupně po vytvoření zálohy.
14.10.2015 13:20 majales | skóre: 20 | blog: Majales
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Taky bych se bál použít vícenásobné lvm snapshoty. Dost tím trpí I/O. Alespo%n když jsem to naposledy zkoušel.
15.10.2015 08:31 Martin
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
No a v čem teda tkví potenciál LVM snapshotů? Jen na zálohování rychle měnících se dat (MySQL atd.)? :)
15.10.2015 10:39 majales | skóre: 20 | blog: Majales
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Netvrdím, že to někde nějak nefunguje. Jen jsem při pokusech zjistil, že mi to dost omezuje I/O na tom lvm disku. Ale to může být také způsobené konfigurací mého HW. Asi bych hledal inspiraci v něčem takovém jako je https://github.com/mpalmer/lvmsync A nebo prohledej GitHub, určitě tam něco podobného tomu co chceš ty bude.
15.10.2015 10:53 Martin
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
jj, díky za tip, mrknu na to
15.10.2015 13:58 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
LVM snapshoty jsou zcela rozdílné od btrfs snapshotů. btrfs snapshot funguje v podstatě tak, že bloky na disku jsou při vytvořeném snapshotu ponechány a změny se zapisují do nových bloků. LVM snapshot defakto definuje nový oddíl. Při změně se jednak zapíše nová data do filesystemu standardního oddílu. Ale zároveň se zapíšou rozdílová data (to co bylo změněno) do oddílu, kde sídlí snapshot. Pokud mám 10 snapshotů, tak jakákoliv změna ve FS se musí rozdílově zapsat do všech 10 oddílů snapshotů, a tím pádem se systém v podstatě zastaví.

LVM snapshot je vhodný na okamžitou zálohu dat. Provede se snapshot, okamžitě se zálohuje, a po záloze se snapshot ihned zruší, aby jeho existence systém nezpomalovala.

BTRFS snapshsot výkonnostně skoro nevadí, jen se snižuje množsví volných bloků, které při zápisech má FS k dispozici, ale vzhledem k tomu že je to copy-on-write filesystem tak by na nové místo psal stejně, jen by mohl trochu více optimalizovat zápis.
14.10.2015 17:02 Ivan
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Jen poznamka. Snapshot je vlastne inkrementalni diff. Smazat snapshot = aplikovat diff, neni to uplne levna operace. Myslim, ze jedina moznost je vyzkouset to v konkretnim prostredi.
15.10.2015 12:44 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Jen poznamka. Snapshot je vlastne inkrementalni diff. Smazat snapshot = aplikovat diff, neni to uplne levna operace. Myslim, ze jedina moznost je vyzkouset to v konkretnim prostredi.
Mohu potvrdit - strávil jsem díky tomu o kompu minulou neděli odpoledne, večer i kus noci se sevřeným zadkem. A to jsem rušil "jenom" Btrfs snapshoty. Bylo jich cca 230 tisíc. Poprvé v životě jsem zažil, že namountování disku může trvat déle než dvě hodiny. A btrfs-cleaner čistil uvolněné místo ještě včera odpoledne.. U LVM si to nedokážu ani představit.
15.10.2015 13:25 hydrandt | skóre: 34 | blog: Kanál | Šanghaj
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Uh, ja si s vmware esxi netroufam jit ani do desitek :-) Nevim ale, zda-li je to implementaci snapshotu ve vmware, nebo pouzitymi raid radici.
I am Jack's wasted life.
17.10.2015 00:56 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
To se na tom disku, ale v podstatě nic nemohlo dít. Moje situace s btrfs snapshoty na root filesystemu u openSUSE asi z minulého roku byla taková že asi při 50 tém snapshotu se FS začal plnit "na doraz" volné byly jen jednotky procent a vůči s reálný potřebný objem byl cca 20-25%.

A o inkrementálním diffu. LVM snapshot v provozu je inkrementální diff. jeho smazání je naopak zrušení diff operace.

Btrfs má zajímavé vlastnosti a co se přesně děje na disku při smazání snapshotu jsem se zatím propátrat nesnažil. Nicméně moje pozorování je, že mazání velkých souborů trvá dlouho. Mám dva velké disky naformátované LUKS/btrfs a pokud přesouvám větši soubor (cca 1G) mezi disky, tak jednak přenos běží pomaleji než bych čekal cca 30-50 MB/s (na ext4 bez šifrování cca 100-140 MB/s) a také na konci přenosu (podle KDE teploměru) trvá ještě několik sekund až desítek, než soubor v podstatě v původním úložišti skončí. A to je mazání jediného souboru.
Heron avatar 16.10.2015 10:31 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Tohle u LVM neplatí (neplatilo v 2009, lvm již nepoužívám).

LVM nechá původní svazek tak jak je (normálně připojený, pro zápis, s tím LV se nic neděje), a snapshoty realizuje ukládáním změn.

Pokud dojde místo nebo je snapshot smazán příkazem, tak tato změnová data prostě zahodí a snapshot zmizí. Toto je velmi rychlé, nic se nemerguje.

LVM snapshoty fungují (fungovaly v roce 2009) přesně opačně, než u jiných systémů (obvykle se původní svazek nechá zmražený v čase pořízení snímku a někam se ukládají změnová data od tohoto okamžiku. Tady ne, tady je původní svazek normálně dostupný a zapisuje se na něj, kdežto pro snapshot se ukládají původní data v době pořízení snímku.)

Oba způsoby mají své výhody i nevýhody. LVM snapshoty jsou dobré pro případ pořízení snapu, jeho rychlé zálohy, rychlého smazání. Tohle třeba je problém ve vmware, kde zapracování snapshotu trvá a jakýkoliv provoz toho virtuálního disku ten proces jen zpomaluje.

COW FS tímto netrpí (ani jedním z uvedených problémů), COW stejně dělá kopii bloku při každém zápisu, tam je snapshot velmi levná záležitost, nic se nemerguje. Při odstranění snapshotu se jen značí bloky jako volné (resp. se jim sníží link count), úplně stejně, jako v případě rm.

Pokud má někdo 230 tisíc. snapshotů, tak si hold počká, ale v případě skutečné kopie a skutečného mazání na jiných fs, by si počkal také a mnohem déle.

16.10.2015 21:38 Andrej | skóre: 43 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy

LVM a snapshoty je řešení ve stylu vzít si nůžky a zatloukat tím hřebíky. Z LVM snapshotu se nedá korektně zálohovat, protože obsahuje nekonzistentní filesystém, pokud si člověk nemůže dovolit ošklivost typu unmount—snapshot—mount. Na opravdové snapshoty existují hotová udělátka zvaná ZFS a Btrfs. Automatické vytváření snapshotů a „ředění“ starších snapshotů už zajistí nějaký oneliner v cronu. Některé distribuce měly pro takové účely dokonce i GUI nástroj, ale má-li to být automatizované bez podpory ze strany uživatele, cron prostě musí stačit.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
19.10.2015 11:14 majales | skóre: 20 | blog: Majales
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
LVM snapshot je snapshot blokového zařízení, který neví nic o stavu filesystému který na něm běží. Kdežto snapshoty ZFS a BTRFS jsou snapshoty na úrovni filesystému které jsou vždy konzistentní. Je to tak? Kdyžtak mě někdo opravte.
Josef Kufner avatar 19.10.2015 12:34 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Ano. A právě proto už z principu nemůže být LVM snapshot pořízený za běhu konzistentní. Pokud však uděláš snapshot v době, kdy je filesystém odpojený, nebo read-only, tak je vše v pořádku.
Hello world ! Segmentation fault (core dumped)
19.10.2015 13:18 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Určitě je ZFS a BTRFS snapshot konzistentní? Podle mne snapshot z principu je záznam stavu filesystému v jeden konkrétní okamžik a ten je na otevřeném filesystému nekonzistentní vždy. A jestliže v tomto okamžiku mám otevřené soubory a případně do nich zapisuji, tak bych měl mít na jakémkoliv systému rozlišeno to, co jsem zapsal těsně před snapshotem (bude v snapshotu) a těsně po něm (v snapshotu nebude). Stejně tak v snapshotu by asi mělo být zaznamenáno, co otevřeno v daný okamžik je a co není.

Tím ale neobhajuji LVM snapshot. Ten je pouze zoufalá snaha dostat záznam okamžitého stavu do filesystému, kde něco takového není od začátku. A s mnoha závažnými důsledky pro výkon.
Heron avatar 19.10.2015 14:04 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Určitě je ZFS a BTRFS snapshot konzistentní?

Je konzistentní z hlediska fs. To, že se snapshot pořídí někde uprostřed operace nějakého programu fs neřeší, protože o tom programu nic neví.

Lze to ale udělat opačně, tedy stavem toho programu řídit snapshoty.

Vzhledem k tomu, že můžete mít subvolumů kolik chcete, můžete data toho programu umístit na vlastní subvolume a snapshotování si budete řídit s ohledem na ten program. (Programu se pošle příkaz "teď si všechno ulož a nic nedělej" a udělá se snapshot a program se volně nechá pokračovat. -- např. pg_start_backup, snapshot, pg_stop_backup)

Pochopitelně totéž lze udělat i s LVM, ale tam je zase problém s distribucí volného místa (mít stovky LV a na nich nějak velký fs s nějakým volným místem) není tak jednoduché*.

*) Zkoušel někdo LVM a thin provisioning? Potom by ten fs nad tím mohl označovat volné bloky (discard) a do LVM poolu by se vracely bloky. Tím by šlo redistribuovat volné místo i na LVM.
19.10.2015 14:30 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Pochopitelně totéž lze udělat i s LVM, ale tam je zase problém s distribucí volného místa (mít stovky LV a na nich nějak velký fs s nějakým volným místem) není tak jednoduché*.
No právě. Myslím, že z hlediska konzistence není mezi přístupem LVM a BTRFS/ZFS principielně rozdíl. Nebo podobně silná konzistence lze dosáhnout i na LVM i když pracněji. To co dělá diametrální rozdíl je samozřejmě, to jak se snapshot vytváří. V ZFS a BTRFS se jenom bloky ve snapshotu neuvolní, v LVM se pořád zapisují rozdíly. A tam se použití přiblížit nedá.
Josef Kufner avatar 19.10.2015 15:44 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
V principu rozdíl sice není, prakticky však máš nad LVM dvě nekonzistentní vrstvy – filesystém a aplikace, kdežto u BTRFS jen jednu – aplikace. Pokud LVM a filesystém spolupracují, jak píše Heron níže, pak to už vyjde nastejno.

Způsob implementace snapshotu už je věc druhá.
Hello world ! Segmentation fault (core dumped)
Heron avatar 19.10.2015 13:51 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Není to tak úplně přesné. FS mají prostředky (xfs na to má i program xfs_freeze*) pro pozastavení činnosti a uvedení fs do konzistentního stavu. LVM se před pořízením snapshotu snaží fs informovat a tento fs, pokud tuto funkci podporuje, se uvede do stavu vhodného pro pořízení snapshotu. Pokud to fs nepodporuje, tak se prostě udělá snapshot mezi dvěma fsync nebo flush.

*) xfs_freeze halts new access to the filesystem and creates a stable image on disk. xfs_freeze is intended to be used with volume managers and hardware RAID devices that support the creation of snapshots.
20.10.2015 10:47 majales | skóre: 20 | blog: Majales
Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
Nevíte někdo zda a jak funguje fsfreeze pro kvm? Měla by existovat volání guest-file-flush a guest-fsfreeze-freeze pro zmražení filesystému guesta, které se zavolá přes QEMU guest agenta. Něco jsem našel tady, ale nejsem z toho moc moudrý.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.