abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

19.1. 18:55 | Komunita

NHSbuntu (Joinup, prezentace) měla být z Ubuntu vycházející linuxová distribuce přizpůsobená pro potřeby britské Národní zdravotní služby (NHS). NHS se název nelíbil, nejednalo se o oficiální projekt NHS, a proto bylo NHSbuntu v září loňského roku přejmenováno na NHoS. Vývojáři NHoS tento týden oznámili, že NHS se nelíbí ani název NHoS a už nemají sílu na další přejmenování a pokračování v projektu. Dodávají, že několik jednání s vedením

… více »
Ladislav Hagara | Komentářů: 2
19.1. 18:44 | Pozvánky

Koncem ledna, 29. 1. 2018 od 17 do 20 hodin se v Akademii CZ.NIC uskuteční večer s Turrisem.

Co bude na programu?… více »
Miška | Komentářů: 3
19.1. 18:33 | Pozvánky

Na tri dni sa hlavné mesto Slovenska po tretíkrát zmení na miesto s najväčšou koncentráciou profesionálnych programátorov, systémových administrátorov, učiteľov informatiky aj technologických nadšencov. Hlavným lákadlom bude konferencia PyCon SK 2018, určená záujemcom o Python, jeden z najpopulárnejších programovacích jazykov na svete.

… více »
RicCo386 | Komentářů: 1
19.1. 18:22 | Pozvánky

Letošní ročník konference Prague PostgreSQL Developer Day se koná ve dnech 14. 2. a 15. 2. 2018. Zveřejněn byl program s přednáškami a školeními. Otevřena byla také registrace na konferenci.

TomasVondra | Komentářů: 0
19.1. 11:33 | Komunita

Společnost Canonical stojící za linuxovou distribucí Ubuntu oznámila dostupnost nástroje pro týmovou spolupráci Slack (Wikipedie) ve formátu snap. Instalovat jej lze ze Snapcraftu. Slack pro Linux je dostupný také ve formátu klasických balíčků pro Ubuntu a Fedoru.

Ladislav Hagara | Komentářů: 9
18.1. 17:33 | Nová verze

Po roce vývoje od vydání verze 2.0 a 6 000 změnách byla vydána nová stabilní verze 3.0 softwaru, který vytváří aplikační rozhraní umožňující chod aplikací pro Microsoft Windows také pod GNU/Linuxem, Wine (Wikipedie). Z novinek lze zdůraznit například podporu Direct3D 10 a 11. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 14
18.1. 13:44 | Zajímavý projekt

V říjnu loňského roku úspěšně skončila kampaň na podporu chytrého telefonu Librem 5, jenž by měl respektovat bezpečnost, svobodu a soukromí uživatelů. Společnost Purism informuje o aktuálním vývoji tohoto telefonu. Místo plánovaného SoC i.MX6 by měl být použit úspornější i.MX8.

Ladislav Hagara | Komentářů: 4
18.1. 12:33 | Zajímavý projekt

V květnu loňského roku měl na YouTube premiéru krátký animovaný film Agent 327: Operation Barbershop. Blender Animation Studio včera zveřejnilo alternativní konec tohoto filmu.

Ladislav Hagara | Komentářů: 0
18.1. 05:55 | Bezpečnostní upozornění

Společnost Oracle vydala čtvrtletní bezpečnostní aktualizaci svých softwarových produktů (CPU, Critical Patch Update). Opraveno bylo celkově 237 bezpečnostních chyb. V Oracle Java SE je například opraveno 21 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 18 z nich. V Oracle MySQL je opraveno 25 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 6 z nich.

Ladislav Hagara | Komentářů: 0
17.1. 20:55 | Komunita

Linux ve VirtualBoxu nebude potřebovat Přídavky pro hosta (Guest Additions). Budou součástí linuxového jádra. Ovladač vboxguest by se měl dostat do Linuxu 4.16. Ovladač vboxsf by měl následovat.

Ladislav Hagara | Komentářů: 27
Jak se vás potenciálně dotkne trend odstraňování analogového audio konektoru typu 3,5mm jack z „chytrých telefonů“?
 (7%)
 (1%)
 (1%)
 (1%)
 (77%)
 (13%)
Celkem 1349 hlasů
 Komentářů: 53, poslední 17.1. 16:55
    Rozcestník

    Dotaz: Pravidelné snapshoty do provedení zálohy

    14.10.2015 10:45 Martin
    Pravidelné snapshoty do provedení zálohy
    Přečteno: 770×
    Zdravím. Na serveru mám LVM a funkční snapshoty, který využívám zatím jen pro následné zálohování. Tzn. udělám snapshot a rcyncem to odvalím do zálohy. Následně snapshot zruším. Chtěl jsem to posunout ale dál a vykrýt místa mezi zálohama. Tzn. pokud si člověk něco smaže, abych mu to byl schopný vytáhnout v menším období, než je interval záloh (1 den). Napadá mě, že bych dělal např. každou hodinu nový snapshot. Vzniklo by mi jich dejme tomu 24, pak by proběhla ta denní záloha (rsync) a všechny snapshoty by se zrušily. No a pak by to začalo zase nanovo. Možnost obnovy historie by se mi tedy snížila na 1h. Je jasný, že pokud někdo něco vytvoří a smaže v rámci té hodiny, má smůlu, ale stav by se rozhodně oproti současnosti mnohonásobně zlepšil. Chtěl jsem se tedy zeptat, jestli na tohle generování a rušení snapshotů v konkrétním intervalu existuje nějaké hotové udělátko? Díky moc.

    Odpovědi

    Jesus Jimenez avatar 14.10.2015 12:37 Jesus Jimenez | skóre: 28
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Nechapu otazku...

    cron?
    Doaenův zákon průtahů: Čím pomaleji pracuješ, tím méně naděláš chyb. -- Murphy
    14.10.2015 12:52 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Hotové udělátko neexistuje. Udělat by se to dalo pomocí Btrfs - na LVM snapshoty v tomto zapomeň.

    A udělal bych to tak, že bych - dejme tomu - co hodinu dělal snapshot, ten poslední bych rsyncoval pryč a po přenesení rsyncem bych snapshoty starší než 24 hodin rušil. Popř. bych si udělal skript pro rsync-backup, který by z těch snapshotů dělal rozdílové zálohy a rušil by je pak postupně po vytvoření zálohy.
    14.10.2015 13:20 majales | skóre: 22 | blog: Majales
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Taky bych se bál použít vícenásobné lvm snapshoty. Dost tím trpí I/O. Alespo%n když jsem to naposledy zkoušel.
    15.10.2015 08:31 Martin
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    No a v čem teda tkví potenciál LVM snapshotů? Jen na zálohování rychle měnících se dat (MySQL atd.)? :)
    15.10.2015 10:39 majales | skóre: 22 | blog: Majales
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Netvrdím, že to někde nějak nefunguje. Jen jsem při pokusech zjistil, že mi to dost omezuje I/O na tom lvm disku. Ale to může být také způsobené konfigurací mého HW. Asi bych hledal inspiraci v něčem takovém jako je https://github.com/mpalmer/lvmsync A nebo prohledej GitHub, určitě tam něco podobného tomu co chceš ty bude.
    15.10.2015 10:53 Martin
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    jj, díky za tip, mrknu na to
    15.10.2015 13:58 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    LVM snapshoty jsou zcela rozdílné od btrfs snapshotů. btrfs snapshot funguje v podstatě tak, že bloky na disku jsou při vytvořeném snapshotu ponechány a změny se zapisují do nových bloků. LVM snapshot defakto definuje nový oddíl. Při změně se jednak zapíše nová data do filesystemu standardního oddílu. Ale zároveň se zapíšou rozdílová data (to co bylo změněno) do oddílu, kde sídlí snapshot. Pokud mám 10 snapshotů, tak jakákoliv změna ve FS se musí rozdílově zapsat do všech 10 oddílů snapshotů, a tím pádem se systém v podstatě zastaví.

    LVM snapshot je vhodný na okamžitou zálohu dat. Provede se snapshot, okamžitě se zálohuje, a po záloze se snapshot ihned zruší, aby jeho existence systém nezpomalovala.

    BTRFS snapshsot výkonnostně skoro nevadí, jen se snižuje množsví volných bloků, které při zápisech má FS k dispozici, ale vzhledem k tomu že je to copy-on-write filesystem tak by na nové místo psal stejně, jen by mohl trochu více optimalizovat zápis.
    14.10.2015 17:02 Ivan
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Jen poznamka. Snapshot je vlastne inkrementalni diff. Smazat snapshot = aplikovat diff, neni to uplne levna operace. Myslim, ze jedina moznost je vyzkouset to v konkretnim prostredi.
    15.10.2015 12:44 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Jen poznamka. Snapshot je vlastne inkrementalni diff. Smazat snapshot = aplikovat diff, neni to uplne levna operace. Myslim, ze jedina moznost je vyzkouset to v konkretnim prostredi.
    Mohu potvrdit - strávil jsem díky tomu o kompu minulou neděli odpoledne, večer i kus noci se sevřeným zadkem. A to jsem rušil "jenom" Btrfs snapshoty. Bylo jich cca 230 tisíc. Poprvé v životě jsem zažil, že namountování disku může trvat déle než dvě hodiny. A btrfs-cleaner čistil uvolněné místo ještě včera odpoledne.. U LVM si to nedokážu ani představit.
    15.10.2015 13:25 hydrandt | skóre: 34 | blog: Kanál | Šanghaj
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Uh, ja si s vmware esxi netroufam jit ani do desitek :-) Nevim ale, zda-li je to implementaci snapshotu ve vmware, nebo pouzitymi raid radici.
    I am Jack's wasted life.
    17.10.2015 00:56 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    To se na tom disku, ale v podstatě nic nemohlo dít. Moje situace s btrfs snapshoty na root filesystemu u openSUSE asi z minulého roku byla taková že asi při 50 tém snapshotu se FS začal plnit "na doraz" volné byly jen jednotky procent a vůči s reálný potřebný objem byl cca 20-25%.

    A o inkrementálním diffu. LVM snapshot v provozu je inkrementální diff. jeho smazání je naopak zrušení diff operace.

    Btrfs má zajímavé vlastnosti a co se přesně děje na disku při smazání snapshotu jsem se zatím propátrat nesnažil. Nicméně moje pozorování je, že mazání velkých souborů trvá dlouho. Mám dva velké disky naformátované LUKS/btrfs a pokud přesouvám větši soubor (cca 1G) mezi disky, tak jednak přenos běží pomaleji než bych čekal cca 30-50 MB/s (na ext4 bez šifrování cca 100-140 MB/s) a také na konci přenosu (podle KDE teploměru) trvá ještě několik sekund až desítek, než soubor v podstatě v původním úložišti skončí. A to je mazání jediného souboru.
    Heron avatar 16.10.2015 10:31 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Tohle u LVM neplatí (neplatilo v 2009, lvm již nepoužívám).

    LVM nechá původní svazek tak jak je (normálně připojený, pro zápis, s tím LV se nic neděje), a snapshoty realizuje ukládáním změn.

    Pokud dojde místo nebo je snapshot smazán příkazem, tak tato změnová data prostě zahodí a snapshot zmizí. Toto je velmi rychlé, nic se nemerguje.

    LVM snapshoty fungují (fungovaly v roce 2009) přesně opačně, než u jiných systémů (obvykle se původní svazek nechá zmražený v čase pořízení snímku a někam se ukládají změnová data od tohoto okamžiku. Tady ne, tady je původní svazek normálně dostupný a zapisuje se na něj, kdežto pro snapshot se ukládají původní data v době pořízení snímku.)

    Oba způsoby mají své výhody i nevýhody. LVM snapshoty jsou dobré pro případ pořízení snapu, jeho rychlé zálohy, rychlého smazání. Tohle třeba je problém ve vmware, kde zapracování snapshotu trvá a jakýkoliv provoz toho virtuálního disku ten proces jen zpomaluje.

    COW FS tímto netrpí (ani jedním z uvedených problémů), COW stejně dělá kopii bloku při každém zápisu, tam je snapshot velmi levná záležitost, nic se nemerguje. Při odstranění snapshotu se jen značí bloky jako volné (resp. se jim sníží link count), úplně stejně, jako v případě rm.

    Pokud má někdo 230 tisíc. snapshotů, tak si hold počká, ale v případě skutečné kopie a skutečného mazání na jiných fs, by si počkal také a mnohem déle.

    16.10.2015 21:38 Andrej | skóre: 44 | blog: Republic of Mordor | Zürich
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy

    LVM a snapshoty je řešení ve stylu vzít si nůžky a zatloukat tím hřebíky. Z LVM snapshotu se nedá korektně zálohovat, protože obsahuje nekonzistentní filesystém, pokud si člověk nemůže dovolit ošklivost typu unmount—snapshot—mount. Na opravdové snapshoty existují hotová udělátka zvaná ZFS a Btrfs. Automatické vytváření snapshotů a „ředění“ starších snapshotů už zajistí nějaký oneliner v cronu. Některé distribuce měly pro takové účely dokonce i GUI nástroj, ale má-li to být automatizované bez podpory ze strany uživatele, cron prostě musí stačit.

    ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
    19.10.2015 11:14 majales | skóre: 22 | blog: Majales
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    LVM snapshot je snapshot blokového zařízení, který neví nic o stavu filesystému který na něm běží. Kdežto snapshoty ZFS a BTRFS jsou snapshoty na úrovni filesystému které jsou vždy konzistentní. Je to tak? Kdyžtak mě někdo opravte.
    Josef Kufner avatar 19.10.2015 12:34 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Ano. A právě proto už z principu nemůže být LVM snapshot pořízený za běhu konzistentní. Pokud však uděláš snapshot v době, kdy je filesystém odpojený, nebo read-only, tak je vše v pořádku.
    Hello world ! Segmentation fault (core dumped)
    19.10.2015 13:18 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Určitě je ZFS a BTRFS snapshot konzistentní? Podle mne snapshot z principu je záznam stavu filesystému v jeden konkrétní okamžik a ten je na otevřeném filesystému nekonzistentní vždy. A jestliže v tomto okamžiku mám otevřené soubory a případně do nich zapisuji, tak bych měl mít na jakémkoliv systému rozlišeno to, co jsem zapsal těsně před snapshotem (bude v snapshotu) a těsně po něm (v snapshotu nebude). Stejně tak v snapshotu by asi mělo být zaznamenáno, co otevřeno v daný okamžik je a co není.

    Tím ale neobhajuji LVM snapshot. Ten je pouze zoufalá snaha dostat záznam okamžitého stavu do filesystému, kde něco takového není od začátku. A s mnoha závažnými důsledky pro výkon.
    Heron avatar 19.10.2015 14:04 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Určitě je ZFS a BTRFS snapshot konzistentní?

    Je konzistentní z hlediska fs. To, že se snapshot pořídí někde uprostřed operace nějakého programu fs neřeší, protože o tom programu nic neví.

    Lze to ale udělat opačně, tedy stavem toho programu řídit snapshoty.

    Vzhledem k tomu, že můžete mít subvolumů kolik chcete, můžete data toho programu umístit na vlastní subvolume a snapshotování si budete řídit s ohledem na ten program. (Programu se pošle příkaz "teď si všechno ulož a nic nedělej" a udělá se snapshot a program se volně nechá pokračovat. -- např. pg_start_backup, snapshot, pg_stop_backup)

    Pochopitelně totéž lze udělat i s LVM, ale tam je zase problém s distribucí volného místa (mít stovky LV a na nich nějak velký fs s nějakým volným místem) není tak jednoduché*.

    *) Zkoušel někdo LVM a thin provisioning? Potom by ten fs nad tím mohl označovat volné bloky (discard) a do LVM poolu by se vracely bloky. Tím by šlo redistribuovat volné místo i na LVM.
    19.10.2015 14:30 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Pochopitelně totéž lze udělat i s LVM, ale tam je zase problém s distribucí volného místa (mít stovky LV a na nich nějak velký fs s nějakým volným místem) není tak jednoduché*.
    No právě. Myslím, že z hlediska konzistence není mezi přístupem LVM a BTRFS/ZFS principielně rozdíl. Nebo podobně silná konzistence lze dosáhnout i na LVM i když pracněji. To co dělá diametrální rozdíl je samozřejmě, to jak se snapshot vytváří. V ZFS a BTRFS se jenom bloky ve snapshotu neuvolní, v LVM se pořád zapisují rozdíly. A tam se použití přiblížit nedá.
    Josef Kufner avatar 19.10.2015 15:44 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    V principu rozdíl sice není, prakticky však máš nad LVM dvě nekonzistentní vrstvy – filesystém a aplikace, kdežto u BTRFS jen jednu – aplikace. Pokud LVM a filesystém spolupracují, jak píše Heron níže, pak to už vyjde nastejno.

    Způsob implementace snapshotu už je věc druhá.
    Hello world ! Segmentation fault (core dumped)
    Heron avatar 19.10.2015 13:51 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Není to tak úplně přesné. FS mají prostředky (xfs na to má i program xfs_freeze*) pro pozastavení činnosti a uvedení fs do konzistentního stavu. LVM se před pořízením snapshotu snaží fs informovat a tento fs, pokud tuto funkci podporuje, se uvede do stavu vhodného pro pořízení snapshotu. Pokud to fs nepodporuje, tak se prostě udělá snapshot mezi dvěma fsync nebo flush.

    *) xfs_freeze halts new access to the filesystem and creates a stable image on disk. xfs_freeze is intended to be used with volume managers and hardware RAID devices that support the creation of snapshots.
    20.10.2015 10:47 majales | skóre: 22 | blog: Majales
    Rozbalit Rozbalit vše Re: Pravidelné snapshoty do provedení zálohy
    Nevíte někdo zda a jak funguje fsfreeze pro kvm? Měla by existovat volání guest-file-flush a guest-fsfreeze-freeze pro zmražení filesystému guesta, které se zavolá přes QEMU guest agenta. Něco jsem našel tady, ale nejsem z toho moc moudrý.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.