abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 1
včera 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 26
včera 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 7
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 14
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 25
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 15
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 5
2.12. 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
2.12. 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 1
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 774 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Rozdílová záloha blokového zařízení

23.11.2012 22:32 vboh
Rozdílová záloha blokového zařízení
Přečteno: 534×
Ahoj. Chtěl bych provádět rozdílové zálohy blokového zařízení. Jenže to běžné nástroje neumí. Takže mě napadlo udělat něco ve stylu "dd if=/dev/mapper/data-system bs=1M | split -b 1M -d -a 8 - data-system.img.part" a poté na tom provádět rozdílovou zálohu. Jenže to má jednu obrovskou nevýhodu: musím mít nějaké úložiště (nejlépe lokální), na které by se to provedlo a až poté by se prováděla rozdílová záloha oproti těm vytvořeným souborům. Napadlo mě, jestli neexistuje nějaký speciální souborový systém, který by zobrazoval soubory, které by odpovídaly blokům blokového zařízení (např. soubor blok55 by odpovídal nějaké části blokového zařízení). Oproti tomu už by totiž šla přímo dělat rozdílová záloha. Existuje nějaké takové řešení nebo si musím něco napsat sám (třeba přes FUSE)?

Odpovědi

24.11.2012 00:19 NN
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Jen se ze zvedavosti zeptam o co se vlastne jedna ? Co je to za blokove zarizeni ? Nema souborouvy system ?
24.11.2012 01:10 vboh
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
V podstatě se mi konkrétně jedná o LVM oddíly či jejich snapshoty. Ale to je víceméně jedno. Důležité je, že to chci dělat na úrovni toho zařízení, ne na úrovni souborového systému.
24.11.2012 09:11 JanM | skóre: 28
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Jenom chcete nebo je za tím nějaký praktický důvod?

Co třeba ZFS jako volume manager? (Tedy vytvořit kontejner zvol a ten použít s LVM.)

Snapshoty lze dělat v ZFS a rozdílově zálohovat zvol (budete mít tedy zálohované blokové zařízení).
24.11.2012 10:21 l4m4
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Na rozdílovou zálohu potřebuješ jednak nový stav a jednak starý stav. Kde máš starý stav?

Uchovávat rozdíly mezi nestrukturovanými binárními daty lze pomocí rsync --write-batch.

Ale celé je to podezřelé. Zálohovat živý fs bez spolupráce s tím fs stěží povede ke konzistatnímu snapshotu. A ve spolupráci s fs to dělat nechceš.
24.11.2012 20:35 vboh
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Na serveru provozuji KVM virtualizaci. Potřebuju zazálohovat větší množství strojů a nevadí mi chvilková nedostost virt. strojů. Všechny disky KVM strojů jsou LVM volumy hostitelského stroje. Můj plán je před zálohou zastavit virt. stroj, uložit jeho stav na disk, udělat LVM snapshot a obnovit virt. stroj. V té chvíli mám plně konzistentní stav soub. systému (i bez jeho spolupráce) vč. obsahu paměti stroje. Takový LVM snapshot bych chtěl rozdílově zálohovat. Co se týče těch stavů, tak starý stav je zálohované blokové zařízení a nový stav je aktuální stav toho zařízení (zde lvm snapshotu). To nestačí?
24.11.2012 21:23 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
8-D Zapomeň na to.. Cokoliv na úrovni blokových zařízení ti bude trvat nechutně dlouho a obnova bude s výsledkem nejistým.

Záleží pochopitelně co to je za virtuály a do jaké míry je můžeš udělat podle sebe. Mám jedno řešení, které je velice efektivní - využívá NBD, bohužel ale není dostatečně blbuvzdorné. Je však ideální pro provozování strojů u kterých nemůžeš vrtat dovnitř.

Já provozuji v KVM linuxové virtuály. Mám je všechny jako diskless nad NFS. Je nutno říct, že jde o nejodolnější kombinaci. A věř, že vím o čem mluvím. Stroje jsou umístěny nad DRBD, takže v případě totálního kolapsu stroje se přehodí NFS server na stroj záložní a na virtuálech to nepoznáš, protože ty sevirtualizují jinde.

Kromě toho se komplet vše zálohuje přes rsync za běhu na diskové pole s btrfs. To pro případ, že se nějak podrbe instalace - revert takového stroje je pouze otázkou nabootování ze záložního adresáře. Kromě toho se po každém synchronizovaném virtuálu udělá jeho snapshot na úrovni souborového systému. Je to výrazně rychlejší - záloha deseti strojů, které celkem zabírají cca 320GB trvá zhruba necelou hodinu. Obnova stroje je záležitost na minutu. Stačí vypublikovat přes NFS adresář ze zálohy. Za běhu se pak rsyncem naplácne zpět aby se mohl zase přehodit tak, aby běžel z původního umístění.
24.11.2012 23:21 vboh
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Já potřebuju týdenní zálohy těch strojů s tím, aby se uchovalo posledních N týdnů. Plné zálohy (používám teď) zabírají ohromné množství na diskovém poli backup serveru => nemohu si jich dovolit uchovávat tolik. Jedná se mi čistě o zálohy, HA s DRBD řeší úplně něco jiného. Co se týče souborových systémů, tak mám zatím všude ext4, příp. ext3. Btrfs se celkem děsím, vzhledem k tomu, že je to ve vývoji. Výborné by bylo, kdyby to umělo deduplikaci. Pak bych nemusel vůbec řešit rozdílovou zálohu. Jen bych to tam nasypal celé a ono by si to nějak "samo" poradilo. Nicméně btrfs zatím deduplikaci neumí ne?
25.11.2012 12:45 vboh
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Narazil jsem na lessfs, který umí deduplikaci na úrovni bloků. Což by mi úplně vyřešilo celý problém s rozdílovým zálohováním (nevadí mi tahat po síti pokaždé velké množství dat, problém je jen s uložením). Nemáte s tímto fs někdo nějaké zkušenosti?
25.11.2012 14:32 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Velké množství dat => velké množství času potřebného jak k vytvoření zálohy, tak k její obnově.

Udržovat zálohy souborů, které mají více než 5GB je neskutečný opruz.

S lessfs ovšem zkušenosti nemám. Volím raději spolehlivější řešení, postavené na relativně odzkoušených technologiích. Btrfs používám už nějaký čas a přijde mi spolehlivější než ext4, ovšem každý FS má svoje. Takže nad DRBD polem je právě ext4.
25.11.2012 14:40 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Deduplikace má podle mě smysl pouze tam, kde používáš virtuály, které mají hodně shodných datových bloků - typicky widle, které si sebou tahají až 15GB balastu. Jenže to není náš případ. Stroje jsou různé a jen uživatelské adresáře (které se rovněž zálohují tímto způsobem) mají přes 60GB.
25.11.2012 14:28 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Já dělám zálohy denní. S tím, že se dělají na úrovni souborového systému. Tzn, že jde defakto o rozdílové zálohy. Více se dozvíš u Herona.

DRBD nemá se zálohami nic společného. To že může posloužit jako záloha v případě výpadku, je jen třešnička na dortu. Primárně ho využívám při aktualizaci hostitelských strojů.

Ad ta deduplikace. Když uděláš rsyncem zálohu do subvolume, a pak uděláš pro to subvolume snapshot, tak btrfs do něj uloží pouze inkrementální rozdíly. Nicméně tobě se to jeví jako by ten snapshot byl normální adresář. O spolehlivost blokového zařízení pod Btrfs se mi stará SW RAID 6 pole složené ze čtyř 2TB disků.
25.11.2012 16:26 vboh
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Co se úspory dat, tak je to prakticky asi totožné s lvm snapshoty, ne? Tzn. každý snapshot nese rozdíl dat oproti originálu, tj. když budu mít 10 snímků a změním něco v originálu, tak se to promítne 10x do každého snapshotu (tzn. 10x tolik dat se využije k zápisu). Není to teda taková hrůza jako plné zálohy, ale ve výsledku je plná bloková deduplikace mnohem lepší než tohle.
25.11.2012 17:51 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
To tedy vůbec ne. LVM snapshoty se dělají na nižší úrovni, což znamená, že kromě čistých dat je v každém extentu i hromada nepodstatné "špíny", protože LVM nemá páru co to je za data.

Snapshotování u LVM není určeno přímo k zálohování. Předpokládá se, že se vytvořený snapshot namountuje, odzálohuje a zruší. Což znamená, že se do něj zapíší rozdíly, které se zatím zapisovaly do dočasného LV oddílu.

U Btrfs je to jinak. Všechno je objekt, a ty rozdíly se dělají vůči těmto objektům. Pokud se tedy objekty vůči snapshotu nezmění, tak se pro ně ani nedělají rozdílové soubory. A jelikož se vše odehrává na úrovni souborového systému, který ví které objekty se měnily a které ne, je celá operace mnohem rychlejší a efektivnější.

Ale já vás přesvědčovat nebudu. Prostě si to všechno vyzkoušejte.
25.11.2012 18:46 vboh
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Prošel jsem si https://btrfs.wiki.kernel.org vč. stránky o designu btrfs, ale nedozvěděl jsem se, jak je to se zabraným místem po snapshotu a změně originálů. Vím z toho jen to, že snapshoty jsou prý hodně efektivní a jsou prakticky totéž, co subvolumy (s tím, že subvolume má jen referenci na snapshot). Nicméně, jak moc efektivní ve skutečnosti jsou? Pokud mám nějaký subvolume a udělám 10 snapshotů. V originálním subvolume změním v jednom souboru blok dat o velikosti 1 MiB. Otázka je: když 10 snapshotů referencuje jeden zdroj, zabere se navíc 10x 1 MiB nebo jen 1?
25.11.2012 22:37 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Tak na to ti neodpovím. Ale třeba si uděláš obrázek na základě konkrétních dat.
server (DATASERVER) :~# df -h
Souborový systém        Velikost Užito Volno Uži% Připojeno do
...
/dev/mapper/data-nfs        2,0T  821G  1,1T  44% /srv/backups
/dev/drbd1                  387G  282G   86G  77% /srv/virtualy
server (DATASERVER) :~# btrfs fi df /srv/backups/
Data: total=995.01GB, used=795.38GB
System, DUP: total=8.00MB, used=132.00KB
System: total=4.00MB, used=0.00
Metadata, DUP: total=39.50GB, used=12.68GB
Metadata: total=8.00MB, used=0.00
server (DATASERVER) :~# btrfs subvolume list /srv/backups | wc
    525    3675   32812
Zálohuje se od 30. srpna. Stroje, resp. adresáře, které jsou snapshotovány jako subvolume přibývaly postupně.
25.11.2012 22:41 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Kromě toho je v rámci toho Btrfs uloženo ještě 300GB starých rozdílových záloh studentských účtů cca za 2 roky.
26.11.2012 10:13 vboh
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Díky. Také jsem to zkoušel na virtuálním stroji v debianu 7. Na subvolume jsem přes dd nahrál 2GB urandom dat, poté provedl 4x snapshot, data ze subvolume vymazal a poté nahrál na subvolume dalších 2GB náhodných dat. Poté jsem provedl na těchto datech 4x snapshot a data vymazal. Výsledkem bylo, že se zabralo jen 4GB dat, tj. snapshoty musí o sobě nějak vědět a není to tak, že by každý sám o sobě reflektoval změny originálu (takže to mají implementované vážně dobře, jinak by se zabralo 8x 2GB dat). Zkoušel jsem to na malém oddíle, abych si ověřil skutečnou velikost zabraných dat. Tady to vypadalo, že df udávalo skutečnou hodnotu. Nakolik se dá ale df u btrfs věřit (pokud nepoužívám btrfs raid)? Ještě to budu chvíli zkoušel a pak asi provedu konverzi ext4 na btrfs (přeci jenom btrfs mám v jádře a utility v balíkách debianu standardně, narozdíl od lessfs). Jak moc dobře tahle konverze na již tak experimentálním btrfs funguje?
26.11.2012 10:28 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Příkaz df u btrfs vrací skutečně obsazený prostor. To co udává normální df není moc relevantní. U malého oddílu se to neprojeví až tak výrazně, jako u těch velkých - je to dáno tím, že velikost metadat se pro velký diskový prostor nijak dramaticky nezvětšuje.

Jestli mohu poradit, tak bych ext4, pro disk ze kterého virtuály jedou, ponechal, a raději to udělal tak jak to mám já - btrfs na oddíle pro zálohy. A nejlépe na nezávislém diskovém poli.
25.11.2012 21:03 Ivan
Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
Hmm a proc nepouzijes prikazy dump/restore? Inkrementalni binarni zalohy jsou normalni vec.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.