abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 01:22 | Zajímavý projekt
Před měsícem byla spuštěna kampaň na podporu chytrého telefonu Librem 5, jenž by měl respektovat bezpečnost, svobodu a soukromí uživatelů. Cílem kampaně je vybrat alespoň milion a půl dolarů. Aktuálně je vybráno přes 600 000 dolarů, tj. 40 %. Kampaň poběží ještě další měsíc. Podporu projektu oznámilo KDE i GNOME.
Ladislav Hagara | Komentářů: 0
dnes 00:55 | Komunita

Agentura DISA (Defense Information Systems Agency) publikovala (pdf) Ubuntu 16.04 Security Technical Implementation Guide (STIG) (zip), tj. doporučené bezpečnostní nastavení Ubuntu 16.04. Ubuntu se tak dostalo mezi unixové operační systémy a linuxové distribuce AIX, HP-UX, Oracle Linux, Red Hat a Solaris [reddit].

Ladislav Hagara | Komentářů: 0
včera 22:55 | Bezpečnostní upozornění

CSIRT.CZ informuje, že byly vydány nové bezpečnostní aktualizace, které opravují několik zranitelných míst v Sambě. Útočník může využít zranitelnosti s cílem získání přístupu k potenciálně citlivých informací. Uživatelům a správcům je doporučeno, aby zkontrolovali bezpečnostní opatření pro CVE-2017-12150, CVE-2017-12151 a CVE-2017-12163 a provedli potřebné aktualizace.

Ladislav Hagara | Komentářů: 0
včera 21:44 | Komunita

Společnost Red Hat aktualizovala svůj slib ohledně softwarových patentů. Slib nově zahrnuje i open source software pod permisivními licencemi.

Ladislav Hagara | Komentářů: 0
včera 08:55 | Komunita

Do 22. září probíhá v Mountain View konference XDC2017 (X.Org Developer's Conference). Na programu je řada zajímavých přednášek. Sledovat je lze online. K dispozici je záznam přednášek ze včerejšího dne.

Ladislav Hagara | Komentářů: 0
20.9. 17:33 | Nová verze

Byla vydána nová stabilní verze 1.12 (1.12.955.36) webového prohlížeče Vivaldi (Wikipedie). Z novinek vývojáři zdůrazňují možnost zobrazení metadat u digitálních fotografií, vylepšený panel stahování a omezení sytosti barvy zdůraznění (YouTube). Nejnovější Vivaldi je postaveno na Chromiu 61.0.3163.91.

Ladislav Hagara | Komentářů: 39
20.9. 10:55 | Nová verze

Byla vydána verze 4.0 programovacího jazyka Swift (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu. Ke stažení jsou oficiální binární balíčky pro Ubuntu 16.10, Ubuntu 16.04 a Ubuntu 14.04.

Ladislav Hagara | Komentářů: 5
19.9. 23:33 | Zajímavý software

MojeFedora informuje, že PipeWire byl oficiálně oznámen (en). PipeWire bude zprostředkovávat aplikacím jednotný přístup k audiu a videu. Jedním z hlavních důvodů je možnost izolovat aplikace od audio a video zdrojů. Aplikace nebudou mít přímý přístup k hardwaru, ale budou se muset ptát multimediálního serveru PipeWire, který jim je na základě nastavených oprávnění poskytne nebo ne. V budoucnu by měl PipeWire nahradit PulseAudio.

Ladislav Hagara | Komentářů: 25
19.9. 00:55 | Zajímavý software

Společnost IBM věnovala svůj JVM (Java Virtual Machine) s názvem J9 nadaci Eclipse. Nové oficiální jméno tohoto virtuálního stroje určeného pro běh aplikací napsaných v programovacím jazyce Java je Eclipse OpenJ9 (Wikipedie). Podrobnosti v často kladených dotazech (FAQ).

Ladislav Hagara | Komentářů: 15
19.9. 00:11 | IT novinky

Mezinárodní konsorcium W3C (World Wide Web Consortium) publikovalo kontroverzní rozšíření HTML 5.1 EME (Encrypted Media Extensions) jako webový standard, tj. schválilo DRM v HTML 5.1. Mezinárodní nezisková organizace EFF (Electronic Frontier Foundation) hájící občanské svobody v digitálním světě zveřejnila na svých stránkách otevřený dopis adresovaný W3C. EFF s EME zásadně nesouhlasí a W3C opouští.

Ladislav Hagara | Komentářů: 57
Těžíte nějakou kryptoměnu?
 (5%)
 (3%)
 (17%)
 (75%)
Celkem 552 hlasů
 Komentářů: 22, poslední 29.8. 11:23
    Rozcestník

    Dotaz: Rozdílová záloha blokového zařízení

    23.11.2012 22:32 vboh
    Rozdílová záloha blokového zařízení
    Přečteno: 537×
    Ahoj. Chtěl bych provádět rozdílové zálohy blokového zařízení. Jenže to běžné nástroje neumí. Takže mě napadlo udělat něco ve stylu "dd if=/dev/mapper/data-system bs=1M | split -b 1M -d -a 8 - data-system.img.part" a poté na tom provádět rozdílovou zálohu. Jenže to má jednu obrovskou nevýhodu: musím mít nějaké úložiště (nejlépe lokální), na které by se to provedlo a až poté by se prováděla rozdílová záloha oproti těm vytvořeným souborům. Napadlo mě, jestli neexistuje nějaký speciální souborový systém, který by zobrazoval soubory, které by odpovídaly blokům blokového zařízení (např. soubor blok55 by odpovídal nějaké části blokového zařízení). Oproti tomu už by totiž šla přímo dělat rozdílová záloha. Existuje nějaké takové řešení nebo si musím něco napsat sám (třeba přes FUSE)?

    Odpovědi

    24.11.2012 00:19 NN
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Jen se ze zvedavosti zeptam o co se vlastne jedna ? Co je to za blokove zarizeni ? Nema souborouvy system ?
    24.11.2012 01:10 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    V podstatě se mi konkrétně jedná o LVM oddíly či jejich snapshoty. Ale to je víceméně jedno. Důležité je, že to chci dělat na úrovni toho zařízení, ne na úrovni souborového systému.
    24.11.2012 09:11 JanM | skóre: 28
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Jenom chcete nebo je za tím nějaký praktický důvod?

    Co třeba ZFS jako volume manager? (Tedy vytvořit kontejner zvol a ten použít s LVM.)

    Snapshoty lze dělat v ZFS a rozdílově zálohovat zvol (budete mít tedy zálohované blokové zařízení).
    24.11.2012 10:21 l4m4
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Na rozdílovou zálohu potřebuješ jednak nový stav a jednak starý stav. Kde máš starý stav?

    Uchovávat rozdíly mezi nestrukturovanými binárními daty lze pomocí rsync --write-batch.

    Ale celé je to podezřelé. Zálohovat živý fs bez spolupráce s tím fs stěží povede ke konzistatnímu snapshotu. A ve spolupráci s fs to dělat nechceš.
    24.11.2012 20:35 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Na serveru provozuji KVM virtualizaci. Potřebuju zazálohovat větší množství strojů a nevadí mi chvilková nedostost virt. strojů. Všechny disky KVM strojů jsou LVM volumy hostitelského stroje. Můj plán je před zálohou zastavit virt. stroj, uložit jeho stav na disk, udělat LVM snapshot a obnovit virt. stroj. V té chvíli mám plně konzistentní stav soub. systému (i bez jeho spolupráce) vč. obsahu paměti stroje. Takový LVM snapshot bych chtěl rozdílově zálohovat. Co se týče těch stavů, tak starý stav je zálohované blokové zařízení a nový stav je aktuální stav toho zařízení (zde lvm snapshotu). To nestačí?
    24.11.2012 21:23 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    8-D Zapomeň na to.. Cokoliv na úrovni blokových zařízení ti bude trvat nechutně dlouho a obnova bude s výsledkem nejistým.

    Záleží pochopitelně co to je za virtuály a do jaké míry je můžeš udělat podle sebe. Mám jedno řešení, které je velice efektivní - využívá NBD, bohužel ale není dostatečně blbuvzdorné. Je však ideální pro provozování strojů u kterých nemůžeš vrtat dovnitř.

    Já provozuji v KVM linuxové virtuály. Mám je všechny jako diskless nad NFS. Je nutno říct, že jde o nejodolnější kombinaci. A věř, že vím o čem mluvím. Stroje jsou umístěny nad DRBD, takže v případě totálního kolapsu stroje se přehodí NFS server na stroj záložní a na virtuálech to nepoznáš, protože ty sevirtualizují jinde.

    Kromě toho se komplet vše zálohuje přes rsync za běhu na diskové pole s btrfs. To pro případ, že se nějak podrbe instalace - revert takového stroje je pouze otázkou nabootování ze záložního adresáře. Kromě toho se po každém synchronizovaném virtuálu udělá jeho snapshot na úrovni souborového systému. Je to výrazně rychlejší - záloha deseti strojů, které celkem zabírají cca 320GB trvá zhruba necelou hodinu. Obnova stroje je záležitost na minutu. Stačí vypublikovat přes NFS adresář ze zálohy. Za běhu se pak rsyncem naplácne zpět aby se mohl zase přehodit tak, aby běžel z původního umístění.
    24.11.2012 23:21 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Já potřebuju týdenní zálohy těch strojů s tím, aby se uchovalo posledních N týdnů. Plné zálohy (používám teď) zabírají ohromné množství na diskovém poli backup serveru => nemohu si jich dovolit uchovávat tolik. Jedná se mi čistě o zálohy, HA s DRBD řeší úplně něco jiného. Co se týče souborových systémů, tak mám zatím všude ext4, příp. ext3. Btrfs se celkem děsím, vzhledem k tomu, že je to ve vývoji. Výborné by bylo, kdyby to umělo deduplikaci. Pak bych nemusel vůbec řešit rozdílovou zálohu. Jen bych to tam nasypal celé a ono by si to nějak "samo" poradilo. Nicméně btrfs zatím deduplikaci neumí ne?
    25.11.2012 12:45 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Narazil jsem na lessfs, který umí deduplikaci na úrovni bloků. Což by mi úplně vyřešilo celý problém s rozdílovým zálohováním (nevadí mi tahat po síti pokaždé velké množství dat, problém je jen s uložením). Nemáte s tímto fs někdo nějaké zkušenosti?
    25.11.2012 14:32 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Velké množství dat => velké množství času potřebného jak k vytvoření zálohy, tak k její obnově.

    Udržovat zálohy souborů, které mají více než 5GB je neskutečný opruz.

    S lessfs ovšem zkušenosti nemám. Volím raději spolehlivější řešení, postavené na relativně odzkoušených technologiích. Btrfs používám už nějaký čas a přijde mi spolehlivější než ext4, ovšem každý FS má svoje. Takže nad DRBD polem je právě ext4.
    25.11.2012 14:40 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Deduplikace má podle mě smysl pouze tam, kde používáš virtuály, které mají hodně shodných datových bloků - typicky widle, které si sebou tahají až 15GB balastu. Jenže to není náš případ. Stroje jsou různé a jen uživatelské adresáře (které se rovněž zálohují tímto způsobem) mají přes 60GB.
    25.11.2012 14:28 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Já dělám zálohy denní. S tím, že se dělají na úrovni souborového systému. Tzn, že jde defakto o rozdílové zálohy. Více se dozvíš u Herona.

    DRBD nemá se zálohami nic společného. To že může posloužit jako záloha v případě výpadku, je jen třešnička na dortu. Primárně ho využívám při aktualizaci hostitelských strojů.

    Ad ta deduplikace. Když uděláš rsyncem zálohu do subvolume, a pak uděláš pro to subvolume snapshot, tak btrfs do něj uloží pouze inkrementální rozdíly. Nicméně tobě se to jeví jako by ten snapshot byl normální adresář. O spolehlivost blokového zařízení pod Btrfs se mi stará SW RAID 6 pole složené ze čtyř 2TB disků.
    25.11.2012 16:26 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Co se úspory dat, tak je to prakticky asi totožné s lvm snapshoty, ne? Tzn. každý snapshot nese rozdíl dat oproti originálu, tj. když budu mít 10 snímků a změním něco v originálu, tak se to promítne 10x do každého snapshotu (tzn. 10x tolik dat se využije k zápisu). Není to teda taková hrůza jako plné zálohy, ale ve výsledku je plná bloková deduplikace mnohem lepší než tohle.
    25.11.2012 17:51 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    To tedy vůbec ne. LVM snapshoty se dělají na nižší úrovni, což znamená, že kromě čistých dat je v každém extentu i hromada nepodstatné "špíny", protože LVM nemá páru co to je za data.

    Snapshotování u LVM není určeno přímo k zálohování. Předpokládá se, že se vytvořený snapshot namountuje, odzálohuje a zruší. Což znamená, že se do něj zapíší rozdíly, které se zatím zapisovaly do dočasného LV oddílu.

    U Btrfs je to jinak. Všechno je objekt, a ty rozdíly se dělají vůči těmto objektům. Pokud se tedy objekty vůči snapshotu nezmění, tak se pro ně ani nedělají rozdílové soubory. A jelikož se vše odehrává na úrovni souborového systému, který ví které objekty se měnily a které ne, je celá operace mnohem rychlejší a efektivnější.

    Ale já vás přesvědčovat nebudu. Prostě si to všechno vyzkoušejte.
    25.11.2012 18:46 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Prošel jsem si https://btrfs.wiki.kernel.org vč. stránky o designu btrfs, ale nedozvěděl jsem se, jak je to se zabraným místem po snapshotu a změně originálů. Vím z toho jen to, že snapshoty jsou prý hodně efektivní a jsou prakticky totéž, co subvolumy (s tím, že subvolume má jen referenci na snapshot). Nicméně, jak moc efektivní ve skutečnosti jsou? Pokud mám nějaký subvolume a udělám 10 snapshotů. V originálním subvolume změním v jednom souboru blok dat o velikosti 1 MiB. Otázka je: když 10 snapshotů referencuje jeden zdroj, zabere se navíc 10x 1 MiB nebo jen 1?
    25.11.2012 22:37 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Tak na to ti neodpovím. Ale třeba si uděláš obrázek na základě konkrétních dat.
    server (DATASERVER) :~# df -h
    Souborový systém        Velikost Užito Volno Uži% Připojeno do
    ...
    /dev/mapper/data-nfs        2,0T  821G  1,1T  44% /srv/backups
    /dev/drbd1                  387G  282G   86G  77% /srv/virtualy
    server (DATASERVER) :~# btrfs fi df /srv/backups/
    Data: total=995.01GB, used=795.38GB
    System, DUP: total=8.00MB, used=132.00KB
    System: total=4.00MB, used=0.00
    Metadata, DUP: total=39.50GB, used=12.68GB
    Metadata: total=8.00MB, used=0.00
    server (DATASERVER) :~# btrfs subvolume list /srv/backups | wc
        525    3675   32812
    
    Zálohuje se od 30. srpna. Stroje, resp. adresáře, které jsou snapshotovány jako subvolume přibývaly postupně.
    25.11.2012 22:41 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Kromě toho je v rámci toho Btrfs uloženo ještě 300GB starých rozdílových záloh studentských účtů cca za 2 roky.
    26.11.2012 10:13 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Díky. Také jsem to zkoušel na virtuálním stroji v debianu 7. Na subvolume jsem přes dd nahrál 2GB urandom dat, poté provedl 4x snapshot, data ze subvolume vymazal a poté nahrál na subvolume dalších 2GB náhodných dat. Poté jsem provedl na těchto datech 4x snapshot a data vymazal. Výsledkem bylo, že se zabralo jen 4GB dat, tj. snapshoty musí o sobě nějak vědět a není to tak, že by každý sám o sobě reflektoval změny originálu (takže to mají implementované vážně dobře, jinak by se zabralo 8x 2GB dat). Zkoušel jsem to na malém oddíle, abych si ověřil skutečnou velikost zabraných dat. Tady to vypadalo, že df udávalo skutečnou hodnotu. Nakolik se dá ale df u btrfs věřit (pokud nepoužívám btrfs raid)? Ještě to budu chvíli zkoušel a pak asi provedu konverzi ext4 na btrfs (přeci jenom btrfs mám v jádře a utility v balíkách debianu standardně, narozdíl od lessfs). Jak moc dobře tahle konverze na již tak experimentálním btrfs funguje?
    26.11.2012 10:28 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Příkaz df u btrfs vrací skutečně obsazený prostor. To co udává normální df není moc relevantní. U malého oddílu se to neprojeví až tak výrazně, jako u těch velkých - je to dáno tím, že velikost metadat se pro velký diskový prostor nijak dramaticky nezvětšuje.

    Jestli mohu poradit, tak bych ext4, pro disk ze kterého virtuály jedou, ponechal, a raději to udělal tak jak to mám já - btrfs na oddíle pro zálohy. A nejlépe na nezávislém diskovém poli.
    25.11.2012 21:03 Ivan
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Hmm a proc nepouzijes prikazy dump/restore? Inkrementalni binarni zalohy jsou normalni vec.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.