abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 00:55 | Komunita

Pocket (dříve Read It Later) (Wikipedie) je oblíbená služba umožňující uložit si článek z webu na později. V červnu 2015 s vydáním Firefoxu 38.0.5 se do té doby doplněk Pocket stal integrovanou součásti Firefoxu, a to i přes odpor celé řady uživatelů tohoto webového prohlížeče. Mozilla po měsících ustoupila a z integrované součásti se stal opět doplněk. Včera bylo oznámeno, že Mozilla službu Pocket kupila (Mozilla Blog, Pocket Blog).

Ladislav Hagara | Komentářů: 0
včera 23:55 | Pozvánky

Tentokrát jsme si pro vás připravili neobvyklou akci. Ve středu 1. 3. v 17:30 nás přivítá sdružení CZ.NIC ve svých prostorách v Milešovské ulici číslo 5 na Praze 3, kde si pro nás připravili krátkou prezentaci jejich činnosti. Následně navštívíme jejich datacentrum pod Žižkovskou věží. Provedou nás prostory, které jsou běžnému smrtelníkovi nedostupné!

… více »
xkucf03 | Komentářů: 0
včera 18:30 | Komunita

Jednodeskový počítač Raspberry Pi slaví již 5 let. Prodej byl spuštěn 29. února 2012. O víkendu proběhne v Cambridgi velká narozeninová party. Na YouTube bylo při této příležitosti zveřejněno video představující zajímavé projekty postavené na Raspberry Pi.

Ladislav Hagara | Komentářů: 0
včera 18:30 | Nová verze

Byla vydána verze 2017.1.1 svobodného multiplatformního leteckého simulátoru FlightGear. Kódový název a výchozí letiště této verze je Bergen. Přehled novinek v Changelogu.

Ladislav Hagara | Komentářů: 0
včera 10:50 | Zajímavý software

Mozilla.cz informuje o dvou nových experimentálních funkcích v programu Firefox Test Pilot (zprávička). Snooze Tabs slouží k odkládání panelů na později. Pokud vám někdo pošle odkaz, ale vy nemáte čas si stránku hned přečíst, můžete si naplánovat otevření panelu na později. Stačí kliknout na tlačítko a vybrat, kdy chcete panel otevřít. Firefox panel schová a ve vybraný čas znovu otevře. Pulse umožňuje ohodnotit, jak dobře stránka funguje, např. jak rychle se ve Firefoxu načetla. Podle nasbíraných hodnocení pak bude Mozilla prohlížeč ladit.

Ladislav Hagara | Komentářů: 6
včera 02:00 | IT novinky

V Barceloně probíhá veletrh Mobile World Congress 2017. Nokia na něm například představila (360° video na YouTube) novou Nokii 3310 (YouTube). BlackBerry představilo BlackBerry KEYone (YouTube) s QWERTY klávesnicí. LG představilo LG G6 (YouTube). Huawei HUAWEI P10 a P10 Plus. Samsung představil tablet Galaxy Tab S3.

Ladislav Hagara | Komentářů: 1
26.2. 14:00 | Nová verze

Komunita kolem Linuxu From Scratch (LFS) vydala Linux Linux From Scratch 8.0 a Linux From Scratch 8.0 se systemd. Nové verze knih s návody na instalaci vlastního linuxového systému ze zdrojových kódů přichází především s Glibc 2.25 a GCC 6.3.0. Současně bylo oznámeno vydání verze 8.0 knih Beyond Linux From Scratch (BLFS) a Beyond Linux From Scratch se systemd.

Ladislav Hagara | Komentářů: 0
26.2. 11:11 | Nová verze

Byla vydána verze 0.10.0 webového prohlížeče qutebrowser (Wikipedie). Přehled novinek v příspěvku na blogu. Vývojáři qutebrowseru kladou důraz na ovladatelnost pomocí klávesnice a minimální GUI. Inspirovali se prohlížečem dwb a rozšířeními pro Firefox Vimperator a Pentadactyl. Prohlížeč qutebrowser je naprogramován v Pythonu a využívá PyQt5. Zdrojové kódy jsou k dispozici na GitHubu pod licencí GNU GPL 3.

Ladislav Hagara | Komentářů: 32
25.2. 16:22 | Nová verze

Po pěti měsících od vydání Waylandu a Westonu 1.12.0 oznámil Bryce Harrington (Samsung) vydání Waylandu 1.13.0 a Westonu 2.0.0.

Ladislav Hagara | Komentářů: 6
24.2. 13:37 | Bezpečnostní upozornění

Společnost Cloudflare (Wikipedie) na svém blogu potvrdila bezpečnostní problém s její službou. V požadovaných odpovědích od reverzní proxy byla odesílána také data z neinicializované paměti. Útočník tak mohl získat cookies, autentizační tokeny, data posílaná přes HTTP POST a další citlivé informace. Jednalo se o chybu v parsování HTML. Zneužitelná byla od 22. září 2016 do 18. února 2017. Seznam webů, kterých se bezpečnostní problém potenciálně týká na GitHubu.

Ladislav Hagara | Komentářů: 1
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (13%)
 (2%)
 (72%)
 (3%)
 (10%)
Celkem 727 hlasů
 Komentářů: 69, poslední dnes 01:02
    Rozcestník

    Dotaz: Rozdílová záloha blokového zařízení

    23.11.2012 22:32 vboh
    Rozdílová záloha blokového zařízení
    Přečteno: 537×
    Ahoj. Chtěl bych provádět rozdílové zálohy blokového zařízení. Jenže to běžné nástroje neumí. Takže mě napadlo udělat něco ve stylu "dd if=/dev/mapper/data-system bs=1M | split -b 1M -d -a 8 - data-system.img.part" a poté na tom provádět rozdílovou zálohu. Jenže to má jednu obrovskou nevýhodu: musím mít nějaké úložiště (nejlépe lokální), na které by se to provedlo a až poté by se prováděla rozdílová záloha oproti těm vytvořeným souborům. Napadlo mě, jestli neexistuje nějaký speciální souborový systém, který by zobrazoval soubory, které by odpovídaly blokům blokového zařízení (např. soubor blok55 by odpovídal nějaké části blokového zařízení). Oproti tomu už by totiž šla přímo dělat rozdílová záloha. Existuje nějaké takové řešení nebo si musím něco napsat sám (třeba přes FUSE)?

    Odpovědi

    24.11.2012 00:19 NN
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Jen se ze zvedavosti zeptam o co se vlastne jedna ? Co je to za blokove zarizeni ? Nema souborouvy system ?
    24.11.2012 01:10 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    V podstatě se mi konkrétně jedná o LVM oddíly či jejich snapshoty. Ale to je víceméně jedno. Důležité je, že to chci dělat na úrovni toho zařízení, ne na úrovni souborového systému.
    24.11.2012 09:11 JanM | skóre: 28
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Jenom chcete nebo je za tím nějaký praktický důvod?

    Co třeba ZFS jako volume manager? (Tedy vytvořit kontejner zvol a ten použít s LVM.)

    Snapshoty lze dělat v ZFS a rozdílově zálohovat zvol (budete mít tedy zálohované blokové zařízení).
    24.11.2012 10:21 l4m4
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Na rozdílovou zálohu potřebuješ jednak nový stav a jednak starý stav. Kde máš starý stav?

    Uchovávat rozdíly mezi nestrukturovanými binárními daty lze pomocí rsync --write-batch.

    Ale celé je to podezřelé. Zálohovat živý fs bez spolupráce s tím fs stěží povede ke konzistatnímu snapshotu. A ve spolupráci s fs to dělat nechceš.
    24.11.2012 20:35 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Na serveru provozuji KVM virtualizaci. Potřebuju zazálohovat větší množství strojů a nevadí mi chvilková nedostost virt. strojů. Všechny disky KVM strojů jsou LVM volumy hostitelského stroje. Můj plán je před zálohou zastavit virt. stroj, uložit jeho stav na disk, udělat LVM snapshot a obnovit virt. stroj. V té chvíli mám plně konzistentní stav soub. systému (i bez jeho spolupráce) vč. obsahu paměti stroje. Takový LVM snapshot bych chtěl rozdílově zálohovat. Co se týče těch stavů, tak starý stav je zálohované blokové zařízení a nový stav je aktuální stav toho zařízení (zde lvm snapshotu). To nestačí?
    24.11.2012 21:23 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    8-D Zapomeň na to.. Cokoliv na úrovni blokových zařízení ti bude trvat nechutně dlouho a obnova bude s výsledkem nejistým.

    Záleží pochopitelně co to je za virtuály a do jaké míry je můžeš udělat podle sebe. Mám jedno řešení, které je velice efektivní - využívá NBD, bohužel ale není dostatečně blbuvzdorné. Je však ideální pro provozování strojů u kterých nemůžeš vrtat dovnitř.

    Já provozuji v KVM linuxové virtuály. Mám je všechny jako diskless nad NFS. Je nutno říct, že jde o nejodolnější kombinaci. A věř, že vím o čem mluvím. Stroje jsou umístěny nad DRBD, takže v případě totálního kolapsu stroje se přehodí NFS server na stroj záložní a na virtuálech to nepoznáš, protože ty sevirtualizují jinde.

    Kromě toho se komplet vše zálohuje přes rsync za běhu na diskové pole s btrfs. To pro případ, že se nějak podrbe instalace - revert takového stroje je pouze otázkou nabootování ze záložního adresáře. Kromě toho se po každém synchronizovaném virtuálu udělá jeho snapshot na úrovni souborového systému. Je to výrazně rychlejší - záloha deseti strojů, které celkem zabírají cca 320GB trvá zhruba necelou hodinu. Obnova stroje je záležitost na minutu. Stačí vypublikovat přes NFS adresář ze zálohy. Za běhu se pak rsyncem naplácne zpět aby se mohl zase přehodit tak, aby běžel z původního umístění.
    24.11.2012 23:21 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Já potřebuju týdenní zálohy těch strojů s tím, aby se uchovalo posledních N týdnů. Plné zálohy (používám teď) zabírají ohromné množství na diskovém poli backup serveru => nemohu si jich dovolit uchovávat tolik. Jedná se mi čistě o zálohy, HA s DRBD řeší úplně něco jiného. Co se týče souborových systémů, tak mám zatím všude ext4, příp. ext3. Btrfs se celkem děsím, vzhledem k tomu, že je to ve vývoji. Výborné by bylo, kdyby to umělo deduplikaci. Pak bych nemusel vůbec řešit rozdílovou zálohu. Jen bych to tam nasypal celé a ono by si to nějak "samo" poradilo. Nicméně btrfs zatím deduplikaci neumí ne?
    25.11.2012 12:45 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Narazil jsem na lessfs, který umí deduplikaci na úrovni bloků. Což by mi úplně vyřešilo celý problém s rozdílovým zálohováním (nevadí mi tahat po síti pokaždé velké množství dat, problém je jen s uložením). Nemáte s tímto fs někdo nějaké zkušenosti?
    25.11.2012 14:32 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Velké množství dat => velké množství času potřebného jak k vytvoření zálohy, tak k její obnově.

    Udržovat zálohy souborů, které mají více než 5GB je neskutečný opruz.

    S lessfs ovšem zkušenosti nemám. Volím raději spolehlivější řešení, postavené na relativně odzkoušených technologiích. Btrfs používám už nějaký čas a přijde mi spolehlivější než ext4, ovšem každý FS má svoje. Takže nad DRBD polem je právě ext4.
    25.11.2012 14:40 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Deduplikace má podle mě smysl pouze tam, kde používáš virtuály, které mají hodně shodných datových bloků - typicky widle, které si sebou tahají až 15GB balastu. Jenže to není náš případ. Stroje jsou různé a jen uživatelské adresáře (které se rovněž zálohují tímto způsobem) mají přes 60GB.
    25.11.2012 14:28 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Já dělám zálohy denní. S tím, že se dělají na úrovni souborového systému. Tzn, že jde defakto o rozdílové zálohy. Více se dozvíš u Herona.

    DRBD nemá se zálohami nic společného. To že může posloužit jako záloha v případě výpadku, je jen třešnička na dortu. Primárně ho využívám při aktualizaci hostitelských strojů.

    Ad ta deduplikace. Když uděláš rsyncem zálohu do subvolume, a pak uděláš pro to subvolume snapshot, tak btrfs do něj uloží pouze inkrementální rozdíly. Nicméně tobě se to jeví jako by ten snapshot byl normální adresář. O spolehlivost blokového zařízení pod Btrfs se mi stará SW RAID 6 pole složené ze čtyř 2TB disků.
    25.11.2012 16:26 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Co se úspory dat, tak je to prakticky asi totožné s lvm snapshoty, ne? Tzn. každý snapshot nese rozdíl dat oproti originálu, tj. když budu mít 10 snímků a změním něco v originálu, tak se to promítne 10x do každého snapshotu (tzn. 10x tolik dat se využije k zápisu). Není to teda taková hrůza jako plné zálohy, ale ve výsledku je plná bloková deduplikace mnohem lepší než tohle.
    25.11.2012 17:51 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    To tedy vůbec ne. LVM snapshoty se dělají na nižší úrovni, což znamená, že kromě čistých dat je v každém extentu i hromada nepodstatné "špíny", protože LVM nemá páru co to je za data.

    Snapshotování u LVM není určeno přímo k zálohování. Předpokládá se, že se vytvořený snapshot namountuje, odzálohuje a zruší. Což znamená, že se do něj zapíší rozdíly, které se zatím zapisovaly do dočasného LV oddílu.

    U Btrfs je to jinak. Všechno je objekt, a ty rozdíly se dělají vůči těmto objektům. Pokud se tedy objekty vůči snapshotu nezmění, tak se pro ně ani nedělají rozdílové soubory. A jelikož se vše odehrává na úrovni souborového systému, který ví které objekty se měnily a které ne, je celá operace mnohem rychlejší a efektivnější.

    Ale já vás přesvědčovat nebudu. Prostě si to všechno vyzkoušejte.
    25.11.2012 18:46 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Prošel jsem si https://btrfs.wiki.kernel.org vč. stránky o designu btrfs, ale nedozvěděl jsem se, jak je to se zabraným místem po snapshotu a změně originálů. Vím z toho jen to, že snapshoty jsou prý hodně efektivní a jsou prakticky totéž, co subvolumy (s tím, že subvolume má jen referenci na snapshot). Nicméně, jak moc efektivní ve skutečnosti jsou? Pokud mám nějaký subvolume a udělám 10 snapshotů. V originálním subvolume změním v jednom souboru blok dat o velikosti 1 MiB. Otázka je: když 10 snapshotů referencuje jeden zdroj, zabere se navíc 10x 1 MiB nebo jen 1?
    25.11.2012 22:37 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Tak na to ti neodpovím. Ale třeba si uděláš obrázek na základě konkrétních dat.
    server (DATASERVER) :~# df -h
    Souborový systém        Velikost Užito Volno Uži% Připojeno do
    ...
    /dev/mapper/data-nfs        2,0T  821G  1,1T  44% /srv/backups
    /dev/drbd1                  387G  282G   86G  77% /srv/virtualy
    server (DATASERVER) :~# btrfs fi df /srv/backups/
    Data: total=995.01GB, used=795.38GB
    System, DUP: total=8.00MB, used=132.00KB
    System: total=4.00MB, used=0.00
    Metadata, DUP: total=39.50GB, used=12.68GB
    Metadata: total=8.00MB, used=0.00
    server (DATASERVER) :~# btrfs subvolume list /srv/backups | wc
        525    3675   32812
    
    Zálohuje se od 30. srpna. Stroje, resp. adresáře, které jsou snapshotovány jako subvolume přibývaly postupně.
    25.11.2012 22:41 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Kromě toho je v rámci toho Btrfs uloženo ještě 300GB starých rozdílových záloh studentských účtů cca za 2 roky.
    26.11.2012 10:13 vboh
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Díky. Také jsem to zkoušel na virtuálním stroji v debianu 7. Na subvolume jsem přes dd nahrál 2GB urandom dat, poté provedl 4x snapshot, data ze subvolume vymazal a poté nahrál na subvolume dalších 2GB náhodných dat. Poté jsem provedl na těchto datech 4x snapshot a data vymazal. Výsledkem bylo, že se zabralo jen 4GB dat, tj. snapshoty musí o sobě nějak vědět a není to tak, že by každý sám o sobě reflektoval změny originálu (takže to mají implementované vážně dobře, jinak by se zabralo 8x 2GB dat). Zkoušel jsem to na malém oddíle, abych si ověřil skutečnou velikost zabraných dat. Tady to vypadalo, že df udávalo skutečnou hodnotu. Nakolik se dá ale df u btrfs věřit (pokud nepoužívám btrfs raid)? Ještě to budu chvíli zkoušel a pak asi provedu konverzi ext4 na btrfs (přeci jenom btrfs mám v jádře a utility v balíkách debianu standardně, narozdíl od lessfs). Jak moc dobře tahle konverze na již tak experimentálním btrfs funguje?
    26.11.2012 10:28 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Příkaz df u btrfs vrací skutečně obsazený prostor. To co udává normální df není moc relevantní. U malého oddílu se to neprojeví až tak výrazně, jako u těch velkých - je to dáno tím, že velikost metadat se pro velký diskový prostor nijak dramaticky nezvětšuje.

    Jestli mohu poradit, tak bych ext4, pro disk ze kterého virtuály jedou, ponechal, a raději to udělal tak jak to mám já - btrfs na oddíle pro zálohy. A nejlépe na nezávislém diskovém poli.
    25.11.2012 21:03 Ivan
    Rozbalit Rozbalit vše Re: Rozdílová záloha blokového zařízení
    Hmm a proc nepouzijes prikazy dump/restore? Inkrementalni binarni zalohy jsou normalni vec.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.