abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 4
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 22
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 8
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 3
2.12. 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
2.12. 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 1
2.12. 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
1.12. 21:00 | Nová verze

Byla vydána beta verze Linux Mintu 18.1 s kódovým jménem Serena. Na blogu Linux Mintu jsou hned dvě oznámení. První o vydání Linux Mintu s prostředím MATE a druhé o vydání Linux Mintu s prostředím Cinnamon. Stejným způsobem jsou rozděleny také poznámky k vydání (MATE, Cinnamon) a přehled novinek s náhledy (MATE, Cinnamon). Linux Mint 18.1 bude podporován až do roku 2021.

Ladislav Hagara | Komentářů: 0
1.12. 16:42 | Nová verze

Byl vydán Devuan Jessie 1.0 Beta 2. Jedná se o druhou beta verzi forku Debianu bez systemd představeného v listopadu 2014 (zprávička). První beta verze byla vydána v dubnu letošního roku (zprávička). Jedna z posledních přednášek věnovaných Devuanu proběhla v listopadu na konferenci FSCONS 2016 (YouTube, pdf).

Ladislav Hagara | Komentářů: 2
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 771 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Nekonzistentní LVM snapshoty

14.4.2013 16:15 libokajn
Nekonzistentní LVM snapshoty
Přečteno: 784×
Ahoj. Mám jednoduchý zálohovací skript, který jednou za čas na KVM hostu (Centos 6) vytvoří snapshoty běžících guestů a přesype je na zálohovací server. Naštěstí v tom skriptu počítám md5 hashe a všiml jsem si, že stále u jednoho lvm volumu má snapshot nekonzistentní data (udělám snapshot, udělám obraz a pak md5 snapshotu a obrazu). Zkoušel jsem ten jeden volume zálohovat ručně na lokální úložiště a problém je stejný. V dmesg žádné chybové hlášky nejsou, jakoby se zdá, že to funguje, ale nefunguje. Můžete mi s tím někdo poradit? Problémový je ten windows_server LVM volume.
[root@kvm ~]# lvs
  LV                      VG   Attr      LSize   Pool Origin         Data%  Move Log Cpy%Sync Convert
  TESTOVACI               data -wi-ao--- 160.00g                                                     
  a1                      data -wi-ao---  40.00g                                                     
  a2                      data -wi-ao---  10.00g                                                     
  swap                    data -wi-ao---   4.88g                                                     
  system                  data -wi-ao---  19.53g                                                     
  windows_server          data owi-aos-- 120.00g                                                     
  windows_server_snapshot data swi-a-s--  25.00g      windows_server   1.40

Odpovědi

14.4.2013 18:47 wtfonym
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Můžeš doplnit sekvenci příkazů, která demonstruje problém? Objasnilo by to způsob vytváření obrazu (brr), a co konkrétně s čím se porovnává. Ty md5sumy se při následujících pokusech měnily nebo zůstávají stejné?
14.4.2013 19:49 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
# vytvořím snapshot
> lvcreate -s -L 25G -n windows_server_snapshot /dev/data/windows_server

# vytvořím image stejným způsobem, jakým zálohuji na server se souborovým systémem ZFS, tj. přenesu jen rozdíly mezi soubory (nebo celý pokud neexistuje cílový)
> rsync -L --inplace --no-whole-file --block-size=32768 --copy-devices /dev/data/windows_server_snapshot /testovaci/windows_server.img

# md5 lvm snapshotu
> md5sum /dev/data/windows_server_snapshot | awk '{print $1}' > /testovaci/lvm.md5

# md5 lvm image
> md5sum /testovaci/windows_server.img | awk '{print $1}' > /testovaci/file.md5

> cat /testovaci/lvm.md5 /testovaci/file.md5
65428116d1797a70949530221850cc5e
7a17be5c0e71b193b8178343d06f2208
Na ostatní LVM volumy to funguje, jen s tímto je problém.
14.4.2013 21:14 wtfonym
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
md5sum /testovaci/windows_server.img <- predpokladam, ze tenhle volume furt zije a nejaky system do nej prubezne vesele zapisuje. Ocekavane chovani. Nemelo to byt md5sum /dev/data/windows_server_snapshot ?
14.4.2013 21:18 wtfonym
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Moment, co to blabolim, pardon, nemumim cist. Ignorujte prosim predchozi prispevek.

Pak jedine co mne napada, je ze by cat /dev/data/windows_server_snapshot > soubor vytvorilo soubor, jehoz velikost neni nasobkem 32 kilo a tim padem md5sum srovnava nesrovnatelne.
14.4.2013 22:40 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Uff, vypadá to na problém v samotném LVM. Pokud 2x zavolám "md5sum /dev/data/windows_server_snapshot", nevrátí to stejný součet.
14.4.2013 23:23 Lukáš Džunko | skóre: 39 | blog: Jooky | Bratislava
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
hmm, zaujimave. Neni ten snapshot automaticky namontovany nejakym daemonom ? (hal, dbus, automounter, etc.) Je nieco zaujimave v syslogu, alebo v kernel logu ? ... bug v lvm by som bral ako poslednu moznost, aj ked stale je to moznost.

btw. rsync. Prenasat len rozdiely sa moc neoplati ak zdroj aj ciel je na jednej masine. Rsync si vycita cast z oboch suborov, spravi checksum a podla toho sa rozhodne ci je potrebne prepisat ciel, alebo nie. Ak bezi rsync po pomalej linke a zmien nie je vela, tak to dost urychli synchronizovanie, no vramci jedneho stroja to ma vacsinou opacny ucinok.
15.4.2013 00:13 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
V syslogu je jen hláška po vytvoření snapshotu: "Monitoring snapshot data-windows_server". V jadernym logu nic.
btw. rsync. Prenasat len rozdiely sa moc neoplati ak zdroj aj ciel je na jednej masine. Rsync si vycita cast z oboch suborov, spravi checksum a podla toho sa rozhodne ci je potrebne prepisat ciel, alebo nie. Ak bezi rsync po pomalej linke a zmien nie je vela, tak to dost urychli synchronizovanie, no vramci jedneho stroja to ma vacsinou opacny ucinok.
Ten rsync mi normálně běží na vzdálený stroj, tady jsem to jen testoval.
Jendа avatar 15.4.2013 02:06 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Dokážeš nějak lokalizovat místa změn? (binární diff, md5 jen na určité úseky zařízení (dd skip count | md5sum))
15.4.2013 14:16 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Jo, zjistil jsem přímo adresy se špatnými daty na tom logickém volume. Ty LVMka jsou nad raidem 1. Teď zkouším badblockem s non destructive rw módem otestovat disk, který jsem odstranil z raidu a pak zkusím ten druhý. Protože pokud není problém v softwaru, pak asi tiše selhává jeden z disků.
16.4.2013 21:05 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Teď když to běží z jednoho disku, tak to funguje dobře. Nicméně ten odpojený disk se zdá být v pořádku. Je možné, že by to bylo způsobené linuxovým raidem? Jak vlastně funguje současný linux raid 1? Koukal jsem, že se "nedávno" přidávalo do kernelu read balancing a zároveň jsem se jinde dočetl, že čas od času je raid nekonzistentní a že je to normální, protože se to opravuje při automatických pravidelných testech. Jenže jak to pozná, na kterém disku jsou správná data při opravě a jak to pozná při normálním čtení korektní data?
17.4.2013 01:32 anonym
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
zároveň jsem se jinde dočetl, že čas od času je raid nekonzistentní a že je to normální, protože se to opravuje při automatických pravidelných testech. Jenže jak to pozná, na kterém disku jsou správná data při opravě a jak to pozná při normálním čtení korektní data?
normalni to urcite neni, ale bohuzel se to stava (taky to je duvod proc sem z mdraid presel na ZFS, nikdy zpet) pri "oprave" se (mozna to zmenily, ale pochybuju) predpoklada ze korektni jsou data, spatne je parita (i kdyz jsou v RAID6 spatne data - pri obnove z jedny parity by ta druha sedela). co tohle znamena pro mirror si nejsem jistej, pravdepodobne ze prvni disk je "master" a predpoklada se ze ten je korektni
18.4.2013 23:11 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Tak na degradovaném raidu to funguje bezchybně, ale na sestaveném raidu je ten problém pořád. Nevíte co s tím? Přijde mi to jako docela závažný problém mít na raidu stále nekonzistentní data.
19.4.2013 08:54 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
No to opravdu vypadá na nekonzistentní RAID1, data se totiž čtou z obou disků a nelze říct co kdy, tzn. dvě čtení na nekonzistentním RAID1 mohou dát jiné výsledky.
Kdy tam proběhl resync naposledy?
něco jako:
echo 'check'  > /sys/block/mdXX/md/sync_action
a pak
cat /sys/block/mdXX/md/mismatch_count
nebo i s opravou pole (asi první disk je master):
echo 'repair' > /sys/block/mdXX/md/sync_action
sledovat lze třeba pomocí:
cat /proc/mdstat
Pokud to chcete uspíšit a nebudete pole používat (ale můžete jej používat, ale možná pak bych dal první hodnotu jen 50000 či méně):
echo 200000 /sys/block/mdXX/md/sync_speed_min
echo 500000 /sys/block/mdXX/md/sync_speed_max
mdXX - dosaďte vlastní
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
19.4.2013 21:53 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Když jsem to zkoušel, tak jsem odpojil jeden disk z raidu a pak ho zase připojil, takže resync proběhl při tom. Nicméně těsně po tom to stejně není konzistentní. Pomocí echo 'check' > /sys/block/md1/md/sync_action jsem si ověřil, že se tam nachází něco přes tisíc nekonzistencí.
20.4.2013 23:51 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Jak dlouho probíhal resync, není problém s bitmap-ou, že byla vytvořena „nějak blbě v blbý čas nebo co“…, zkusil bych ji dát pryč mdadm --grow --bitmap=none /dev/md0 a zkusil znovu. Jinak to bude asi spíš už chyba disku…
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
29.4.2013 15:27 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Pod odstranění bitmapy jsem resyncnul disky a bitmapu znovu vytvořil a pak znovu resyncnul (pro jistotu). Poté se pár hodin zdálo, že je to dobré, ale pak se to zase rozes.alo... Viz.
194cf9a726f086aa55b0260bf96c5e46  /dev/data/windows_server_snapshot
eb6ca7d5400489cabab0b4203a1be4c4  /dev/data/windows_server_snapshot
7f2a9ef2cab1bb30091683675c279c63  /dev/data/windows_server_snapshot
eb6ca7d5400489cabab0b4203a1be4c4  /dev/data/windows_server_snapshot
194cf9a726f086aa55b0260bf96c5e46  /dev/data/windows_server_snapshot
Je vidět, že tolik nesynchronizovaných bloků dat tam zase nebude, protože se to občas při čtení trefí do toho samého. Nemůže to být ten samý problém (s windows paging file), který se objevuje s linux swapem na raidu 1, tj. http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=405919 (i když tady moc nerozumím o co konkrétně se jedná)?
4.5.2013 14:23 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Tak je to skutečně v tom místě, kde je windows stránkovací soubor.
mount -t ntfs-3g /dev/mapper/data-windows_server2 /W
while : ; do md5sum /W/pagefile.sys; done
6b87c2367d9936168ba79d16ccc297f7  /W/pagefile.sys
ba12e00950a0459389b1e97a44602047  /W/pagefile.sys
6b87c2367d9936168ba79d16ccc297f7  /W/pagefile.sys
ba12e00950a0459389b1e97a44602047  /W/pagefile.sys
6b87c2367d9936168ba79d16ccc297f7  /W/pagefile.sys
6b87c2367d9936168ba79d16ccc297f7  /W/pagefile.sys
Teď je otázka - vadí to něčemu? Pokud je toto ten samý či podobný problém jako s linux swapem na raid 1, pak tento problém nemám jen já, ale všichni, kteří provozují takovou konfiguraci (raid 1, lvm, virtualizace s kvm) - mohl by mi to prosím někdo potvrdit?
4.5.2013 14:27 libokajn
Rozbalit Rozbalit vše Re: Nekonzistentní LVM snapshoty
Mimochodem při hledání jsem narazil na toto: http://www-947.ibm.com/support/entry/portal/docdisplay?lndocid=MIGR-5092480 Takže to asi není jen problém s linux raidem.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.