abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
včera 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 2
včera 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
včera 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
7.12. 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
7.12. 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 2
7.12. 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 10
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 27
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 806 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: btrfs - jak dlouho má trvat odpojení disku od single device?

Pavel Čejka avatar 20.10.2014 12:23 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
btrfs - jak dlouho má trvat odpojení disku od single device?
Přečteno: 360×

Trochu experimentuji. Mám btrfs device single, původně ze dvou HDD, připojil jsem k tomu 3. a 4., po krátkém používání jsem 4. opět odpojil a pokusil se odpojit 1., kterým to celé bylo přimountované. Během odpojování mi Cron spustil rsync do jednoho subvolume. Čímž se možná něco poblblo, možná ne, ale přinejmenším rsync se zastavil. Takže jsem ho killnul a zastavil cron.

V ten okamžik (resp. cca 1/2 dne po kolizi s rsyncem) jsem možná udělal chybu, protože jsem se pokusil killnout proces btrfs delete, což nejde a zatím stále běží. Jelikož to je pokusný stroj nechal jsem to tedy přes víkend pracovat a opravdu se něco děje.

jádro - systém je 32bit, protože je to "studená" záloha instalace pro stroj, který nemá 64bit CPU

Linux version 3.16.3 (root@charon) (gcc version 4.7.3 (Gentoo 4.7.3-r1 p1.4, pie-0.5.5) ) #1 SMP Mon Oct 6 15:10:18 CEST 2014

systém

cat /proc/cpuinfo 
...
model name      : Intel(R) Pentium(R) CPU G630T @ 2.30GHz
...
cpu MHz         : 2300.000
cache size      : 3072 KB
...

související procesy z topu - něco to dělá, ale netuším, co přesně

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
15149 root      20   0       0      0      0 R  99,4  0,0 175:09.01 kworker/u4:4
 3499 root      20   0       0      0      0 R  89,8  0,0   3017:01 btrfs-transacti

devid 3 byl před zadáním delete zcela prázdný, postupně přibyly 4GB za 3 dny běhu, devid 1 je ten, který jsem chtěl odstranit a kterým to je přimountováno do /mnt/backup_btrfs, v okamžiku zadání btrfs delete byl /dev/sde1 zcela prázdný a ještě dlouho po pokusu o kill na něm byly jen 2GB

btrfs filesystem show --all-devices
Label: none  uuid: 86a80782-b8f9-4d8f-9a61-4aa8e516f589
        Total devices 3 FS bytes used 77.88GiB
        devid    1 size 149.05GiB used 5.03GiB path /dev/sdd1
        devid    2 size 298.09GiB used 79.01GiB path /dev/sdc1
        devid    3 size 111.79GiB used 4.00GiB path /dev/sde1

Btrfs v3.12

sdd1 je první disk z původní dvojice v btrfs single device

/dev/sdd1 on /mnt/backup_btrfs type btrfs (rw)

btrfs delete stále běží po pokusu o zabití kill -9

 8703 ?        D     18:48 btrfs device delete /dev/sdd1 /mnt/backup_btrfs/

zajímavé, že v /dev není vidět /dev/sdc1 ani /dev/sde1, ale jen první disk z btrfs single device

ls /dev/disk/by-uuid/ -l
...
lrwxrwxrwx 1 root root 10 18. říj 00.54 86a80782-b8f9-4d8f-9a61-4aa8e516f589 -> ../../sdd1

obsah jednoho subvolume/snapshotu, kterých je na btrfs 430

ls -l /mnt/backup_btrfs/daily_rsync_subvolume
celkem 0
drwxr-xr-x 1 root   root   1076  7. říj 04.05 bin
drwxr-xr-x 1 root   root    442  6. říj 15.11 boot
drwxr-xr-x 1 root   root    770 15. srp 14.18 __dalsi_balast_pro_zatizeni_btrfs
drwxr-xr-x 1 root   root   3152 17. říj 18.03 etc
drwxr-xr-x 1 root   root     34  6. úno  2012 home
drwxr-xr-x 1 root   root   3830  7. říj 04.02 lib
drwxr-xr-x 1 root   root     10 17. srp  2011 opt
drwx------ 1 root   root    600 15. říj 12.55 root
drwxr-xr-x 1 root   root   2852  7. říj 04.15 sbin
drwxr-xr-x 1 apache apache  512 18. čen 10.55 srv
drwxrwxrwt 1 root   root    106 17. říj 18.03 tmp
drwxr-xr-x 1 root   root    138 29. říj  2010 usr
drwxr-xr-x 1 root   root    106  6. říj 23.18 var

poslední související záznamy v messages, pak už nic nepřibylo (po kolizi s rsyncem)

cat messag* | grep -i btrfs
Oct 17 17:21:22 charon kernel: BTRFS info (device sdd1): disk space caching is enabled
Oct 17 17:21:58 charon kernel: BTRFS info (device sdd1): relocating block group 73043804160 flags 20
Oct 17 17:25:00 charon kernel: BTRFS info (device sdd1): found 27915 extents
Oct 17 17:25:00 charon kernel: BTRFS info (device sdd1): relocating block group 60158902272 flags 20
Oct 17 17:33:21 charon kernel: BTRFS info (device sdd1): found 63267 extents
Oct 17 17:33:22 charon kernel: BTRFS info (device sdd1): relocating block group 27946647552 flags 20
Oct 17 18:00:01 charon run-crons[8854]: (root) CMD (/etc/cron.hourly/zalohovani_rsync_btrfs.sh)
Oct 17 18:03:46 charon kernel: BTRFS info (device sdd1): disk space caching is enabled
Oct 18 00:58:39 charon kernel: BTRFS info (device sdd1): disk space caching is enabled
Oct 18 05:11:40 charon kernel: BTRFS info (device sdd1): found 63312 extents
Oct 18 05:11:41 charon kernel: BTRFS info (device sdd1): relocating block group 16135487488 flags 20

Aktuálně je tedy na btrfs filesystému 430 snapshotů, v každém z nich je různě aktuální záloha celého Linuxu, mezi některými jsou změny více radikální, protože jsem aktualizoval celé Gentoo. Plus trocha balastu ve větších souborech ... testuju tím zálohovací skripty, takže obsah filesystému je postradatelný.

Ale když už se to takto pěkně pokazilo (nebo je to normální, že to tak dlouho trvá?), tak se chci dozvědět, co možná nejvíc o možné diagnostice, opravě.

Co vy na to?

Odpovědi

20.10.2014 12:54 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
S Btrfs v single módu není radno takové kousky dělat. Přečti si hned ten první odstavec.
Pavel Čejka avatar 20.10.2014 14:43 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?

FS jsem vytvářel pomocí mkfs.btrfs -d single /dev/sdc1 /dev/sdd1 a další disk přidával např. btrfs device add /dev/sde1 /mnt/backup_btrfs/

Krátce po přidání čtvrtého vypadalo btrfs device takto (z mých poznámek během experimentování)

btrfs filesystem show --all-devices
Label: none  uuid: 86a80782-b8f9-4d8f-9a61-4aa8e516f589
        Total devices 4 FS bytes used 75.08GiB
        devid    1 size 149.05GiB used 5.03GiB path /dev/sdd1
        devid    2 size 298.09GiB used 77.01GiB path /dev/sdc1
        devid    3 size 111.79GiB used 0.00 path /dev/sde1
        devid    4 size 465.76GiB used 0.00 path /dev/sdb1

Btrfs v3.12

Platí i v tuto situaci, že druhý /dev/sde1 a třetí /dev/sdb1 nebyly přidané v režimu single, ale RAID 0?

A nebo spíš jinak ... to, že btrfs rozkládá zátěž na víc disků mi nemusí vadit, žádný z nich není vadný (snad, testem předtím prošly), žádný jsem fyzicky zatím neodpojil (byť jsou všechny na USB), všechna data jsou stále přístupná i když se na pozadí děje něco, do čeho nevidím. Takže i když s tím provedu takovou divočinu, jako odebrání jednoho z prvních disků na kterém byl fs sestaven, tak by se to mělo úspěšně přeorganizovat. Nebo ne?

Mimochodem, ve výpisu

btrfs filesystem df /mnt/backup_btrfs 
Data, single: total=73.01GiB, used=72.94GiB
System, RAID1: total=8.00MiB, used=16.00KiB
System, single: total=4.00MiB, used=0.00
Metadata, RAID1: total=6.00GiB, used=4.95GiB
Metadata, single: total=8.00MiB, used=0.00
unknown, single: total=512.00MiB, used=49.17MiB

... se mění poslední položka unknown a postupně zmenšuje položka Metadata, RAID1: To bych chápal tak, že btrfs stále pracuje a proto mi nezbývá než počkat až svou práci dokončí.

Heron avatar 20.10.2014 15:08 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
Díky za tyto harakiri testy. :-) Mě se BTRFS za 4 roky nikdy nepodařilo zbořit (krom jednoho případu na kernelu 2.6.18).

Podle mě tam dochází k tomu, že btrfs delete se snaží realokovat všechny bloky jinam, zatímco se na ten FS sypou další data (a i na ten odebíraný disk). Takže tak trochu chybka. Takže teď omezit ostatní provoz a prostě počkat. Navíc je tam docela dost metadat (5GB na 73GB dat, u mě je to na R1 asi 400MB na 380GB), což samozřejmě ničemu neva (jak jsi psal, je tam dost snapshotů a asi i souborů).
Pavel Čejka avatar 20.10.2014 15:29 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?

Od okamžiku, kdy se do toho připletl rsync a poblblo se to (resp. rsync se zastavil na cca hodinu na jednom z mnoha malých souborů než jsem ho ukončil) jsem na to nic dalšího nezapisoval a nechal to v klidu pracovat.

Metadat je hodně, protože snapshotů je 429 + subvolume kam rsync zálohoval. Soubory v subvolume mají dohromady 37G a i s adresářema jich je 783768 (říká find * | wc). Trochu extrém, ale při zálohování maildirů je možné leccos, proto to zkouším na tomto.

20.10.2014 15:11 trubicoid
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?

... se mění poslední položka unknown a postupně zmenšuje položka Metadata, RAID1: To bych chápal tak, že btrfs stále pracuje a proto mi nezbývá než počkat až svou práci dokončí.

ano, to prebalancovani muze trvat dost dlouho, jestli mas disky usb tak klidne i par dni vyhoda je, ze nevadi restart
20.10.2014 13:35 trubicoid
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
no ja to nejak nechapu, mel jsi vice disku v RAID0 a pak nejake odpojoval a pripojoval? nejak mi to nedava smysl

nechtel jsi mit RAID1 nebo 5 nebo 10?

co rika?

btrfs filesystem df /mnt/backup_btrfs

jinak me se kousl RAID5 pri zapisu spousty dat, asi neco podobneho, jako vidis ty; po restartu se to tvarilo normalne, scrub nic nenasel, zapisovany adresar jsem smazal a zapsal znova

ted uz to nejakou dobu nedela
Pavel Čejka avatar 20.10.2014 14:11 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?

říká

btrfs filesystem df /mnt/backup_btrfs 
Data, single: total=73.01GiB, used=72.94GiB
System, RAID1: total=8.00MiB, used=16.00KiB
System, single: total=4.00MiB, used=0.00
Metadata, RAID1: total=6.00GiB, used=4.97GiB
Metadata, single: total=8.00MiB, used=0.00
unknown, single: total=512.00MiB, used=28.33MiB

Určitě jsem nechtěl RAID0/10/5, nejde mi o zrychlení, ani redundanci, ale spíš o možnost "nastavovat" v nouzi prostor pro zálohy, když nastane situace, kdy není snadné disk vyměnit, nebo je potřeba větší prostor, než jsou běžně/levně koupitelné kapacity. Nebo pro případ, že mám spoustu příliš malých HDD, které se k ničemu lepšímu nehodí (třeba 500G) a chci na ně duplicitně zálohovat "něco" navíc. Tj. získám tím určité pohodlí při obnově ze zálohy, nebo delší historii záloh, ale zároveň příliš neriskuji, protože existuje ještě jedna záloha na zcela jiném úložišti s jiným fs. Tím pádem mne i zajímalo, co btrfs provede v trochu víc extrémních situacích.

20.10.2014 15:08 trubicoid
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
nojo, mas smotany dohromady single a raid1, to asi neni uplne normalni...

porad to nechapu, jak chces ty disky pridavat a ubirat a pritom nechces redundanci? vzdyt kdyz nemas redundanci a disk seberes, tak se nejaky data a nejaky metadata nebudou dat najit, ne?

jedine bych chapal, ze budes disky jenom pridavat a nikdy ubirat, pak nepotrebujes redundanci

jestli i ubirat, nebo jako pojistku proti poskozeni vse vybalancoval na RAID1 nebo 10 nebo 5

btrfs balance start -dconvert=raid1 -mconvert=raid1 /mnt/backup_btrfs
Heron avatar 20.10.2014 15:29 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
nojo, mas smotany dohromady single a raid1, to asi neni uplne normalni...

Nemá. Všechna data má single. Metadata jsou buďto duplikovaná (na jednom disku) nebo R1 na multidevice. Tohle chování je správné.

porad to nechapu, jak chces ty disky pridavat a ubirat a pritom nechces redundanci?

Jenomže on nepožaduje (jak to chápu) redundanci proti (hw) výpadku disku. On to přidává pomocí btrfs device add a ubírá pomocí btrfs device delete. Při tomto způsobu o žádná data a ani metada při odstranění disku nepřijde, btrfs to realokuje jinam.

20.10.2014 22:54 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
Správně. A čas jak dlouho to bude trvat závisí na mnoha faktorech.
21.10.2014 10:30 trubicoid
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
aha, takze da btrfs device delete a pak musi pockat, nez se to z disku vykopiruje a pak az ho odpojit? signalizuje nejak btrfs, ze uz muze?

neni lepsi mit alespon metadata R1? a data teda single no
Heron avatar 21.10.2014 10:58 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
neni lepsi mit alespon metadata R1? a data teda single no

Ale on to tak má:

Data, single: total=73.01GiB, used=72.94GiB
Metadata, RAID1: total=6.00GiB, used=4.97GiB
signalizuje nejak btrfs, ze uz muze?

Ano. Příkaz delete dojede a ve fi show to zařízení zmizí.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.