abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 14:15 | Komunita

Daniel Stenberg, autor nástroje curl, na svém blogu oznámil, že obdržel letošní Polhemovu cenu, kterou uděluje Švédská inženýrská asociace za „technologickou inovaci nebo důvtipné řešení technického problému“.

marbu | Komentářů: 3
dnes 13:40 | Pozvánky

Cílem Social Good Hackathonu, který se uskuteční 21. a 22. října v Brně, je vymyslet a zrealizovat projekty, které pomůžou zlepšit svět kolem nás. Je to unikátní příležitost, jak představit nejrůznější sociální projekty a zrealizovat je, propojit aktivní lidi, zástupce a zástupkyně nevládních organizací a lidi z prostředí IT a designu. Hackathon pořádá brněnská neziskovka Nesehnutí.

… více »
Barbora | Komentářů: 1
dnes 00:44 | Pozvánky

V sobotu 21. října 2017 se na půdě Elektrotechnické fakulty ČVUT v Praze uskuteční RT-Summit – setkání vývojářů linuxového jádra a uživatelů jeho real-time verze označované jako preempt-rt.

… více »
Pavel Píša | Komentářů: 6
včera 23:44 | Bezpečnostní upozornění

V Linuxu byla nalezena bezpečnostní chyba CVE-2017-15265 zneužitelná k lokální eskalaci práv. Jedná se o chybu v části ALSA (Advanced Linux Sound Architecture).

Ladislav Hagara | Komentářů: 1
včera 22:44 | Komunita

Greg Kroah-Hartman informuje na svém blogu, že do zdrojových kódu linuxového jádra bylo přidáno (commit) prohlášení Linux Kernel Enforcement Statement. Zdrojové kódy Linuxu jsou k dispozici pod licencí GPL-2.0. Prohlášení přidává ustanovení z GPL-3.0. Cílem je chránit Linux před patentovými trolly, viz například problém s bývalým vedoucím týmu Netfilter Patrickem McHardym. Více v často kladených otázkách (FAQ).

Ladislav Hagara | Komentářů: 4
včera 22:04 | Pozvánky

Rádi bychom vás pozvali na přednášku o frameworku Avocado. Jedná se o testovací framework další generace, inspirovaný Autotestem a moderními vývojovými nástroji, jako je třeba git. Přednáška se bude konat 23. října od 17 hodin na FEL ČVUT (Karlovo náměstí, budova E, auditorium K9 – KN:E 301). Více informací na Facebooku.

… více »
mjedlick | Komentářů: 0
včera 21:44 | Bezpečnostní upozornění

Nový útok na WPA2 se nazývá KRACK a postihuje prakticky všechna Wi-Fi zařízení / operační systémy. Využívá manipulace s úvodním handshake. Chyba by měla být softwarově opravitelná, je nutné nainstalovat záplaty operačních systémů a aktualizovat firmware zařízení (až budou). Mezitím je doporučeno používat HTTPS a VPN jako další stupeň ochrany.

Václav HFechs Švirga | Komentářů: 3
15.10. 00:11 | Zajímavý projekt

Server Hackaday představuje projekt RainMan 2.0, aneb jak naučit Raspberry Pi 3 s kamerovým modulem pomocí Pythonu a knihovny pro rozpoznávání obrazu OpenCV hrát karetní hru Blackjack. Ukázka rozpoznávání karet na YouTube. Zdrojové kódy jsou k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 0
14.10. 15:11 | IT novinky

Online obchod s počítačovými hrami a elektronickými knihami Humble Bundle byl koupen společností IGN. Dle oficiálních prohlášení by měl Humble Bundle dále fungovat stejně jako dosud.

Ladislav Hagara | Komentářů: 8
14.10. 06:00 | Zajímavý článek

Brendan Gregg již v roce 2008 upozornil (YouTube), že na pevné disky se nemá křičet, že jim to nedělá dobře. Plotny disku se mohou rozkmitat a tím se mohou prodloužit časy odezvy pevného disku. V září letošního roku proběhla v Buenos Aires konference věnovaná počítačové bezpečnosti ekoparty. Alfredo Ortega zde demonstroval (YouTube, pdf), že díky tomu lze pevný disk použít také jako nekvalitní mikrofon. Stačí přesně měřit časy odezvy

… více »
Ladislav Hagara | Komentářů: 9
Těžíte nějakou kryptoměnu?
 (6%)
 (2%)
 (15%)
 (76%)
Celkem 720 hlasů
 Komentářů: 24, poslední 27.9. 08:30
    Rozcestník

    Dotaz: btrfs - jak dlouho má trvat odpojení disku od single device?

    Pavel Čejka avatar 20.10.2014 12:23 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
    btrfs - jak dlouho má trvat odpojení disku od single device?
    Přečteno: 373×

    Trochu experimentuji. Mám btrfs device single, původně ze dvou HDD, připojil jsem k tomu 3. a 4., po krátkém používání jsem 4. opět odpojil a pokusil se odpojit 1., kterým to celé bylo přimountované. Během odpojování mi Cron spustil rsync do jednoho subvolume. Čímž se možná něco poblblo, možná ne, ale přinejmenším rsync se zastavil. Takže jsem ho killnul a zastavil cron.

    V ten okamžik (resp. cca 1/2 dne po kolizi s rsyncem) jsem možná udělal chybu, protože jsem se pokusil killnout proces btrfs delete, což nejde a zatím stále běží. Jelikož to je pokusný stroj nechal jsem to tedy přes víkend pracovat a opravdu se něco děje.

    jádro - systém je 32bit, protože je to "studená" záloha instalace pro stroj, který nemá 64bit CPU

    Linux version 3.16.3 (root@charon) (gcc version 4.7.3 (Gentoo 4.7.3-r1 p1.4, pie-0.5.5) ) #1 SMP Mon Oct 6 15:10:18 CEST 2014

    systém

    cat /proc/cpuinfo 
    ...
    model name      : Intel(R) Pentium(R) CPU G630T @ 2.30GHz
    ...
    cpu MHz         : 2300.000
    cache size      : 3072 KB
    ...

    související procesy z topu - něco to dělá, ale netuším, co přesně

      PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
    15149 root      20   0       0      0      0 R  99,4  0,0 175:09.01 kworker/u4:4
     3499 root      20   0       0      0      0 R  89,8  0,0   3017:01 btrfs-transacti

    devid 3 byl před zadáním delete zcela prázdný, postupně přibyly 4GB za 3 dny běhu, devid 1 je ten, který jsem chtěl odstranit a kterým to je přimountováno do /mnt/backup_btrfs, v okamžiku zadání btrfs delete byl /dev/sde1 zcela prázdný a ještě dlouho po pokusu o kill na něm byly jen 2GB

    btrfs filesystem show --all-devices
    Label: none  uuid: 86a80782-b8f9-4d8f-9a61-4aa8e516f589
            Total devices 3 FS bytes used 77.88GiB
            devid    1 size 149.05GiB used 5.03GiB path /dev/sdd1
            devid    2 size 298.09GiB used 79.01GiB path /dev/sdc1
            devid    3 size 111.79GiB used 4.00GiB path /dev/sde1
    
    Btrfs v3.12

    sdd1 je první disk z původní dvojice v btrfs single device

    /dev/sdd1 on /mnt/backup_btrfs type btrfs (rw)

    btrfs delete stále běží po pokusu o zabití kill -9

     8703 ?        D     18:48 btrfs device delete /dev/sdd1 /mnt/backup_btrfs/

    zajímavé, že v /dev není vidět /dev/sdc1 ani /dev/sde1, ale jen první disk z btrfs single device

    ls /dev/disk/by-uuid/ -l
    ...
    lrwxrwxrwx 1 root root 10 18. říj 00.54 86a80782-b8f9-4d8f-9a61-4aa8e516f589 -> ../../sdd1

    obsah jednoho subvolume/snapshotu, kterých je na btrfs 430

    ls -l /mnt/backup_btrfs/daily_rsync_subvolume
    celkem 0
    drwxr-xr-x 1 root   root   1076  7. říj 04.05 bin
    drwxr-xr-x 1 root   root    442  6. říj 15.11 boot
    drwxr-xr-x 1 root   root    770 15. srp 14.18 __dalsi_balast_pro_zatizeni_btrfs
    drwxr-xr-x 1 root   root   3152 17. říj 18.03 etc
    drwxr-xr-x 1 root   root     34  6. úno  2012 home
    drwxr-xr-x 1 root   root   3830  7. říj 04.02 lib
    drwxr-xr-x 1 root   root     10 17. srp  2011 opt
    drwx------ 1 root   root    600 15. říj 12.55 root
    drwxr-xr-x 1 root   root   2852  7. říj 04.15 sbin
    drwxr-xr-x 1 apache apache  512 18. čen 10.55 srv
    drwxrwxrwt 1 root   root    106 17. říj 18.03 tmp
    drwxr-xr-x 1 root   root    138 29. říj  2010 usr
    drwxr-xr-x 1 root   root    106  6. říj 23.18 var

    poslední související záznamy v messages, pak už nic nepřibylo (po kolizi s rsyncem)

    cat messag* | grep -i btrfs
    Oct 17 17:21:22 charon kernel: BTRFS info (device sdd1): disk space caching is enabled
    Oct 17 17:21:58 charon kernel: BTRFS info (device sdd1): relocating block group 73043804160 flags 20
    Oct 17 17:25:00 charon kernel: BTRFS info (device sdd1): found 27915 extents
    Oct 17 17:25:00 charon kernel: BTRFS info (device sdd1): relocating block group 60158902272 flags 20
    Oct 17 17:33:21 charon kernel: BTRFS info (device sdd1): found 63267 extents
    Oct 17 17:33:22 charon kernel: BTRFS info (device sdd1): relocating block group 27946647552 flags 20
    Oct 17 18:00:01 charon run-crons[8854]: (root) CMD (/etc/cron.hourly/zalohovani_rsync_btrfs.sh)
    Oct 17 18:03:46 charon kernel: BTRFS info (device sdd1): disk space caching is enabled
    Oct 18 00:58:39 charon kernel: BTRFS info (device sdd1): disk space caching is enabled
    Oct 18 05:11:40 charon kernel: BTRFS info (device sdd1): found 63312 extents
    Oct 18 05:11:41 charon kernel: BTRFS info (device sdd1): relocating block group 16135487488 flags 20

    Aktuálně je tedy na btrfs filesystému 430 snapshotů, v každém z nich je různě aktuální záloha celého Linuxu, mezi některými jsou změny více radikální, protože jsem aktualizoval celé Gentoo. Plus trocha balastu ve větších souborech ... testuju tím zálohovací skripty, takže obsah filesystému je postradatelný.

    Ale když už se to takto pěkně pokazilo (nebo je to normální, že to tak dlouho trvá?), tak se chci dozvědět, co možná nejvíc o možné diagnostice, opravě.

    Co vy na to?

    Odpovědi

    20.10.2014 12:54 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
    S Btrfs v single módu není radno takové kousky dělat. Přečti si hned ten první odstavec.
    Pavel Čejka avatar 20.10.2014 14:43 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?

    FS jsem vytvářel pomocí mkfs.btrfs -d single /dev/sdc1 /dev/sdd1 a další disk přidával např. btrfs device add /dev/sde1 /mnt/backup_btrfs/

    Krátce po přidání čtvrtého vypadalo btrfs device takto (z mých poznámek během experimentování)

    btrfs filesystem show --all-devices
    Label: none  uuid: 86a80782-b8f9-4d8f-9a61-4aa8e516f589
            Total devices 4 FS bytes used 75.08GiB
            devid    1 size 149.05GiB used 5.03GiB path /dev/sdd1
            devid    2 size 298.09GiB used 77.01GiB path /dev/sdc1
            devid    3 size 111.79GiB used 0.00 path /dev/sde1
            devid    4 size 465.76GiB used 0.00 path /dev/sdb1
    
    Btrfs v3.12

    Platí i v tuto situaci, že druhý /dev/sde1 a třetí /dev/sdb1 nebyly přidané v režimu single, ale RAID 0?

    A nebo spíš jinak ... to, že btrfs rozkládá zátěž na víc disků mi nemusí vadit, žádný z nich není vadný (snad, testem předtím prošly), žádný jsem fyzicky zatím neodpojil (byť jsou všechny na USB), všechna data jsou stále přístupná i když se na pozadí děje něco, do čeho nevidím. Takže i když s tím provedu takovou divočinu, jako odebrání jednoho z prvních disků na kterém byl fs sestaven, tak by se to mělo úspěšně přeorganizovat. Nebo ne?

    Mimochodem, ve výpisu

    btrfs filesystem df /mnt/backup_btrfs 
    Data, single: total=73.01GiB, used=72.94GiB
    System, RAID1: total=8.00MiB, used=16.00KiB
    System, single: total=4.00MiB, used=0.00
    Metadata, RAID1: total=6.00GiB, used=4.95GiB
    Metadata, single: total=8.00MiB, used=0.00
    unknown, single: total=512.00MiB, used=49.17MiB

    ... se mění poslední položka unknown a postupně zmenšuje položka Metadata, RAID1: To bych chápal tak, že btrfs stále pracuje a proto mi nezbývá než počkat až svou práci dokončí.

    Heron avatar 20.10.2014 15:08 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
    Díky za tyto harakiri testy. :-) Mě se BTRFS za 4 roky nikdy nepodařilo zbořit (krom jednoho případu na kernelu 2.6.18).

    Podle mě tam dochází k tomu, že btrfs delete se snaží realokovat všechny bloky jinam, zatímco se na ten FS sypou další data (a i na ten odebíraný disk). Takže tak trochu chybka. Takže teď omezit ostatní provoz a prostě počkat. Navíc je tam docela dost metadat (5GB na 73GB dat, u mě je to na R1 asi 400MB na 380GB), což samozřejmě ničemu neva (jak jsi psal, je tam dost snapshotů a asi i souborů).
    Pavel Čejka avatar 20.10.2014 15:29 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?

    Od okamžiku, kdy se do toho připletl rsync a poblblo se to (resp. rsync se zastavil na cca hodinu na jednom z mnoha malých souborů než jsem ho ukončil) jsem na to nic dalšího nezapisoval a nechal to v klidu pracovat.

    Metadat je hodně, protože snapshotů je 429 + subvolume kam rsync zálohoval. Soubory v subvolume mají dohromady 37G a i s adresářema jich je 783768 (říká find * | wc). Trochu extrém, ale při zálohování maildirů je možné leccos, proto to zkouším na tomto.

    20.10.2014 15:11 trubicoid
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?

    ... se mění poslední položka unknown a postupně zmenšuje položka Metadata, RAID1: To bych chápal tak, že btrfs stále pracuje a proto mi nezbývá než počkat až svou práci dokončí.

    ano, to prebalancovani muze trvat dost dlouho, jestli mas disky usb tak klidne i par dni vyhoda je, ze nevadi restart
    20.10.2014 13:35 trubicoid
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
    no ja to nejak nechapu, mel jsi vice disku v RAID0 a pak nejake odpojoval a pripojoval? nejak mi to nedava smysl

    nechtel jsi mit RAID1 nebo 5 nebo 10?

    co rika?

    btrfs filesystem df /mnt/backup_btrfs

    jinak me se kousl RAID5 pri zapisu spousty dat, asi neco podobneho, jako vidis ty; po restartu se to tvarilo normalne, scrub nic nenasel, zapisovany adresar jsem smazal a zapsal znova

    ted uz to nejakou dobu nedela
    Pavel Čejka avatar 20.10.2014 14:11 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?

    říká

    btrfs filesystem df /mnt/backup_btrfs 
    Data, single: total=73.01GiB, used=72.94GiB
    System, RAID1: total=8.00MiB, used=16.00KiB
    System, single: total=4.00MiB, used=0.00
    Metadata, RAID1: total=6.00GiB, used=4.97GiB
    Metadata, single: total=8.00MiB, used=0.00
    unknown, single: total=512.00MiB, used=28.33MiB

    Určitě jsem nechtěl RAID0/10/5, nejde mi o zrychlení, ani redundanci, ale spíš o možnost "nastavovat" v nouzi prostor pro zálohy, když nastane situace, kdy není snadné disk vyměnit, nebo je potřeba větší prostor, než jsou běžně/levně koupitelné kapacity. Nebo pro případ, že mám spoustu příliš malých HDD, které se k ničemu lepšímu nehodí (třeba 500G) a chci na ně duplicitně zálohovat "něco" navíc. Tj. získám tím určité pohodlí při obnově ze zálohy, nebo delší historii záloh, ale zároveň příliš neriskuji, protože existuje ještě jedna záloha na zcela jiném úložišti s jiným fs. Tím pádem mne i zajímalo, co btrfs provede v trochu víc extrémních situacích.

    20.10.2014 15:08 trubicoid
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
    nojo, mas smotany dohromady single a raid1, to asi neni uplne normalni...

    porad to nechapu, jak chces ty disky pridavat a ubirat a pritom nechces redundanci? vzdyt kdyz nemas redundanci a disk seberes, tak se nejaky data a nejaky metadata nebudou dat najit, ne?

    jedine bych chapal, ze budes disky jenom pridavat a nikdy ubirat, pak nepotrebujes redundanci

    jestli i ubirat, nebo jako pojistku proti poskozeni vse vybalancoval na RAID1 nebo 10 nebo 5

    btrfs balance start -dconvert=raid1 -mconvert=raid1 /mnt/backup_btrfs
    Heron avatar 20.10.2014 15:29 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
    nojo, mas smotany dohromady single a raid1, to asi neni uplne normalni...

    Nemá. Všechna data má single. Metadata jsou buďto duplikovaná (na jednom disku) nebo R1 na multidevice. Tohle chování je správné.

    porad to nechapu, jak chces ty disky pridavat a ubirat a pritom nechces redundanci?

    Jenomže on nepožaduje (jak to chápu) redundanci proti (hw) výpadku disku. On to přidává pomocí btrfs device add a ubírá pomocí btrfs device delete. Při tomto způsobu o žádná data a ani metada při odstranění disku nepřijde, btrfs to realokuje jinam.

    20.10.2014 22:54 Aleš Kapica | skóre: 46 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
    Správně. A čas jak dlouho to bude trvat závisí na mnoha faktorech.
    21.10.2014 10:30 trubicoid
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
    aha, takze da btrfs device delete a pak musi pockat, nez se to z disku vykopiruje a pak az ho odpojit? signalizuje nejak btrfs, ze uz muze?

    neni lepsi mit alespon metadata R1? a data teda single no
    Heron avatar 21.10.2014 10:58 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: btrfs - jak dlouho má trvat odpojení disku od single device?
    neni lepsi mit alespon metadata R1? a data teda single no

    Ale on to tak má:

    Data, single: total=73.01GiB, used=72.94GiB
    Metadata, RAID1: total=6.00GiB, used=4.97GiB
    
    signalizuje nejak btrfs, ze uz muze?

    Ano. Příkaz delete dojede a ve fi show to zařízení zmizí.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.