abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 09:44 | Upozornění

Byly zveřejněny videozáznamy přednášek z konference LinuxDays 2019, která proběhla 5. a 6. října v Praze. Odkazy na videa společně s prezentacemi naleznete v programu, případně můžete jít rovnou na stránku video. Záznamy pořizovalo Audiovizuální centrum SiliconHill.

Petr Krčmář | Komentářů: 14
17.10. 18:55 | Nová verze

Bylo vydáno OpenBSD 6.6. Opět bez oficiální písně. Z novinek lze zmínit například sysupgrade(8).

Ladislav Hagara | Komentářů: 5
17.10. 08:36 | Nová verze

Vyšla nová verze monitorovacího řešení Centreon 19.10.0. Novinek je spousta (realtime API, podpora JIRA, vylepšený systém notifikací...), ale těmi nejdůležitějšími je pro mnohé uživatele podpora nové verze rrdtool 1.7.x a php 7.2. Systém tak půjde bez problémů provozovat na jiných distribucích než CentOS 7. Kompletní přehled novinek v seznamu změn. Předpřipravená appliance i samotné části jsou k dispozici na oficiálních stránkách.

Max | Komentářů: 0
17.10. 01:00 | Komunita

Dnes vyjde Ubuntu 19.10 s kódovým názvem Eoan Ermine. Přehled novinek v poznámkách k vydání. Ubuntu 20.04 LTS bude Focal Fossa.

Ladislav Hagara | Komentářů: 11
16.10. 22:11 | Zajímavý projekt

Padesátiny Unixu lze oslavit také hrou The Unix Game aneb na unixové roury pomocí Scratche.

Ladislav Hagara | Komentářů: 2
16.10. 21:44 | Komunita

Vývojáři svobodného 3D softwaru Blender oznámili, že nejnovějším firemním sponzorem Blenderu je společnost Adidas. Jedná se o úroveň Corporate Silver, tj. 12 tisíc eur ročně.

Ladislav Hagara | Komentářů: 16
16.10. 18:22 | Komunita

V září proběhla každoroční konference Akademy komunity KDE. Nyní jsou záznamy přednášek dostupné online. Témata se dotýkají aplikací a knihoven KDE, jejich adaptaci pro různá speciální použití (vestavěná zařízení či rozšířená realita) i obecně vývoje a distribuce softwaru.

Fluttershy, yay! | Komentářů: 0
16.10. 09:11 | Zajímavý článek

Mozilla.cz informuje o vylepšování vlastních about: stránek Firefoxu, konkrétně o odstraňování volání funkce eval() z těchto stránek. Tyto stránky mají přístup k interním součástem Firefoxu, ale protože jsou napsané v HTML a JavaScriptu, mohou být cílem podobných útoků jako webové stránky zobrazované v prohlížeči (např. vložení cizího kódu nebo obsahu), jen s potenciálně závažnějším dopadem. Pokud by se někomu skutečně povedlo kód do

… více »
Ladislav Hagara | Komentářů: 3
16.10. 08:55 | Zajímavý projekt

Uživatel GitHubu joeycastillo představil The Open Book Project, jehož cílem je vytvořit open-source čtečku elektronických knih. Projekt se zatím nachází v rané fázi vývoje, už nyní ale obsahuje použitelný návrh hardware prototypu „Feather Wing“, jehož cílem má být ověření konceptu na 4,2palcovém displeji. Tento koncept je postaven na kitu Adafruit Feather M4 Express, který ovládá hlavní desku s displeji a tlačítky. Po úspěšném ověření

… více »
Bystroushaak | Komentářů: 41
16.10. 05:00 | Nová verze

Byla vydána verze 5.0.0 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata (Wikipedie). Přehled novinek v oficiálním oznámení a v aktualizované dokumentaci.

Ladislav Hagara | Komentářů: 0
Kdy jste naposledy viděli počítač s připojeným běžícím CRT monitorem?
 (20%)
 (4%)
 (11%)
 (39%)
 (24%)
 (2%)
Celkem 420 hlasů
 Komentářů: 22, poslední 23.9. 08:36
Rozcestník

www.AutoDoc.Cz

Dotaz: Zamrzá rsync

Skeletonix avatar 9.9.2018 18:39 Skeletonix | skóre: 18 | Praha
Zamrzá rsync
Přečteno: 396×
Dobrý den / Ahoj,

pro zálohu domovského adresáře prac. stanice (openSuse Tumbleweed) používám externí disk připojený k Raspberry (Rasbian), synchronizace dat je realizována pomocí rsync. Externí disk je šifrovaný pomocí LUKS, na disku je BTRFS s aktivovanou kompresí a průběžně se tam dělají snapshoty (snapper).

V poslední době se mi začal objevovat problém se zápisem na externí disk, rsync po chvilce zamrzne a v dmesg (na Raspberry) se objevuje:
[40671.388839] INFO: task btrfs-transacti:1572 blocked for more than 120 seconds.
[40671.388850]       Not tainted 4.14.62-v7+ #1134
[40671.388853] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[40671.388859] btrfs-transacti D    0  1572      2 0x00000000
[40671.388890] [<8079d258>] (__schedule) from [<8079d8c0>] (schedule+0x50/0xa8)
[40671.389204] [<8079d8c0>] (schedule) from [<7f4b6878>] (btrfs_start_ordered_extent+0x128/0x158 [btrfs])
[40671.389687] [<7f4b6878>] (btrfs_start_ordered_extent [btrfs]) from [<7f4b6e20>] (btrfs_wait_ordered_range+0x140/0x18c [btrfs])
[40671.390153] [<7f4b6e20>] (btrfs_wait_ordered_range [btrfs]) from [<7f4e93c4>] (__btrfs_wait_cache_io+0x50/0x1e4 [btrfs])
[40671.390620] [<7f4e93c4>] (__btrfs_wait_cache_io [btrfs]) from [<7f4ebe3c>] (btrfs_wait_cache_io+0x40/0x48 [btrfs])
[40671.391081] [<7f4ebe3c>] (btrfs_wait_cache_io [btrfs]) from [<7f47f48c>] (btrfs_start_dirty_block_groups+0x170/0x41c [btrfs])
[40671.391542] [<7f47f48c>] (btrfs_start_dirty_block_groups [btrfs]) from [<7f492f70>] (btrfs_commit_transaction+0x154/0xc2c [btrfs])
[40671.392005] [<7f492f70>] (btrfs_commit_transaction [btrfs]) from [<7f48e12c>] (transaction_kthread+0x1b4/0x1c8 [btrfs])
[40671.392243] [<7f48e12c>] (transaction_kthread [btrfs]) from [<8013d99c>] (kthread+0x13c/0x16c)
[40671.392254] [<8013d99c>] (kthread) from [<8010810c>] (ret_from_fork+0x14/0x28)
Příkaz na zálohování:

rsync --log-file=/home/user/backup_home.log -av -e '/usr/bin/ssh' --delete --exclude-from=/home/user/backup_home_exclude_list.txt /home/user/ user@10.0.0.2:/media/backup/User/Home/

Zálohu rootu provádím pomocí taru, ukládá se na shodný subvolume jako záloha home a to funguje bez problémů. Příkaz pro zálohu je:

ionice -c2 -n7 tar -cvpz --exclude=/mnt --exclude=/media --exclude=/tmp --exclude=/home --exclude=/proc --exclude=/sys --exclude=/dev --exclude=/run --one-file-system / | ssh user@10.0.0.2 "( ionice -c2 -n7 cat > /media/backup/User/System/$file$datum.tar.gz )"

Vypadá to, že se problém projevuje jen při užití rsyncu.

Měl jsem podezření, že je vadný disk či FS, ale když externí disk připojím k prac. stanici a zálohu udělám lokálně, tak vše projde ok.

Nevíte proč mi rsync po chvíli spadne a způsobí prakticky nedostupnost celého subvolumu? Jediné co pomůže je restartovat Raspberry.

Odpovědi

Josef Kufner avatar 9.9.2018 18:47 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Zamrzá rsync
Koukni na spotřebu paměti. Nenaroste během zálohování příliš? Nedávno jsem s BTRFS narazil, že při použití snapshotů a kvót sežral spoustu paměti a serveru prostě došla. Paměť použitá BTRFS se navíc neodswapuje, takže to vypadalo docela podivně – žádná volná paměť, prázdný swap a závratný load. Když jsem pak chtěl pár snapshotů smazat, tak bylo po zábavě úplně. Vypnul jsem kvóty a teď mám půlku paměti volnou. Jen nevím, kolik která záloha zabírá místa.
Hello world ! Segmentation fault (core dumped)
Skeletonix avatar 9.9.2018 21:39 Skeletonix | skóre: 18 | Praha
Rozbalit Rozbalit vše Re: Zamrzá rsync
Spotřeba paměti se zdá být Ok a navíc tar funguje korektně. Pokud by bylo nedostakem paměti, tak by to mělo dopad i na tar, ne? Kvóty na disku nastavený nemám.

Vyzkoušel jsem kopírování přes rsync lokálně na Raspberry (abych ověřil, že není na vině ssh nebo něco na síti) a to při kopírování více menších souborů vedlo k chybě:
BTRFS: error (device dm-0) in btrfs_run_delayed_refs:3089: errno=-17 Object already exists
[ 2497.600549] BTRFS info (device dm-0): forced readonly
[ 2497.600553] BTRFS: Transaction aborted (error -17)
[ 2497.600556] Modules linked in: rfcomm btrfs xor xor_neon zstd_decompress zstd_compress xxhash lzo_compress raid6_pq zlib_deflate dm_crypt aes_arm_bs crypto_simd cryptd algif_skcipher af_alg dm_mod dax sg bnep hci_uart btbcm serdev bluetooth ecdh_generic cfg80211 rfkill snd_soc_pcm512x_i2c snd_soc_pcm512x snd_soc_hifiberry_dacplus snd_soc_bcm2835_i2s snd_soc_core snd_compress snd_pcm_dmaengine snd_pcm snd_timer snd i2c_bcm2835 clk_hifiberry_dacpro uio_pdrv_genirq uio fixed ecryptfs ip_tables x_tables ipv6
[ 2497.600680] CPU: 0 PID: 4109 Comm: kworker/u8:10 Not tainted 4.14.62-v7+ #1134
[ 2497.600684] Hardware name: BCM2835
[ 2497.600943] Workqueue: btrfs-extent-refs btrfs_extent_refs_helper [btrfs]
[ 2497.600968] [<8010ffd8>] (unwind_backtrace) from [<8010c240>] (show_stack+0x20/0x24)
[ 2497.600977] [<8010c240>] (show_stack) from [<80787284>] (dump_stack+0xd4/0x118)
[ 2497.600988] [<80787284>] (dump_stack) from [<8011da6c>] (__warn+0xf8/0x110)
[ 2497.600996] [<8011da6c>] (__warn) from [<8011dacc>] (warn_slowpath_fmt+0x48/0x50)
[ 2497.601232] [<8011dacc>] (warn_slowpath_fmt) from [<7f4ffb44>] (btrfs_run_delayed_refs+0x2ec/0x318 [btrfs])
[ 2497.601712] [<7f4ffb44>] (btrfs_run_delayed_refs [btrfs]) from [<7f4ffc24>] (delayed_ref_async_start+0xb4/0xc0 [btrfs])
[ 2497.602174] [<7f4ffc24>] (delayed_ref_async_start [btrfs]) from [<7f556c54>] (normal_work_helper+0xb0/0x3cc [btrfs])
[ 2497.602640] [<7f556c54>] (normal_work_helper [btrfs]) from [<7f5573f8>] (btrfs_extent_refs_helper+0x1c/0x20 [btrfs])
[ 2497.602883] [<7f5573f8>] (btrfs_extent_refs_helper [btrfs]) from [<801375b8>] (process_one_work+0x158/0x454)
[ 2497.602893] [<801375b8>] (process_one_work) from [<80137918>] (worker_thread+0x64/0x5b8)
[ 2497.602902] [<80137918>] (worker_thread) from [<8013d99c>] (kthread+0x13c/0x16c)
[ 2497.602914] [<8013d99c>] (kthread) from [<8010810c>] (ret_from_fork+0x14/0x28)
[ 2497.602919] ---[ end trace ad203cb5486fa489 ]---
a mountpoint se stal read-only.

Raspberry jsem restartoval a začaly se objevovat hlášky:
[  356.021486] BTRFS: error (device dm-0) in btrfs_run_delayed_refs:3089: errno=-17 Object already exists
[  356.037496] BTRFS error (device dm-0): pending csums is 16515072
[  376.512426] BTRFS error (device dm-0): parent transid verify failed on 4368029679616 wanted 297300 found 261640
[  376.512462] BTRFS info (device dm-0): no csum found for inode 1570317 start 51380224
[  376.514838] BTRFS error (device dm-0): parent transid verify failed on 4368029679616 wanted 297300 found 261640
[  376.514866] BTRFS info (device dm-0): no csum found for inode 1570317 start 51380224
[  376.516757] BTRFS error (device dm-0): parent transid verify failed on 4368029679616 wanted 297300 found 261640
[  376.516788] BTRFS info (device dm-0): no csum found for inode 1570317 start 51380224
Zvláštní je, že to zlobí jen na Raspberry, pokud disk připojím k oSuse, tak žádné problémy nepozoruji.
Josef Kufner avatar 10.9.2018 00:38 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Zamrzá rsync
Nemáš na Raspberry výrazně starší jádro než na tom Suse? Možná jsi našel starý a opravený bug v BTRFS driveru.
Hello world ! Segmentation fault (core dumped)
Skeletonix avatar 10.9.2018 22:28 Skeletonix | skóre: 18 | Praha
Rozbalit Rozbalit vše Re: Zamrzá rsync
Rozdíl tam je, Suse 4.18.5-1 a Rasbian 4.14.-62. Přes rok tato konfigurace fungovala dobře, začalo to zlobit před časem.
Josef Kufner avatar 11.9.2018 12:06 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Zamrzá rsync
Koukni, jaké chyby se od té doby opravily. Zkusil bych upgrade, možná jsi nějakou našel.
Hello world ! Segmentation fault (core dumped)
Skeletonix avatar 12.9.2018 19:25 Skeletonix | skóre: 18 | Praha
Rozbalit Rozbalit vše Re: Zamrzá rsync
Mám nainstalovaný poslední kernel z repositáře Raspbianu. Novější verzi bych musel kompilovat, deb balíček jsem nenašel.
10.9.2018 11:06 MM
Rozbalit Rozbalit vše Re: Zamrzá rsync
Zkontroluj ještě napájení - má ext. disk svoje? Nebo se napájí z raspberry?
Skeletonix avatar 10.9.2018 22:25 Skeletonix | skóre: 18 | Praha
Rozbalit Rozbalit vše Re: Zamrzá rsync
Tam bych problém neočekával, disk má svoje napájení. Při připojení k prac. stanici napájení neměním a tam disk funguje ok.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.