Dotaz: Watchdog - velké množství vytvořených procesů

[LuKo]

Zdravím, mám malé zařízení s 256 MB RAM a CF místo HDD, na kterém se mi vzácně vyskytuje následující problém: ve watchdogu používám volbu:

test-binary		= /data/watchdog_reboot.sh

Skript je primitivní:

#!/bin/bash

CHECK_FILE=/tmp/reboot

if [ ! -e $CHECK_FILE ]; then
	exit 0
fi

exit -1

Je to z důvodu, že občas potřebuji zařízení rebootovat a klasické zavolání rebootu (z python skriptu) občas odmítá spolupracovat. Proto jsem si vytvořil tuto pojistku, kdy v jiném programu vytvořím soubor /tmp/reboot a watchdog zařízení restartuje. To celkem funguje, avšak poměrně vzácně dojde k IO problému, kdy skript watchdog_reboot zůstane viset na kontrole existence souboru. Watchdog pak během minuty otevře kolem 50 nových procesů watchdog_reboot, které však zůstávají viset:

Nov 28 06:32:29 alix kernel: [13746.592572] INFO: task watchdog_reboot:3299 blocked for more than 120 seconds.
Nov 28 06:32:29 alix kernel: [13746.593192] "echo 0 &qt; /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Nov 28 06:32:29 alix kernel: [13746.600254] watchdog_reboot D cc420ec8     0  3299   2526 0x00000000
Nov 28 06:32:29 alix kernel: [13746.600276]  cd28a490 00000082 c93d4380 cc420ec8 c10b4285 00000000 0001ccc8 c15b5200
Nov 28 06:32:29 alix kernel: [13746.600308]  c15b5200 c15b5200 cd28a490 c15b5200 cf393b74 c109d023 c93d4380 0000001a
Nov 28 06:32:29 alix kernel: [13746.600340]  00000000 00000000 00000000 00010000 ce435aa8 cf4ab9e8 00000000 c118592f
Nov 28 06:32:29 alix kernel: [13746.600371] Call Trace:
Nov 28 06:32:29 alix kernel: [13746.600401]  [<c10b4285&qt;] ? handle_mm_fault+0xff/0x110
Nov 28 06:32:29 alix kernel: [13746.600428]  [<c109d023&qt;] ? filemap_fault+0x18c/0x322
Nov 28 06:32:29 alix kernel: [13746.600453]  [<c118592f&qt;] ? fsnotify_perm+0x4f/0x5a
Nov 28 06:32:29 alix kernel: [13746.600479]  [<c139d529&qt;] ? __mutex_lock_common+0xdb/0x12d
Nov 28 06:32:29 alix kernel: [13746.600504]  [<c139d58c&qt;] ? __mutex_lock_slowpath+0x11/0x14
Nov 28 06:32:29 alix kernel: [13746.600526]  [<c139d622&qt;] ? mutex_lock+0x17/0x23
Nov 28 06:32:29 alix kernel: [13746.600548]  [<c139d622&qt;] ? mutex_lock+0x17/0x23
Nov 28 06:32:29 alix kernel: [13746.600572]  [<c122225f&qt;] ? tty_alloc_file+0x1d/0x2f
Nov 28 06:32:29 alix kernel: [13746.600594]  [<c12243b3&qt;] ? tty_open+0x5f/0x3dd
Nov 28 06:32:29 alix kernel: [13746.600618]  [<c10cdedb&qt;] ? chrdev_open+0xfc/0x112
Nov 28 06:32:29 alix kernel: [13746.600639]  [<c10cdddf&qt;] ? cdev_put+0x17/0x17
Nov 28 06:32:29 alix kernel: [13746.600661]  [<c10ca075&qt;] ? do_dentry_open+0x156/0x1e7
Nov 28 06:32:29 alix kernel: [13746.600686]  [<c10ca1b3&qt;] ? finish_open+0x28/0x32
Nov 28 06:32:29 alix kernel: [13746.600705]  [<c10d4afa&qt;] ? do_last+0x7f9/0x96c
Nov 28 06:32:29 alix kernel: [13746.600729]  [<c10d3293&qt;] ? __inode_permission+0x48/0x83
Nov 28 06:32:29 alix kernel: [13746.600752]  [<c10d5148&qt;] ? path_openat+0xa1/0x2c2
Nov 28 06:32:29 alix kernel: [13746.600774]  [<c10d540d&qt;] ? do_filp_open+0x21/0x5d
Nov 28 06:32:29 alix kernel: [13746.600800]  [<c11d2001&qt;] ? strncpy_from_user+0x2d/0xb0
Nov 28 06:32:29 alix kernel: [13746.600821]  [<c10ddc76&qt;] ? alloc_fd+0x4f/0xb2
Nov 28 06:32:29 alix kernel: [13746.600844]  [<c10c9ddd&qt;] ? do_sys_open+0x59/0xd2
Nov 28 06:32:29 alix kernel: [13746.600868]  [<c11c0000&qt;] ? find_bug+0x16/0x56
Nov 28 06:32:29 alix kernel: [13746.600890]  [<c10c9ea0&qt;] ? sys_open+0x21/0x26
Nov 28 06:32:29 alix kernel: [13746.600911]  [<c139eaac&qt;] ? syscall_call+0x7/0xb

Ale vždy to nakonec skončí na out-of-memory a zařízení se musí resetovat odpojením od napájení:

Nov 28 06:48:06 alix kernel: [14683.855855] hostapd invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0
Nov 28 06:48:06 alix kernel: [14683.855878] hostapd cpuset=/ mems_allowed=0
Nov 28 06:48:06 alix kernel: [14683.855896] Pid: 2229, comm: hostapd Not tainted 3.6.4 #19
Nov 28 06:48:06 alix kernel: [14683.855906] Call Trace:
Nov 28 06:48:06 alix kernel: [14683.855943]  [<c109d903&qt;] ? dump_header+0x5b/0x166
Nov 28 06:48:06 alix kernel: [14683.855969]  [<c109dd1e&qt;] ? oom_kill_process+0x4f/0x2a2
Nov 28 06:48:06 alix kernel: [14683.855993]  [<c1184c39&qt;] ? security_capable_noaudit+0xc/0xf
Nov 28 06:48:06 alix kernel: [14683.856042]  [<c109e10d&qt;] ? out_of_memory+0x19c/0x1fe
Nov 28 06:48:06 alix kernel: [14683.856070]  [<c10a0854&qt;] ? __alloc_pages_nodemask+0x40e/0x514
Nov 28 06:48:06 alix kernel: [14683.856416]  [<c109d0f9&qt;] ? filemap_fault+0x262/0x322
Nov 28 06:48:06 alix kernel: [14683.856445]  [<c10b2ec8&qt;] ? __do_fault+0x86/0x37e
Nov 28 06:48:06 alix kernel: [14683.856470]  [<c10b3c61&qt;] ? handle_pte_fault+0x2dd/0x802
Nov 28 06:48:06 alix kernel: [14683.856503]  [<c104d6e4&qt;] ? pick_next_task_fair+0xd0/0x10f
Nov 28 06:48:06 alix kernel: [14683.856528]  [<c10037bb&qt;] ? do_IRQ+0x73/0x84
Nov 28 06:48:06 alix kernel: [14683.856551]  [<c10b4285&qt;] ? handle_mm_fault+0xff/0x110
Nov 28 06:48:06 alix kernel: [14683.856580]  [<c13a12a6&qt;] ? do_page_fault+0x342/0x35e
Nov 28 06:48:06 alix kernel: [14683.856606]  [<c1004cb8&qt;] ? unmask_8259A_irq+0xe/0x40
Nov 28 06:48:06 alix kernel: [14683.856630]  [<c107b153&qt;] ? unmask_irq+0x11/0x1a
Nov 28 06:48:06 alix kernel: [14683.856652]  [<c10037bb&qt;] ? do_IRQ+0x73/0x84
Nov 28 06:48:06 alix kernel: [14683.856674]  [<c13a0f64&qt;] ? spurious_fault+0xa3/0xa3
Nov 28 06:48:06 alix kernel: [14683.856694]  [<c139efdb&qt;] ? error_code+0x67/0x6c
Nov 28 06:48:06 alix kernel: [14683.856729]  [<c1390000&qt;] ? nvbridge_check_legacy_irq_routing+0x52/0x58
Nov 28 06:48:06 alix kernel: [14683.856740] Mem-Info:
Nov 28 06:48:06 alix kernel: [14683.856750] DMA per-cpu:
Nov 28 06:48:06 alix kernel: [14683.856764] CPU    0: hi:    0, btch:   1 usd:   0
Nov 28 06:48:06 alix kernel: [14683.856773] Normal per-cpu:
Nov 28 06:48:06 alix kernel: [14683.856788] CPU    0: hi:   90, btch:  15 usd:  14
Nov 28 06:48:06 alix kernel: [14683.856824] active_anon:47365 inactive_anon:336 isolated_anon:0
Nov 28 06:48:06 alix kernel: [14683.856824]  active_file:22 inactive_file:68 isolated_file:0
Nov 28 06:48:06 alix kernel: [14683.856824]  unevictable:452 dirty:0 writeback:0 unstable:0
Nov 28 06:48:06 alix kernel: [14683.856824]  free:743 slab_reclaimable:895 slab_unreclaimable:4732
Nov 28 06:48:06 alix kernel: [14683.856824]  mapped:383 shmem:465 pagetables:3755 bounce:0
Nov 28 06:48:06 alix kernel: [14683.856896] DMA free:1068kB min:120kB low:148kB high:180kB active_anon:10264kB inactive_anon:0kB active_file:12kB inactive_file:72kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15808kB mlocked:0kB dirty:0kB writeback:0kB mapped:12kB shmem:0kB slab_reclaimable:76kB slab_unreclaimable:1992kB kernel_stack:1016kB pagetables:864kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:81 all_unreclaimable? yes
Nov 28 06:48:06 alix kernel: [14683.856909] lowmem_reserve[]: 0 238 238 238
Nov 28 06:48:06 alix kernel: [14683.856974] Normal free:1904kB min:1912kB low:2388kB high:2868kB active_anon:179196kB inactive_anon:1344kB active_file:76kB inactive_file:200kB unevictable:1808kB isolated(anon):0kB isolated(file):0kB present:243840kB mlocked:1808kB dirty:0kB writeback:0kB mapped:1520kB shmem:1860kB slab_reclaimable:3504kB slab_unreclaimable:16936kB kernel_stack:8920kB pagetables:14156kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:295 all_unreclaimable? yes
Nov 28 06:48:06 alix kernel: [14683.856986] lowmem_reserve[]: 0 0 0 0
Nov 28 06:48:06 alix kernel: [14683.857006] DMA: 135*4kB 64*8kB 1*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 1068kB
Nov 28 06:48:06 alix kernel: [14683.857060] Normal: 470*4kB 3*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 1904kB
Nov 28 06:48:06 alix kernel: [14683.857115] 947 total pagecache pages
Nov 28 06:48:06 alix kernel: [14683.857125] 0 pages in swap cache
Nov 28 06:48:06 alix kernel: [14683.857137] Swap cache stats: add 0, delete 0, find 0/0
Nov 28 06:48:06 alix kernel: [14683.857147] Free swap  = 0kB
Nov 28 06:48:06 alix kernel: [14683.857157] Total swap = 0kB
Nov 28 06:48:06 alix kernel: [14683.868914] 65520 pages RAM
Nov 28 06:48:06 alix kernel: [14683.868925] 0 pages HighMem
Nov 28 06:48:06 alix kernel: [14683.868935] 2175 pages reserved
Nov 28 06:48:06 alix kernel: [14683.868945] 74736 pages shared
Nov 28 06:48:06 alix kernel: [14683.868954] 60681 pages non-shared
Nov 28 06:48:06 alix kernel: [14683.868966] [ pid ]   uid  tgid total_vm      rss nr_ptes swapents oom_score_adj name
Nov 28 06:48:06 alix kernel: [14683.868998] [  321]     0   321      664      219       3        0         -1000 udevd
Nov 28 06:48:06 alix kernel: [14683.869020] [ 2217]     0  2217     6922      181       6        0             0 rsyslogd
Nov 28 06:48:06 alix kernel: [14683.869042] [ 2229]     0  2229     1366      160       5        0             0 hostapd
Nov 28 06:48:06 alix kernel: [14683.869065] [ 2270]     0  2270      663      204       3        0         -1000 udevd
Nov 28 06:48:06 alix kernel: [14683.869087] [ 2271]     0  2271      663      193       3        0         -1000 udevd
Nov 28 06:48:06 alix kernel: [14683.869109] [ 2293]     0  2293      445      140       4        0             0 acpid
Nov 28 06:48:06 alix kernel: [14683.869132] [ 2322]   111  2322    14254     5182      13        0             0 named
Nov 28 06:48:06 alix kernel: [14683.869155] [ 2424]     0  2424     1031      440       4        0             0 dhcpd
Nov 28 06:48:06 alix kernel: [14683.869200] [ 2426]     0  2426      977      196       4        0             0 cron
Nov 28 06:48:06 alix kernel: [14683.869222] [ 2432]     0  2432     1376      190       4        0         -1000 sshd
Nov 28 06:48:06 alix kernel: [14683.869258] [ 2526]     0  2526      455      453       4        0         -1000 watchdog
Nov 28 06:48:06 alix kernel: [14683.869281] [ 2605]     0  2605      923      175       4        0             0 getty
Nov 28 06:48:06 alix kernel: [14683.869303] [ 2606]     0  2606      503      162       4        0             0 getty
Nov 28 06:48:06 alix kernel: [14683.869348] [ 3276]     0  3276      668       58       4        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869371] [ 3279]     0  3279      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869393] [ 3284]     0  3284      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869416] [ 3287]     0  3287      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869439] [ 3290]     0  3290      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869462] [ 3293]     0  3293      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869485] [ 3296]     0  3296      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869507] [ 3299]     0  3299      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869530] [ 3302]     0  3302      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869553] [ 3305]     0  3305      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869577] [ 3308]     0  3308      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869599] [ 3313]     0  3313      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869622] [ 3316]     0  3316      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869644] [ 3319]     0  3319      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869667] [ 3322]     0  3322      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869690] [ 3325]     0  3325      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869713] [ 3328]     0  3328      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869736] [ 3331]     0  3331      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869759] [ 3334]     0  3334      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869782] [ 3337]     0  3337      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869804] [ 3340]     0  3340      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869827] [ 3345]     0  3345      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869850] [ 3348]     0  3348      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869872] [ 3351]     0  3351      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869895] [ 3354]     0  3354      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869918] [ 3357]     0  3357      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869940] [ 3360]     0  3360      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869963] [ 3363]     0  3363      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.869986] [ 3366]     0  3366      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870009] [ 3369]     0  3369      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870032] [ 3372]     0  3372      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870054] [ 3377]     0  3377      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870076] [ 3381]     0  3381     1124      193       5        0             0 cron
Nov 28 06:48:06 alix kernel: [14683.870098] [ 3383]     0  3383     1124      193       5        0             0 cron
Nov 28 06:48:06 alix kernel: [14683.870120] [ 3384]     0  3384      458      104       4        0             0 sh
Nov 28 06:48:06 alix kernel: [14683.870142] [ 3386]     0  3386      458      105       4        0             0 sh
Nov 28 06:48:06 alix kernel: [14683.870164] [ 3388]     0  3388      668       57       3        0             0 synctime
Nov 28 06:48:06 alix kernel: [14683.870210] [ 3389]     0  3389     2771      991       6        0             0 netwatch.py
Nov 28 06:48:06 alix kernel: [14683.870232] [ 3391]     0  3391      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870255] [ 3394]     0  3394      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870278] [ 3397]     0  3397      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870301] [ 3409]     0  3409      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870325] [ 3413]     0  3413      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870347] [ 3416]     0  3416      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870370] [ 3420]     0  3420      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870392] [ 3423]     0  3423      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870415] [ 3426]     0  3426      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870438] [ 3431]     0  3431      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870461] [ 3434]     0  3434      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870483] [ 3437]     0  3437      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870506] [ 3440]     0  3440      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870529] [ 3443]     0  3443      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870551] [ 3446]     0  3446      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870574] [ 3449]     0  3449      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870597] [ 3452]     0  3452      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870619] [ 3455]     0  3455      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870642] [ 3458]     0  3458      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870665] [ 3463]     0  3463      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870687] [ 3466]     0  3466      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870710] [ 3469]     0  3469      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870734] [ 3472]     0  3472      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870756] [ 3475]     0  3475      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870779] [ 3478]     0  3478      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870802] [ 3481]     0  3481      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870824] [ 3484]     0  3484      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870847] [ 3487]     0  3487      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870870] [ 3490]     0  3490      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870894] [ 3495]     0  3495      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870916] [ 3498]     0  3498      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870939] [ 3501]     0  3501      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870962] [ 3504]     0  3504      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.870985] [ 3507]     0  3507      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871008] [ 3510]     0  3510      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871031] [ 3513]     0  3513      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871053] [ 3516]     0  3516      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871076] [ 3519]     0  3519      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871099] [ 3522]     0  3522      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871121] [ 3527]     0  3527      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871144] [ 3530]     0  3530      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871167] [ 3533]     0  3533      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871213] [ 3536]     0  3536      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871235] [ 3539]     0  3539      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871258] [ 3542]     0  3542      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871281] [ 3545]     0  3545      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871303] [ 3548]     0  3548      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871327] [ 3551]     0  3551      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871349] [ 3554]     0  3554      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871372] [ 3559]     0  3559      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871395] [ 3562]     0  3562      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871418] [ 3565]     0  3565      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871440] [ 3568]     0  3568      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871463] [ 3571]     0  3571      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871486] [ 3574]     0  3574      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871509] [ 3577]     0  3577      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871532] [ 3580]     0  3580      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.871554] [ 3583]     0  3583      668       58       3        0         -1000 watchdog_reboot

....

Nov 28 06:48:06 alix kernel: [14683.898121] [ 7024]     0  7024      668       57       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.898143] [ 7025]     0  7025      668       56       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.898166] [ 7026]     0  7026      668       58       3        0         -1000 watchdog_reboot
Nov 28 06:48:06 alix kernel: [14683.898205] Out of memory: Kill process 2322 (named) score 82 or sacrifice child
Nov 28 06:48:06 alix kernel: [14683.900149] Killed process 2322 (named) total-vm:57016kB, anon-rss:20728kB, file-rss:0kB

Na zařízení by měl být upravený debian-for-alix, z kterého "šikula linuxák" užitečné věci vyházel, naopak přidal hromadu svých chyb a nyní se ke svému "dílku" nehlásí. Spoustu jsem již dohledal a odstranil, avšak s výše popsanou chybou si neumím poradit - jsem spíš programátor, než linuxák. Byl bych rád za jakékoli nakopnutí směrem k vyřešení problému, či k jeho obejití. Předem díky.

Odpovědi

[NN]

Muzes nastavit test-timout, ale obchazeni problemu je jen koleda na dalsi problem. Zda se ti system problemovy? Nepouzivej ho.

[LuKo]

Původní systém byl sice stabilní, ale neobsahoval několik poměrně klíčových featur, které vyřešil nový systém. Bohužel i s novými chybami :-/

[\/]

Když vidím Call Trace:, tak jsem nervózní.

[TomM]

Vidím alix, vidím hostapd, vidím ale "kernel not tainted", takže to nebude hnijící madwifi. Pokud nemáš prostředky/čas na odstranění příčiny. zkus použít HW watchdog, který má tento procesor v sobě. Bude to ale možná chtít update BIOSu, protože se v něm řešilo cosi okolo MFGPT, z nichž jeden je využíván právě pro watchdog.

[LuKo]

Spíš mi chybí vědomosti, v oblasti linuxu jsem lama, ale bohužel to řešit musím, neb schopný linuxák, který není plně vytížený, se špatně hledá :-/ Nicméně díky za tip, hned mám co googlit.

[TomM]

OK, přidám základní info.
Je třeba zavést modul geodewdt, který má parametry nowayout (jednou spuštěný WD nelze zastavit, default 0) a timeout (default 60s). Vznikne znakové zařízení 10:130 /dev/watchdog. (Pokud ne a objeví se kecy o nedostupnosti použitelného timeru, je třeba updatovat BIOS.)
Pak je nutno "psa" dostatečně často krmit, stačí do onoho zařízení zapsat znak. Zapsáním 'V' se watchdog vypne, pokud to není zakázáno. Pokud "pes vyhladoví", způsobí hard reset.

[dustin]

To si asi vše řeší přímo ten user-space démon watchdog, ne?

[...]

co tak se nejdriv naucit cist?

Nov 28 06:48:06 alix kernel: [14683.856652]  [c10037bb] ? do_IRQ+0x73/0x84
Nov 28 06:48:06 alix kernel: [14683.856674]  [c13a0f64] ? spurious_fault+0xa3/0xa3
Nov 28 06:48:06 alix kernel: [14683.856694]  [c139efdb] ? error_code+0x67/0x6c
Nov 28 06:48:06 alix kernel: [14683.856729]  [c1390000] ? nvbridge_check_legacy_irq_routing+0x52/0x58

[...]

doporucil bych sahnout po archivnim kernelu. neco z doby +/- 2 roky po uvedeni mcp55 chipsetu.. to uz bude tak 8 let stary kernel. byvalo toho casu vic variant modulu prave kvuli ruznym hw zakernostem. a vypada to, ze uz se to nikomu nechtelo v aktualnim stromu udrzovat tak na to zustaly jen nejaky polonefunkcni workaroundy.

[...]

a nebo vhyrabat odnekud datasheet k typu a cislu revize zakladni desky a podivat se ktery pci sloty maji sdilenou linku. pak budes vedet ktery dve karty si nerozumi a muzes zacit zkouset prohazovat karty ve slotech az najdes kombinaci, ktera se nepere. a nebo by na to mozna mohlo stacit "jen" vnuceni v biosu fixnich irq misto auto pnp. ale otazka jestli na to nebude kernel kaslat a nazinicializuje to znova a jinak.

[...]

pripadne zapatrat v procu kdo ma tu 73ku.

[...]

kernel parametr pci=ioapicreroute
nebo pci=noioapicquirk
nebo pci=biosirq
nebo pci=assign-busses
nebo pci=usepirqmask
nebo pci=noacpi
nebo pci=routeirq
nebo acpi=noirq
nebo acpi_irq_balance
nebo acpi_irq_isa

zdaleka to asi nebude vse co zkusit...

[LuKo]

Dobre. Akú rečú ste terazky hovorili? A po americky vietě?

Trochu se stydím, že toto je už pro mě španělská vesnice a byť o přerušeních tuším, že existují a k čemu slouží (na přelomu tisíciletí jsme se to učili ve škole), vůbec nevím, kde co jak a kam nastavit :-/ Ale možná to bude mít i souvislost s jiným problémem, kdy se mi občas vyresetuje usb sběrnice. Jednomu externímu zařízení to nedělá problém, jen se mu občas změní adresa v /dev, ale druhé zařízení - modem na desce - se někdy po resetu vůbec nepřipojí. Celé se to pak zhroutí, reboot nereaguje a proto vlastně řeším obezličku s watchdogem. Je mi jasné, že blbnu se slámou, bohužel předchozí hasič hasil hořící psí boudu benzínem (cisterna jako cisterna) a tak teď řeším dohořívající statek (největší požár jsem už uhasil) :-/

[LuKo]

Ještě doplním, deska je to http://pcengines.ch/alix6f2.htm

[...]

obrazek bez slotu je hezky, ale ocividne to podle toho kam az se jadro dopracovalo pci mustek ma i kdyz bez napajenych slotu na sbernici.
1. ten geode modul tim se nic nezkazi i kdyz ten sam od sebe asi to irq skadlit nebude ale pokud se ma pouzit ten hardwarovy, tak se to bez nej neobjede
2. nechat zavadec predat ty parametry jadru pri startu, co jsou pro vas spanelska vesnice (vsadil bych si na: pci=noacpi pripadne na pci=noacpi,noioapicquirk,biosirq just guessing) https://www.kernel.org/doc/Documentation/kernel-parameters.txt
3. archivni nebo posledni nebo konfiguracne redukovane jadro (ruzne zkusit voby pci nastaveni)
4. naucit se dopsat si podporu pro tu exotiku sam nebo ji vyhodit.

[LuKo]

V miniPCI slotu je wifi karta a v miniPCI-E pak 3G modem, který se hlásí na USB:

# lspci
00:01.0 Host bridge: Advanced Micro Devices [AMD] CS5536 [Geode companion] Host Bridge (rev 33)
00:01.2 Entertainment encryption device: Advanced Micro Devices [AMD] Geode LX AES Security Block
00:09.0 Ethernet controller: VIA Technologies, Inc. VT6105M [Rhine-III] (rev 96)
00:0a.0 Ethernet controller: VIA Technologies, Inc. VT6105M [Rhine-III] (rev 96)
00:0c.0 Network controller: Atheros Communications Inc. AR922X Wireless Network Adapter (rev 01)
00:0f.0 ISA bridge: Advanced Micro Devices [AMD] CS5536 [Geode companion] ISA (rev 03)
00:0f.2 IDE interface: Advanced Micro Devices [AMD] CS5536 [Geode companion] IDE (rev 01)
00:0f.4 USB Controller: Advanced Micro Devices [AMD] CS5536 [Geode companion] OHC (rev 02)
00:0f.5 USB Controller: Advanced Micro Devices [AMD] CS5536 [Geode companion] EHC (rev 02)

# lsusb
Bus 002 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 001 Device 005: ID 0af0:7601 Option Globetrotter MO40x 3G Modem (GTM 382)
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

# modinfo pci
filename:       /lib/modules/3.6.4/kernel/drivers/mtd/maps/pci.ko
description:    Generic PCI map driver
author:         Russell King <rmk@arm.linux.org.uk>
license:        GPL
alias:          pci:v00001011d00001065sv00000000sd00000000bc*sc*i*
alias:          pci:v00008086d0000530Dsv*sd*bc05sc80i*
depends:
intree:         Y
vermagic:       3.6.4 SMP mod_unload modversions 686

Ale tady už tápu a musím dostudovat (vedle dalších úkolů), díky za postřehy. Případně kdyby měl někdo čas a zájem na to mrnout, neměl by být problém s příspěvkem na dárky ;) (byť toto většinou linuxáky netrápí)

[.]

http://lxr.free-electrons.com/source/drivers/pci/quirks.c#L2290

[dustin]

?? Jasně že je to implementované v jádru, ale to popisované nastavení infrastruktury IMO zajišťuje watchdog démon http://linux.die.net/man/8/watchdog . Jemu se pak nakonfiguruje test-binary, jejíž zaseknutí (očividně v jádře, při čtení toho zámkového souboru) tazatel řeší. Ten watchdog opakovaně testovací proces spouští, proto navrhuji vyzkoušet test-timeout, případně zajistit, aby se testovací proces volaný watchdogem nezaseknul, když dojde k záseku čtení souboru, ale aby po chvilce vrátil chybu a nechal tak watchdog (userspace + jaderný modul) komp restartovat.

[...]

k zaseknuti dojde, protoze jadro vypne po prekroceni neosetrenych preruseni celou pci linku.

[...]

> Je to z důvodu, že občas potřebuji zařízení rebootovat a klasické zavolání rebootu (z python skriptu) občas odmítá spolupracovat.

ze stejneho duvodu...

proste vy tu resite, jak na horici barak polozit slamenou strechu, aby ste se u toho nepopalili. misto toho, kde vzit kbelik, vodu a pozarni strikacu.

[LuKo]

Včera jsem při zkoumání dokumentace watchdogu prozkoumal i do té doby záhadné zařízení /dev/watchdog. Krmení psa jsem už rozmýšlel a zřejmě jím nahradím současné řešení.

[8]

Jaké rozmýšlel?

To ten watchdog daemon není v současnosti nakonfigurovaný na to, aby krmil zařízení /dev/watchdog (nebo nějaké jiné, viz zmínka výše) v určitých intervalech?

Watchdog deemon, pokud dojde k nějaké sledované události, způsobuje restart tím způsobem, že nenakrmí zařízení watchdog, které se v takovém případě postará o restart počítače. To zařízení watchdog je buď softwarové nebo hardwarové.

[8]

A pokud potřebuješ provést reset pomocí nějakého přepínače, jak jsi uváděl vytvořením souboru /tmp/něco, tak se na to vybodni a obrať to. Vytvoř soubor a nech ho na svém místě, dokud nebudeš chtít restartovat. Kdyš se rozhodneš, že je ten správný čas na restart, vymažeš soubor a watchdog daemon způsobí restart. RTFM

[LuKo]

/dev/watchdog funguje přesně jak popisuješ a využiji toho - už jsem si nastudoval potřebné informace. A mé hloupé otázky jsou zapříčiněné tím, že linux měl být pro mě blackbox, který měl spravovat někdo jiný. Jenže ten se k tomu po provalení největších průserů nehlásí, ale zařízení musí fungovat a tak mi chvíli trvá, než se v pro vás jednoduchých věcech zorientuji co a jak. Ale tato diskuze je mi velkým pomocníkem, díky za všechny reakce.

[dustin]

S tím watchdogem nemám praktické zkušenosti, ale dle manpage má parametr test-timeout. Zkusil bych jej zvednout, zda se sníží počet nově spuštěných test-binárek. Pak bych zkusil skript ohackovat, aby se při záseku (po nějakém timeoutu) zabil, nebo aspoň vrátil řízení, aby ten watchdog pořád nespouštěl dokola nové. Pokud se to sekne ve volání jádra, pak jej nezabiješ, ale třeba by jej šlo obalit jiným a ten by se už pro watchdog ukončit mohl (s chybou, aby to watchdog rebootnul)..

[GeorgeWH]

ls /tmp/reboot >/dev/null 2>&1 &

sleep 1

if ps ax | grep -q "^$!"; then
     ...
     proces 'ls' stale bezi -> I/O problem -> reboot
     ...
fi

# pockame si na navratovu hodnotu 'ls'
wait $!

if [ $? -eq 0 ]; then
     subor tam je -> reboot
fi

exit 0

[rADOn]

/tmp je na ty cf kartě nebo ramdisk? Jestli na karte tak by me zasekly IO neprekvapilo a presun na ramdisk by mel pomoct. Jestli to na ramdisku uz je, tak by to naznacovalo problem nekde v kernelu v blokovy vrstve a s tim teda potes koste.

BTW jestli tomu dobre rozumim tak se ten skript se pousti kazdou vterinu, coz by mi na takovou prkotinu prislo dost prestreleny.

[LuKo]

/tmp by měl být ramdisk. Skript se spouští tak často přímo watchdogem, frekvenci asi nelze ovlivnit.