abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 01:00 | Nová verze

    ESPHome, tj. open source systém umožňující nastavovat zařízení s čipy ESP (i dalšími) pomocí konfiguračních souborů a připojit je do domácí automatizace, například do Home Assistantu, byl vydán ve verzi 2024.4.0.

    Ladislav Hagara | Komentářů: 0
    včera 22:11 | IT novinky Ladislav Hagara | Komentářů: 0
    včera 20:55 | Nová verze

    Neziskové průmyslové konsorcium Khronos Group vydalo verzi 1.1 specifikace OpenXR (Wikipedie), tj. standardu specifikujícího přístup k platformám a zařízením pro XR, tj. platformám a zařízením pro AR (rozšířenou realitu) a VR (virtuální realitu). Do základu se z rozšíření dostalo XR_EXT_local_floor. Společnost Collabora implementuje novou verzi specifikace do platformy Monado, tj. open source implementace OpenXR.

    Ladislav Hagara | Komentářů: 2
    včera 17:22 | Nová verze

    Byla vydána nová verze 0.38.0 multimediálního přehrávače mpv (Wikipedie) vycházejícího z přehrávačů MPlayer a mplayer2. Přehled novinek, změn a oprav na GitHubu. Požadován je FFmpeg 4.4 nebo novější a také libplacebo 6.338.2 nebo novější.

    Ladislav Hagara | Komentářů: 1
    včera 17:11 | Nová verze

    ClamAV (Wikipedie), tj. multiplatformní antivirový engine s otevřeným zdrojovým kódem pro detekci trojských koní, virů, malwaru a dalších škodlivých hrozeb, byl vydán ve verzích 1.3.1, 1.2.3 a 1.0.6. Ve verzi 1.3.1 je mimo jiné řešena bezpečnostní chyba CVE-2024-20380.

    Ladislav Hagara | Komentářů: 1
    včera 12:11 | IT novinky

    Digitální a informační agentura (DIA) oznámila (PDF, X a Facebook), že mobilní aplikace Portál občana je ode dneška oficiálně venku.

    Ladislav Hagara | Komentářů: 7
    včera 05:11 | Komunita

    #HACKUJBRNO 2024, byly zveřejněny výsledky a výstupy hackathonu města Brna nad otevřenými městskými daty, který se konal 13. a 14. dubna 2024.

    Ladislav Hagara | Komentářů: 2
    17.4. 17:55 | IT novinky

    Společnost Volla Systeme stojící za telefony Volla spustila na Kickstarteru kampaň na podporu tabletu Volla Tablet s Volla OS nebo Ubuntu Touch.

    Ladislav Hagara | Komentářů: 3
    17.4. 17:44 | IT novinky

    Společnost Boston Dynamics oznámila, že humanoidní hydraulický robot HD Atlas šel do důchodu (YouTube). Nastupuje nová vylepšená elektrická varianta (YouTube).

    Ladislav Hagara | Komentářů: 1
    17.4. 15:11 | Nová verze

    Desktopové prostředí LXQt (Lightweight Qt Desktop Environment, Wikipedie) vzniklé sloučením projektů Razor-qt a LXDE bylo vydáno ve verzi 2.0.0. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 5
    KDE Plasma 6
     (68%)
     (10%)
     (2%)
     (19%)
    Celkem 556 hlasů
     Komentářů: 4, poslední 6.4. 15:51
    Rozcestník

    Dotaz: SLAB žere 5GB paměti

    8.12.2019 17:39 Michal
    SLAB žere 5GB paměti
    Přečteno: 627×
    Domácí server Ubuntu 16.04.3 LTS, 4.15.0-64-generic #73, 2x8 jader, headless, ZFS, vmware, samba, plex, uptime 70 dnů

    Úryvek meminfo:
    Slab:            5172376 kB
    SReclaimable:     459384 kB
    SUnreclaim:      4712992 kB
    slabtop:
     Active / Total Objects (% used)    : 15198333 / 15609643 (97,4%)
     Active / Total Slabs (% used)      : 323629 / 323629 (100,0%)
     Active / Total Caches (% used)     : 99 / 150 (66,0%)
     Active / Total Size (% used)       : 5038513,30K / 5113716,86K (98,5%)
     Minimum / Average / Maximum Object : 0,01K / 0,33K / 22,88K
    
      OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME
    4174555 4062571  97%    0,32K  85195       49   1363120K taskstats
    168568 168378  99%    4,00K  21071        8    674272K kmalloc-4096
    516570 516570 100%    1,04K  17219       30    551008K zfs_znode_cache
    522834 522777  99%    0,81K  13406       39    428992K ecryptfs_auth_tok_list_item
     18988  18919  99%   16,00K   9494        2    303808K zio_buf_14336
    287680 287632  99%    1,00K   8990       32    287680K kmalloc-1024
    530720 524529  98%    0,50K  16585       32    265360K kmalloc-512
    903252 836451  92%    0,19K  21506       42    172048K dentry
    539169 537423  99%    0,30K  10173       53    162768K dmu_buf_impl_t
     18760  18734  99%    8,00K   4690        4    150080K kmalloc-8192
    519024 519024 100%    0,24K  15728       33    125824K sa_cache
    117750 116522  98%    1,06K   3925       30    125600K ext4_inode_cache
    2691270 2688072  99%    0,04K  26385      102    105540K Acpi-Namespace
    746772 741744  99%    0,10K  19148       39     76592K buffer_head
    2105088 2102032  99%    0,03K  16446      128     65784K kmalloc-32
     72464  71485  98%    0,57K   2588       28     41408K radix_tree_node
    420416 297736  70%    0,06K   6569       64     26276K kmalloc-64
     14889  14889 100%    1,50K    709       21     22688K zio_buf_1536
    215208 159493  74%    0,09K   5124       42     20496K kmalloc-96
      9120   9120 100%    2,00K    570       16     18240K kmalloc-2048
    ...
    
    Tohle doufám není zcela normální a jen něco leakuje? ;-)

    Našel jsem co to jsou ty taskstats. Ale nikde jsem nenašel, že by se někomu takto extrémně přemnožily. K těm ecryptfs_auth_tok_list_item jsem nenašel skoro nic. Na tom serveru se nic nešifruje...

    Je nějaká šance přijít na to, co to způsobuje? nebo se smířit s tím, že linux je prostě také třeba občas ozdravně zrestartovat ;-)

    Odpovědi

    8.12.2019 19:46 .
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    Pokud budeme předpokládat, že neleakuje kernel, tak zkus zastavovat služby/procesy a koukat, co to udělá.
    8.12.2019 21:54 Michal
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    Zatím pozoruji jak rychle to kyne abych měl "baseline". Vypadá to, že to roste rychlostí ~800 taskstats za hodinu a hodnota ecryptfs_auth_tok_list_item se drží pořád na stejné hodnotě.

    Ještě sem hodím /proc/stat s důrazem na podezřelou hodnotu processes (odpovídá ~125 forkům/s). Tohle ale možná způsobují kernel thready ZFS, které vznikají a zanikají zřejmě podle potřeby.
    cpu  10811291 223467 111339240 19483767106 4574398 0 2947998 0 0 0
    cpu0 396026 12228 5735936 604926138 117949 0 167178 0 0 0
    cpu1 376449 5414 4903978 607216700 119961 0 112434 0 0 0
    cpu2 317362 4730 4078113 608482637 112097 0 100924 0 0 0
    cpu3 320667 5417 4272224 608144355 128213 0 97770 0 0 0
    cpu4 270783 4907 3627126 608899927 118260 0 101900 0 0 0
    cpu5 324488 5287 3685956 608756739 138870 0 94952 0 0 0
    cpu6 266608 7686 3769640 608815279 121348 0 85199 0 0 0
    cpu7 304121 5370 3501724 609029537 123009 0 95115 0 0 0
    cpu8 532144 9439 7017069 604610054 133016 0 17711 0 0 0
    cpu9 351767 6560 4508478 607713910 146981 0 20891 0 0 0
    cpu10 298344 8407 4860314 606839953 151353 0 597489 0 0 0
    cpu11 382003 7378 3627880 608707090 157743 0 30334 0 0 0
    cpu12 287211 9511 4161026 607765199 221852 0 363434 0 0 0
    cpu13 345276 6123 3605985 608814357 181177 0 20016 0 0 0
    cpu14 576087 8487 3284692 608860958 219153 0 26612 0 0 0
    cpu15 363380 6438 3213157 609265305 151199 0 22245 0 0 0
    cpu16 384091 7195 2676457 609814945 117935 0 85061 0 0 0
    cpu17 219616 5712 2898850 609774389 125455 0 75705 0 0 0
    cpu18 209328 4093 2766231 609921304 125704 0 77928 0 0 0
    cpu19 200520 8118 2635394 610106919 106110 0 77256 0 0 0
    cpu20 242261 4431 2575179 610103204 119678 0 76119 0 0 0
    cpu21 325934 9618 2360096 610157473 132871 0 98900 0 0 0
    cpu22 191348 6898 2331071 610388510 124249 0 82291 0 0 0
    cpu23 206294 5849 2286028 610450329 112161 0 78098 0 0 0
    cpu24 294184 7226 3062200 609447205 145760 0 15447 0 0 0
    cpu25 255410 8802 2732474 609753755 147166 0 11637 0 0 0
    cpu26 289102 5913 3253298 609304656 136742 0 8621 0 0 0
    cpu27 967435 5830 2403960 609408950 153795 0 36604 0 0 0
    cpu28 266890 6816 2896863 609714436 143198 0 14500 0 0 0
    cpu29 295440 7330 3092954 609223186 170927 0 189723 0 0 0
    cpu30 313879 8380 2845891 609674257 171439 0 17980 0 0 0
    cpu31 436829 7861 2668981 609675433 199009 0 47912 0 0 0
    intr 6908713977 18 0 0 0 0 0 0 0 1 2 0 0 0 0 0 0 29 0 2 0 0 0 0 41983155 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 461911790 0 639245533 0 3067826 3067826 3067826 3067826 3067826 3067826 3067826 3067826 8399944 0 0 9708694 8827714 8865187 7579153 7059452 7393551 7980067 9034401 8567532 8321898 9343500 8107106 7242682 8537103 8417918 29 5660876 18263162 5966642 4738214 14067210 5076040 4569719 5716738 48685192 17768766 9803047 40481215 24016128 36211214 21915471 34798163 32163367 0 0 0 0 0 0 0 0 28182213 41578011 7069879 44284307 15889725 24968948 20355942 29225814 0 0 0 0 0 0 0 0 0 2 0 2 2 2 2 2 2 2 0 2 0 2 2 2 2 2 2 2 750 698 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
    ctxt 30367933743
    btime 1569702493
    processes 769198574
    procs_running 3
    procs_blocked 0
    softirq 7330795315 51145 1703295218 18677632 550017960 1224993641 0 498290027 1937249181 0 1398220511
    
    12.12.2019 15:32 luky
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    Taskstats vubec nemusi byt staskstats, mate zapnute slab cache merging? Pokud ano, tak ho vypnete a nebo se alespon podivejte, ktere cache se namergovaly do taskstats. Muzete i zapnout debug na konkretni leakujici cache a podivat se odkud se plni.
    michich avatar 12.12.2019 16:46 michich | skóre: 51 | blog: ohrivane_parky
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    Dodám, že merging vypíná volba slab_nomerge na kernel cmdline.
    12.12.2019 17:08 Michal
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    Ja z tech vystupu vubec nejsem moudry :-( Da se z toho neco vycist?
    slabinfo -a
    
    :0000016     <- kmalloc-16 ecryptfs_file_cache ccid2_hc_rx_sock
    :0000024     <- mod_hash_entries audit_buffer fsnotify_mark_connector lsm_file_cache scsi_data_buffer
    :0000032     <- sd_ext_cdb ioat_sed_ent dnotify_struct btrfs_delayed_extent_op ecryptfs_dentry_info_cache kmalloc-32 xfs_ifork xfs_log_item_desc
    :0000040     <- abd_t khugepaged_mm_slot ext4_system_zone Acpi-Namespace
    :0000048     <- fasync_cache shared_policy_node ftrace_event_field zio_link_cache ksm_mm_slot ip_fib_trie
    :0000056     <- zswap_entry uhci_urb_priv xfs_bmap_free_item ip_fib_alias nsproxy dm_io fanotify_event_info file_lock_ctx
    :0000064     <- range_seg_cache dccp_bind_bucket fanotify_perm_event_info iommu_iova ecryptfs_key_sig_cache btrfs_inode_defrag iommu_devinfo ntfs_attr_ctx_cache ksm_rmap_item asd_sas_event dccp_ackvec_record dmaengine-unmap-2 tcp_bind_bucket jbd2_inode kmalloc-64 io ecryptfs_global_auth_tok_cache ksm_stable_node
    :0000072     <- fsnotify_mark Acpi-Operand btrfs_free_space
    :0000080     <- inotify_inode_mark Acpi-State btrfs_extent_state Acpi-Parse arc_buf_t dnotify_mark
    :0000088     <- configfs_dir_cache trace_event_file zfs_znode_hold_cache btrfs_prelim_ref
    :0000096     <- kmalloc-96 arc_buf_hdr_t_l2only
    :0000104     <- btrfs_delayed_tree_ref blkdev_ioc Acpi-ParseExt
    :0000112     <- btrfs_path btrfs_delayed_data_ref
    :0000120     <- dm_rq_target_io cfq_io_cq
    :0000128     <- cifs_mpx_ids secpath_cache jfs_mp ntfs_index_ctx_cache aio_kiocb scsi_sense_cache spl_vn_cache ioat btrfs_end_io_wq kmalloc-128 fib6_nodes ecryptfs_key_tfm_cache spl_vn_file_cache uid_cache btree_node
    :0000152     <- btrfs_delayed_ref_head xfs_bud_item xfs_rud_item xfs_cud_item
    :0000160     <- sigqueue xfs_icr
    :0000192     <- ip6-frags ip6_mrt_cache kcf_sreq_cache kcf_context_cache xfs_bui_item bio_integrity_payload ip_mrt_cache ecryptfs_sb_cache kmalloc-192 dmaengine-unmap-16 inet_peer_cache
    :0000200     <- file_lock_cache zil_lwb_cache
    :0000208     <- pid_namespace ip4-frags
    :0000216     <- bsg_cmd xfs_trans
    :0000240     <- posix_timers_cache cfq_queue
    :0000248     <- xfs_buf_item sa_cache
    :0000256     <- key_jar biovec-16 bio-1 skbuff_head_cache sgpool-8 ip_dst_cache bio-0 pool_workqueue kmalloc-256 sas_task
    :0000328     <- dm_old_clone_request blkdev_requests arc_buf_hdr_t_full taskstats
    :0000384     <- bio-3 mnt_cache xfs_buf ip6_dst_cache
    :0000416     <- xfs_efi_item btrfs_ordered_extent xfs_efd_item xfs_cui_item
    :0000448     <- xfrm_dst_cache ddt_entry_cache cifs_small_rq
    :0000480     <- xfs_da_state xfs_dquot
    :0000512     <- zio_data_buf_512 zio_buf_512 sgpool-16 ntfs_name_cache kcf_areq_cache skbuff_fclone_cache kmalloc-512 user_namespace
    :0000576     <- ecryptfs_key_record_cache task_group dccp_ackvec
    :0000640     <- dio kioctx
    :0000832     <- ecryptfs_auth_tok_list_item dnode_t
    :0000960     <- PING RAW
    :0001024     <- UDP UNIX biovec-64 UDP-Lite zio_data_buf_1024 kmalloc-1024 zio_buf_1024 sgpool-32
    :0001152     <- AF_VSOCK RAWv6 PINGv6
    :0001216     <- UDPv6 ccid2_hc_tx_sock UDPLITEv6
    :0001536     <- zio_data_buf_1536 zio_buf_1536
    :0002048     <- zio_buf_2048 kmalloc-2048 sgpool-64 zio_data_buf_2048 biovec-128
    :0002560     <- zio_data_buf_2560 zio_buf_2560
    :0003072     <- zio_buf_3072 zio_data_buf_3072
    :0003584     <- zio_buf_3584 zio_data_buf_3584
    :0004096     <- ecryptfs_xattr_cache zio_data_buf_4096 kmalloc-4096 sgpool-128 zio_buf_4096 ecryptfs_headers names_cache
    :0008192     <- kmalloc-8192 biovec-max zio_buf_8192 zio_data_buf_7168 zio_buf_7168 zio_data_buf_5120 zio_buf_5120 zio_data_buf_6144 zio_data_buf_8192 zio_buf_6144
    :0012288     <- zio_data_buf_10240 zio_data_buf_12288 zio_buf_12288 zio_buf_10240
    :0016384     <- zio_data_buf_14336 zio_buf_14336 lz4_cache zio_buf_16384 zio_data_buf_16384
    :a-0000032   <- jbd2_revoke_record_s fscrypt_info
    :a-0000048   <- jbd2_journal_handle fscrypt_ctx
    :a-0000056   <- ext4_free_data mbcache
    :A-0000064   <- fs_cache task_delay_info anon_vma_chain pid
    :a-0000104   <- ext4_prealloc_space buffer_head
    :a-0000256   <- jbd2_transaction_s dquot
    
    slabinfo
    Name                   Objects Objsize           Space Slabs/Part/Cpu  O/S O %Fr %Ef Flg
    :0000016                 87561      16            1.4M      26/15/330  256 0   4  96 *
    :0000024                 21090      24          552.9K      16/16/119  170 0  11  91 *
    :0000032               1464021      32           61.6M 14738/12964/312  128 0  86  75 *
    :0000040               1543934      40          103.1M 24850/23742/345  102 0  94  59 *
    :0000048                 35448      48            1.7M      58/11/369   85 0   2  97 *
    :0000056                 13359      56          749.5K       127/0/56   73 0   0  99 *
    :0000064                307863      64           26.8M  6220/4991/347   64 0  76  73 *
    :0000072                130648      72            9.5M      2299/0/34   56 0   0  98 *
    :0000080                 27492      80            2.6M    406/259/252   51 0  39  81 *
    :0000088                  3358      88          299.0K        40/0/33   46 0   0  98 *
    :0000096                139124      96           20.9M  4897/4472/225   42 0  87  63 *
    :0000104                  1248     104          131.0K         0/0/32   39 0   0  99 *
    :0000120                 14654     120            1.7M        0/0/431   34 0   0  99 *
    :0000128                 18262     128            3.4M    590/524/263   32 0  61  66 *
    :0000160                  1632     160          262.1K         0/0/32   51 1   0  99 *
    :0000192                 12541     192            2.8M     224/80/129   42 1  22  83 *
    :0000200                 12640     200            2.5M        0/0/316   40 1   0  97 *
    :0000240                  1870     240          450.5K         0/0/55   34 1   0  99 *
    :0000248                544283     248          135.1M    16362/4/134   33 1   0  99 *
    :0000256                  5523     256            1.6M      53/38/147   32 1  19  86 *
    :0000328               4033436     328            1.4G 85426/20130/206   49 2  23  94 *
    :0000384                  2520     384          983.0K         3/0/57   42 2   0  98 *A
    :0000448                  1080     448          491.5K         0/0/30   36 2   0  98 *A
    :0000512                549999     512          283.7M 17077/1348/242   32 2   7  99 *
    :0000576                   896     576          524.2K         0/0/32   28 2   0  98 *
    :0000640                    51     640           32.7K          0/0/1   51 3   0  99 *
    :0000832                547531     832          460.3M   13907/12/141   39 3   0  98 *A
    :0000960                  1156     912            1.1M         2/0/32   34 3   0  94 *A
    :0001024                 12177    1024           16.4M    370/186/133   32 3  36  75 *
    :0001152                   420    1136          491.5K         3/0/12   28 3   0  97 *A
    :0001216                   832    1216            1.0M         0/0/32   26 3   0  96 *A
    :0001536                  2209    1536            3.6M        8/7/104   21 3   6  92 *
    :0002048                  4089    2048           10.2M    156/114/158   16 3  36  81 *
    :0002560                  1456    2560            4.2M        8/8/121   12 3   6  88 *
    :0003072                  1386    3072            4.7M       10/8/136   10 3   5  88 *
    :0003584                  1323    3584            5.2M      25/16/135    9 3  10  90 *
    :0004096                 21151    4096          126.0M   3773/2639/74    8 3  68  68 *
    :0008192                 19534    8192          160.3M     4823/17/69    4 3   0  99 *
    :0012288                   136   12288            2.5M       11/11/68    2 3  13  64 *
    :0016384                 19781   16384          325.3M     9855/77/75    2 3   0  99 *
    :a-0000032               20992      32          692.2K        5/5/164  128 0   2  97 *a
    :a-0000048                2720      48          131.0K         0/0/32   85 0   0  99 *a
    :a-0000056               13943      56          782.3K        0/0/191   73 0   0  99 *a
    :A-0000064               36278      64            2.3M      180/4/389   64 0   0  99 *A
    :a-0000104              750756     104           78.9M   18838/72/436   39 0   0  98 *a
    :a-0000256                1536     224          393.2K         0/0/48   32 1   0  87 *Aa
    anon_vma                 22115      80            1.9M      126/8/361   46 0   1  88
    bdev_cache                 897     816          753.6K         0/0/23   39 3   0  97 Aa
    bio-2                       51     296           16.3K          0/0/1   51 2   0  92 A
    cifs_inode_cache          1302     768            1.2M         6/6/31   42 3  16  82 a
    cifs_request                78   16588            2.5M         4/0/74    1 3   0  50 A
    cred_jar                 11178     168            2.4M      33/32/261   42 1  10  77 A
    dax_cache                   42     752           32.7K          0/0/1   42 3   0  96 Aa
    dentry                  870964     192          176.1M 21073/2106/427   42 1   9  94 a
    dmaengine-unmap-128         30    1056           32.7K          0/0/1   30 3   0  96 A
    dmaengine-unmap-256         15    2080           32.7K          0/0/1   15 3   0  95 A
    dmu_buf_impl_t          564774     304          175.5M  10577/498/138   53 2   4  97
    eventpoll_epi             2144     128          274.4K         0/0/67   32 0   0 100 A
    eventpoll_pwq             1904      72          139.2K         0/0/34   56 0   0  98
    ext4_allocation_context     1024     128          131.0K         0/0/32   32 0   0 100 a
    ext4_extent_status      170661      40            6.9M    1468/61/231  102 0   3  98 a
    ext4_groupinfo_4k          252     144           36.8K          8/0/1   28 0   0  98 a
    ext4_inode_cache        116924    1080          128.4M   3796/134/124   30 3   3  98 a
    ext4_io_end              18112      64            1.1M        4/4/283   64 0   1  98 a
    files_cache               1564     704            1.1M         0/0/34   46 3   0  98 A
    filp                     13594     256            3.5M      219/5/209   32 1   1  99 A
    fscache_cookie_jar         138      80           12.2K          0/0/3   46 0   0  89
    fuse_inode                 897     776          753.6K         0/0/23   39 3   0  92 Aa
    fuse_request              1280     400          524.2K         0/0/32   40 2   0  97
    hugetlbfs_inode_cache      104     616           65.5K          0/0/2   52 3   0  97
    inode_cache              32489     600           20.0M       514/0/99   53 3   0  97 a
    jbd2_journal_head         8466     112            1.0M        1/1/249   34 0   0  92 a
    jbd2_revoke_table_s        256      16            4.0K          0/0/1  256 0   0 100 a
    kernfs_node_cache        58890     128            8.0M     1844/0/119   30 0   0  93
    kmalloc-8                63488       8          507.9K        65/0/59  512 0   0 100
    kmem_cache                 420     360          163.8K          1/0/9   42 2   0  92 A
    kmem_cache_node            727      64           49.1K          3/1/9   64 0   8  94 A
    mm_struct                  705    2056            1.5M         0/0/47   15 3   0  94 A
    mqueue_inode_cache          34     904           32.7K          0/0/1   34 3   0  93 A
    net_namespace                8    6912           65.5K          0/0/2    4 3   0  84
    numa_policy                 62     264           16.3K          1/0/1   31 1   0  99
    proc_inode_cache         14817     672           10.9M     145/46/188   48 3  13  91 a
    radix_tree_node          72890     576           42.7M    2431/35/180   28 2   1  98 a
    request_queue              135    2128          294.9K          0/0/9   15 3   0  97
    request_sock_TCP          1696     296          524.2K         0/0/32   53 2   0  95
    request_sock_TCPv6        1484     296          458.7K         0/0/28   53 2   0  95
    shmem_inode_cache         4646     704            3.3M        11/0/90   46 3   0  98
    sighand_cache             1925    2088            4.4M      27/11/108   15 3   8  90 A
    signal_cache              3290    1024            3.8M       21/18/97   32 3  15  87 A
    sock_inode_cache          2208     648            1.5M         4/0/44   46 3   0  90 Aa
    squashfs_inode_cache        92     656           65.5K          0/0/2   46 3   0  92 Aa
    task_struct               1229    5824            8.5M      169/39/91    5 3  15  84
    TCP                        528    1984            1.0M         0/0/33   16 3   0  96 A
    TCPv6                      480    2144            1.0M         0/0/32   15 3   0  98 A
    tw_sock_TCP               9384     232            2.2M        0/0/276   34 1   0  96
    tw_sock_TCPv6              952     232          229.3K         0/0/28   34 1   0  96
    vm_area_struct           36896     208            7.7M      586/7/363   39 1   0  98
    zfs_znode_cache         542160    1064          592.1M     18007/0/65   30 3   0  97
    zio_cache                 3248    1168            3.8M        2/0/114   28 3   0  99
    
    slabinfo -X
    Slabcache Totals
    ----------------
    Slabcaches :             149   Aliases  :         284->109  Active:     99
    Memory used:      4492713984   # Loss   :       250148816   MRatio:     5%
    # Objects  :        13096625   # PartObj:         3903917   ORatio:    29%
    
    Per Cache         Average              Min              Max            Total
    ----------------------------------------------------------------------------
    #Objects           132289                8          4033436         13096625
    #Slabs               3013                1            85632           298382
    #PartSlab             756                0            23742            74937
    %PartSlab              8%               0%              94%              25%
    PartObjs               29                0          1395726          3903917
    % PartObj              5%               0%              90%              29%
    Memory           45380949             4096       1402994688       4492713984
    Used             42854193             4096       1322967008       4242565168
    Loss              2526755                0         80027680        250148816
    
    Per Object        Average              Min              Max
    -----------------------------------------------------------
    Memory                324                8            16640
    User                  323                8            16588
    Loss                    0                0               64
    
    Slabs sorted by size
    --------------------
    Name                   Objects Objsize           Space Slabs/Part/Cpu  O/S O %Fr %Ef Flg
    :0000328               4033436     328      1402994688 85426/20130/206   49 2  23  94 *
    
    Slabs sorted by loss
    --------------------
    Name                   Objects Objsize            Loss Slabs/Part/Cpu  O/S O %Fr %Ef Flg
    :0000328               4033436     328        80027680 85426/20130/206   49 2  23  94 *
    
    Slabs sorted by number of partial slabs
    ---------------------------------------
    Name                   Objects Objsize           Space Slabs/Part/Cpu  O/S O %Fr %Ef Flg
    :0000040               1543932      40       103198720 24850/23742/345  102 0  94  59 *
    
    Zapnout debug nad slabem, ktery roste takovou rychlosti se kapanek bojim. Nepotrebuji, aby to slitlo ;-)
    12.12.2019 18:01 Michal Kubeček | skóre: 72 | Luštěnice
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    :0000328     <- dm_old_clone_request blkdev_requests arc_buf_hdr_t_full taskstats

    Kdybych si měl tipnout, tak problém bude buď blkdev_requests nebo arc_buf_hdr_t_full (což se ale v jádru nikde nevyskytuje, asi něco od toho vašeho ZFS). Vypněte merge a uvidíte.

    :0000832     <- ecryptfs_auth_tok_list_item dnode_t

    Tohle (dnode_t) taky nikde nevidím, ani ve v4.15, ani v aktuálním mainline jádře. Že by taky něco ze ZFS?

    Zapnout debug nad slabem, ktery roste takovou rychlosti se kapanek bojim. Nepotrebuji, aby to slitlo

    Jestli to přibývá rovnoměrným tempem bez náznaku zpomalení nebo zastavení, tak vám to dříve nebo později "slítne" tak jako tak. :-)

    12.12.2019 18:49 Michal
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    Uz tomu rozumim. Takze mlzi nejen politici ale uz i slabinfo. To jsme to dopracovali ;-) To je docela zakrne, bych se vsadil, ze o tomhle vetsina linuxaku nema ani paru. Pro bezneho uzivatele je uz Linux naprosty blackbox.

    Zmensil jsem ZFS ARC na desetinu a hodnota sla na tretinu.
    2716315 846248  31%    0,32K  55435       49    886960K taskstats
    542160 542160 100%    1,04K  18072       30    578304K zfs_znode_cache
    547872 547531  99%    0,81K  14048       39    449536K ecryptfs_auth_tok_list_item
    
    po opetovnem zvyseni se to nezmenilo.

    A dnode_t je take ZFS. "A ZFS dnode is a data structure which represents an object. An object can be a ZPL file or directory, a ZVOL volume, or several other types of internal metadata. A ZPL-type dnode serves a similar function to an inode in UFS and other filesystems." Nevim, jak tohle flushnout. Urcite to je cache protoze to je inmemory reprezentace objektu, ktere jsou na disku.

    Bude to chtit delsi pozorovani jestli se to po naplneni cache vrati na puvodni hodnotu nebo jak se to bude chovat...
    12.12.2019 19:13 Michal Kubeček | skóre: 72 | Luštěnice
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    Takze mlzi nejen politici ale uz i slabinfo. To jsme to dopracovali ;-)

    Nemlží. Prostě se z praktických důvodů tam, kde to je možné (viz slab_unmergeable() a find_mergeable()), zaměnitelné slab cache sloučí do jedné. V podstatě jediné, čemu to vadí, je debugování, takže když potřebujete řešit podobné problémy, slab merge si vypnete.

    Koneckonců tam, kde se nepoužívá specifická cache, tj. při použití prostého kmalloc(), jsou pomíchané naprosto různorodé objekty v jedné slab cache už od pradávna a taky s tím musíme nějak žít.

    12.12.2019 19:34 Michal
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    Ale jo, ja tomu uz ted rozumim (popravde bych byl radsi, kdybych nemusel ;-) ). V levem sloupci misto seznamu mergnutych polozek jen jedna z nich navic asi pseudonahodne vybrana (rozhodne ne ta s nejvetsim poctem polozek). Kdyz to neni mlzeni (a bug TBH) tak uz nevim, co by mlzenim bylo. Babis by se mel ucit, hele:

    rozpocetinfo: pomoc pro postizene deti - 10 mld <-- (merge podobnych polozek: pomoc pro postizene deti, capi hnizdo, agrofert dotace)
    12.12.2019 20:05 Michal Kubeček | skóre: 72 | Luštěnice
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    V levem sloupci misto seznamu mergnutych polozek jen jedna z nich navic asi pseudonahodne vybrana (rozhodne ne ta s nejvetsim poctem polozek).

    Obávám se, že si to pořád vykládáte špatně. To není merge pro účely výpisu, to by opravdu nedávalo smysl. Je to tak, že v jádře opravdu existuje jen jedna slab cache. Prostě se kmem_cache_create() podívá, jestli už náhodou neexistuje nějaká kompatibilní slab cache, a pokud ano, tak místo vytvoření nové jen zvýší refcount a vrátí pointer na tu existující. Když to nejde, tak se teprve vytvoří nová. Takže jméno, které vidíte v /proc/slabinfo, je to první jméno, pod kterým byla slab cache opravdu vytvořena.

    Proto je také nesmysl chtít, abyste viděl tu "s největším počtem položek"; všechny alokace probíhají přes stejný pointer a nedá se nijak rozlišit, kolik objektů patří "komu". Pokud to rozlišit potřebujete (kvůli debugování), tak merge musíte vypnout.

    13.12.2019 14:45 luky
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    V levem sloupci misto seznamu mergnutych polozek jen jedna z nich navic asi pseudonahodne vybrana (rozhodne ne ta s nejvetsim poctem polozek). Kdyz to neni mlzeni (a bug TBH) tak uz nevim, co by mlzenim bylo.
    Toto chovani je zrejme kazdemu, kdo cte dokumentaci:
    Slab merging
    ------------
    
    If no debug options are specified then SLUB may merge similar slabs together
    in order to reduce overhead and increase cache hotness of objects.
    slabinfo -a displays which slabs were merged together.
    13.12.2019 17:42 Michal
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    No fajn. Kdyby se vsechno chovalo divne a neintuitivne a bez precteni dokumentace nemas sanci pochopit proc a jak to prinutit chovat se normalne, tak poumirame hlady. Zhruba nekdy mezi ctenim dokumentace k lzici a ctenim dokumentace k rozmelnovani potravy zvykanim.

    slabinfo -a (coz je mimochodem soft, ktery si musis sam prelozit ze zdrojaku jadra, to po lidech nemuzes chtit) nejak zjisti co bylo propojenoi tak co je sakra za problem tu informaci pridat do /proc/slabinfo? Aby mi sakra nelhalo ze mam 3 zadnice taskstats kdyz mam misto toho 3 zadnice neceho jineho? Tak by mi aspon napsalo ze mam v souctu 3 zadnice x,y a z?
    13.12.2019 18:47 luky
    Rozbalit Rozbalit vše Re: SLAB žere 5GB paměti
    slabinfo -a (coz je mimochodem soft, ktery si musis sam prelozit ze zdrojaku jadra, to po lidech nemuzes chtit
    Presne tak, je to soft, kde se ceka znalost jadra. Normalni uzivatel slab neresi, protoze ani nevi, co to je.
    co je sakra za problem tu informaci pridat do /proc/slabinfo
    Protoze tadle informace je dostupna v /sys/kernel/slab/, /proc interface k temdle vecem existuje spis jen z historickejch duvodu.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.