abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 17:02 | Pozvánky
Přijďte si popovídat o open source obecně a openSUSE konkrétně s dalšími uživateli a vývojáři. Oslava nového vydání openSUSE Leap se uskuteční 16. prosince od 17:00 v nových prostorách firmy SUSE v Praze. K dispozici bude nějaké občerstvení a DVD pro ty, kdo je sbírají nebo ještě mají mechaniku. Po párty v kanceláři se bude pokračovat v některé z hospod v okolí.
Miška | Komentářů: 0
dnes 14:55 | Zajímavý software

Byla vydána verze Alpha 1.0 otevřeného operačního systému pro chytré hodinky AsteroidOS. Podporovány jsou hodinky LG G Watch, LG G Watch Urbane, Asus ZenWatch 2 a Sony Smartwatch 3. Ukázka ovládání hodinek na YouTube. Jaroslav Řezník přednášel o AsteroidOS na chytrých hodinkách (videozáznam) na letošní konferenci OpenAlt.

Ladislav Hagara | Komentářů: 0
dnes 13:30 | Zajímavý software

Byly uvolněny zdrojové kódy známé rogue-like hry DoomRL. Počátky hry jsou v roce 2002. Je napsána ve FreePascalu a zdrojový kód je nyní k dispozici na GitHubu pod licencí GNU GPL 2.0. Autor pracuje na nové hře Jupiter Hell, která je moderním nástupcem DoomRL a na jejíž vývoj shání peníze prostřednictvím Kickstarteru.

Blaazen | Komentářů: 0
dnes 13:15 | Pozvánky

Přijďte s námi oslavit vydání Fedory 25. Na programu budou přednášky o novinkách, diskuse, neřízený networking atd. Release Party se bude konat 16. prosince v prostorách společnosti Etnetera. Na party budou volně k dispozici také propagační materiály, nová DVD s Fedorou 25 a samozřejmě občerstvení. Přednášky budou probíhat v češtině. Pro více informací se můžete podívat na web MojeFedora.cz. Jen připomínám, že tentokrát jsme zavedli

… více »
frantisekz | Komentářů: 0
včera 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
včera 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 4
včera 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
včera 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 808 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: zjištění "skutečně využité" RAM v linuxu

20.4.2010 20:49 VSi | skóre: 28
zjištění "skutečně využité" RAM v linuxu
Přečteno: 3776×
Zdravím,

na jendnom serveru pozoruji dost zajímavé výsledky příkazu "free", resp. podrobnějších informací z "/proc/meminfo".

Na stroji běží: apache2, fastcgi PHP (kolem 40 procesů), postgresql, mysql (prakticky nepoužívaná), bind (jen jako resolver pro tento server), dovecot, exim, slapd (OpenLDAP). Je tam Debian Lenny, i686-bigmem jádro, 7 GB RAM.

Maximum využití RAM vč. buffers+caches je tak 5.5 GB (tj. RAM se nikdy nezaplní), free ukazuje:
xxx:~# free
             total       used       free     shared    buffers     cached
Mem:       7143588    4175068    2968520          0     359468    1619384
-/+ buffers/cache:    2196216    4947372
Swap:      1998840       5428    1993412
/proc/meminfo :
MemTotal:      7143588 kB
MemFree:       2969868 kB
Buffers:        359224 kB
Cached:        1618356 kB
SwapCached:        100 kB
Active:        1051652 kB
Inactive:      2852644 kB
HighTotal:     6289984 kB
HighFree:      2740520 kB
LowTotal:       853604 kB
LowFree:        229348 kB
SwapTotal:     1998840 kB
SwapFree:      1993412 kB
Dirty:            4676 kB
Writeback:           0 kB
AnonPages:      339204 kB
Mapped:         316664 kB
Slab:           251560 kB
SReclaimable:   235796 kB
SUnreclaim:      15764 kB
PageTables:       5904 kB
NFS_Unstable:        0 kB
Bounce:            600 kB
WritebackTmp:        0 kB
CommitLimit:   5570632 kB
Committed_AS:  2483508 kB
VmallocTotal:   116728 kB
VmallocUsed:      3336 kB
VmallocChunk:   113192 kB
HugePages_Total:     0
HugePages_Free:      0
HugePages_Rsvd:      0
HugePages_Surp:      0
Hugepagesize:     2048 kB
Protože je RAM dost, do teď jsem to nezkoumal. Dělal jsem ale nějaké úpravy, kde jsem očekával snížení využití RAM (redukce PHP procesů ze 120 na cca 40). Navíc jsem potřeboval odhad využití RAM při dalším využívání serveru.

Bylo mi divné, že po zrušení 80 PHP procesů využití RAM (podle výpisu free a podle grafů z nástroje munin) vůbec nekleslo, což jsem přikládal nějaké sdílené paměti a podobně.

Začal jsem to zkoumat víc - které procesy spotřebovávají nejvíc paměti. Bohužel to skoro není možné - nástroje jako ps a top vzhledem ke sdílené paměti moc informací nedají. Hrubým odhadem mi ale vycházelo, že může být využit tak 1GB, ale free ukazuje cca 2 GB.

Použil jsem skript: ps_mem.py [ http://www.pixelbeat.org/scripts/ps_mem.py ] který umí vypsat, kolik který program skutečně spotřebovává (využitím informací z /proc). Samozřejmě je otázka, jak přesně to funguje:
xxx:~# python ps_mem.py
 Private  +   Shared  =  RAM used       Program

 80.0 KiB +  19.0 KiB =  99.0 KiB       logger
100.0 KiB +  22.5 KiB = 122.5 KiB       portmap
 92.0 KiB +  38.5 KiB = 130.5 KiB       acpid
140.0 KiB +  31.0 KiB = 171.0 KiB       init
176.0 KiB +  14.5 KiB = 190.5 KiB       mdadm
220.0 KiB +  48.0 KiB = 268.0 KiB       famd
264.0 KiB +  15.0 KiB = 279.0 KiB       dovecot
208.0 KiB +  76.5 KiB = 284.5 KiB       cron
304.0 KiB +  21.0 KiB = 325.0 KiB       udevd
228.0 KiB + 140.5 KiB = 368.5 KiB       mysqld_safe
364.0 KiB +  84.0 KiB = 448.0 KiB       getty (6)
516.0 KiB +  36.5 KiB = 552.5 KiB       ntpd
580.0 KiB +  92.0 KiB = 672.0 KiB       nslcd
752.0 KiB +  54.0 KiB = 806.0 KiB       exim4
744.0 KiB + 160.5 KiB = 904.5 KiB       pop3-login (3)
  1.0 MiB +  37.0 KiB =   1.1 MiB       lighttpd
  1.1 MiB +  42.0 KiB =   1.1 MiB       rsyslogd
  1.2 MiB +  23.5 KiB =   1.2 MiB       screen
  1.2 MiB + 252.0 KiB =   1.4 MiB       sshd (2)
  1.5 MiB +  76.0 KiB =   1.6 MiB       mc
  1.2 MiB + 613.5 KiB =   1.8 MiB       bash (3)
  1.9 MiB + 102.0 KiB =   2.0 MiB       dovecot-auth
  2.6 MiB + 303.5 KiB =   2.9 MiB       imap-login (9)
  3.1 MiB + 352.5 KiB =   3.4 MiB       munin-node
  3.9 MiB + 642.0 KiB =   4.5 MiB       imap (6)
  4.6 MiB +  94.5 KiB =   4.7 MiB       slapd
 14.9 MiB +   3.7 MiB =  18.6 MiB       perl (5)
 25.4 MiB +  80.0 KiB =  25.5 MiB       named
 27.9 MiB +  74.0 KiB =  28.0 MiB       mysqld
 35.1 MiB +   1.4 MiB =  36.5 MiB       postgres (5)
 20.3 MiB +  56.4 MiB =  76.7 MiB       apache2 (6)
364.6 MiB +   7.9 MiB = 372.5 MiB       php5-cgi (32)
---------------------------------
                        589.1 MiB
=================================

 Private  +   Shared  =  RAM used       Program
Tady vychází využití RAM na 600 MB, což je ještě divnější. Jde o produkční stroj, tak s tím nemůžu moc experimentovat. Ale zkoušel jsem zastavit jednotlivé služby (apache+php, postgres, ...) a sledoval, o kolik klesne využití paměti podle free. A pokles byl vždy cca stejný nebo menší než kolik je uvedeno ve výpisu ps_mem.py

Je možné tohle: pokud má kernel úplně volnou RAM, tak i po ukončení procesů, které zabírají nějakou RAM, se tato "neodečte" ve výpisu free?

Zkoušel jsem ještě jednu věc: python skriptem jsem si naalokoval 2×2 GB RAM (takže v té chvíli se muselo sáhnout na buffers+caches) a skript hned ukončil. Pak využití paměti podle free kleslo o asi 300 MB! (ve grafu z munin-u vidím ještě slab_cache, to se nezměnilo). Využití paměti tedy kleslo, ale žádný proces se neukončil, z čeho se uvolnila?

Odpovědi

20.4.2010 22:07 Carth_Onasi
Rozbalit Rozbalit vše Re: zjištění "skutečně využité" RAM v linuxu
No, ono je to trosku jinak. Jakykoliv 32-bitovy proces si alokuje 4GB pameti a muze se tam zapisovat. Vsak kdyby jsi chtel 10 procesu, potrebujes 40GB pameti :) Takze operacni system "da" programu 4GB virtualni pameti (ve skutecnosti par desitek MB pri startu) a OS prevadi virtualni adresu na fyzickou adresu, taky pouziva nekolika urovnovou a invertovanou tabulku stranek, ruzne algoritmy (Clockwise,...) na nahradu stranek a take hlavne i swap a jine dalsi technologie, ktere taky "zabiraji" pamet na spravu...

Takze doporucuji nejakou literaturu o operacnim systemu a spravu pameti, abys mohl neco pocitat :)
20.4.2010 22:28 VSi | skóre: 28
Rozbalit Rozbalit vše Re: zjištění "skutečně využité" RAM v linuxu
Jo, já vím dost dobře, jak to funguje. Tady na tom stroji je 32bit systém, protože se to tak kdysi nainstalovalo. Pak se přidala paměť, ale to není problém, protože pomocí PAE i 32bit systém může využít celých 7 GB (vyzkoušeno). Sice jeden proces nemůže alokovat víc jak 3 GB (nebo tak nějak), ale to mi vůbec nevadí. Swap tam je, ale absolutně nevyužitý, když ho vypnu je to stejné.

Mě jde jen o to zjistit, kolik paměti běžící programy skutečně využívají. Teoreticky bych se to mohl dozvědět z /proc/meminfo, free a jiných nástrojů. Ale jak jsem ilustroval, různé metody dávají velmi odlišné výsledky. V Linuxu je problém, že využití paměti nejde úplně snadno spočítat, protože jednotlivé procesy mohou mít mezi sebou určitou část paměti sdílenou; systémové knihovny jsou v RAM také jen jednou, i když je používá víc procesů.

Dejme tomu, že uvažuju o tom, že bych ten stroj převedl na virtuální, a potřebuju vědět, jestli mu stačí 2 GB RAM nebo ne.
21.4.2010 12:07 Sten
Rozbalit Rozbalit vše Re: zjištění "skutečně využité" RAM v linuxu
Důležitá věc je buffers a cached. To jsou stránky, které nepatří žádnému procesu, ale jsou v RAM pro zvýšení výkonu, např. cache souborového systému a buffery síťových spojení. Tahle paměť se ale často může jednoduše zahodit (zapsat na disk) a zmizí tak z free.

Další věc je, že to, co si proces naalokuje (private + shared), vůbec nemusí v RAM být. Tam se to dostane teprve ve chvíli, kdy proces tu naalokovanou paměť poprvé použije (této technice se říká overcommitting a jde vypnout).

A ještě jedna zajímavá věc je swap, kam můžou stránky mizet ;) Navíc jedna stránka může být zároveň ve swapu i v RAM a potom se ve free ukazuje dvakrát, přesto jde snadno získat paměť tím, že se v jednom z míst zahodí.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.