Dotaz: Linux server - špičky v load average

[Tomáš Skočdopole]

Příloha:

• bez názvu.png (60521 bytů)

Zdravím,

dívám se na grafy zátěže jednoho linuxového severu (viz příloha). Běží zde apache php mysql - v něm glpi a cacti. Jsou mi divné ty špičky zhruba s tříhodinovou periodou. Chtěl bych se zde zeptat, jak bych mohl identifikovat co to způsobuje? Díval jsem se na TOP, ale nebyl jsem schopný z toho něco poznat. Šly by eventuelně v cacti měřit jednotlivé procesy? Nebo jakým způsobem byste postupovali Vy?

Díky Tomáš

Odpovědi

[ewew]

Aká distribúcia tam beží.

Máš tam spustený syslog alebo rsyslog ? Aké máš nastavenie /etc/syslog.conf alebo /etc/rsyslog.conf ? Máš v priečinkoch cron.x súbor logrotate.

Keď píšeš, že to robí pravidelne, tak by som sa zameral na nejaký proces , ktorý sa spúšťa pravidelne. Napríklad cron.

[Hop]

Je to distribuce Archlinux x64 - aktualizuji zhruba jednou za měsíc, ale objevuje se to v podstatě od začátku. Syslog s hodou okolností byl nahrazen rsyslogem, ale problém to nevyřešilo.

Zde je rsyslog.conf

 # cat /etc/rsyslog.conf
# if you experience problems, check
# http://www.rsyslog.com/troubleshoot for assistance

# rsyslog v3: load input modules
# If you do not load inputs, nothing happens!
# You may need to set the module load path if modules are not found.

$ModLoad immark   # provides --MARK-- message capability
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # kernel logging (formerly provided by rklogd)




# Log all kernel messages to the console.
# Logging much else clutters up the screen.
kern.*                                                 /dev/console

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none                -/var/log/messages

# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure

# Log all the mail messages in one place.
mail.*                                                  -/var/log/maillog


# Log cron stuff
cron.*                                                  -/var/log/cron

# Everybody gets emergency messages
*.emerg                                                 *

# Save news errors of level crit and higher in a special file.
uucp,news.crit                                          -/var/log/spooler

# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log

# ######### Receiving Messages from Remote Hosts ##########
# TCP Syslog Server:
# provides TCP syslog reception and GSS-API (if compiled to support it)
#$ModLoad imtcp.so  # load module
#$InputTCPServerRun 514 # start up TCP listener at port 514

# UDP Syslog Server:
#$ModLoad imudp.so
#$UDPServerAddress 192.168.9.248
#$UDPServerRun 514

#$template DynaFile,"/var/log/system-%HOSTNAME%.log"
#*.* 

V crontab nic po třech hodinách není:

@hourly         ID=sys-hourly   /usr/sbin/run-cron /etc/cron.hourly &> /dev/null
@daily          ID=sys-daily    /usr/sbin/run-cron /etc/cron.daily  &> /dev/null
@weekly         ID=sys-weekly   /usr/sbin/run-cron /etc/cron.weekly &> /dev/null
@monthly        ID=sys-monthly  /usr/sbin/run-cron /etc/cron.monthly &> /dev/nul
l

0 22 * * * /usr/sbin/automysqlbackup.sh >> /var/log/automysqlbackup.log
*/5 * * * * /usr/bin/php /srv/http/glpi/front/cron.php &> /dev/null
0-59 * * * * /usr/bin/php /srv/http/cacti/poller.php &> /dev/null

Ve složkách cron.* také nic.

# ls /etc/cron.*
/etc/cron.d:
prune-cronstamps

/etc/cron.daily:
man-db  shadow

/etc/cron.monthly:

/etc/cron.weekly:

Logrotate nepoužívám.

Díky Tomáš

[ewew]

Vieš skotrolovať či v uvedené hodiny, nebol zvýšený prístup užívateľov k službám. Skús zmeniť authpriv.* na autpriv.info.

Dané časy môžeš si dať vypísať pomocou grep s správným patternom.

[Hop]

Ahoj,

díky za tip. No vzhledem k tomu, že to je i přes noc (kanclech nikdo není), tak tuto možnost bych vyloučil.

Jedině cron.

Můžu se zeptat, co authpriv.info změní v logování?

Díky

[ewew]

Zmena z authpriv.* na authpriv.info bude logovať správy s prioritou info a vyššou. Neviem či potrebuješ záznamy na úrovni debug.

Prezri všetky bežiace procesy a popis všetkých služieb bežiacich na serveri. Prípadne to sem daj ako prílohu.

Prezri všetky procesy bežiace na sieťových rozhraniach.

Robil si aj nejaké zabezpečovacie postupy ?

[Hop]

Zdravím,

takže jsem změnil authpriv.* na authpriv.info, předpokládám, že ve /var/log/secure bude tedy něco k najití, ale je tam jen toto.

Tomáš

2011-11-29T11:07:49.747658+01:00 ippsrvweb sshd[16319]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-11-29T12:20:59.312535+01:00 ippsrvweb sshd[2027]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-11-29T13:02:06.113937+01:00 ippsrvweb sshd[21098]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-11-29T13:28:26.671807+01:00 ippsrvweb sshd[21098]: pam_unix_session(sshd:session): session closed for user root
2011-11-29T15:06:56.892415+01:00 ippsrvweb sshd[2027]: pam_unix_session(sshd:session): session closed for user root
2011-11-29T22:42:12.195021+01:00 ippsrvweb sshd[30229]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-11-29T22:42:42.060284+01:00 ippsrvweb sshd[30229]: pam_unix_session(sshd:session): session closed for user root
2011-11-30T19:24:36.541117+01:00 ippsrvweb sshd[21368]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-11-30T19:25:40.035968+01:00 ippsrvweb sshd[21368]: pam_unix_session(sshd:session): session closed for user root
2011-12-07T08:53:32.386357+01:00 ippsrvweb sshd[11863]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-07T14:44:44.204952+01:00 ippsrvweb sshd[11863]: pam_unix_session(sshd:session): session closed for user root
2011-12-08T11:30:35.702625+01:00 ippsrvweb sshd[9273]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-08T13:36:06.655766+01:00 ippsrvweb sshd[9273]: pam_unix_session(sshd:session): session closed for user root
2011-12-14T22:22:20.269877+01:00 ippsrvweb sshd[8176]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-14T22:38:15.293176+01:00 ippsrvweb sshd[8176]: pam_unix_session(sshd:session): session closed for user root
2011-12-15T20:25:39.742462+01:00 ippsrvweb sshd[12707]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-17T13:18:13.170929+01:00 ippsrvweb sshd[12707]: pam_unix_session(sshd:session): session closed for user root
2011-12-23T12:09:56.228051+01:00 ippsrvweb sshd[30898]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-23T13:04:24.889837+01:00 ippsrvweb sshd[10217]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-23T14:52:19.565842+01:00 ippsrvweb sshd[10217]: pam_unix_session(sshd:session): session closed for user root
2011-12-23T15:34:21.099174+01:00 ippsrvweb sshd[16457]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-23T15:56:16.620648+01:00 ippsrvweb sshd[16457]: pam_unix_session(sshd:session): session closed for user root
2011-12-23T19:41:49.732135+01:00 ippsrvweb sshd[25127]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-23T20:23:00.201232+01:00 ippsrvweb sshd[25127]: pam_unix_session(sshd:session): session closed for user root
2011-12-27T01:34:24.644088+01:00 ippsrvweb sshd[10038]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-27T01:34:36.402779+01:00 ippsrvweb sshd[10038]: pam_unix_session(sshd:session): session closed for user root
2011-12-27T13:13:45.411669+01:00 ippsrvweb sshd[13976]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-27T15:24:59.955539+01:00 ippsrvweb sshd[13976]: pam_unix_session(sshd:session): session closed for user root
2011-12-29T08:10:42.068202+01:00 ippsrvweb sshd[17132]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-29T14:17:27.682948+01:00 ippsrvweb sshd[17132]: pam_unix_session(sshd:session): session closed for user root
2011-12-29T20:30:43.222435+01:00 ippsrvweb sshd[690]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-29T20:33:18.355850+01:00 ippsrvweb sshd[690]: pam_unix_session(sshd:session): session closed for user root
2011-12-29T20:33:25.503256+01:00 ippsrvweb sshd[1992]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-29T20:43:58.106065+01:00 ippsrvweb sshd[1992]: pam_unix_session(sshd:session): session closed for user root
2011-12-30T20:10:53.260448+01:00 ippsrvweb sshd[20985]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-30T20:15:47.730598+01:00 ippsrvweb sshd[23653]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2011-12-30T21:44:23.568120+01:00 ippsrvweb sshd[23653]: pam_unix_session(sshd:session): session closed for user root
2012-01-02T08:05:23.285645+01:00 ippsrvweb sshd[25375]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2012-01-02T08:13:07.442132+01:00 ippsrvweb sshd[3488]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2012-01-02T08:16:07.712511+01:00 ippsrvweb su: pam_unix(su:session): session opened for user root by (uid=0)
2012-01-02T08:16:09.464510+01:00 ippsrvweb su: pam_unix(su:session): session closed for user root
2012-01-02T08:17:32.033244+01:00 ippsrvweb sshd[3488]: pam_unix_session(sshd:session): session closed for user root
2012-01-02T12:44:49.292394+01:00 ippsrvweb sshd[19328]: pam_unix_session(sshd:session): session opened for user root by (uid=0)
2012-01-02T16:03:47.622979+01:00 ippsrvweb sshd[19328]: pam_unix_session(sshd:session): session closed for user root
2012-01-03T16:06:22.747211+01:00 ippsrvweb sshd[27970]: pam_unix_session(sshd:session): session opened for user root by (uid=0)

[Ash]

Vídám to na linuxových serverech často, každý má svou vlastní, osobitou periodu, výška v zásadě od těch 0.2 do 1 (ne že by load 1 bylo nějaké drama). Pouze hardwarově shodné servery se shodnou distribucí mají i stejné špičky.

Cron určitě ne, přítomnost uživatelů také ne (nejsou), spíš tipuji nějaký moderní super-cool indexátor všeho který jsem zapomněl zlikvidovat a který dělá nějaké ty IO které snadno zvednou load, a nebo o nějakou zvláštnost ve výpočtu load, kterýžto není nic až tak triviálního jak by se mohlo zdát.

Vyšší IO by měla být vidět v příslušných grafech, to se dá ověřit...

[Hop]

Takže zde je seznam daemonů:

# rc.d list
[STOPPED][    ] aircontrol
[STARTED][AUTO] crond
[STOPPED][    ] ftpd
[STOPPED][    ] gpm
[STARTED][AUTO] httpd
[STOPPED][    ] hwclock
[STOPPED][    ] krb5-kadmind
[STOPPED][    ] krb5-kdc
[STOPPED][    ] krb5-kpropd
[STARTED][AUTO] mysqld
[STOPPED][    ] netfs
[STARTED][AUTO] network
[STOPPED][    ] nscd
[STOPPED][    ] ntop
[STOPPED][    ] pure-ftpd
[STARTED][AUTO] rsyslogd
[STARTED][AUTO] smartd
[STARTED][AUTO] snmpd
[STARTED][AUTO] sshd

Zde posílám verze: # mysqld --version mysqld Ver 5.5.19 for Linux on x86_64 (Source distribution)

# httpd -v Server version: Apache/2.2.16 (Unix) Server built: Sep 16 2010 11:02:40

OpenSSH_5.9p1, OpenSSL 1.0.0e 6 Sep 2011

# rsyslogd -v rsyslogd 5.8.6, compiled with: FEATURE_REGEXP: Yes FEATURE_LARGEFILE: No GSSAPI Kerberos 5 support: No FEATURE_DEBUG (debug build, slow code): No 32bit Atomic operations supported: Yes 64bit Atomic operations supported: Yes Runtime Instrumentation (slow code): No

# snmpd -v

NET-SNMP version: 5.7.1 Web: http://www.net-snmp.org/ Email: net-snmp-coders@lists.sourceforge.net

# cron dillon's cron daemon 4.5

Mám ještě poslat nějaké configy?

Díky moc za help