Dotaz: Falešné polašné zprávy od Zabbixe

[fp]

Ahoj, zabbixem monitoruji několik serverů - ping + služby, switche a síťové kamery. Dohromady asi 50 zařízení. Zabbix běží jako virtuální server pod proxmoxem, do fyzického serveru je linka 2 x 1 gigabit v LACP agregaci. Každý týden v různé časy mi zabbix pošle nějaký email o krátkodobé nedostupnosti nějakého serveru - nejčastěji je to ping či TCP porty. Většinu falešných zpráv na ping jsem eliminoval tím, že jsem zvýšil timeout a kontroluji jen procento výpadku větší než nějaká hodnota - to pomohlo ale jen pro switche, protože ty hardwarově nebyly někdy schopné na ping včas odpovědět. Nyní mám tak 3-4 falešné zprávy do týdne na různé servery.

Zkontroloval jsem:

• switche, zda nedochází k odpojování linek k serveru
• fyzický i virtuální server, na kterém je zabbix, zda jádro nepíše o problémech se sítí
• testoval jsem týdenní pingy z hostitele virtuálních serverů na router - bez výpadku
• zátěž serverů
• logy

Všechno vypadá v pořádku. Nenapadá vás, čím by toto mohlo být způsobené?

Odpovědi

[NN]

Mas implemntovanou parent/child topologii? Jak mas nastavene intervali, pocty a chovani pozitivnich i negativnich testu? Jak to vypada v logu?

[fp]

Nemám. Je to jenom jeden server. Intervaly většinou 60sekundové, někde více. Celkový počet sledovaných položek je 1068, triggerů 445. V logu serveru jsou jen informace o startu a potom už jen housekeeper:

...
 14448:20141118:003535.266 executing housekeeper
 14448:20141118:003535.269 housekeeper [deleted 0 hist/trends, 0 items, 0 events, 0 sessions, 0 alarms, 0 audit items in 0.002182 sec, idle 1 hour(s)]
...

Falešně pozitivní bývají různé testy, následující jsou výtažky z mailů např. z 12.11. pro ssh:

PROBLEM: SSH service is down on SERVER1 v 18:10
OK: SSH service is down on SERVER1 v 18:11
PROBLEM: SSH service is down on SERVER2 v 18:37
OK: SSH service is down on SERVER2 v 18:38

nebo 13.11. pro DNS zónu:

PROBLEM: DNS zone domena.moje on dns1 is not ok v 18:31
OK: DNS zone domena.moje on dns1 is not ok v 18:32

trigger:
{Zabbix server:net.dns[X.X.X.X,domena.moje,NS].last(0)}#1

[NN]

Pomoci 'trigger dependenci' by bylo mozne odhalit konkretni uzel na kterem to vazne a upresnit tak misto problemu.

[fp]

Jak? Když mám třeba falešně pozitivní zprávy od 2 vzájemně nezávislých serverů, tak jak by to využil?

[Ivan]

Zkus presunout monitoring na fyzicky server. Popr muzes zkusit vypnout offloading na sitovce fyzickeho serveru. A uvidis. Dneska vsichni resi kolik porna se jim stahne za hodinu po jejich super giga sitovce, ale kdyz prijde na maly packety (Ping/SNMP) tak nikdo poradne netusi.

[fp]

Na fyzický server nejsou finance, nicméně ten virtuál je na relativně výkonném serveru navíc v LAN síti. Přetížené to nebude, třeba výše zmíněné výpadky byly detekované v době nejmenšího zatížení serveru i celé sítě - pakety za sekundu nemonitoruji, ale IOPS disku OK a celkový datový provoz 300kbps na celém hostitelském serveru.

[Ivan]

Nemas sitovku od Intelu? Mozna by pomohl novejsi firmware. Popr. zkus porovnat pocet packetu na pocitadle na portu u switche vs. pocet packetu na sitovce v Linuxu.

[fp]

Mám, 2x integrovaná na supermicro desce. Ostatní spojení ale jede bez problému. I pokud běží zálohování virtuálních mašin přes rsync - stovky tisíc malých souborů - žádný problém. Ping z toho stroje bez výpadku. Pokud by tam byl problém tak ho asi počítáním paketů nezjistím. Síťovka ale asi bude OK.