RRD; monitoring portu; po case zblbnute grafy

Zdravim lidicky, mam jeden problem, mozno ste sa s nim stretli a budete mi vediet poradit. monitorujem traffic na porte - IN/OUT. Data ukladam do rrd databazy a nasledne kreslim z neho grafy. rrd databaza bola vytvorena pomocou:

                rrdtool create dummy.rrd --start N --step 300 \
                DS:in:COUNTER:600:U:U                   \
                DS:out:COUNTER:600:U:U                  \
                RRA:AVERAGE:0.5:1:576                   \
                RRA:AVERAGE:0.5:6:672                   \
                RRA:AVERAGE:0.5:24:732                  \
                RRA:AVERAGE:0.5:144:1460                \
                RRA:MAX:0.5:1:576                       \
                RRA:MAX:0.5:6:672                       \
                RRA:MAX:0.5:24:732                      \
                RRA:MAX:0.5:144:1460

jedna sa o fiberchanelovy switch (brocade .. i ked to nehra rolu teraz), data ziskavam pomocou snmp nasledovne:

o) SNMP query: kazdych 5 minut
nepouzivam snmpget ale snmpwalk pre cely switch, ktory potom dalej parsujem (rychlejsie ako keby som sa mal jednotlivo cez snmpget pytat na kazdy jeden port)
funkcne telo scriptu:

WALK_IN="snmpwalk -v3 -u $USER $SWITCH IF-MIB::ifHCInOctets"
SNMP_IN=`$WALK_IN`

IN_OCTET=$(echo $SNMP_IN | grep ifHCInOctets.${port} | awk '{print $5}' )

kde $port je cislo portu pre dany switch (v slucke parsujem vsetky porty)
o) RRD UPDATE:

rrdupdate ${WD}/data/${SWITCH}/dummy.rrd "N:"${IN_OCTET}":"${OUT_OCTET}

o) grafy kreslim (podla toho ake chcem, ukazem denne):

rrdtool graph dummy.png -a PNG -h 125 -v 'data throughput' --start '-1day' --title 'switch' \
        DEF:in=${1}:in:AVERAGE \
        DEF:out=${1}:out:AVERAGE \
        'CDEF:MBin=in,1048576,/' \
        'CDEF:MBout=out,1048576,/' \
        'AREA:in#00FF00:ingress' \
        'LINE1:out#0000FF:egress\j' \
        'GPRINT:MBin:MAX:Max in\:       %3.2lf MB/s'            'GPRINT:MBout:MAX:Max out\:     %3.2lf MB/s\j' \
        'GPRINT:MBin:AVERAGE:Avg in\:   %3.2lf MB/s'            'GPRINT:MBout:AVERAGE:Avg out\: %3.2lf MB/s\j'

vsetko kresli v poriadku, grafy odpovedaju skutocnosti..a zrazu, po urcitom case (2-3 tyzdne) ukazuje graf uplne kraviny typu: ingress na porte 39489234823948239 MB/s a pod. .. v prilohe posielam aj moj dummy.rrd z jedneho portu .. ked som nan urobil dump (rrdtool dump.) - nevidel som ziadny problem - data, ktore boli v nom davali zmysel (hodnoty boli radovo v poriadku) .. napadlo ma ci to neni problem shellu - pri parsovani .. ale hodnoty v rrd su ok, takze nepredpokladam, ze by bol v tom problem.

nestretli ste sa niekto s podobnym problemom ?

nuz, tak si odpoviem aj sam :) .. mozno sa to niekomu zide, pripadne sa vyvaruje ten istej chyby ako ja..

scriptu - je ok; nema problem s 64b cislami
rrd databazy - nie je problem ( pri pozornom vydumpovani som v nej nasiel vysoke cisla,tj grafy kresli v poriadku)
inej chyby suvisiace s rrd - ziadne

FABOS na brocadach pozna viac sposobom nulovania statistik na porte:

portstatsclear [slotnumber/]portnumber
statsclear

ktore sa od seba lisia .. portstatclear okrem ineho vynuluje aj SNMP countre a preto si rrd myslel, ze ten dany snmp counter pretiekol a patricne to ohandloval (preto ten vysoky traffic).

ak treba vynulovat nejake statistiky (err) je lepsie pouzit statsclear, ktory sice vynuluje vsetky porty, ale nesaha do SNMP countrov

25.11.2009 17:14 AraxoN | skóre: 47 | blog: slon_v_porcelane | Košice
Rozbalit Rozbalit vše Re: RRD; monitoring portu; po case zblbnute grafy

Skús miesto COUNTER použiť DERIVE s minimom nula:

DS:blaaa:DERIVE:600:0:U

Reset countra pravdepodobne nastane o dosť častejšie než jeho overflow. Derive to rieši tak, že mu vyjde hodnota menšia než nula - a tú upraví na minimum = nula. Prídeš o štatistiky za jeden heartbeat, ale lepšie než keď zaráta nejaké brutálne číslo, čo domrví celý graf.

25.11.2009 20:28 mato
Rozbalit Rozbalit vše Re: RRD; monitoring portu; po case zblbnute grafy

rozmyslal som chvilku aj nad tym, ale z praktickeho hladiska to bude asi horsi variant, lebo tento reset portu viem ovplyvnit (do SANky/na switche nema tolko ludi pristup); reportovana nula dokaze viac zmiast ako velky peak

ak by som moc potreboval vidiet ten report na grafe (kedze skutocne hodnoty su skryte kvoli vysokemu peaku), tak si dokazem vytvorit novy graf s Y osou napr. max 8gbit (v tej topologii max speed mmntalne) a uvidim ten graf citatelne ..

ale inak spravanie portstatsclear povazujem za chybu vo FW .. na snmp by nemal sahat, mal by byt na to specialny snmpportstatclear command alebo cosi podobne :/

Dotaz: RRD; monitoring portu; po case zblbnute grafy

Odpovědi