netcount-0.1 - novy statisticky SW pro iGW

14.10.2005 23:28 | Přečteno: 1100× | Linuxové báchorky | poslední úprava: 14.10.2005 23:29

Zdravim

Hledal jsem pro svoji síť nějaký vhodný soft, který by na iGW vytvářel statistiky přenesených dat z/do internetu. Našel jsem jich kupu, ostatně jsem o tom diskutoval i v nějaké starší diskuzi, stačí hledat, ale žádný nesplnil moje přání. Podmínky jsou : měrení pro den/týden/měsic/rok a pro tyto uvedená období i grafy. Dále nějaké lehké a nenáročné rozhraní psané nejlépe v PHP. Na principu měřeni dat mi nesejde, ale i přes odpor některých lidí na měření pomocí iptables nevidím nic strašného.

Bohužel žádný z nalezených softů mi nevyhovoval. Buď byl moc jednoduchý, nebo moc složitý, nebo měl nepřehledné webové rozhraní, nebo neměl grafy, nebo vyžadoval kupu podivných knihoven, nebo ..... No je to jako s tou ideální krávou v reklamě. Takže jsem začal psát svůj vlastní systém:

Data se měří přes iptables. Správa chainů a záznamů v iptables je převzatá z ipaccountringu od standuse a bohdyho (je to GPL) a k tomu jsem dopsal vlastní parser, kterej získaná data rozhází do mnoha souborů (ip_adresa-rok, ip_adresa-rok-mesic, ip_adresa-rok-tyden, ip_adresa-rok-den), kde jsou jen dvě čísla: IN a OUT. Tyden a den je pocet od zacatku roku, nikoli aktualni datum. To je v současnosti vše, co je hotové, v todo listu jsou grafy a webové rozhraní.

Nevím nakolik je to teď použitelné, ale pokud chcete data číst nějakým skriptem nebo zakomponovat do vlastního systému a nebo jen prostě skritizovat něčí soft, máte možnost.

Stahujte zde: http://stepanek.gavanet.org/netcount-0.1.tar.bz2

Součástí tarballu je i dokumentace, princip činnosti a návod k instalaci.

Zdenek

       

Komentáře

[zdenek-hbr]

ukazka vystupu by nebyla?

[_ijkl]

Ja niečo podobné robím pomocou programčeka IP Flow Meter a darí sa mi viac než dobre. Sám si robí výstupy do txt súborov. Z nich každých 10 minút vložím do databázy, ktorá IP koľko stiala, poslala a všetko dokopy. Keďže je to potom v SQL, tak si človek môže robiť akékoľvek výstupy, napríklad aj niečo takéto

Prikladám tiež pohľad na moju základnú tabuľku v databáze (z ktorej si robím pomocou cronu ďalšie, pretože táto po čase začne byť viac než nepoužiteľná v online nasadení ):
Štruktúra tabuľky
Dáta v tabuľke

[Zdeněk Štěpánek]

Ten grafickej vystup vypada moc hezky. Mel bych jen jednu pripominku, proc mas v databazi sloupec bytes_total? Byt tebou bych v SQL dotazu toto cislo vytvarel jako SUM(bytes_in, bytes_out).

Zdenek

[Michal Kubeček]

Předpokládám, že jste myslel spíš 'BYTES_IN + BYTES_OUT', agregační funkce sum() slouží k něčemu jinému.

[Zdeněk Štěpánek]

No to je dost mozny, priznam se ze jsme to napsal jen tak z hlavy aniz bych si to overil, ale pricip je snad jasny. Vzivote jsme to nepotreboval, jen jsem predpokladal, ze se to dela takhle. Omlouvam se.

Zdenek

[_ijkl]

Asi preto, že IP Flow Meter to tiež meria samostatne. Vkladám všetky údaje, ktoré vygeneruje. Myslím ale, že je to jedno (pokiaľ neberieme do úvahy to, že db potom zaberá o niečo viac miesta).

[Zdeněk Štěpánek]

Ukazka vystupu pro jednu jedinou IP adresu po dvou dnech mereni:

/mereni/netcount/datadir/day/10.193.120.138-2005-287
100 100

/mereni/netcount/datadir/day/10.193.120.138-2005-288
15795060 4010209

/mereni/netcount/datadir/week/10.193.120.138-2005-41
15795160 4010309

/mereni/netcount/datadir/month/10.193.120.138-2005-10
15795160 4010309

/mereni/netcount/datadir/year/10.193.120.138-2005
15795160 4010309

V uvedenych souborech jsou jen a pouze ty dve cisla (IN a OUT). Jmeno souboru je delane tak aby samo o sobe zabezpecilo uchovavani dat po vsechny roky. V dennich souborech je rok a cislo dne od zacatku roku. Analogicky je to u tydnu (pocet tydnu od zacatku roku). U mesicu je to logicke.

Cili po dvou letech provozu pro 30 IP se v adresari day/ vytvori 21900 souboru. Presneji 365*30*2. Je to sice kupa, ale nepredpokladam, ze bych tam ted implementoval promazavani. Do dlasich verzi bych treba mohl dat moznost mazat denni statistiky starsi nez 2 mesice.

Ted je potreba napsat frontend (jeste nevim zda v PHP->dynamicke stranky nebo v bashi->staticke stranky, mozna kombinace), ktery bude zjistovat aktualni datum a vybirat ty spravne soubory a vyrabet z nich nejake tabulky.

Nakonec si necham grafy v rrdtoolu. Tam staci do rrd souboru kazdych 5 minut sypat data a jestli chci denni/tydenni/mesicni nebo rocni graf se voli az pri generovani grafu, tudiz tam nevidim zadny problem, uz jsme jeden takovy graf v rrd udelal.

Zdenek

[Abraxis]

Pouzivam tohle:

http://broumovska.lbcfree.net/~wasik/ipaccounting/

Chodi to velmi slusne, nainstalovany za 15 minut. Zatim mi to pocita cca. 30 adres a zatim bez problemu.