Dotaz: Jak dlouhodobě monitorovat data usage dle app/processu

[majales]

Zdravím, na dovolené řeším jak můj notebook s Ubuntu Mate 18 LTS "žere" data. Nevěděli byste čím monitorovat dlouhodobě spotřebu dat per aplikaci /process? teď mi modem ukazuje, že jsem spotřeboval cca 1,1GB dat za necelé 3 hodiny provozu. Případně, nešlo by to zredukovat nějakou vynucenou upstream proxy? Která by i mohla měřit co a jak spotřebovává data?

---

---

Odpovědi

[Peter Golis]

Kedysi som na to používal ntopng, ovšem nie počas dovolenky.

[Jendа]

Blbě, protože Linux neumí moc matchovat podle PID/názvu binárky/... Osobně jsem to řešil tak, že jsem browser spouštěl pod zvláštním uživatelem, v iptables -A OUTPUT -p tcp -m owner --uid-owner 1001 -j ACCEPT, a ostatní jsem zakázal až na whitelistované servery (třeba SSH kam se připojuju, Jabber server a tak). Pak to můžeš pomocí counterů v iptables sledovat.

Celej skript:

# init logging chain
iptables -N LOGGING

# allow all for firefox
iptables -A OUTPUT -p tcp -m owner --uid-owner 1001 -j ACCEPT
iptables -A OUTPUT -p udp -m owner --uid-owner 1001 -j ACCEPT

# allow localhost
iptables -A OUTPUT -d 127.0.0.1/8 -p tcp -j ACCEPT
iptables -A OUTPUT -d 127.0.0.1/8 -p udp -j ACCEPT

# exceptions
# dhcp
iptables -I OUTPUT 1 -p udp --dport 68 -j ACCEPT
iptables -I OUTPUT 1 -p udp --dport 67 -j ACCEPT
# dns, but watch out for google
iptables -I OUTPUT 1 -p tcp --dport 53 -j ACCEPT
iptables -I OUTPUT 1 -p udp --dport 53 -j ACCEPT
iptables -I OUTPUT 1 -p udp -d 8.8.8.8 --dport 53 -j LOGGING
iptables -I OUTPUT 1 -p tcp -d 8.8.8.8 --dport 53 -j LOGGING

# local nets
iptables -I OUTPUT 1 -d 192.168.0.0/16 -p tcp -j ACCEPT

# a teď konkrétní stroje, například škola:
iptables -I OUTPUT 1 -p tcp -d 195.113.20.0/24 -j ACCEPT



# meh
iptables -A OUTPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT

# log the rest
iptables -A OUTPUT -j LOGGING
iptables -A LOGGING -j LOG --log-prefix "OUT packet " --log-uid
iptables -A LOGGING -j ACCEPT

a pak v dmesg/syslogu sledovat OUT packet.

[z_sk]

NetHogs

[k3dAR]

nemyslim ze je vhodne kdyz autor komentare ho rovnou sam oznaci jako reseni, minimalne pockat zda tazatel se k tomu vyjadri...

i bez vyjadreni tazatele bys ale mohl trochu premyslet sam, on se pta na "dlouhodobe monitorovat", nethogs zobrazuje sice per process, ale pokud dobre koukam umi jen aktualni, nikoliv celkovou, nema vystup do logu kterej by sel pak zpracovat, presperovani vystupu neumi neprepisovat predchozi hodnoty, tzn. je to jen na to sledovat jakej proces AKTUALNE "zere data"...

[z_sk]

Predpokladam, ze mu nejako vhod pride.

Ak by mal vytvarat program, ktory by take mal robit, tak na tomto by som staval.

Hm, neviem, ci najde nieco take jednoduchsie. Predpokladam, ze ak budu ine opensource nastroje, ktore chce. Tak budu trochu monstrum na jeho ucel. Totiz bude instalovat nejake nastroje, ktore budu monitorovacie systemu, ktore budu velke namakane a trochu pripadne zrat prostredky.

[LarryL]

Souhlasím s Kedarem, že Nethogs je jen na monitorování sítě v reálném čase. Na statistiky je ntop. Ve výchozím nastavení se sice pro přístup ke statistikám používá http, ale pokud by tazatel chtěl, tak by šel nastavit i https.

[PetebLazar]

Vypadá to, že na odkazu níže někdo před léty vybudoval nad nethogs dlouhodobý sběr dat.

https://boopathi.in/blog/capturing-per-process-bandwidth-usage-using-nethogs/

[LarryL]

Hezky znásilněný bug-hunt mode . Škoda, že je ten parser napsaný v goučku a musí se kompilovat. Jestli jde jen o parsování output souboru co vytváří nethogs, tak by to mělo jít i bash nebo python scriptem.

Jestli už nebude lepší použít sudo nethogs -v 3, který radí zde, pokud není tazatel moc náročný a stačí třeba jen statistiky nasbírané za 1 den.

[tttttt]

bandwhich

S parametrem -t to data akumuluje. Výstup pro další zpracování to spíš nemá, ale tipuju, že se to dá pustit ve screenu a za pár hodin/dnů kouknout, kudy tečou data.

[z_sk]

Ak ratas kazdy bajt, tak zaloz novu temu na fore a nech ti odpovedia ti odpovedia skuseny. Napr. vybrat aplikacie, ktore nebudu sa mysliet za teba a nebudu na pozadie kontrolovat vsetko automaticky alebo aspon tak casto a budes pripadne ako pokrocily robit niektore veci napr. manualne.

[LarryL]

OT: Bez urážky, ale ty dostáváš za označení tvého komentáře "jako řešení" nějaké příplatky? Připadá mi, že si svoje komentáře označuješ za pomoci uživatele "Bhezret". Nevidím nic špatného na tom pokud by jsi příplatky pobíral, je hezké, že má tohle fórum stálého zaměstnance, ale tohle zbrklé označování řešení mě připadá více na škodu než k užitku.

[z_sk]

: Bez urážky, ale ty dostáváš za označení tvého komentáře "jako řešení" nějaké příplatky?

Nie.

[z_sk]

(oprava): Ak ratas kazdy bajt, tak zaloz novu temu na fore a nech ti odpovedia skusenejsi. Napr. ake vybrat aplikacie ktore nebudu za teba mysliet, za teba nebudu na pozadii kontrolovat automaticky vsetko mozne, nebudu aspon tak casto kontrolovat alebo budes pripadne ako pokrocily robit niektore veci napr. manualne.