Dotaz: Traffic shaping - markovani s NATem

[David Sedláček]

Zdravim. Muj problem je nasledujici: iptables-1.2.11(p-o-m), kernel-2.4.31. Snazim se na stroji se dvema interfacy rozchodit shaping pomoci HTB+SFQ. Na tom by nic nebylo, kdyby to ale fungovalo. Cely problem, jak jsem zjistil, je v markovani paketu.

Na stroji totiz bezi shaper, ktery znaci pakety a shapuje. Ukazka:

/sbin/tc qdisc del dev eth1 root
/sbin/tc qdisc del dev eth0 root
/sbin/iptables -t mangle -A FORWARD -d 10.0.0.0/8 -o eth0 -j ACCEPT
/sbin/iptables -t mangle -A POSTROUTING -s 10.0.0.0/8 -o eth1 -j ACCEPT
/sbin/tc qdisc add dev eth1 root handle 1: htb default 2
/sbin/tc class add dev eth1 parent 1: classid 1:2 htb rate 100Mbit ceil 100Mbit burst 0k
/sbin/tc class add dev eth1 parent 1:2 classid 1:1 htb rate 800kbit ceil 800kbit burst 0k
/sbin/tc qdisc add dev eth0 root handle 1: htb default 2
/sbin/tc class add dev eth0 parent 1: classid 1:2 htb rate 100Mbit ceil 100Mbit burst 0k
/sbin/tc class add dev eth0 parent 1:2 classid 1:1 htb rate 190kbit ceil 190kbit burst 0k
/sbin/tc class add dev eth1 parent 1:1 classid 1:160 htb rate 800kbit ceil 800kbit burst 0k
/sbin/tc class add dev eth0 parent 1:1 classid 1:160 htb rate 200kbit ceil 200kbit burst 0k
/sbin/tc class add dev eth1 parent 1:160 classid 1:60 htb rate 160kbit ceil 800kbit burst 0k
/sbin/tc class add dev eth0 parent 1:160 classid 1:60 htb rate 40kbit ceil 200kbit burst 0k
/sbin/tc class add dev eth1 parent 1:60 classid 1:30 htb rate 60kbit ceil 800kbit burst 0k
/sbin/tc class add dev eth0 parent 1:60 classid 1:30 htb rate 15kbit ceil 200kbit burst 0k

Timto vytvori hlavni tridy pro obe rozhrani.

/sbin/iptables -t mangle -A POSTROUTING -d 10.30.1.90/32 -o eth1 -j MARK --set-mark 2095
/sbin/iptables -t mangle -A POSTROUTING -d 10.30.1.90/32 -o eth1 -j ACCEPT
/sbin/iptables -t mangle -A FORWARD -s 10.30.1.90/32 -o eth0 -j MARK --set-mark 2095
/sbin/iptables -t mangle -A FORWARD -s 10.30.1.90/32 -o eth0 -j ACCEPT
/sbin/tc class add dev eth1 parent 1:60 classid 1:2095 htb rate 60kbit ceil 400kbit burst 0k
/sbin/tc qdisc add dev eth1 parent 1:2095 handle 2095 sfq perturb 10
/sbin/tc filter add dev eth1 parent 1:0 protocol ip handle 2095 fw flowid 1:2095
/sbin/tc class add dev eth0 parent 1:60 classid 1:2095 htb rate 15kbit ceil 100kbit burst 0k
/sbin/tc qdisc add dev eth0 parent 1:2095 handle 2095 sfq perturb 10
/sbin/tc filter add dev eth0 parent 1:0 protocol ip handle 2095 fw flowid 1:2095

Toto uz je klient #1

/sbin/iptables -t mangle -A POSTROUTING -d 10.30.255.254/32 -o eth1 -j MARK --set-mark 2094
/sbin/iptables -t mangle -A POSTROUTING -d 10.30.255.254/32 -o eth1 -j ACCEPT
/sbin/iptables -t mangle -A FORWARD -s 10.30.255.254/32 -o eth0 -j MARK --set-mark 2094
/sbin/iptables -t mangle -A FORWARD -s 10.30.255.254/32 -o eth0 -j ACCEPT
/sbin/tc class add dev eth1 parent 1:60 classid 1:2094 htb rate 60kbit ceil 100kbit burst 0k
/sbin/tc qdisc add dev eth1 parent 1:2094 handle 2094 sfq perturb 10
/sbin/tc filter add dev eth1 parent 1:0 protocol ip handle 2094 fw flowid 1:2094
/sbin/tc class add dev eth0 parent 1:60 classid 1:2094 htb rate 15kbit ceil 25kbit burst 0k
/sbin/tc qdisc add dev eth0 parent 1:2094 handle 2094 sfq perturb 10
/sbin/tc filter add dev eth0 parent 1:0 protocol ip handle 2094 fw flowid 1:2094

Klient #2 atd atd..

************************************************************

Az do teto chvile funguje vse 0K. Pak ale chci na vyssi tridu 1:60 (pod kterou jsou klienti) navesit dalsi tridu (skript nize), do ktere by spadaly pakety vyhodnocene jako odpovidajici. To chci resit timto:

IPT="/sbin/iptables"
LANDEV="eth1"     #lokalni nic
INETDEV="eth0"    #ISP
MAXDOWNRATE="100kbit"
MINDOWNRATE="50kbit"
MAXUPRATE="50kbit"
MINUPRATE="50kbit"

$IPT -t mangle -A PREROUTING -m tcp -j CONNMARK --restore-mark
$IPT -t mangle -A PREROUTING -m mark ! --mark 0 -j ACCEPT
$IPT -t mangle -A PREROUTING -m ipp2p --ipp2p -j MARK --set-mark 9999
$IPT -t mangle -A PREROUTING -m mark --mark 9999 -j CONNMARK --save-mark
#
#vytvorit novou tridu na lokalnim NIC
/sbin/tc class add dev $LANDEV parent 1:60 classid 1:9999 htb rate $MINDOWNRATE ceil $MAXDOWNRATE burst 0k
/sbin/tc qdisc add dev $LANDEV parent 1:9999 handle 9999 sfq perturb 10
/sbin/tc filter add dev $LANDEV parent 1:0 protocol ip handle 9999 fw flowid 1:9999
#
#vytvorit novou tridu na inet NIC
/sbin/tc class add dev $INETDEV parent 1:60 classid 1:9999 htb rate $MINUPRATE ceil $MAXUPRATE burst 0k
/sbin/tc qdisc add dev $INETDEV parent 1:9999 handle 9999 sfq perturb 10
/sbin/tc filter add dev $INETDEV parent 1:0 protocol ip handle 9999 fw flowid 1:9999

Trida 1:9999 na obou rozhranich se vytvori, funguje bezproblemu (odzkouseno). Ale kdyz se podivam zda-li do nich neco tece, jsou prazdne.

Timto se dostavam konecne k me otazce: pravdepodobne to markovani nejakym zpusobem koliduje s predchozimi pravidly pro klienty, ale kde? Co delam spatne?

K tomuto jsem dospel diky "vyhozeni" shaperu a vytvoreni vlastnich hlavnich trid, na ktere jsem povesil 1:9999 (viz. vyse) - pak vse fungovalo - shapovani up/down podle znacky (9999). Docela mne to zarazi..

Odpovědi

[David Sedláček]

Dodatek - ten kod vyse planuji implementovat do "hlavniho shaperu" ke kazdemu klientovi => kazdy bude mit dve tridy. Timto si to chci pouze otestovat.

[iwik]

ahoj, je dost zlozite na to aby to clovek takto skontroloval...preto len jeden taky tip: skus odstranit cast

$IPT -t mangle -A PREROUTING -m tcp -j CONNMARK --restore-mark
$IPT -t mangle -A PREROUTING -m mark ! --mark 0 -j ACCEPT
$IPT -t mangle -A PREROUTING -m ipp2p --ipp2p -j MARK --set-mark 9999
$IPT -t mangle -A PREROUTING -m mark --mark 9999 -j CONNMARK --save-mark

a skusit ci to ide. lebo ja ked som markovat p2p s ipp2p tak mi to rozhadzalo cele markovanie (pravdepodobne som mal asi daco zle, ale...)

[David Sedláček]

Cely shaper funguje bezproblemove, az na tu cast, co jste quotoval. Podle toho jsem chtel znacit p2p traffic a odpovidajici pakety hazet do 1:9999. Ale tato trida je stale prazdna, takze to vypada na chybne oznaceni paketu. Snad na to prijdu, cim to je.

Jinak ten novy kod shaperu vypada takto:

   /* -------------------------------------------------------- mark down/up */
 
  sprintf(str,"%s -t filter -A %s -d %s -j  MARK --set-mark %d",iptables,chain_forward,ip->addr,ip->mark);
  safe_run(str);

  sprintf(str,"%s -t filter -A %s -d %s -j ACCEPT",iptables,chain_forward,ip->addr);
  safe_run(str);

sprintf(str,"%s -t filter -A %s -s %s -j  MARK --set-mark %d",iptables,chain_forward,ip->addr,ip->mark);
  safe_run(str);
 
  sprintf(str,"%s -t filter -A %s -s %s -j ACCEPT",iptables,chain_forward,ip->addr);
  safe_run(str);


  if(ip->min)
  {
   /* -------------------------------------------------------- download class */
   printf("(down: %d k - %d k ", ip->min, ip->max);

   sprintf(str,"%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk", tc, lan, ip->min, ip->mark,ip->min,ip->max, burst);
   safe_run(str);

   sprintf(str,"%s qdisc add dev %s parent 1:%d handle %d sfq perturb 10", tc, lan, ip->mark, ip->mark);
   safe_run(str);
   
   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip u32 match ip dst %s", tc, lan, ip->addr);
   safe_run(str);
   

   /* -------------------------------------------------------- upload class */
   printf("up: %d k - %d k)\n", ip->min/asymetry_ratio-asymetry_fixed, ip->max/asymetry_ratio-asymetry_fixed); //upload podleha asymetry ratio!

   sprintf(str,"%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk",tc, wan, ip->min, ip->mark,ip->min/asymetry_ratio-asymetry_fixed,ip->max/asymetry_ratio-asymetry_fixed, burst);
   safe_run(str);

   sprintf(str,"%s qdisc add dev %s parent 1:%d handle %d sfq perturb 10",tc, wan, ip->mark, ip->mark);
   safe_run(str);
      
   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip handle %d fw flowid 1:%d",tc, wan, ip->mark, ip->mark);
   safe_run(str); 

Jinymi slovy jsem ve shaperu zmenil markovani down/up (vecer odzkousim, snad to bude fungovat):

iptables -t filter -A FORWARD  -d 10.30.x.x/32 -j MARK --set-mark %d
iptables -t filter -A FORWARD -d 10.30.x.x/32 -j ACCEPT
iptables -t filter -A FORWARD -s 10.30.x.x/32 -j MARK --set-mark %d
iptables -t filter -A FORWARD -s 10.30.x.x/32 -j ACCEPT

Jeste zbyva upravit to vyse pro P2P (ipp2p), jen nevim, jestli to dat do FORWARDu. Snad vecer napisu jak jsem dopadl.

[Michal Kubeček]

Zkusil bych zjistit, jestli je problém v označení paketů nebo v traffic control. Zkuste si tam dát někam pravidlo, které bude ty označené pakety počítat.

[Lazar]

Jaky je tvoj problem chces shapovat traffic? Tak nechapem co riesis pouzi htb skript napises si subory pravidla pre koho co ako, a on ich vygeneruje tak nevie co riesis.

[Michal Kubeček]

Já pro změnu nevím, co vlastně řešíte vy. Jinak řečeno, váš příspěvek jsem absolutně nepochopil…