Dotaz: HTB - rozdělování rychlosti mezi 20-ti usery

[Jan Skácel]

Dobrý den. Potřeboval bych rozdělovat přístup k internetu a rychlost (download i upload) mezi 20 uživateli ve firmě. Na serveru mám 2 síťovky (eth0 - do netu, eth1 - do LAN) a vytvořil jsem si následující skript.

#!/bin/sh

RATE=256

tc qdisc del dev eth0 root
tc qdisc add dev eth0 root handle 1:0 htb

tc class add dev eth0 parent 1:0 classid 1:1 htb rate ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:11 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:12 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:13 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:14 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:15 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:16 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:17 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:18 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:19 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:20 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:21 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:22 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:23 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:24 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:25 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:26 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:27 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:28 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:29 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit
tc class add dev eth0 parent 1:1 classid 1:30 htb rate $[${RATE}/4]kbit ceil ${RATE}kbit


tc qdisc add dev eth0 parent 1:11 handle 11:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:12 handle 12:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:13 handle 13:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:14 handle 14:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:15 handle 15:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:16 handle 16:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:17 handle 17:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:18 handle 18:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:19 handle 19:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:20 handle 20:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:21 handle 21:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:22 handle 22:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:23 handle 23:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:24 handle 24:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:25 handle 25:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:26 handle 26:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:27 handle 27:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:28 handle 28:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:29 handle 29:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:30 handle 30:0 sfq perturb 10

iptables -t mangle -F FORWARD
iptables -t mangle -A FORWARD -j MARK --set-mark 4
iptables -t mangle -A FORWARD -d 192.168.2.1 -j MARK --set-mark 1
iptables -t mangle -A FORWARD -d 192.168.2.2 -j MARK --set-mark 2
iptables -t mangle -A FORWARD -d 192.168.2.3 -j MARK --set-mark 3
iptables -t mangle -A FORWARD -d 192.168.2.4 -j MARK --set-mark 4
iptables -t mangle -A FORWARD -d 192.168.2.5 -j MARK --set-mark 5
iptables -t mangle -A FORWARD -d 192.168.2.7 -j MARK --set-mark 6
iptables -t mangle -A FORWARD -d 192.168.2.8 -j MARK --set-mark 7
iptables -t mangle -A FORWARD -d 192.168.2.9 -j MARK --set-mark 8
iptables -t mangle -A FORWARD -d 192.168.2.10 -j MARK --set-mark 9
iptables -t mangle -A FORWARD -d 192.168.2.11 -j MARK --set-mark 10
iptables -t mangle -A FORWARD -d 192.168.2.12 -j MARK --set-mark 11
iptables -t mangle -A FORWARD -d 192.168.2.13 -j MARK --set-mark 12
iptables -t mangle -A FORWARD -d 192.168.2.14 -j MARK --set-mark 13
iptables -t mangle -A FORWARD -d 192.168.2.15 -j MARK --set-mark 14
iptables -t mangle -A FORWARD -d 192.168.2.16 -j MARK --set-mark 15
iptables -t mangle -A FORWARD -d 192.168.2.17 -j MARK --set-mark 16
iptables -t mangle -A FORWARD -d 192.168.2.18 -j MARK --set-mark 17
iptables -t mangle -A FORWARD -d 192.168.2.19 -j MARK --set-mark 18
iptables -t mangle -A FORWARD -d 192.168.2.20 -j MARK --set-mark 19
iptables -t mangle -A FORWARD -d 192.168.2.21 -j MARK --set-mark 20


iptables -t mangle -F OUTPUT
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -j MARK --set-mark 20
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.1 -j MARK --set-mark 1
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.2 -j MARK --set-mark 2
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.3 -j MARK --set-mark 3
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.4 -j MARK --set-mark 4
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.5 -j MARK --set-mark 5
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.7 -j MARK --set-mark 6
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.8 -j MARK --set-mark 7
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.9 -j MARK --set-mark 8
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.10 -j MARK --set-mark 9
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.11 -j MARK --set-mark 10
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.12 -j MARK --set-mark 11
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.13 -j MARK --set-mark 12
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.14 -j MARK --set-mark 13
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.2.15 -j MARK --set-mark 14
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.0.16 -j MARK --set-mark 15
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.0.17 -j MARK --set-mark 16
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.0.18 -j MARK --set-mark 17
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.0.19 -j MARK --set-mark 18
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.0.20 -j MARK --set-mark 19
iptables -t mangle -A OUTPUT -p tcp --sport 3128 -d 192.168.0.21 -j MARK --set-mark 20


tc filter add dev eth0 parent 1:0 protocol ip handle 1 fw flowid 1:11
tc filter add dev eth0 parent 1:0 protocol ip handle 2 fw flowid 1:12
tc filter add dev eth0 parent 1:0 protocol ip handle 3 fw flowid 1:13
tc filter add dev eth0 parent 1:0 protocol ip handle 4 fw flowid 1:14
tc filter add dev eth0 parent 1:0 protocol ip handle 5 fw flowid 1:15
tc filter add dev eth0 parent 1:0 protocol ip handle 6 fw flowid 1:16
tc filter add dev eth0 parent 1:0 protocol ip handle 7 fw flowid 1:17
tc filter add dev eth0 parent 1:0 protocol ip handle 8 fw flowid 1:18
tc filter add dev eth0 parent 1:0 protocol ip handle 9 fw flowid 1:19
tc filter add dev eth0 parent 1:0 protocol ip handle 10 fw flowid 1:20
tc filter add dev eth0 parent 1:0 protocol ip handle 11 fw flowid 1:21
tc filter add dev eth0 parent 1:0 protocol ip handle 12 fw flowid 1:22
tc filter add dev eth0 parent 1:0 protocol ip handle 13 fw flowid 1:23
tc filter add dev eth0 parent 1:0 protocol ip handle 14 fw flowid 1:24
tc filter add dev eth0 parent 1:0 protocol ip handle 15 fw flowid 1:25
tc filter add dev eth0 parent 1:0 protocol ip handle 16 fw flowid 1:26
tc filter add dev eth0 parent 1:0 protocol ip handle 17 fw flowid 1:27
tc filter add dev eth0 parent 1:0 protocol ip handle 18 fw flowid 1:28
tc filter add dev eth0 parent 1:0 protocol ip handle 19 fw flowid 1:29
tc filter add dev eth0 parent 1:0 protocol ip handle 20 fw flowid 1:30 

Zdá se to být funkční. Postupoval jsem správně? Rozděluju to takto regulérně. Děkuji za jakoukoliv odpověď.

Odpovědi

[......]

No možná teda plácám kraviny, ale neměl by se součet všech RATE rovnat hodnotě CEIL? Přece nemůžete rozdělit víc než máte k dispozici? Teda můžete pokud vhodně nastavíte priority, ale ve vašem skriptu žádné nevidím.

U kažedého usera vidím RATE/4 což je ve vašem případě 64 kbit. Což by ve vašem případě stačilo při fair-play rozdělení jen pro 4 lidi. Pro 20 lidí je to pak 1280 kbit. Budou-li všichni prudce aktivní asi se to nebude chovat korektně jak by mělo.

To je můj osobní názor, jestliže nemám pravdu vyveďte mě někdo z omylu.

[......]

PS: za to "mezi 20-ti usery" vás bude mít Yeti rád

[8an]

Ano, součet RATE tříd by se měl rovnat RATE nadřazené (parent) třídy. Pokud chceš lidi omezit např. na 64kbit, tak nastav nižší CEIL (jinak nastav CEIL stejný jako RATE nadřazené třídy)

[......]

To ale neřeší to, že rozdělil 1280 kbit a má jen 256 kbit.

[Oldak]

No podle me Vas skript rozdeli traffic jenom pro upload, protoze jste povesil qdisc jen na rozhrani, co vede do internetu. Nezapomente, ze rozumne shapovat muzete jen to, co posilate ven, ne to co vam je posilane z venku. Pokud budete chtit rozdelit rovnomerne i download, tak bude potreba asi nastavit to same na sitovku, co vede do vnitrni site nebo vyzkouset nejake IMQ.

Jinak samozrejme by bylo vhodne nastavit tridam RATE tak, aby vysledek neprevysil RATE rodicovske tridy.

Olda

[......]

Vidíš to je fakt...vidět jak pozorně čtu. On vlastně omezuje odchozí provoz a ne příchozí. A nebo jsem to přehlédl díky tomu, že já mám vnitřní síťovku eth0

[Jan Skácel]

Předem díky za Vaše komentáře. Mám to opravdu nějaké podivné, ale chtěl bych ještě poradit. De mi o to že ve firmě je 20 uživatelů. Pokud budou stahovat 2 lidi, rozdělí se jim rychlost stahování na 128kbit a 128kbit. Pokud 3 lidi, tak na 85,3kbit + 85,3kbit + 85,3kbit. Pokud 20 lidí tak se jim linka opět rozdělí rovnoměrně. Dá se toho docílit úpravou tohoto skriptu?

[Oldak]

Ano dá

Zkopírujte ten skript ještě jednou ale tak, že qdisc pověsíte na eth1, ale pozor v IPTABLES musíte správně omarkovat pakety, které naházíte do správných tříd. Problém budete ale mít jestliže používáte nějaké třeba transparentní proxy. Tím pádem totiž víceméně ztrácí účinnost snad až na zrychlení odezvy.

Olda

[Jan Skácel]

Jako transparentní proxy využívám "squid". Pokud qdisc pověsím na eth1, tak omarkování zůstává stejné né?!

[......]

se squidem to nebude fungovat, protože na veškeré dotazy se neptá přímo stroj ve vnitřní síti, ale ptá se za něj vlastně server/router a výsledek mu pošle plnou rychlostí. Bude-li někdo přes squid stahovat pojede plnou rychlostí nehledě na shaping. Chce to vypnout squid nebo upravit pravidla jinak, ale to už zas popřete východy squidu.

[......]

Dosáhnete toho tak, že vydělíte 256 dvaceti lidmi a to každému nastavíte jako RATE. CEIL nastavíte na 256 kbit. HTB už samo obstará, že se rychlost bude dělit rovnoměrně. Nutné je pověsit ale tento shaping na druhé rozhraní, aby fungovalo pro download (stejně pak vytvoříte i upload). Tyto třídy by měly mít stejné priority, aby se to chovalo jak požadujete.

Nebo koukněte na HTB.init skript. Tam to lze udělat podobně, ale tolik se nenapíšete .

Hodně zdaru Petr