Dotaz: Traffic Shaping - upřesnění

[Matěj Vaňátko]

Zdravím vás kolegové linuxáci. Mám malý problém. Snažím se napsat skript pro shaping. To mi problém nedělá. Píšu to přes HTB a vše funguje. Ale chci zkusit napsat script pro nějakou větší síť s více klienty, kde mám:

1 - linku 100 mbit 2 - tu potřebuju rozdělit na 10 tříd 3 - každou z 10 tříd rozdělit na dalších 10 tříd, který mají rychlost 1mbit

Až sem to není problém. Chci na každou z těchto koncových tříd nasadit 2 klienty, kteří se budou dělit o ten 1 mbit pěkně rovným způsobem. Ale mám problém s tím, jak udělat nějaké srozumitelné filtrování paketů, aby šly vždy do té koncové třídy. Musím tedy pro každou z těch 100 koncových tříd rezervovat speciální číslo v iptables při MARK paketů ??? Nešlo by to nějako zjednodušit ? Docela by mě totiž zajímalo, jak tohle filtrování dělají velcí provideři se stovkami či tisíci klienty, a někteří klienti mají třeba 512 kbit, někteří 1024 a někteří 2048.

Díky za upřesnění

Odpovědi

[skunerq]

Docela by mě totiž zajímalo, jak tohle filtrování dělají velcí provideři se stovkami či tisíci klienty, a někteří klienti mají třeba 512 kbit, někteří 1024 a někteří 2048.

Díky za upřesnění

co ja vim tak nap. UPS melo centralni shaper. Byl to nejaky monster box za silene prachy. Normalni ISP to shapuje na klientskych routech

[Tarmaq]

predpokladam, ze to melo byt UPC

[Matěj Vaňátko]

Což o to, to je v pohodě, ale potřeboval bych vědět, jestli se jde nějak vyhnout tomu, abych každé z těch 100 koncových tříd musel přidělovat speciální číslo v MARKování paketů ve FW

[Jesus Jimenez]

Allot NetEnforcer, BlueCoat PacketShaper... Delam s Allotem, je to sice monsterbox za silene prachy, ale velmi se to vyplati :)

[muficek]

Určitě bych markoval pomocí tc a nikoliv iptables Jinak, není také jedno, jestli máš dvě síťovky nebo jestli jich máš víc. V tom případě IMQ a ESFQ napoví

[Matěj Vaňátko]

Ne ne ne, takhle to nemyslím. Myslím to tak, že např. mám linku 1024 kbit. Tu chci rozdělit 4 klientům tak, že rate bude 256 a ceil 1024 kbit. Pak si to označkuju třeba na MARK 100. To je v cajku.

Ale co když mám třeba 20 takových 1024 kbit. linek pro 80 lidí. Musím vždycky vytvořit takovouhle skupinku 4 lidí s rate 256 a ceil 1024 kbit a dát jim speciální číslíčko MARKu nebo to jde sloučit tak, že o 20480 kbit se bude dělit 80 lidí tak, že každý z těch klientů dostane rate 256 a ceil 1024 s tím, že by se to značkovalo jedním MARK číslem ??? Jinak, určitě není problém markovat pomocí TC. Na 90% to tak asi budu i dělat.

Jde mi o to, že bych musel mít jinak strašně dlouhý script se strašným množstvím classů a to se mi moc nechce. Jde o to, že tady chci pro menší vesnici udělat NET providera, neb tu nemáme nic krom ADSL což je pro mnoho lidí drahý i zbytečný. Všechno potřebné jako jede v pohodě, ale s tímhle si nevím rady. Např. jestli když mám 20 klientů, kde každý má max. rychlost 1024, jestli musím mít při agregaci 1:1 linku do netu 20480 kbit (asi jo, zní to logicky) nebo jestli stačí míň apod. V tom shapingu se trochu ztrácim a potřebuju si to objasnit.

[muficek]

markuj pomocí masky sítě, dyť nemusíš markovat každou IP zvlášť.

[Matěj Vaňátko]

Jasně. Nejde mi o to jak je označit. Ale jakým způsobem, aby měli všichni garantovanou svoji rychlost.

tc qdisc add dev $PUBINT root handle 1: htb default 1 r2q 1
tc class add dev $PUBINT parent 1: classid 1:1 htb rate 4096kbit ceil 4096kbit burst 6k prio 0
tc class add dev $PUBINT parent 1:1 classid 1:512 htb rate 128kbit ceil 512kbit burst 2k prio 1
tc filter add dev $PUBINT protocol ip parent 1:0 prio 1 handle 512 fw flowid 1:512

iptables -t mangle -A POSTROUTING -d 10.10.10.100 -j MARK --set-mark 512
iptables -t mangle -A POSTROUTING -d 10.10.10.101 -j MARK --set-mark 512
iptables -t mangle -A POSTROUTING -d 10.10.10.102 -j MARK --set-mark 512
iptables -t mangle -A POSTROUTING -d 10.10.10.103 -j MARK --set-mark 512
# 4 klienti se spravedlivě dělí o linku 512 kbit

A teď ta zapeklitá věc. Tohle je moc složitý. Musel bych mít kdo ví kolik těhle příkazů:
tc class add dev $LOCINT parent 1:1 classid 1:x htb rate 128kbit ceil 512kbit burst 2k prio 1
tc filter add dev $LOCINT protocol ip parent 1:0 prio 1 handle x fw flowid 1:x
A v každym z toho zase 4 klienty a spešl číslo MARK. Nedá se nějak pomocí tc zapsat to, aby bylo jedno class pravidlo, který by říkalo, že klient má rate 128kbit a max. 512kbit a maximum linky je např. pro 1000 klientů 512Mbit ???
Asi tomu špatně rozumim, tak se omlouvám za takhle blbý otázky. My samoukové jsme asi pro vás linuxový borce nejhorší :D

[Sten]

V CZFree.Net se hodně používá Prometheus

[Jesus Jimenez]

Btw... co kdybys zkusil na shaping pouzit treba Mikrotik Routerboard? Shaping pres ip mangly a queue tree se tam nastavuje uplne bezvadne.

[Matěj Vaňátko]

Což o to, po Mikrotiku koukám už delší dobu, že bych se na něj trochu podíval, co ta šikovná krabička umí, ale radši se naučim i něco v linuxu. Přeci jen. Kdyby se podobné řešení nasazovalo i jinde, ne všude Mikrotik vyhoví.

[Tom]

Trváš na tom mít všechny v jednom subnetu na jedné GW? Něco podobného jsem taky dělal a rozházel jsem si to na menší subnety třeba i s míň výkonným strojem který těch pár lidí obstaral a centrální GW už měl shape podle celých subnetů. Není to sice řešení toho co chceš, ale taky to není k zahození

[Matěj Vaňátko]

No, tohle nezní špatně. Mně jde ale spíš o to, jestli byste mi někdo rozumnou formou nevysvětlil, jak třeba 10 mbit linku na 10x1mbit s agregací 1:4... jak mám pak nastavit filtr. pravidla

[Tom]

No uděláš to úplně stejně tím, že to napíšeš do skriptů, jenom to budeš mít trochu rozdělené. Na mašině co rozděluje traffic podle subnetů nastavíš tomu, onomu i tamtomu parametry trafficu a na mašině rozdělující traffic mezi jednotivé IP už nastavíš pravidla klasicky. Markovat to lze pomocí iptables nebo tc. Výhodu vidím v tom, že si to rozdělíš na víc strojů

[Marek 'Maxicom' Zelenka]

Nehledáte toto? Per Connection Queue (PCQ)

Mára

[Matěj Vaňátko]

Jo jo, to by mohlo být přesně to co hledám. Jestli jsem to pochopil, tak to každému klientovi, který spadá do určité části IP adresy přidělí příslušnou rychlost a já si jen musim hlídat, aby celková přidělená rychlost nepřesáhla maximum připojené linky... Díky moc. To je přesně ono

[Matěj Vaňátko]

Ovšem, tohle je asi jenom pro Mikrotik že ? V Linuxu asi podobně funkční řešení není že ? Holt se musí udělat pořádně košatý strom pravidel, že ?

[Marek 'Maxicom' Zelenka]

Ano, o ekvivalentu zatím bohužel nevím.

[romanK]

Skuste si precitat napriklad tento clanok o HTB na root.cz HTB

[Marek 'Maxicom' Zelenka]

Četl jste původní dotaz?

[zmije]

O co vám teda jde? Chcete si napsat vlastní schaper, který ale podle vašich požadavků je moc složitý, což zase nechcete. Tak si na generování pravidel udělejte skript, který je vygeneruje automaticky podle nějaké databáze, potom už vám bude jedno kolik těch pravidel bude. Daleko větší problém je jak to celé otestovat.

[Marek 'Maxicom' Zelenka]

Buďte v klidu pane zmije. O HTB to není a automatické generování už tu zmiňoval Sten - Prometheus QoS. PCQ ty požadavky řeší brilantně, ale je to počin Mikrotiku, takže dotaz by byl vyřešen, kdyby někdo věděl čím PCQ nahradit v Linuxu. Já jsem nic podobného nenašel, což ale neznamená že nic takového není. PCQ je podobné (e)sfq, ale to neumí operovat s rychlostmi. No i když jdu si to ověřit, přecejen jde ten vývoj kupředu

Mára

[Matěj Vaňátko]

Přesně tak pane Zelenka. Na PCQ jsem koukal a je to přesně to, co bych potřeboval.Docela se divím, že to něco linuxového již neumí

[Ftelf]

Mozna se pletu ale toto PCQ mi pripada jako ekvivalent ESFQ, ktery funguje docela dobre. Vyvazuje zatez na tride podle hashe. Hash muze by treba src nebo dst adresa.

[Ftelf]

FYI: ESFQ je jiz historicka zalezitost a na aktualni kernely nejsou patche, nicmene od jiste doby podporuje SFQ flow hash, ktery efektivne esfq plne nahrazuje, viz http://www.wlug.org.nz/TrafficControl.