Administrace komentářů

Dobrý den, potřeboval bych poradit, jak optimálně vyladit linuxové jádro pro vysoké síťové výkony. Konkrétně mi jde o pps.

Mám tři servery/routery (1 x proc Xeon X5650, 6GB RAM), každý s dvojicí karet Intel Corporation 82599EB 10-Gigabit SFI/SFP+. Na ně jsem nainstaloval debian 6 a dal tam vlastní ořezané vanilla jádro (2.6.38). Z něj jsem odstranil věci, které nebudu potřebovat (od pcmcia ... přes nepoužité FS až po netfilter). Stroje jsem propojil přes optiku a prostřednímu nastavil forwarding, aby mohl fungovat jako provizorní router. Vše mi funguje, všude se dopingnu. Při testu s kopírováním na ftp z /dev/shm do /dev/shm to teoreticky vypadalo vše v pořádku. Stejně tak při použití pktgen a paketů s MTU blízko 1500. Při menších paketech pps stoupne jenom mírně a dále už neroste.

jednosměrně MTU = 1500 - pps = 850 000 MTU = 64 - pps = 960 000

obousměrně MTU = 1500 - pps = 480 000

další detaily:

nejde mi o jumbo frames (už při 1500 to jede okolo 10Gbit), ale právě o pps

snažil jsem se dále ladit výkon sítě dle tohoto článku http://proj.sunet.se/E2E/tcptune.html následující parametry (bezvýsledně)

echo 1 > /proc/sys/net/ipv4/tcp_window_scaling echo 1 > /proc/sys/net/ipv4/tcp_timestamps echo 32000000 > /proc/sys/net/core/rmem_max echo 32000000 > /proc/sys/net/core/wmem_max echo 240000 > /proc/sys/net/core/rmem_default echo 240000 > /proc/sys/net/core/wmem_default echo 9182 174760 32000000 > /proc/sys/net/ipv4/tcp_rmem echo 9182 174760 32000000 > /proc/sys/net/ipv4/tcp_wmem echo 1024000 1400000 2200000 > /proc/sys/net/ipv4/tcp_mem ifconfig eth5 txqueuelen 100000 ifconfig eth5 rxqueuelen 100000

Co se týče jader, tak to samozřejmě mám nastaveno tak, aby každou z dvanácti front na síťové kartě obsluhovalo jedno.

I při polovičním počtu přidělených jader to jede na "maximální výkon". Dnes jsem zkoušel generovat provoz, pomocí 2 karet (rozdělení jader 50:50). Počet paketů byl při 64B paketech na každé cca 540000 celkově to tedy generovalo o něco víc (1080000), ale spokojen nejsem. Potřeboval bych tak 3-5Mpps.

Dle mnoha testů a tuningu, které jsem na internetu našel lze však výkon ještě několikanásobně zvýšit.

http://wenku.baidu.com/view/cfdad666f5335a8102d220f0.html

Co se serverů týče: budou to páteřní routery na kterých poběží bird a za nimi bude hučet několik tisíc serverů (pro zběžnou představu)

Kdyby někoho něco napadlo, tak jsem jedno velké ucho :)