Dotaz: vykon routovani pod linuxem

[ufo]

Ahoj, rad bych se poptal na vase zkusenosti s vykonem routovanim pod linuxem (centos 5.4 32bit).

Mam znackovou masinu s jednim xeon 2.50GHz a 4 sitovkamy (sitovky GB intely). Load se pohybuje kolem 0,4 - 0,8. Zacinam mit pocit ,ze masina zpomaluje routovani mezi sitemi.

Mam dotaz, lze nekde vycist ,ze masina opravdu nestiha? res. v logu jsem nic nenasel.

Lze nejak zvysit vykon routovani?

Diky za radu , ufo.

Odpovědi

[ufo]

..ješte bych doplnil ,že se jedná o statické routování. ufo.

[BFU :)]

Skor ako load by nas urcite zaujimalo vytazenie procesora, kapacita volnej RAM a stav HDD.

Btw, staticke routovanie je na male siete v ktorej by ti tato konfiguracia mala postacovat.

[ufo]

2gb ram,cpu vytizne minimalne - jedno jadro 2 -4 procenta,divny je ,ze load je i v mimopracovni dobu furt kolem 0,5. Hdd bych snad u routovani neobvinoval ufo.

[ufo]

a jeste kousek z dstatu..

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 0 0 99 0 0 1| 218B 118k| 0 0 | 0 0 |4558 2171 0 0 99 0 0 1| 0 0 |2598k 2721k| 0 0 |7118 2132 0 0 99 0 0 1| 0 304k|2832k 2531k| 0 0 |7190 2159 0 0 99 0 0 1| 0 0 |2324k 2496k| 0 0 |6483 2114 0 0 99 0 0 1| 0 0 |2701k 2920k| 0 0 |7342 2060 0 0 99 0 0 1| 0 0 |3292k 2540k| 0 0 |7956 2102 0 3 97 0 0 1| 0 160k|2241k 2466k| 0 0 |6769 1989 0 0 99 0 0 1| 0 0 |3093k 3245k| 0 0 |8157 2063 0 0 99 0 0 1| 0 168k|2647k 2836k| 0 0 |8318 2200 0 0 99 0 0 1| 0 0 |2805k 2564k| 0 0 |7787 2067 0 0 99 0 0 0| 0 0 |2622k 2455k| 0 0 |6970 2127 0 0 99 0 0 1| 0 0 |2439k 2525k| 0 0 |7497 2099 0 0 99 0 0 1| 0 68k|2533k 2825k| 0 0 |8154 2117 0 0 99 0 0 1| 0 0 |2686k 2892k| 0 0 |7970 2082 0 0 99 0 0 1| 0 0 |2979k 2674k| 0 0 |7637 2102 0 0 99 0 0 1| 0 64k|2627k 2651k| 0 0 |7931 2136

[BFU :)]

skvely vypis pozri ifstat kolko ti tecie cez siet

[ufo]

yoyo ,jsem šikovný :)

Koukám na trafik a dvě síťovky mají peak kolem 3MB/s a na zbývajících je zanedbatelný trafik. Prostě routerem nic neteče. ufo.

[kyytaM]

Ako si zistil, ze spomaluje routovanie? Mala priepustnost, ci velka latencia? :)

[ufo]

..zpomalování se objevilo tak nějak plíživě. Některé služby se začali chovat prapodivně ,třeba na ftpd za routerem mám plný download (12MB/s) ,ale třeba už upload je problematický ,cca 0,5 -2MB/s. Ftp jsem prověřil v rámci jednoho ethernet segmentu a fakčí jak má. Na některé servery v DMZ mám zas náhodně velkou odezvu. Kolečko s výměnou kabeláže a switchů jsme již absolvovali ufo.

[JF]

Pokud mas gigove sitovky, tak muzes zkusit tohle:

#increase network cache buffers
echo 8388608 > /proc/sys/net/core/wmem_max
echo 8388608 > /proc/sys/net/core/rmem_max

Jen tak pro referenci - ITX deska s 1,2GHz procesorem se 4 sitovkama dokazala proroutovat traffic maximalne 300Mbit/s. Pri stahovani z ftp je trafic 92Mbit/s - vice harddisk nestiha. A do internetu traffic omezuje poskytovatel na 8Mbit/s.

Jeste muzes zvetsit buffery:

ifconfig eth0 txqueuelen 1000

A muze se ti jeste stat, ze se ti nasharuji IRQ of karet do jednoho IRQ. To uz jsem tady resil pred 2 lety.

[ufo]

Díky za radu,ale buffery mám nastavené jak píšeš... Mimochodem jak mohu zjistit nasharování irq? Ufo.

[d.c.]

Co takhle cat /proc/interrupts ?

[ufo]

Vůbec z toho nejsem chytrý. Vidíte někdo něco ve výpisu něco špatně? Diky, ufo

         CPU0       CPU1       CPU2       CPU3
  0:  662146122  662141328  662162576  662152663    IO-APIC-edge  timer
  1:          3          0          0          0    IO-APIC-edge  i8042
  6:          2          1          0          0    IO-APIC-edge  floppy
  8:          1          1          0          1    IO-APIC-edge  rtc
  9:          0          0          0          0   IO-APIC-level  acpi
 12:          0          0          0          4    IO-APIC-edge  i8042
 14:          5          4          8          8    IO-APIC-edge  ide0
 52:    1643785          0          0          0       PCI-MSI-X  eth8-rx-0
 60:    1529727          0          0          0       PCI-MSI-X  eth8-rx-1
 68:    1517610          0          0          0       PCI-MSI-X  eth8-rx-2
 76:    1614188          0          0          0       PCI-MSI-X  eth8-rx-3
 84:       1167          0          0          0       PCI-MSI-X  eth8
 91:          0          0          0          0       PCI-MSI-X  eth5-tx-0
 92:          0          0          0          0       PCI-MSI-X  eth9-tx-0
 98:        101        100         92         90   IO-APIC-level  ehci_hcd:usb1, uhci_hcd:usb2, uhci_hcd:usb4
 99:    1324271          0          0          0       PCI-MSI-X  eth5-rx-0
100:    1324271          0          0          0       PCI-MSI-X  eth9-rx-0
106:          0          0          0          0   IO-APIC-level  uhci_hcd:usb3, uhci_hcd:usb5
107:    1324271          0          0          0       PCI-MSI-X  eth5-rx-1
108:    1324271          0          0          0       PCI-MSI-X  eth9-rx-1
115:    1324271          0          0          0       PCI-MSI-X  eth5-rx-2
116:    1324271          0          0          0       PCI-MSI-X  eth9-rx-2
122:  123927538          0          0          0       PCI-MSI-X  eth2-tx-0
123:    1324271          0          0          0       PCI-MSI-X  eth5-rx-3
124:    1324271          0          0          0       PCI-MSI-X  eth9-rx-3
130:   34290578          0          0          0       PCI-MSI-X  eth2-rx-0
131:          3          0          0          0       PCI-MSI-X  eth5
132:          3          0          0          0       PCI-MSI-X  eth9
138:   34408118          0          0          0       PCI-MSI-X  eth2-rx-1
139:   75471206          0          0          0       PCI-MSI-X  eth6-tx-0
140:  380368807          0          0          0         PCI-MSI  eth0
146:   35044389          0          0          0       PCI-MSI-X  eth2-rx-2
147:   17769311          0          0          0       PCI-MSI-X  eth6-rx-0
148: 2578916680          0          0          0         PCI-MSI  eth1
154:   36156507          0          0          0       PCI-MSI-X  eth2-rx-3
155:   18063553          0          0          0       PCI-MSI-X  eth6-rx-1
162:          3          0          0          0       PCI-MSI-X  eth2
163:   18500022          0          0          0       PCI-MSI-X  eth6-rx-2
169:    8487224    8491778    8470537    8480446   IO-APIC-level  megasas
171:   17489386          0          0          0       PCI-MSI-X  eth6-rx-3
178: 2655104595          0          0          0       PCI-MSI-X  eth3-tx-0
179:          3          0          0          0       PCI-MSI-X  eth6
186:  810187856          0          0          0       PCI-MSI-X  eth3-rx-0
187:    1371118          0          0          0       PCI-MSI-X  eth7-tx-0
194:  824782792          0          0          0       PCI-MSI-X  eth3-rx-1
195:    1837882          0          0          0       PCI-MSI-X  eth7-rx-0
202:  839966034          0          0          0       PCI-MSI-X  eth3-rx-2
203:    1640627          0          0          0       PCI-MSI-X  eth7-rx-1
210:  811414074          0          0          0       PCI-MSI-X  eth3-rx-3
211:    1630840          0          0          0       PCI-MSI-X  eth7-rx-2
218:          3          0          0          0       PCI-MSI-X  eth3
219:    1530678          0          0          0       PCI-MSI-X  eth7-rx-3
227:          3          0          0          0       PCI-MSI-X  eth7
235:     983574          0          0          0       PCI-MSI-X  eth8-tx-0
NMI:          0          0          0          0
LOC: 2647393664 2647394172 2647547750 2647547751
ERR:          0
MIS:          0

[Semo]

Nevim, skoly nemam, ale vyzera to, ze vsetko obhospodaruje len jedno jadro (na 2.5GHz Xeone by to asi moholo stihat aj jedno, ale ktovie). Nejde nejak asociovat konkretne prerusenie s inym jadrom?

[Semo]

Tu je to http://www.alexonlinux.com/smp-affinity-and-proper-interrupt-handling-in-linux. V referenciach v odkazovanom clanocku je dalsi text tohoto autora, kde pise, ze rozhadzovat kazde jedno prerusenie z jedneho zdroja round-robin po jadrach je blbost kvoli CPU cachi (co je jasne), ale nastavit fixne eth0 na core0, eth1 na core1 atd by podla mna stalo za vyskusanie.

[zigi]

zkusil bych nainstalovat irqbalance

[ufo]

....irqbalance jsem nainstaloval,preruseni se pekne distribuuji po procesorech ,ale sit bouzel dale zlobi. ufo.

[kyytaM]

hm. a co su to zac konkretne tie sietovky? Maju aj nejaky offload?

Poskumat pripadne pomocout ethtool (ethool -k eth0, ethool -i eth0, ethool -S eth0...)

[zigi]

A neni nejaky problem ve firewallu (iptables), popr. v routovacich tabulkach?

[JF]

root@dvouramenna:~# cat /proc/interrupts
           CPU0
  0:  292413578   IO-APIC-edge      timer
  1:          8   IO-APIC-edge      i8042
  6:          3   IO-APIC-edge      floppy
  8:          1   IO-APIC-edge      rtc
  9:          0   IO-APIC-fasteoi   acpi
 16:   10249281   IO-APIC-fasteoi   sata_via
 17:   11138372   IO-APIC-fasteoi   eth0
 18:  237574234   IO-APIC-fasteoi   wifi1, eth1
 19:         73   IO-APIC-fasteoi   eth2
 20:   42619593   IO-APIC-fasteoi   eth3
 21:  429691775   IO-APIC-fasteoi   wifi0
NMI:          0   Non-maskable interrupts
LOC:       1822   Local timer interrupts
TRM:          0   Thermal event interrupts
SPU:          0   Spurious interrupts
ERR:          0
MIS:          0

[stativ]

A není tam nějaký kiks ve smyslu zapomenutého logování nebo tak?

[poky74]

Dotaz o rychlosti routovaní v linuxu a pod tím reklama s nadpisem "Zrychlete si windows", to je fakt síla

[DNA]

jsi měl kliku, já tam mám jinou reklamu

[d.c.]

Jakou reklamu?

[stativ]

Mám tu lepší: „Vyberte si ze široké nabídky bezpečných a rychlých routerů!“

[poky74]