Administrace komentářů

Takze kolega problem vyresil a jeho postup je nasledujici:

HTB rizeni datoveho toku a jeho podivne chovani na vicejadrovych CPU (Pavel Dobry)

Problem sitove komunikace mezi vice sitovymi kartami na MultiCore CPU systemech je zpusoben presunovanim dat mezi jednotliva CPU v prubehu datovych prenosu, kdy diky tomu dochazi k velkemu poctu preposilani TCP paketu. Tento problem resi presunuti rizeni hw preruseni sitovych karet pod jedno CPU, nejlepe to prvni, ktere ridi i ostatni hw preruseni.

Je nutne vyradit z cinnosti IRQ balancing. IRQ balancing rozklada zatez HW preruseni pro zvyseni vykonu systemu pomoci presunu systemovych IRQ mezi jednotliva CPU. Kontrolu provadi po urcitem case a dynamicky takto nastavuje smp_affinity u IRQ. To je duvod, proc se rucni nastaveni smp_affinity po case zmeni.

Jsou tri moznosti jak irq_balancing vyradit a to:

1.) Zkompilovat jadro s vypnutym timto nastavenim:

 
Processor type and features ->
          [ ] Enable kernel irq balancing (2.6.x kernels)
Kernel hacking ->
          [ ] Kernel debugging

2.) Pokud nechcete kompilovat jadro a je jadro od dodavatele distribuce kompilovano s irq_balance povolenym, je nutne pri startu systemu nastavit kernelu parametr NOIRQBALACE. Napr. v pripade GRUB bootloaderu na Debian Etch:

title           Debian GNU/Linux, kernel 2.6.18-6-686 - hd0
root            (hd0,0)
kernel         /vmlinuz-2.6.18-6-686 root=/dev/md1 ro noirqbalance
initrd          /initrd.img-2.6.18-6-686
savedefault

3.) Nektere distribuce pouzivaji irqbalance deamon, ktery kazdych 10 sekund meni nastaveni prideleni hw preruseni mezi jednotliva CPU dle jejich vytizeni. Je nutne ho bud odinstalovat, nebo zakazat jeho spousteni napr. u RHEL

chkconfig --level 2345 irqbalance off

Dalsim krokem je nastaveni smp_affinity (prideleni urciteho CPU) pro IRQ, ktera obsluhuji sitove karty.

Vylistujeme si konkretni cisla IRQ pres: cat /proc/interrupts

           CPU0       CPU1       CPU2       CPU3
  0:   57382568          0          0          0    IO-APIC-edge  timer
  1:      11306          0          0          0    IO-APIC-edge  i8042
  9:          0          0          0          0   IO-APIC-level  acpi
 12:      37661          0          0          0    IO-APIC-edge  i8042
169:   34020827   35662622   30391040   35111186   IO-APIC-level  uhci_hcd:usb1, ehci_hcd:usb3, eth2
177:    7418529    7550686    4920178    9752439   IO-APIC-level  uhci_hcd:usb2, eth3
185:   15086267   14261889   14179602    4938130   IO-APIC-level  eth0
193:   25489867   18938703   15520529   10852850   IO-APIC-level  libata, eth1
NMI:          0          0          0          0
LOC:   56775697   56775659   56791204   56791230
ERR:          0
MIS:          0

Z tohoto vypisu zjistime, ze IRQ 169, 177, 185 a 193 obsluhuji nase ctyri sitove karty. Pak uz staci zadat na konzoli prikazy:

echo 1 > /proc/irq/169/smp_affinity
echo 1 > /proc/irq/177/smp_affinity
echo 1 > /proc/irq/185/smp_affinity
echo 1 > /proc/irq/193/smp_affinity

Timto zajistime obsluhu techto IRQ jen jednim prvnim CPU. Aby nam toto nastaveni fungovalo i po restartu systemu, je nutne si vytvorit skript s timto nastavenim smp_affinity a tento skript spoustet jako prvni systemovy skript napr. Debian Etch v /etc/rc2.d jako symlink S10set-smp_affinity

File: set-smp_affinity

#!/bin/sh

# by Pavel Dobry
#
# Setup of smp_affinity settings for StarHill server with Intel Quad CPU
#
#
# We need also disabled kernel irqbalance services:
# in GRUB at kernel statement by parametr : noirqbalance

echo 1 > /proc/irq/169/smp_affinity
echo 1 > /proc/irq/177/smp_affinity
echo 1 > /proc/irq/185/smp_affinity
echo 1 > /proc/irq/193/smp_affinity

exit 0