Dotaz: Odezva serveru - rostoucí ping

[miki.lbc]

Dobrý den, postavil jsem si na OpenSuse11.4 server. Linux používám asi 4 roky na desktopu a 2 roky na serveru a jako přeběhlík z oken mám raději klikací nástroje.

Server je připojen do sítě modemem od O2 na eth0 (zatím skoro všechny porty směrovány na server). Na eth1 je vnitřní síť (asi 5pc). Na serveru běží samba, vsftpd, mysql, dhcp, firewall, ..., a IP forwarding. Po spuštění serveru je ping zevnitř(1 z 5-ti PC) -> ven (venkovní IP) -> a zpět na server kolem 2ms. (při odpojení eth0 ping umře, takže odpovídá server). Vždy, když ráno přijdu do práce je ping 300-1500ms. Zkoušel jsem postupně vypínat jednotlivé démony/servery a samba, vsftpd, a mysql nemá na ping vliv. Nemá vliv ani odpojení eth0 a jeho zpětné zapojení. Co pomůže je "restart síťového systému" (což umím udělat jen přes Yast->sít->upravit IP adresy síťovek na 'stejný' a dát OK - což to zrestartuje) a ping se vrátí na ~2ms.

Nemáte někdo nějaký nápad po čem jít, nebo co zkusit? Další možnost testování bude zítra ráno.

Díky Miki

---

---

Odpovědi

[petr_p]

Pouštíte ping s paremetrem -n, abyste vyloučil vliv DNS? Jak se chová ping ze serveru do internetu? Jak se chová ping z vnitřní sítě na server?

Zkuste smazat směrovací cache (ip route flush cashe), shodit a shodit/nahodit síťové rozhraní (ip link set dev eth0 down/up), zkontrolujte si počet záznamů v ARP/ND cache (ip ne show).

Píšete o firewallu, co tabulky spojení (/proc/net/nf_conntrack_expect*), nejsou přeplněné? Nemáte tam nějakého ARP démona? Maškarádu tam nemáte? Samozřejmě chyba může být i v jádře (buffery v tíťovém systému nebo ovladači).

[miki.lbc]

ping ze serveru do netu (eth0) je cca 30ms.

Vnitřní ping cca 0.xx ms (lokální sít na eth1 serveru)

Ještě další info:

- procesor je i3 a je zatížený na 1%

- myslím že můžeme vyloučit vliv ISP

Díky za rady ráno otestuju

DNS je lokální (na serveru)

Maškarádu mám (ale přiznávám se že vím jen, že je zapnutá)

ARP - asi ne, nevím jak to zjistit, ale: balíček rarpd je nainstalován, arpwatch služba neběží

[miki.lbc]

Tak mám další výsledky:

ip route flush cashe - nepomáhá

ip ne show - 2 záznamy (moje připojené PC na eth1 a modem na eth0)

ip link set dev eth0 - down shodí, ale up už nenahodí (restartoval jsem síť přes Yast)

/proc/net/nf_conntrack_expect - při "chybě" i bez ní velikost souboru 0

zajímavý je výsledek ping -n (při chybě): ping -n 90.179.xxx.xxx

PING 90.179.xxx.xxx (90.179.xxx.xxx) 56(84) bytes of data.

64 bytes from 90.179.xxx.xxx: icmp_req=1 ttl=253 time=8.73 ms

64 bytes from 90.179.xxx.xxx: icmp_req=2 ttl=253 time=6.73 ms

64 bytes from 90.179.xxx.xxx: icmp_req=3 ttl=253 time=4.70 ms

64 bytes from 90.179.xxx.xxx: icmp_req=4 ttl=253 time=2.73 ms

64 bytes from 90.179.xxx.xxx: icmp_req=5 ttl=253 time=100 ms

64 bytes from 90.179.xxx.xxx: icmp_req=6 ttl=253 time=98.7 ms

64 bytes from 90.179.xxx.xxx: icmp_req=7 ttl=253 time=96.8 ms

64 bytes from 90.179.xxx.xxx: icmp_req=8 ttl=253 time=94.8 ms

64 bytes from 90.179.xxx.xxx: icmp_req=9 ttl=253 time=92.7 ms

64 bytes from 90.179.xxx.xxx: icmp_req=10 ttl=253 time=90.8 ms

64 bytes from 90.179.xxx.xxx: icmp_req=11 ttl=253 time=88.8 ms

64 bytes from 90.179.xxx.xxx: icmp_req=12 ttl=253 time=87.1 ms

64 bytes from 90.179.xxx.xxx: icmp_req=13 ttl=253 time=85.7 ms

jde to až zase k 2.xx a pak na 100ms, pokud není v "chybě" tak 1.xx ms stále

[Senux]

Je tam nejake QOS? nie je preplnena linka? napriklad DSL ma taku tendenciu pri vytazeni linky, ping ide hore az moze byt stratovy.

[miki.lbc]

QOS nemám. Pokud myslíte přeplněná jako traffikem tak není (vetšinou se nic netahá)

[petr_p]

zajímavý je výsledek ping -n (při chybě): ping -n 90.179.xxx.xxx

To je odkud kam?

Doporučuji testovat ping mezi lokální sítí a routerem a mezi routerem a tou samou cizí adresou, kde jste viděl propad, v ono problémové období (nejlépe paralelně sledovat onen původní ping, řazení packetů do síťových bufferů může s měřením zahýbat).

Pak taky tvrdíte, že na eth0 serveru máte modem. Modem má IP adresu? Jak se chová ping na ni?

Kde a jak máte zakončené spojení od poskytovatele? Je to PPPoE na modemu, na routeru, nebo čisté IP nad Ethernetem směrované na modem? Jak se chová ping na hraniční směrovač poskytovatele (výchozí brána na modemu nebo druhý konec PPP).

Pokud nepomůže takovéto jednoduché hledání, pusťte si problémový ping a pomocí nástroje tcpdump sledujte na routeru, kdy který packet odchází/přichází z/na eth0 a eth1.

[miki.lbc]

ten ping nahoře je pc v lokální síti -> verejná ip na modemu (skrz server a modem)

Na zakončení od poskytovatele neumím odpovědět: Obyčejné ADSL s modemem od O2. Na modemu (10.0.0.138) běží DHCP přes které je připojená wifi a k tomu kabelem eth0 ze serveru (10.0.0.100) na který je směřována většina portů.

Pingy: (dnešní, před rastartem sítě, ~průměry)

vnitřní síť (192.168.1.x) > venkovní IP modemu: 175ms (odpovídá server)

vnitřní síť (192.168.1.x) > modem (10.0.0.138): 50ms

vnitřní síť (192.168.1.x) > server eth0 (10.0.0.100): 0.2xms

vnitřní síť (192.168.1.x) > server eth1 (192.168.1.1): 0.20ms

traceroute www.google.com traceroute to www.google.com (74.125.39.104), 30 hops max, 40 byte packets using UDP

1 192.168.1.1 (192.168.1.1) 0.136 ms 0.105 ms 0.078 ms -server eth1

2 10.0.0.138 (10.0.0.138) 96.487 ms 95.354 ms 94.224 ms -modem

3 194.228.196.20 (194.228.196.20) 193.048 ms 191.958 ms 190.834 ms

4 88.103.203.89 (88.103.203.89) 189.709 ms 287.582 ms 286.487 ms

5 194.228.190.153 (194.228.190.153) 285.378 ms 284.234 ms 383.079 ms

6 72.14.215.10 (72.14.215.10) 381.975 ms 380.845 ms 379.713 ms

atd...

teď jsem zkusil restart modemu: - něco je špatně, nemůže ping kecat? teď to tu chvíli ukazovalo že modem (směrem zevnitř) odpovídá za 90ms ale přístup na venkovní IP byl asi poloviční

[petr_p]

Z těchto výpisů je vidět, že problém je mezi serverem a modemem. Tak dramatický nárůst není normální.

Nevím, jak máte nastevený NAT na modemu, když tvrdíte, že na ping na vaši veřejnou adresou ve skutečnosti odpovídá server, ale když se packat vrací po stejné lince, router může odesílatele informovat ICMP zprávou, ať další packety posílá jinudy, a pokud mu odesílatel uvěří, můžete se odstat na kratší čas, protože další packety půjdou kratší cestou.

[Luboš Doležel (Doli)]

Jestli se o PPP spojení a NAT stará modem od O2, tak bych nejprve hledal problém tam. Ty jejich modemy často nechtěně položím na lopatky.

[petr_p]

To je taky dost možné. Já mám PPP zakončené v routeru, takže modem se chová jako hloupý switch, takže nemá, co pokazit. Tazateli bych to také doporučil, aspoň nebude muset vyvádět vylomeniny s překladem adres.

[miki.lbc]

Teď jsem se přihlásil k serveru a v konzoli roota, kterou jsem nachal běžet je toto:

Message from syslogd@HQserver3 at Aug 31 19:34:33 ...

kernel:[130380.030029] Disabling IRQ #18

Může to mít vliv? Případně nevíte někdo kam dál?

IRQ síťovky eth0 je právě 18

------------------------------------------

31: PCI 602.0: 0200 Ethernet controller

[Created at pci.318]

Unique ID: rBUF.DuxsHOj_tm1

Parent ID: Ddhb.qCLG8jJwRY5

SysFS ID: /devices/pci0000:00/0000:00:1c.4/0000:05:00.0/0000:06:02.0

SysFS BusID: 0000:06:02.0

Hardware Class: network

Model: "D-Link DFE-528TX 10/100 Fast Ethernet PCI Adapter"

Vendor: pci 0x1186 "D-Link System Inc"

Device: pci 0x1300 "RTL8139 Ethernet"

SubVendor: pci 0x1186 "D-Link System Inc"

SubDevice: pci 0x1303 "DFE-528TX 10/100 Fast Ethernet PCI Adapter"

Revision: 0x10

Driver: "8139too"

Driver Modules: "8139too"

Device File: eth0

I/O Ports: 0xd000-0xdfff (rw)

Memory Range: 0xfb200000-0xfb2000ff (rw,non-prefetchable)

IRQ: 18 (10500524 events)

HW Address: 5c:d9:98:b1:5c:8b

Link detected: yes

Module Alias: "pci:v00001186d00001300sv00001186sd00001303bc02sc00i00"

Driver Info #0:

Driver Status: 8139too is active

Driver Activation Cmd: "modprobe 8139too"

Config Status: cfg=no, avail=yes, need=no, active=unknown

Attached to: #30 (PCI bridge)

[miki.lbc]

Ještě jsem našel tohle:

Aug 31 19:34:33 HQserver3 kernel: [130380.029929] irq 18: nobody cared (try booting with the "irqpoll" option)

Aug 31 19:34:33 HQserver3 kernel: [130380.029935] Pid: 0, comm: swapper Not tainted 2.6.37.6-0.7-desktop #1

Aug 31 19:34:33 HQserver3 kernel: [130380.029938] Call Trace:

Aug 31 19:34:33 HQserver3 kernel: [130380.029960] [ffffffff810059b9] dump_trace+0x79/0x340

Aug 31 19:34:33 HQserver3 kernel: [130380.029966] [ffffffff81522672] dump_stack+0x69/0x6f

Aug 31 19:34:33 HQserver3 kernel: [130380.029971] [ffffffff810cc3be] __report_bad_irq+0x1e/0x90

Aug 31 19:34:33 HQserver3 kernel: [130380.029975] [ffffffff810cc5d9] note_interrupt+0x1a9/0x200

Aug 31 19:34:33 HQserver3 kernel: [130380.029979] [ffffffff810cd575] handle_fasteoi_irq+0x105/0x140

Aug 31 19:34:33 HQserver3 kernel: [130380.029983] [ffffffff810058b5] handle_irq+0x15/0x20

Aug 31 19:34:33 HQserver3 kernel: [130380.029986] [ffffffff810054fe] do_IRQ+0x5e/0xe0

Aug 31 19:34:33 HQserver3 kernel: [130380.029991] [ffffffff81525f13] ret_from_intr+0x0/0xa

Aug 31 19:34:33 HQserver3 kernel: [130380.029996] [ffffffff812ba54e] intel_idle+0xbe/0x110

Aug 31 19:34:33 HQserver3 kernel: [130380.030001] [ffffffff813f0b48] cpuidle_idle_call+0xb8/0x370

Aug 31 19:34:33 HQserver3 kernel: [130380.030006] [ffffffff8100125c] cpu_idle+0x4c/0xa0

Aug 31 19:34:33 HQserver3 kernel: [130380.030011] [ffffffff81b3ebf8] start_kernel+0x39a/0x3a5

Aug 31 19:34:33 HQserver3 kernel: [130380.030015] [ffffffff81b3e414] x86_64_start_kernel+0xf9/0xff

Aug 31 19:34:33 HQserver3 kernel: [130380.030017] handlers:

Aug 31 19:34:33 HQserver3 kernel: [130380.030018] [ffffffffa0228960] (rtl8139_interrupt+0x0/0x230 [8139too])

Aug 31 19:34:33 HQserver3 kernel: [130380.030029] Disabling IRQ #18

[miki.lbc]

na radu (vit log) zkouším s irqpoll option.. dám vědět

[petr_p]

To znamená, že síťová karta otravuje operační systém s přerušením (zřejme chce přijala rámec a čeká na jeho vyzvednutí), ale ten ten to nečeká a přerušení ignoruje.

To může být způsobeno chybou v ovladači síťové karty, chybou ve zprávě přerušení na straně Linuxu nebo hardwaru (moderní systémy mají mnoho režimu, vy zřejmě používáte fasteoi; podívejte se do /proc/interrupts, jestli tam neroste počet chyb) nebo chybou síťové karty.

Ujistěte se, že máte aktuální jádro, zkuste prohledat internet na podobný problém s ohledem na chipset vaší základní desky (jádro má pár přepínačů, které ovlivňují zpracování přerušení), případně vyměňte síťovku.

Váš ovladač síťovky je celkem rozšířený, takže bych to spíš viděl na chybný (ovladač) řadič přerušení nebo rozbitou síťovku. Pokud víte, kdy se problém začal objevovat, dohledejte, jaké jste měl tehdy jádro a zkuste nabootovat to.

[miki.lbc]

Vážení, děkuji všem moc za pomoc.

irqpoll to vyřešil, ještě zkusím kouknout na to co psal petr_p ohledně přerušení...

ještě jednou díky Miki