Dotaz: Narůstá RX Errors: missed, vysoký packet loss.

[Heron]

Dobrý den.

Na svém routeru řeším problém s výpadky packetů. Packet loss se pohybuje od 3% až na 10%. Jedná se o metalickou síť Cat5e. Hlavní switch je 1Gbit, síťovka 3Com 3c905C 100Mbit. Síť jede na 100Mbit.

Pignáním různě na síti jsem lokalizoval problém na jeden router a to pouze na rozhranní eth1. Ve statistice tohoto rozhranní se vyskytují chyby RX Error Missed:

ip -s -s link show dev eth1
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc htb qlen 1000
    link/ether 00:1d:92:23:6b:fe brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast
    747473035  103966270 9       0       0       0
    RX errors: length  crc     frame   fifo    missed
               0        0       0       9       13326
    TX: bytes  packets  errors  dropped carrier collsns
    4222548359 108744074 0       0       0       0
    TX errors: aborted fifo    window  heartbeat
               0        0       0       0

Google toho moc neví, někde jsem našel vysvětlení, že se obě strany linky nedokáží domluvit na rychlosti. Tohle jsem vyloučil postupnout výměnou: Routeru (HW i OS), kabelu, switche. Vše je jiné.

Jediný problém může být v softu. Proběhla změna OS z Fedora4 na CentOS 5.0. Routování (staticky cca 100 cest), nastavení rozhranní, shaping (htb) zůstalo stejné.

Na daný packet loss nemá vliv: vypnuté shapování (tc qdisc del root), vypnutý fw (iptables -F), ani trafic. Začínám mít pocit, že mi tam straší

Dotazy:

Co všechno může způsobit chyby v RX Error Missed?

Jak může vzniknout PL na samotném routeru?

Odpovědi

[Haaja]

Sitovou kartu jsi menil za jiny typ? (aby se nepouzival stejny ovladac) U nas to byl problem prave s ovladacem sitove karty, ale problemy se objevily az pri konstantnim zatizeni kolem 70mbit/s.

[Heron]

Měnil také. Předtím 1Gb Realtek, ale s jiným a hlavně 100Mbit switchem. Tohle na zátěži prakticky nezávisí. Typicky je zátež pod 10Mbitů. Ovšem, pokud je zátež prakticky nulová (jeden, max dva online hrající lidé), tak výpadky nejsou.

[Haaja]

To je nejaka herni sit? Pouziva se prevazne na online hrani? Odhadnul bych ze na to bude mit vliv velke mnozstvi malych paketu, ale v jake konkretni souvislosti me nenapada.

[Heron]

Ne, je to běžná siť pro domácnosti. Takže web, stahování, online hraní, online stream intet-tv/rádio. Prostě klasickej net.

Conntract tabulka má momentálně 5000 záznamů. Velikost je nastavena na 65000.

Ještě si říkám, že ten stroj nestíhá. Jedná se o VIA Esther processor 1000MHz, 1GB 667 DDR2 RAM. Ale load je na nule. Paměti to má dostatek.

[Creckx]

Kudy ten kabel vedeš? Neni tam nějaký rušení? Píšeš že si vyměnil OS, zkoušel si jiné jádro resp. jinou verzi ovladače?

[Heron]

Ten kabel mezi switchem a routerem má cca 1.5m. Je to v uzemněném kovovém racku. Jádro je jiné. Fedora měla nějakou starou 2.6. CentOS má 2.6.18-53.1.14.el5. Ovladače jsou různé, protože je jiný HW. Předtím Intel Celeron, teď Via C3. Síťovky také různé. Od realtek, přes Intel (na základce), po 3Com. Nemyslím si, že by to bylo HW záležitost.

Co je stejné: routování, firewall, htb.

Vypnutí FW a HTB nepomohlo. Vypnout routování celkem logicky nelze.

Zůstává jen nastavení net, netfilter, tcp apod. Podle mě tam něco přetéká. Jenže nevím jak zjistit co, těch parametrů je tam moc. V logu také nic není.

Routují se hlavně veřejné IP dále se provádí NAT 1:1 i maškaráda.

[Alcor]

Kdysi jsem se setkal se špatně nastaveným MTU : switch <-> stanice (server). Mrkni na to ...

[Heron]

Zkontrolováno, v pořádku. Všude je 1500.

Další poznatek: výpadek neznamená výpadek dat. Ty data přijdou později. Příklad:

dstat, rychlost cca 1024kbps = cca 128kB:

136k
118k
136k
139k
136k
139k
142k
22k
200k
20k
172k
136k
118k
136k
...

Průměr tedy odpovídá. Ale když v jedné sekundě dojde k výpadku, tak v další přijde dvojnásobek dat. Tedy i data z toho výpadku a klient jede rychlostí vyšší než má v HTB. Kolega paří WOW a říkal, že vše co se "během" výpadku stane mu přijde (a od něj odejde) o tu sekundu později. Pak to jede opět normálně. Tomu bych u TCP rozumněl, ale proč přijde naráz dvojnásobek dat je mi také záhadou.

[Alcor]

Napadá mě ještě nastavení switch o proti NIC auto/auto , 100FullDuplex/100FullDuplex .... Podívat se zda jsou ty dva interface o proti sobě stejně nastavené ...

[tcw]

Co ukazuje vystup z ethtool ?

[Heron]

ethtool -S eth1
no stats available

[Heron]

ethtool eth1
Settings for eth1:
        Supported ports: [ TP MII ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 100Mb/s
        Duplex: Full
        Port: MII
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: pumbg
        Wake-on: d
        Current message level: 0x00000001 (1)
        Link detected: yes

[Alcor]

A na switchi je taky Auto-negotiation: on ?

[Heron]

Ano.

[Alcor]

Pak už bych snad zkusil "pingat" mezi compy a zvětšoval veliksot paketu. Co to udělá. Možná bych vsázel na problém na tom switchi. Zkoušel jsi ten switch restartovat ? Jinak už jsem asi vše vyčerpal, teda to co mě teď napadá ...

[Heron]

Zkoušel jsi ten switch restartovat ?

Je vyměněn . Byl tam zcela jiný. Byly tam VLANy, teď je default. Proč si myslíš, že to bude v tom switchi?

[Alcor]

No, teď jsi mi vypálil rybník ;o) Takže máš vše vyměněno a switch je v default módu. Takže PCčka, která jsou připojená přes ten switch a komunikují spolu (jsou ve stejné podsíti), tak mají problém spolu komunikovat při výměně dat ? Např ftp ? V kabelech asi problém nebude ... Tak teď už snad jen geopatogenní zóna :oD Nevím co poradit. Zkoušel si , jak jsem Ti psal s ping(em) ? Je tam něco atip. ?

[svaca]

Presne s touto sitovkou jsem mel fatalni problemy s cisco ktere bezelo na 10M ... sitovka pak bezela v 10M taky ale jen half dulpex, problem vyresilo jine nastaveni cisca. Ve tvem pripade si myslim, ze ze mohl byt taky nejaky problem mezi switchem a sitovkou ...

muzes ji vmenit ? Za klasicky realtek treba ? Mislim, ze problem zmizi ....

[svaca]

jo nechodi jeste nejake chyby do dmesg ?

[Heron]

Síťovku můžu vyměnit, ale již se tak stalo. Logy jsou prázdné.

Přece jen bych se rád dozvěděl co na samotném routeru může způsobovat packet loos. Neví někdo?

Na testovacím stroji jsem zkoušel nastavovat nesmyslně malé: qlen, mtu, conntract limit, timeouty a podobného chování jsem nedosáhl. Klasická TCP komunikace byla prakticky nemožná, ale ICMP pingy procházely. Na tom postiženém routeru vypadávají ICMP (jak při pingu zkrz, tak při pingu na něj).

[svaca]

uf ted uz nerozumim nicemu ??? Takze vymenis sitovku a vse je v pohode ...

vratis sitovku a zlobi to ?

jestli ano tak je prece vadna, ne ? A nebo se proste nesnese s tim zarizenim ...

[Heron]

Kdyby tomu tak bylo, nepíšu dotaz, ne?

Se všemi síťovkami se to chovalo stejně (tedy blbě). Sítovka na to nemá vliv. Celkově bylo vyzkoušeno cca 6 různých kombinací síťovek / switchů. Stále stejné (špatné) chování. Tím to nebude. Problém bude v nastavení toho routeru. :- (

[tomasgn]

vymenil jsi i ten kabel?

[Heron]

Ano.

[Heron]

Ne. PC komunikující přes ten switch komunikují v pohodě. To jsem možná měl zdůraznit dřív. Problém je v komunikaci přes daný router. Jakákoliv komunikace, která prochází přes daný router, laguje. Přímá komunikace přes switch je v pohodě.

Zkusím nakreslit schéma.

[svaca]

Ok, ale co ti brani vymenit tu sitovku ?? BTW je to asi to prvni co bys mel v takovem to pripade udelat ...

[Heron]

Již se tak stalo. Jak píšu v původním dotazu, postupně byla vyměněna síťová karta (vyzkoušeli se tři), nakonec kompletně celý HW. Byla provedena čistá instalace CentOS, který nám spolehlivě na jiných mašinách funguje. Jediné co je původní jsou pravidla firewallu, shapingu a routy. Nic víc.

Dále by vyměněn switch, kabely a na testování se do té sítě dal kompletně nový stroj. Vše ukazuje na problém v nastavení toho routeru.

Bota v HTB byla vyloučena vypnutím shapingu. Firewall byl z testovacích důvodů také chvilku odstaven.

Jediná původní věc, kterou jsem nezkoušel vypnout bylo routování. Až se dostanu k tomu stroji, vyčistím routy a budu testovat lokálně.

Podle problém může být jedině v malé defaultní velikost nějakého siťového bufferu, jehož přeplnění a následné zahazování packetů se ale nezapiše do logu. Teď už opravdu střílím od boku. Nebo ten stroj je slabý a nestíhá. Load 0, ale nevím, jestli se do loadu počítají také čistě jaderné věci (shaping, maškaráda).

[Alcor]

Je jen škoda, že z tvého původního dotazu nebylo možno poznat, kde tedy určuješ chybu. Teď najednou vidím že ještě mluvíš o routeru. Takže to co jsem radil prolez i na tom routeru. Nevidím (a omlouvám se pokud po perném dni za PC)nikde o jaký router jde ? Je to linux, nebo to je nějaké HW řešení ... Je pak jasné že se divíš proč si myslím že je problém na switchi. Netušil jsem, že problém je až při komunikaci na výše uvedený router.

[Heron]

Ty tvoje návrhy rozhodně nebyli k ničemu, právě naopak. Třeba by byl problém tam a já bych se soustředil pouze na ten router. Jsem rád, že jsi mě donutil to vše znovu zkontrolovat. Ale bohužel, vše v pořádku. Pokud budeš mít podobné návrhy co se týče dalších prvků budu jen rád.

[Alcor]

OK, to je v poho.

Tak Ti mě napadá,jaký trafic jde přes ten router? Kolik stanic je na něj přpipojených ? Ty stanice s jakým systémem ? Jsou-li tam Widle, můžeš vyloučit nějakého vira, který by způsoboval nadměrnou komunikací problémy na síti ?

Prám se proto, protože (shrnu-li) měnil jsi karty, zkontroloval nastavení router <-> stanice (switch), vylučuješ problém s UTP, komunikace uvnitř sítě je bezproblémová.Routrovací tabulka je bez viditelných nesrovnalostí.

A teď mě napadá, co takle odpojit switch od routeru a připojit jen jedno pecko k routeru a zkusit přez něj komunikovat ven ? Víš bez dalších stanic ...

[Heron]

Tak Ti mě napadá,jaký trafic jde přes ten router?

cca 10Mb/s. Nadměrná zátěž tu nikde není, vše je měřeno. Ten router se fláká (doufám, že by to load, htop atd ukázal). Počet konektů hluboko pod maximem. Po snížení TCP timetoutu to ještě více kleslo. Ještě doplním, že přímo na tento router není připojeno žádné domácí PC. Jsou na něm servery (nulový trafic, navíc omezeno v HTB) a další routery a až za nimi obyč PC lidí.

A teď mě napadá, co takle odpojit switch od routeru a připojit jen jedno pecko k routeru a zkusit přez něj komunikovat ven ? Víš bez dalších stanic ...

Ano, tohle bude asi jediná možnost. Jenže, po jednom restartu routeru to vydrží třeba dva dny bez jediného vypadlého packetu. Po dalším restartu je loss okamžitý. Odpojit celou síť na dva dny si nemuho dovolit.

[Alcor]

Ano, tohle bude asi jediná možnost. Jenže, po jednom restartu routeru to vydrží třeba dva dny bez jediného vypadlého packetu. Po dalším restartu je loss okamžitý. Odpojit celou síť na dva dny si nemuho dovolit.

Co by se stalo, kdybys nic nerestartoval, a rovnou místo toho switche bouchnul PCčko o kterém víš, že je vpořádku a pak začal komunikovat přes ten router ven ? Bylo by to s chybama, které uvádíš ? Tím nechci říct, že by switch, ba ani router nebyly OK, ale pokusil bych se alespoň odstranit doměnku, že si ti dva "nepadly" do oka. Já vím, je to taková šamanština , ale co když ...

Jinak , já nevím, mě nic jiného momentálně nenapadá ...

Dobrou noc :o)

[Heron]

Je to linux, CentOS5.0. HW CPU: Via C3 1000MHz, RAM 1GB DDR2 667. Aktuální síťovky: eth1 (zde je pravděpodobně problém) Via Rhine II, eth0 3COM Tornado. SATA disk WD na to snad mít vliv nebude.

Po té, co jsem si to i díky tomuto vláknu urovnal v hlavě mě napadlo, že jediné neověřené místo je routovací tabulka. Jdu ji zkontrolovat.

[petr_p]

Psal jste, že jste zkoušel různé síťovky. Já jen že s Via Rhine mám jedinou zkušenost a zrovna v tom případě měla problém s provozem proti staré halfduplexní 10Mb/s síťovce bez autonegace.

[vencour]

A nějakej debug to neosvětlí, logování s nejvyšší úrovní?

[svaca]

Nevim jak mas nastaveny firewall, ale UDP vrstvu jsi kontroloval ?? Na UDP nic netece ?

[Heron]

FORWARD je zcela průchozí, tam se neuplatňuje žádný filter. Pro veřejné IP je to zcela tranparetntí brána. Pro privátní se dělá maškaráda nebo 1:1. Na UDP jistě něco teče. Ale to zachytí měření také - měří se tok přímo na rozhranní, takže nějaké protokoly nehrají roli. Nebo jsi se ptal na UDP z nějakého specifikého důvodu?

[svaca]

Ptal. Ptal jsem se proto, ze jsem v posledni dobe zasnameneal utoky na UDP vrstve a vysledek byl fragmentovani paketu a totoalni vytizeni stroje a hlavne ethernet interface ...

tak to bude OK ...

No to je zajimavy problemek ...

kdyz pouzijes treba iptraf, a das skenovat vse, tak proste nic podezreliho nevidis, jo ?

[svaca]

Sorry za ty preklepy ... Asi bym mel prejit z plzne ja Gambac

[Heron]

Ty si užíváš

[Heron]

Zkontroloval jsem v iptrafu UDP a celkem nic moc.

Další vývoj: "RX Error: Missed" narůstá pouze při výpadku a to řádově o stovky. Procházel jsem i zdrojáky jádra, abych zjistil co to vlastně znamená a nikde nic.

Přepnutí switche na 100BASETX-HD a hlavně vypnutí FlowControl zdá se pomohlo a výpadky ustaly (ono jim to někdy trvá i dva dny). Kontrolní přepnutí zpět na FullDuplex s Flow způsobilo téměř okamžitě výpadky. Jsem z toho mimo. :-/ Nechám to na Half Duplexu. Na rychlost to nemá vliv, naopak si díky nepřítomnosti výpadků zvýšila. Děkuji Hynkovi za dokopání ke switchi.

Zítra poreferuji o dalším vývoji. Zatím díky všem.

[svaca]

koukam na ten router jednoho zakose, kde jse mel podobnou chybu jak jsem psal ... na druhe strane je cisco v bridge modu ...

ja mel problem s kolizemi ... chyby jsou stale videt:

eth1      Link encap:Ethernet  HWaddr 00:10:4B:1C:52:0F  
          inet addr:80.188.227.18  Bcast:80.188.227.23  Mask:255.255.255.248
          inet6 addr: fe80::210:4bff:fe1c:520f/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:10884428 errors:0 dropped:0 overruns:0 frame:0
          TX packets:9087140 errors:0 dropped:0 overruns:0 carrier:129
          collisions:2632 txqueuelen:1000 
          RX bytes:1079902235 (1.0 GiB)  TX bytes:1594204219 (1.4 GiB)
          Interrupt:18 Base address:0xe000 

pomohlo nastaveni na 10Mbit:

root@nat:~# ethtool eth1
Settings for eth1:
	Supported ports: [ TP MII ]
	Supported link modes:   10baseT/Half 10baseT/Full 
	                        100baseT/Half 100baseT/Full 
	Supports auto-negotiation: Yes
	Advertised link modes:  10baseT/Full 
	Advertised auto-negotiation: Yes
	Speed: 10Mb/s
	Duplex: Full
	Port: MII
	PHYAD: 24
	Transceiver: internal
	Auto-negotiation: on
	Current message level: 0x00000001 (1)
	Link detected: yes

pak prestali v ciscu a na eth1 ty kolize ... chybu z dmesg si nepamatuju a pravdepodobne se jednalo o jiny problem, jen stejna sitovka ... Ja nevim, s 3comama, mam vzdy nejakou chybu, zatim co s realtekama za 90 korun ne ... A nedochazelo ke zpozdeni a ani vypadavani pingu i OpenVPN jela ok ..

root@nat:~# lspci
00:0a.0 Ethernet controller: 3Com Corporation 3c905C-TX/TX-M [Tornado] (rev 78)
00:0c.0 Ethernet controller: 3Com Corporation 3c900B-TPO Etherlink XL [Cyclone] (rev 04)
00:13.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL-8139/8139C/8139C+ (rev 10)

[petr_p]

Procházel jsem i zdrojáky jádra, abych zjistil co to vlastně znamená a nikde nic.

Je to deklarované v linux/netdevice.h, resp. linux/if_link.h.

Např. ovladač 8139too (drivers/net/8139too.c) mění tento čítač na třech místech. Váš případ bude asi funkce rtl8139_weird_interrupt(), která je volána při přerušení z důvodu chyby (na PCI sběrnici, příjmu poškozeného rámce, přetečení fronty v síťovce).

Počítadlu je přičtena hodnota, která se bere přímo z registru na kartě.

Takže bych chybu viděl mezi síťovou kartou a switchem.

Ujistit se můžete zapnutím ladění v modulu předefinováním symbolu RTL8139_DEBUG na nenulovou hodnotu (linux-2.6.24.3/drivers/net/8139too.c:129).

[Heron]

na PCI sběrnici, příjmu poškozeného rámce, přetečení fronty v síťovce

Díky. Ano, tohle by tomu odpovídalo, zejména chyba v rámci. To stále více to ukazuje na problém switche. Dám tam ještě lepší a uvidím. Zatím pomáhá restart toho switche (pomůže tak na jeden den) a nastavení 100base TX-HD. Vypadá to, že v něm něco přetéká.

[Alcor]

Takže přeci jenom ten switch ? :-O

[Heron]

Vypadá to tak, zatím nejásám. Ještě jednou děkuji za nakopnutí

[Alcor]

Není zač, od toho tady všichni jsme, abychom si pomohli. držím pěstě a dej vědět, jak jsi uspěl.

[Heron]

Jak to zapnout?