Dotaz: FreeBSD padá síť

[mapim]

Ahoj, mám problém s FreeBSD 8.0 (stejný problém byl ale i se 7.2). Po učitém čase, nekdy den, někdy déle, ale více jak dva dny nevydrží jet, se mi na FreeBSD rozpadne síť/spojení. Nelze si na stroj pingnout - host is down - a nelze ze stroje pingnout na gw. Koukal jsem do /var/log/messages, ale tam nic není, v dmesg jak by smet :) Když restartuju síť, pomocí /etc/rc.d/netif, nepomůže to. Když restartuji celý server, tak vše funguje jak má. Myslel jsem si, jestli to nedělá rpc_lockd_enable="YES", tak jsem jej zakomentoval, ale i přes to, že není zapnutý, problém přetrvává. Můžete mi prosím poradit, kde se kouknout, protože v lozích jsem nic nenašel, popřípadě jak to opravit? Moc děkuji

netstat -rn

Routing tables

Internet:
Destination        Gateway            Flags    Refs      Use  Netif Expire
default            10.0.0.138         UGS         0      185   nfe0
10.0.0.0/24        link#3             U           1  4323399   nfe0
10.0.0.12          link#3             UHS         0        0    lo0
127.0.0.1          link#6             UH          0       62    lo0

Internet6:
Destination                       Gateway                       Flags      Netif Expire
::1                               ::1                           UH          lo0
fe80::%lo0/64                     link#6                        U           lo0
fe80::1%lo0                       link#6                        UHS         lo0
ff01:6::/32                       fe80::1%lo0                   U           lo0
ff02::%lo0/32                     fe80::1%lo0                   U           lo0

ifconfig
fwe0: flags=8802<"BROADCAST,SIMPLEX,MULTICAST"> metric 0 mtu 1500
	options=8<"VLAN_MTU">
	ether 02:11:d8:60:31:7b
	ch 1 dma -1
fwip0: flags=8802<"BROADCAST,SIMPLEX,MULTICAST"> metric 0 mtu 1500
	lladdr 0.11.d8.0.1.60.31.7b.a.2.ff.fe.0.0.0.0
nfe0: flags=8843<"UP,"BROADCAST,RUNNING,SIMPLEX,MULTICAST"> metric 0 mtu 1500
	options=19b<"RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4">
	ether 00:1b:fc:d3:ea:63
	inet 10.0.0.12 netmask 0xffffff00 broadcast 10.0.0.255
	media: Ethernet autoselect (100baseTX <"full-duplex,flag0,flag1">)
	status: active
nfe1: flags=8802<"BROADCAST,SIMPLEX, MULTICAST"> metric 0 mtu 1500
	options=19b<"RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4">
	ether 00:1b:fc:d3:ec:01
	media: Ethernet autoselect (none)
	status: no carrier
plip0: flags=8810<"POINTOPOINT,SIMPLEX,MULTICAST"> metric 0 mtu 1500
lo0: flags=8049<"UP,LOOPBACK,RUNNING,MULTICAST"> metric 0 mtu 16384
	options=3<"RXCSUM,TXCSUM">
	inet6 fe80::1%lo0 prefixlen 64 scopeid 0x6 
	inet6 ::1 prefixlen 128 
	inet 127.0.0.1 netmask 0xff000000 

/etc/rc.conf
hostname="sangha.zyxel"
ifconfig_nfe0="DHCP"
keymap="us.iso"
moused_enable="YES"
nfs_client_enable="YES"
nfs_server_enable="YES"
mountd_enable="YES"
mountd_flags="-r"
ntpdate_enable="YES"
ntpdate_flags="ntp.karpo.cz"
#rpc_lockd_enable="YES"
rpc_statd_enable="YES"
rpcbind_enable="YES"
sshd_enable="YES"
zfs_enable="YES"
ipv6_enable="NO"
mysql_enable="YES"

---

---

Odpovědi

[petr_p]

Host is down je podivná hláška. IPv4/Ethernet nic takové nezná. Pouze Host/Destination unreachable, což znamená, že se k dané IPv4 adrese nehlásí žádný adaptér. Tj. na ARP dotaz nikdo neodpoví.

Protože na gateway lezete přes nfe0 a nfe0 je UP and RUNNING, začal bych hledat, co je špatně s ARP.

Takže si na obou strojích vypište ARP cache a podívejte se, jaké packety ARP prochází oběma rozhraními.

Pokud nedorazí dotazy, pak bych zkusil restartovat fyzickou vrstvu (vytažení kabelu, vynucení vyjednání rychlosti a obousměrnosti, reset síťové karty). Ve FreeBSD se nevyznám, ale na Linuxu by se použil ethtool a ip link down/up a rmmod/modporbe modulu dané karty. (Dejte si pozor na zmrazení systému, které brání úpravám konfigurace jádra.)

[mapim]

Host is down pochází z iMaca, který je k ADSL WiFi routeru připojen skrz Wireless. Ping ze serveru na router hlásí, přesně jak píšete, Host/Destination unreachable. A mě trápí, proč se mi to děje každý den, nebo co druhý den, jak jsem psal. Zkusím, co jste poradil, uvidíme, jestli se něčeho debéřu.

[petr_p]

Mně hned byla adresa brány podezřelá. Osobně bych hledal chybu v tom routeru. Chtělo by to údaje z obou konců linky – tedy i z toho routeru.

Navíc pokud máte Maca přes bezdrát, tak to není jedna linka, ale router mezi nimi routuje nebo „bridguje“ (dělá překlad linkových adres, protože 802.11 a 802.3 nejsou zcela kompatibilní). Chyba by mohla být i tady.

[mapim]

Je to možné, jelikož, jsem nedávno dělal úpravy na ADSL FW. Pochvalně jsem si uložil konfiguraci, pro budoucí zálohu, jako na jedničku zvládnutou. A jelikož vše fungovalo bezvadně, ani jsem to nekontroloval. Tak přišel čas, si to zopakovat :)

[mapim]

Jelikož nejsem odborník na síťovou problematiku, a není mi jasné, proč se v logu ADSL routeru, oběvuje tento záznam, chtěl bych se pozeptat, zdali někdo nebude vědět více?

125	12/09/2009 23:13:34	Peer TCP state out of order, sent TCP RST: TCP	10.0.0.13:50793	77.78.99.23:80	ACCESS FORWARD

Když jsem si našel informace, ohledně této IP adresy (snad správně),
http://whois.smartweb.cz/object/Gemius-CZ/

udivilo mě to, jelikož si nejsem vědom toho, že bych chtěl s někým takovým komunikovat, prostřednictvím nějakého programu :)
http://cz.gemius.com/cz/o_spolecnosti

[mapim]

ton jen teda mezi řečí, jelikož jsem si začal číst log, a nezdá se mi to.

[petr_p]

TCP má jisté stavy, které se evidují pro každý konec zvlášť. Když přijde packet, který zjevně nezapadá do komunikace a stávajícího stavu, stroj může (musí?) spojení ukončit pomocí TCP reset packetu.

Ta adresa patří reklamní společnosti, která cpe reklamu do webu a sleduje chování uživatelů. Mnoho webových stránek je proto prolezlých odkazy na skripty umístěné na jejích serverech (i Ábíčko).

[mapim]

Děkuji za vysvětlení reklamky, dá se to nějak systémově říznout na FW?

Ping z ADSL routeru na FreeBSD vypadá takhle:

Resolving 10.0.0.12 ... 10.0.0.12 
Ping Host Fail

Tudíž ping z iMaca na FreeBSD vypadá podobně:

mipam@imac ~ ->ping sangha
PING sangha (10.0.0.12): 56 data bytes
ping: sendto: No route to host
ping: sendto: Host is down

Na ADSL routeru je tabulka takováto.

zyxel> ip arp status
received 27010 badtype 0 bogus addr 0 reqst in 2256 replies 298 reqst out 1810
cache hit 4589617 (98%), cache miss 60307 (1%)
IP-addr         Type           Time  Addr              stat iface
10.0.0.11       10 Mb Ethernet 230   00:09:6b:e7:01:e9 41   enif0
10.0.0.12       10 Mb Ethernet 150   00:1b:fc:d3:ea:63 41   enif0
10.0.0.13       10 Mb Ethernet 300   00:11:24:93:d3:bf 41   enif0
194.228.196.57  None           0        [proxy]        25   NULL
10.0.0.255      10 Mb Ethernet 0     ff:ff:ff:ff:ff:ff 43   NULL
num of arp entries= 5

Na iMacovi je arp tabulka takováto:

mipam@imac ~ ->arp -a
sangha (10.0.0.12) at (incomplete) on en1 [ethernet]
zyxel (10.0.0.138) at 0:2:cf:7f:b9:f6 on en1 [ethernet]

Na FreeBSD je arp tabulka takováto:

root@sangha ~ ->arp -a
sangha (10.0.0.12) at 00:1b:fc:d3:ea:63 on nfe0 permanent [ethernet]
? (10.0.0.255) at (incomplete) on nfe0 [ethernet]

Ifconfig vypadá na serveru v pořádku, úplně stejně, jako když vše běží.

No a u netstatu mi chybí adresa GW, nebo se pletu?

root@sangha ~ ->netstat -rn
Routing tables

Internet:
Destination        Gateway            Flags    Refs      Use  Netif Expire
10.0.0.0/24        link#3             U           1  4563583   nfe0
10.0.0.12          link#3             UHS         0        0    lo0
127.0.0.1          link#6             UH          0       52    lo0

Internet6:
Destination                       Gateway                       Flags      Netif
 Expire
::1                               ::1                           UH          lo0
fe80::%lo0/64                     link#6                        U           lo0
fe80::1%lo0                       link#6                        UHS         lo0
ff01:6::/32                       fe80::1%lo0                   U           lo0
ff02::%lo0/32                     fe80::1%lo0                   U           lo0

Ping ze serveru na router vypadá takto.

root@sangha ~ ->ping 10.0.0.138
PING 10.0.0.138 (10.0.0.138): 56 data bytes
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
^C

Po smazání arp tabulky ping na GW nejel, pak jsem restartoval /etc/rc.d/netif, a zase vše běží. Přes telnet se toho na routeru dá vyzvědě více, tak hledám.

[petr_p]

Systémově zaříznout? Záleží na jaké úrovni. Můžete zablokovat provoz na danou IP adresu (ale dejte si pozor, aby firewall místo obyčejného zahazování packetů vracel chybou ICMP zprávu; jinak vám budou aplikace timeoutovat). Čistější řešení by bylo nainstalovat HTTP proxy a požadavky na danou doménu vraždit tam. Ale to asi na Zyxelu nehrozí.

Mac neví MAC adresu BSD, za to router ji zná. To je špatně. Ale taky možná jen stihla vyexpirovat.

Divná je ale i tabulka na routeru, protože tam nikde nevidím bezdrátové rozhraní. Navíc ukazuje 10Mb rychlost. Mám dojem, že BSD ukazovalo 100Mb. Pokud jsou údaje správné, tak neshoda je problém. Podívejte na routeru jinde (výpis rozhraní), co si o dojednané rychlosti ten.

Každopádně by bylo dobré zjistit, jak router přeposílá packety. Jestli směruje (dle dodaných výpisů asi ne), nebo dělá ARP proxy nebo natuje Ethernet.

Každopádně i na BSD chybí MAC routeru, takže chyba je mezi těmito dvěma stroji.

Pokud vám pomůže restart /etc/rc.d/netif, asi se dělá restart fyzické vrstvy linky. Tvrdí to i jádro? To by ukazovalo na chybu dojednání přenosové rychlosti.

[mapim]

Děkuji za tip. Jdu se na to mrknout.

Koketuju s myšlenkou, že ten zyxel "zahodím", a přes druhou síťovku udělám FW na FreeBSD, ale to budu muset číst manuál k ipfw, a to prý strašně bolí.

[mapim]

Jsem z toho jelen. Příkaz ether switch status vypisuje následující.

P660HW-T3> ether switch status
Port#    Link    Speed    Duplex
  1       Y       100      Full
  2       -        -        -
  3       -        -        -
  4       Y       100      Full

Avšak příkaz ip arp status ukazuje něco jiného.

P660HW-T3> ip arp status
received 621 badtype 0 bogus addr 0 reqst in 6 replies 2 reqst out 8
cache hit 16198 (95%), cache miss 829 (4%)
IP-addr         Type           Time  Addr              stat iface
10.0.0.12       10 Mb Ethernet 250   00:1b:fc:d3:ea:63 41   enif0
194.228.196.57  None           0        [proxy]        25   NULL
10.0.0.13       10 Mb Ethernet 300   00:11:24:93:d3:bf 41   enif0
10.0.0.255      10 Mb Ethernet 0     ff:ff:ff:ff:ff:ff 43   NULL
num of arp entries= 4

Podíval jsem se tedy na možnosti ether

P660HW-T3> ether switch speedDuplex

Tento příkaz mi vypsal tyto možnosti.

Usage: speedDuplex <"portID"> [a|m =auto|manual] [10|100] [h|f =half|full-duplex]
where,
portID: all|1|2|3|4

A pro jistotu jsem zkusil auto i manuál.

P660HW-T3> ether switch speedDuplex all a 100 f
P660HW-T3> ether switch speedDuplex all m 100 f

Ale výsledek pořád stejný.

P660HW-T3> ip arp status
received 704 badtype 0 bogus addr 0 reqst in 8 replies 2 reqst out 10
cache hit 16870 (94%), cache miss 1030 (5%)
IP-addr         Type           Time  Addr              stat iface
10.0.0.11       10 Mb Ethernet 260   00:09:6b:e7:01:e9 41   enif0
10.0.0.12       10 Mb Ethernet 280   00:1b:fc:d3:ea:63 41   enif0
194.228.196.57  None           0        [proxy]        25   NULL
10.0.0.13       10 Mb Ethernet 300   00:11:24:93:d3:bf 41   enif0
10.0.0.255      10 Mb Ethernet 0     ff:ff:ff:ff:ff:ff 43   NULL
num of arp entries= 5

Nejhorší na tom je, že teď už BSD nevydrží na síti snad ani půl hodiny! V lozích na ZyXElu vidím prd. Na adresu 10.0.0.138 chodí požadavky na portu 80, což je webové rozhraní, nebo telnet, čehož jsem původcem já, a na BSD jenom pokusy nějakých mašin na portu 22. Na firewallu jsem nastavil, ať se loguje LAN to LAN, vytvořil jsem pravidlo, any any any protokol a podrobné logování, ale stejně se nic nevypisuje. Upgradnul firmware. Koukám na router přes telnet, přes web, ale prd, prd, prd! Asi ten router brzo vyhodím z okna.

[mapim]

Tak už je to vyřešeno. Udělal jsem chybu v tom, že jsem povolil volbu: Allow Asymmetrical Route. Ještě nevím proč to dělalo, ale je jasné, že po vypnutí této volby na ZyXEL ADSL router FreeBSD server běží, jak má. Moc děkuji všem za ochotu a pomoc.

[mato]

ako casto sa ti to stava? ked sa ti to znova stane, checkni cez ifconfig a pozri sa na status .. keby si mal HW chybu (napriklad zly kabel a stratis link) tak ti napise 'no carrier' ..inak pri link up/down by ti dmesg zahlasil v tvojom pripade:

nfe0: link state changed to DOWN

rpc_lockd s tym skor nebude mat nic, to je sucast NFS..

posli ifconfig/netstat -nr ked sa ti to stane .. inak ARP haluze (napr. spoofing) fbsd kernel loguje ..

[mapim]

Stává se mi to každý, nebo co druhý den. Výpis ifconfigu je právě z doby, kdy byl server bez konektivity. Takže netstat -rn a ifconfig, který jsem přiložil, je přesně v době, kdy server nemohl na síť/nedopingnul se na GW.

[mapim]

jo, a teď jsem si vzpoměl, proč jsem to řešil s ohledem na NFS. iMac je přes NFS připojen k serveru, a iTunes mi normalizuje všechny MP3 na FreeBSD NFS (ZFS filesystem). Když to nechám běžet přes noc, tak ráno je FreeBSD tuhé, ve smyslu, nemá žádnou konektivitu, jak jsem pospsal výše. Což mi nepřijde, ani pokud iMac a iTunes dělá něco hodně moc moc špatně, jako košér jednání od FreeBSD stroje. A logy mlčí.

[xobot]

ahoj, pozri dropped packets cez netstat -ind. Zda sa mi, ze kedysi mali fbsdcka problemy s 3com kartami. Sam pouzivam skor net/openbsd, ale kamos mal podobny problem, nakoniec musel 3com nahradit lacnymi sietovkami realtek

[mapim]

Děkuji za tip. Mrknul jsem na ten netstat, ale nic sem nevykukal :) Drop je 0, resp. -, to je ale to samé, ne? Kartu mám NVIDIA

root@sangha ~ ->dmesg | grep nfe
nfe0: <"NVIDIA nForce MCP55 Networking Adapter"> port 0x7880-0x7887 mem 0xbfdcd000-0xbfdcdfff,0xbfdce400-0xbfdce4ff,0xbfdce000-0xbfdce00f irq 23 at device 8.0 on pci0
nfe1: <"NVIDIA nForce MCP55 Networking Adapter"> port 0x7c00-0x7c07 mem 0xbfdcf000-0xbfdcffff,0xbfdcec00-0xbfdcecff,0xbfdce800-0xbfdce80f irq 20 at device 9.0 on pci0


root@sangha ~ ->pciconf -l | grep nfe
nfe0@pci0:0:8:0:        class=0x068000 card=0x81fb1043 chip=0x037310de rev=0xa2 hdr=0x00
nfe1@pci0:0:9:0:        class=0x068000 card=0x81fb1043 chip=0x037310de rev=0xa2 hdr=0x00

root@sangha ~ ->netstat -ind
Name    Mtu Network       Address              Ipkts Ierrs    Opkts Oerrs  Coll Drop
fwe0*  1500 <"Link#1">      02:11:d8:60:31:7b        0     0        0     0     0    0 
fwip0  1500 <"Link#2">      00:11:d8:00:01:60:31:7b:0a:02:ff:fe:00:00:00:00        0     0        0     0     0    0 
nfe0   1500 <"Link#3">      00:1b:fc:d3:ea:63  8132103     5 21693820     0     0    0 
nfe0   1500 10.0.0.0/24   10.0.0.12              703     -      372     -     -    - 
nfe1*  1500 <"Link#4">      00:1b:fc:d3:ec:01        0     0        0     0     0    0 
plip0  1500 <"Link#5">                               0     0        0     0     0    0 
lo0   16384 <"Link#6">                              56     0       56     0     0    0 
lo0   16384 fe80:6::1/64  fe80:6::1                0     -        0     -     -    - 
lo0   16384 ::1/128       ::1                      0     -        4     -     -    - 
lo0   16384 127.0.0.0/8   127.0.0.1                0     -        0     -     -    -