Dotaz: Forward medzi dvoma vlan sieťami

[Peter]

Dobrý deň vám prajem.

Mám CentOS 6.5 router, ktorý cez eth0 je pripojený na internet a na eth1 má dve vlan-y. Všetko funguje ako má, teda počítače z obidvoch sieti sa dostanú na server, takisto aj na internet. Takisto keď som na serveri "vidím" všetky pc v obidvoch vlan-ach. Jediný problém mám s komunikáciou pc naprieč vlan. Čiže potrebujem napríklad aby pc vo vlan12 "videli" na tlačiareň, ktorá je vo vlan11. A to sa mi nedarí. V sysctl.conf samozrejme mám "net.ipv4.ip_forward = 1".

Konfigurácia je nasledovná:

ip route show

192.168.254.2 dev tun0  proto kernel  scope link  src 192.168.254.1 
1.2.3.248/29 dev eth0  proto kernel  scope link  src 1.2.3.249 
192.168.12.0/24 dev eth1.12  proto kernel  scope link  src 192.168.12.254 
192.168.11.0/24 dev eth1.11  proto kernel  scope link  src 192.168.11.254 
192.168.254.0/24 via 192.168.254.2 dev tun0 
169.254.0.0/16 dev eth1.12  scope link 
default via 1.2.3.254 dev eth0

ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
BOOTPROTO=static
IPADDR=1.2.3.249
NETMASK=255.255.255.248
NETWORK=1.2.3.248
BROADCAST=1.2.3.255
ONBOOT=yes

ifcfg-eth1

DEVICE=eth1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes

ifcfg-eth1.11

DEVICE=eth1.11
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.11.254
NETMASK=255.255.255.0
NETWORK=192.168.11.0
BROADCAST=192.168.11.255
ONBOOT=yes
VLAN=yes

ifcfg-eth1.12

DEVICE=eth1.12
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.12.254
NETMASK=255.255.255.0
NETWORK=192.168.12.0
BROADCAST=192.168.12.255
ONBOOT=yes
VLAN=yes

Absolútne základný výcuc z firewall-a

LO_IP="127.0.0.1"
LO_NETMASK="127.0.0.0/24"

ETH0_IP="1.2.3.249"
ETH0_NETMASK="1.2.3.248/29"

ETH1_11_IP="192.168.11.254"
ETH1_11_NETMASK="192.168.11.0/24"

ETH1_12_IP="192.168.12.254"
ETH1_12_NETMASK="192.168.12.0/24"

TUN0_IP="192.168.254.1"
TUN0_NETMASK="192.168.254.0/24"

/sbin/iptables --policy FORWARD DROP
/sbin/iptables --table filter --append FORWARD --match state --state ESTABLISHED,RELATED --jump ACCEPT
/sbin/iptables --table filter --append FORWARD --match state --state INVALID --jump DROP

/sbin/iptables --policy INPUT DROP
/sbin/iptables --table filter --append INPUT --match state --state ESTABLISHED,RELATED --jump ACCEPT
/sbin/iptables --table filter --append INPUT --match state --state INVALID --jump DROP

/sbin/iptables --policy OUTPUT DROP
/sbin/iptables --table filter --append OUTPUT --match state --state ESTABLISHED,RELATED --jump ACCEPT
/sbin/iptables --table filter --append OUTPUT --match state --state INVALID --jump DROP

echo -n "Create Rules for Chain: FORWARD ................................................................................ "
/sbin/iptables --table filter --append FORWARD --match state --state NEW --in-interface eth1.11 --source ${ETH1_11_NETMASK} --jump ACCEPT
/sbin/iptables --table filter --append FORWARD --match state --state NEW --in-interface eth1.12 --source ${ETH1_12_NETMASK} --jump ACCEPT
/sbin/iptables --table filter --append FORWARD --match state --state NEW --in-interface tun0 --source ${TUN0_NETMASK} --jump ACCEPT
echo "Done."

echo -n "Create Rules for Chain: INPUT .................................................................................. "
/sbin/iptables --table filter --append INPUT --match state --state NEW --in-interface lo --jump ACCEPT
/sbin/iptables --table filter --append INPUT --match state --state NEW --protocol TCP --match multiport --destination-port 22 --jump ACCEPT

/sbin/iptables --table filter --append INPUT --match limit --limit 1/second --limit-burst 5 --protocol ICMP --icmp-type 0 --jump ACCEPT
/sbin/iptables --table filter --append INPUT --match limit --limit 1/second --limit-burst 5 --protocol ICMP --icmp-type 3 --jump ACCEPT
/sbin/iptables --table filter --append INPUT --match limit --limit 1/second --limit-burst 5 --protocol ICMP --icmp-type 8 --jump ACCEPT
/sbin/iptables --table filter --append INPUT --match limit --limit 1/second --limit-burst 5 --protocol ICMP --icmp-type 11 --jump ACCEPT
echo "Done."

echo -n "Create Rules for Chain: OUTPUT ................................................................................. "
/sbin/iptables --table filter --append OUTPUT --match state --state NEW --jump ACCEPT
echo "Done."

echo -n "Create Rules for Chain: POSTROUTING ............................................................................ "
/sbin/iptables --table nat --append POSTROUTING --out-interface eth0 --source ${ETH1_11_NETMASK} --jump SNAT --to-source ${ETH0_IP}
/sbin/iptables --table nat --append POSTROUTING --out-interface eth0 --source ${ETH1_12_NETMASK} --jump SNAT --to-source ${ETH0_IP}
/sbin/iptables --table nat --append POSTROUTING --out-interface eth0 --source ${TUN0_NETMASK} --jump SNAT --to-source ${ETH0_IP}
echo "Done."

Za akúkoľvek radu vám budem veľmi vďačný.

---

---

Odpovědi

[NN]

Podivej se tcpdumpem jestli to prijde na rozhrani, odejde z rozhrani, vrati se na rozhrani a odejde zpet, pripadne ve ktere fazi to nehraje, staci ICMP.

[Michal Kubeček]

Pokud ten paketový filtr vyhodíte, tak to funguje? Pokud ho nemůžete dočasně vynechat, podívejte se aspoň na počítadla těch DROP pravidel a politik, jestli rostou, nebo před ně přidejte logovací pravidla.

Jinak samozřejmě i to, co už bylo řečeno: podívat se tcpdumpem na eth1 / eth1.11 / eth1.12, co vám přichází a odchází, tj. jednak kde ty pakety mizejí, jednak jestli vypadají, jak mají (otagované na eth1, neotagované na eth1.*).

[Michal Kubeček]

Omlouvám se za zmatek, to neměla být reakce na tenhle příspěvek, ale na původní dotaz.

[rats]

To je ale mazec...

Nejprve od zacatku - duvod pro 802.1Q VLANy? Jenom experimentujes, nebo to ma nejaky konkretni duvod? Druha vec - kdyz vsechny chainy firewallu vymazes a nastavis je defaultne na ACCEPT, funguje to? Routovaci tabulka se zda byt spravne, tudiz je prvni pokus zkusit to bez firewallu.

[Peter]

Vypnutie firewall-u nemá absolútne žiaden vplyv.

Skúšal som ping z 192.168.11.251 na 192.168.12.251 a v tomto prípade tcpdump ukázal nasledovné:

/usr/sbin/tcpdump -i eth1.11 icmp
09:01:40.557069 IP 192.168.11.251 > 192.168.12.251: ICMP echo request, id 545, seq 0, length 72

/usr/sbin/tcpdump -i eth1.12 icmp
09:02:35.153420 IP 192.168.11.251 > 192.168.12.251: ICMP echo request, id 545, seq 0, length 72

Keď som ale pridal maškarádu - čiže buď:

iptables --table nat --append POSTROUTING --jump MASQUERADE

alebo:

iptables --table nat --append POSTROUTING --out-interface eth1.12 --source 192.168.11.0/24 --jump SNAT --to-source 192.168.12.254

Tak už ping išiel a tcpdump ukazoval nasledovné:

/usr/sbin/tcpdump -i eth1.11 icmp
09:07:11.048012 IP 192.168.11.251 > 192.168.12.251: ICMP echo request, id 545, seq 0, length 72
09:07:11.048912 IP 192.168.12.251 > 192.168.11.251: ICMP echo reply, id 545, seq 0, length 72

/usr/sbin/tcpdump -i eth1.12 icmp
09:08:44.012300 IP 192.168.12.254 > 192.168.12.251: ICMP echo request, id 545, seq 0, length 72
09:08:44.012513 IP 192.168.12.251 > 192.168.12.254: ICMP echo reply, id 545, seq 0, length 72

No ale podľa môjho skromného, skoro laického názoru je používanie maškarády, teda NAT v takomto prostredí minimálne povedané do neba volajúca blbosť. Má prosím vás ešte niekto nápad, že kde by mohla byť zrada? Veľmi pekne vám ďakujem.

[Michal Kubeček]

To ale vypadá, že problém není na vašem stroji, ale na tom 192.168.12.251

Ještě se ale pro jistotu podívejte, jak to vypadá na eth1.

[Peter]

/usr/sbin/tcpdump -i eth1 icmp
10:35:59.989814 IP 192.168.11.251 > 192.168.12.251: ICMP echo request, id 545, seq 0, length 72

To je všetko. Mimochodom, všetky stroje v sieti sa správajú rovnako, teda nie je to problém len konkrétne 192.168.12.251. Veľmi pekne Vám ďakujem za ochotu.

[Michal Kubeček]

Zkuste to ještě s -e, jestli je ten paket správně otagovaný. Pokud ano, nezbyde než se podívat na konfiguraci těch koncových stanic.

[Peter]

/usr/sbin/tcpdump -e -vv -i eth1 icmp
tcpdump: WARNING: eth1: no IPv4 address assigned
tcpdump: listening on eth1, link-type EN10MB (Ethernet), capture size 96 bytes
11:15:40.329746 00:11:3b:18:43:63 (oui Unknown) > c0:4a:00:7b:f0:06 (oui Unknown), ethertype IPv4 (0x0800), length 106: (tos 0x0, ttl  63, id 0, offset 0, flags [DF], proto: ICMP (1), length: 92) 192.168.11.251 > 192.168.12.251: ICMP echo request, id 545, seq 0, length 72
11:15:41.938999 00:11:3b:18:43:63 (oui Unknown) > c0:4a:00:7b:f0:06 (oui Unknown), ethertype IPv4 (0x0800), length 106: (tos 0x0, ttl  63, id 0, offset 0, flags [DF], proto: ICMP (1), length: 92) 192.168.11.251 > 192.168.12.251: ICMP echo request, id 545, seq 1, length 72
11:15:43.546567 00:11:3b:18:43:63 (oui Unknown) > c0:4a:00:7b:f0:06 (oui Unknown), ethertype IPv4 (0x0800), length 106: (tos 0x0, ttl  63, id 0, offset 0, flags [DF], proto: ICMP (1), length: 92) 192.168.11.251 > 192.168.12.251: ICMP echo request, id 545, seq 2, length 72
11:15:45.154653 00:11:3b:18:43:63 (oui Unknown) > c0:4a:00:7b:f0:06 (oui Unknown), ethertype IPv4 (0x0800), length 106: (tos 0x0, ttl  63, id 0, offset 0, flags [DF], proto: ICMP (1), length: 92) 192.168.11.251 > 192.168.12.251: ICMP echo request, id 545, seq 3, length 72

4 packets captured
4 packets received by filter
0 packets dropped by kernel

Koncové stanice sú nastavované pomocou dhcpd. Výcuc z dhcpd.conf:

authoritative;
ddns-update-style none;

subnet 192.168.11.0 netmask 255.255.255.0
  {
    default-lease-time 86400;
    max-lease-time 86400;
    option netbios-node-type 8;
    use-host-decl-names on;

    option domain-name "domain.tld";
    option routers 192.168.11.254;
    option broadcast-address 192.168.11.255;
    option subnet-mask 255.255.255.0;

    option domain-name-servers 192.168.11.254;
    option netbios-name-servers 192.168.11.254;
    option ntp-servers 192.168.11.254;

    pool
      {
        range 192.168.11.1 192.168.11.250;
        allow unknown-clients;
      }
  }

subnet 192.168.12.0 netmask 255.255.255.0
  {
    default-lease-time 86400;
    max-lease-time 86400;
    option netbios-node-type 8;
    use-host-decl-names on;

    option domain-name "domain.tld";
    option routers 192.168.12.254;
    option broadcast-address 192.168.12.255;
    option subnet-mask 255.255.255.0;

    option domain-name-servers 192.168.12.254;
    option netbios-name-servers 192.168.12.254;
    option ntp-servers 192.168.12.254;

    pool
      {
        range 192.168.12.1 192.168.12.250;
        allow unknown-clients;
      }
  }

Ešte raz vrelá vďaka za ochotu - veľmi si to vážim.

[Peter]

Nemôže byť náhodou problém v "option routers 192.168.11.254;" a to tak, žeby tam bolo treba pridať aj druhú bránu?

Teda pre 192.168.11.0/24 by bolo "option routers 192.168.11.254,192.168.12.254;"
A pre    192.168.12.0/24 by bolo "option routers 192.168.12.254,192.168.11.254;"

[Michal Kubeček]

To mi nepřipadá jako dobrý nápad. Pokud je to správně nakonfigurované, počítače z "jedenáctkové" vlan nemají "dvanáctkovou" gateway jako bezprostředního souseda (a naopak).

[Michal Kubeček]

To nevypadá dobře, na eth1 už byste měl vidět ten 802.1Q tag. Ale to může být chyba libpcap/tcpdump (starší verze ho nezobrazovaly, když jádro předalo TCI v metadatech). Jakou verzi libpcap/tcpdump tam máte?

Navíc kdyby byl problém v tomhle, nepřišla by ani odpověď na ARP dotaz a ICMP echo by se vůbec neposlalo. Takže mi z toho pořád vychází problém na té koncové stanici. Nemůže tam být nějaký implicitní firewall zahazující pakety z privátních rozsahů kromě vlastního?

[Peter]

libpcap-0.9.4, tcpdump-3.9.4. Tak to sú uplne štandartné windows xp a 7 s úplne štandartným windows firewall v ktorom nebolo nič menené ani pridávané/uberané. Ďakujem.

[Michal Kubeček]

Jen pro úplnost: libpcap 0.9.4 by mohl být důvod, proč tam ten tag není vidět, IIRC to bylo opravené až v upstreamové 1.0 (v distribucích samozřejmě může být backport i do starších).

[Peter]

Sipem si popol na hlavu a pojdem sa zahrabať do tej najväčšej nori. Tá druhá brána pre podsieť v dhcpd sa samozrejme ani mne nezdala, ale topiaci sa aj slamky chytá aj keď predpokladá, že bude pravdepodobne za blbca, tak sa skúša opýtať. No nič to - teraz som ešte za väčšieho blbca, lebo áno - firewall na stanici. Bohužiaľ. Ale ako sa hovorí, kto nič nerobí, ten aj nič nepokazí. Ešte raz - máte môju veľkú vďaku a obdiv za pomoc.

[Michal Kubeček]

Hlavní ponaučeční by mělo být: nejdřív zjistit, jestli se ztrácí echo nebo odpověď a pak jít po trase a zjistit, kde přesně se to ztrácí. Většinou to dost napoví i o tom, proč se ty pakety ztrácejí (přinejmenším víte kde hledat).

[Chulda]

Problém je v routingu klientů. Mají default GW a nemají nastavený routing pro ty privátní sítě, aby šly přes tento server.

Nastavením NATu způsobíte, že klient 192.168.12.251 neodpovídá na adresu mimo svůj subnet (tehdy to pošle na default GW), ale na adresu ve stejném subnetu (pošle to serveru přímo) a proto to s NATem funguje.

[Peter]

Ja predpokladám, že problém je v routingu, len netuším kde. Na serveri je eth0, ktorý je pripojený do internetu a dva vlan-y eth1.11 (192.168.11.254) a eth1.12 (192.168.12.254). No a pc v subnete 192.168.11.0/24 majú bránu 192.168.11.254 a pc v subnete 192.168.12.0/24 majú bránu 192.168.12.254. Moje laické vedomosti zo sieti boli do teraz v tom, že routing by sa mal vykonávať na serveri. Ak ale treba nejako upraviť routovaciu tabuľku aj na klientovi, tak ako to zabezpečiť automaticky? Veľmi pekne Vám ďakujem za ochotu.

[Chulda]

zkus ještě tcpdump na těch VLAN interfacech a zkus ping z 192.168.12.251 na 192.168.11.251. Dle mého ten ping vůbec nezachytíš tím tcpdumpem.

Pokud mám pravdu a nic nezachytíš, je nutné se podívat na routing na té 192.168.12.251. Bude tam jiná default nebo bude chybět.

Pokud zachytíš, pak bude problém na firewallu té 192.168.12.251, kde bude povolen příchozí ICMP jen z místní sítě (192.168.12.0/24 či tak něco).

Ale chlape, pokud jsi ochoten dát IP adresu GW z jiné sítě než ve které je ten server/klient (viz odpověď na p. Kubečka), pak opravdu si nejdříve přečti něco o routingu, protože v tom hrozně plaveš a spousta problémů může být dána touto neznalostí.

[Chulda]

Bude tam jiná default nebo bude chybět.

Bude tam jiná default GW nebo ta default GW bude chybět.

[Peter]

Vrelá vďaka patrí aj Vám.