Dotaz: Policy based routing pro WireGuard tunel s VPS

[Deryl]

Dobré odpoledne,

TLDR; Nedaří se mi směrovat packety s "odpovědí" zpět do wireguard tunelu.

O co jde

Mám
- VPS v cloudu s veřejnou IP adresou s nastavenou MASQUERADE na `wan0` pro odchozí komunikaci do internetu.
- server 10.11.13.21 v lokální síti (gw 10.11.13.1).

Cílem je:
- zpřístupnit služby na LAN serveru do internetu.
- aby služby na LAN serveru viděly _skutečnou src address_ klienta z internetu.
- aby komunikace počínající (state NEW) na LAN serveru byla směrována standardně přes CGNAT a nikoliv wg tunelem přes VPSku (omezená bandwith, cena).

Nestačí mi:
- Webová reverse proxy na VPSce.
- Protože ta neřeší přístup na ostatní služby (IMAP, SMTP, cokoliv nepoužívající HTTP...)

Vyzkoušel jsem, funguje to, ale nesplňuje to podmínky:
- WireGuard mezi VPS a LAN serverm s pomocí DNAT (směrování portů z veřejné IP na LAN server) a AllowedIPs=0.0.0.0/0: skript `wg-quick` automaticky změní default route a veškerá komunikace jde přes tunel.
- `rathole` mezi VPSkou a LAN serverem - službám se dotazy jeví jako od `localhost`.

Marně zkouším:
- Vypnout automatiku `wg-quick` ohledně směrování.
- Označit komunikaci přicházející na LAN server z `wg0` (tunelu).
- Stejně označit i odpovědi služeb v rámci související komunikace.
- Nastavit policy based routing, aby označené pakety použily jako default route ten tunel a tedy zbylá komunikace nešla přes tunel, ale CGNAT (lokální router a ISP).

Dotaz z internetu přes VPS dorazí na lokální server, ale odpověď se vratí přes lokální router a ISP, takže je nakonec "zahozen". Nicméně, ping mezi VPSkou a LAN serverem funguje.

Konkrétně:

/etc/wireguard/wg0.conf na LAN serveru:

[Interface]
Address = 10.0.37.2/24
... zkráceno ...
Table = off  
PostUp = iptables -t mangle -A PREROUTING -i wg0 -j CONNMARK --set-mark 0x51872  
PostUp = iptables -t mangle -A OUTPUT -m mark --mark 0x51872 -j CONNMARK --restore-mark  
PostUp = ip route add default dev wg0 table 51872  
PostUp = ip rule add fwmark 0x51872 table 51872  
[Peer]
...
AllowedIPs = 10.0.37.1/32,0.0.0.0/0

Stav na LAN serveru:

# ip rule show all  
0:      from all lookup local  
32765:  from all fwmark 0x51872 lookup 51872  
32766:  from all lookup main  
32767:  from all lookup default
# ip route show table all
default dev wg0 table 51872 scope link
default via 10.11.13.1 dev br1 proto static
10.0.37.0/24 dev wg0 proto kernel scope link src 10.0.37.2
10.11.13.0/24 dev br1 proto kernel scope link src 10.11.13.21
172.17.0.0/24 dev docker0 proto kernel scope link src 172.17.0.1 linkdown
... zkráceno ...
local 10.0.37.2 dev wg0 table local proto kernel scope host src 10.0.37.2
broadcast 10.0.37.255 dev wg0 table local proto kernel scope link src 10.0.37.2

Co dělám špatně. Případně: jak to vyřešit jinak?

---

---

Odpovědi

[Deryl]

Ještě k tomu doplním tcpdump na LAN serveru, když z jiného počítače mimo LAN zkouším `ssh -p22 user@moje.vps.net`.

# tcpdump -i wg0 port 22
14:45:39.649749 IP 37-188-184-76.red.o2.cz.46002 > 10.11.13.21.ssh: Flags [S], seq 1788730745, win 65535, options [mss 1420,sackOK,TS val 260893484 ecr0,nop,wscale 9], length 0

# tcpdump -i br1 port 22 | grep -i 'o2.cz'
14:45:39.649823 IP 10.11.13.21.ssh > 37-188-184-76.red.o2.cz.46002: Flags [S.], seq 1539991552, ack 1788730746, win 65160, options [mss 1460,sackOK,TS val 863901811 ecr 260893484,nop,wscale 7], length 0

kde `wg0` je tunel a `br1` je LAN. Dotaz jde tunelem, odpověď odchází do LAN...

[Deryl]

Vyřešeno, hloupá chyba.

Bylo:

PostUp = iptables -t mangle -A OUTPUT -m mark --mark 0x51872 -j CONNMARK --restore-mark

Mělo být:

PostUp = iptables -t mangle -I OUTPUT -m connmark --mark 0x51872 -j CONNMARK --restore-mark

V chainu OUTPUT nejsou označeny pakety, pouze spojení. Takže filtr měl být na `connmark` a nikoliv `mark`.