Dotaz: Debian 10 IPV6, ping ano stránky ne

[Beetljuice]

Zdravím všechny. Potřebuji pomoct s jedním problémem ohledně IPV6. Řešíme nějaké síťové projekty, kde máme linuxovou GW s Debianem 10, nftables a provozujeme tam i IPV6. Na X projektech vše jede OK. Na momentálně posledním jsme se zasekli. Provider nám přidělil statické IPV6 IP, prefix i IP GW. Situace je taková, že z naší GW ping na IPV6 stránky jede, ale tracerout6 skončí na GW poskytovatele. Tudíž, ikdyž dám třeba test na https://www.test-ipv6.cz/ tak mi to vyhodnotí, že IPV6 nemám. Už nevím jak, nebo kam se mám kouknout. Předchozí instalace se stejnou konfigurací (jedu to podle šablony), fungují spolehlivě. Nevíte na co se zaměřit? Provider (GRAPE) tvrdí že to musí fungovat. V /etc/sysctl.conf samozřejmě mám

net.ipv6.conf.all.forwarding=1

Díky za pomoc.

---

---

Odpovědi

[L]

To vypadá na nějakou blbinu. Podle popisu závady bych asi zkusil začít porovnáním výstupů příkazů traceroute6 -I, traceroute6 -U a traceroute6 -T na nějakou veřejnou doménu.

[Beetljuice]

traceroute6 -I www.seznam.cz
traceroute to www.seznam.cz (2a02:598:3333:1::1), 30 hops max, 80 byte packets
 1  2a02:17a1:930::1 (2a02:17a1:930::1)  1.478 ms  1.601 ms  1.825 ms
 2  2a02:17a0:fff1:1d::1 (2a02:17a0:fff1:1d::1)  6.442 ms  6.951 ms  7.405 ms
 3  2a02:17a0:ffff:ffff:ffff:ffff:fffd:1 (2a02:17a0:ffff:ffff:ffff:ffff:fffd:1)  5.760 ms  5.778 ms  5.776 ms
 4  nix4-ipv6.seznam.cz (2001:7f8:14::36:2)  7.367 ms  7.389 ms  7.388 ms
 5  * * *
 6  * * *
 7  2a02:598:3333:1::1 (2a02:598:3333:1::1)  5.230 ms  5.250 ms  5.248 ms

traceroute6 -U www.seznam.cz
traceroute to www.seznam.cz (2a02:598:3333:1::1), 30 hops max, 80 byte packets
 1  2a02:17a1:930::1 (2a02:17a1:930::1)  1.500 ms  1.434 ms  1.360 ms
 2  2a02:17a0:fff1:1d::1 (2a02:17a0:fff1:1d::1)  5.541 ms  7.066 ms  6.057 ms
 3  * * *
 4  * * *
 5  * * *
 6  * * *
 7  * * *
 8  * * *
 9  * * *
10  * * *
11  * * *
12  * * *
13  * * *
14  * * *
15  * * *
16  * * *
17  * * *
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * * *
25  * * *
26  * * *
27  * * *
28  * * *
29  * * *
30  * * *

traceroute6 -T www.seznam.cz
traceroute to www.seznam.cz (2a02:598:3333:1::1), 30 hops max, 80 byte packets
 1  2a02:17a1:930::1 (2a02:17a1:930::1)  1.536 ms  1.455 ms  1.454 ms
 2  2a02:17a1:930::1 (2a02:17a1:930::1)  1.362 ms !N  1.328 ms !N  1.253 ms !N

[L]

Připadá mi to, že provoz zahazuje router 2a02:17a0:fff1:1d::1, přičemž ICMP6 projde, ale TCP ne. A zdá se, že provoz zahazuje pomocí TCP RST. Hádám, že 2a02:17a0:fff1:1d::1 už patří ISP?

Můžeš na vnějším rozhraní brány (2a02:17a1:930::1) pustit tcpdump nebo tshark a mezi tím z nějakého počítače ve vnitřní síti spustit traceroute6 -T www.seznam.cz a poslat sem výstup toho tcpdump/tshark? Jestli je tam hodně provozu, dobrý filtr by mohl být „ip6 and (tcp or icmp6)“. Tj. např. příkaz:

tcpdump -i VNĚJŠÍ_ROZHRANÍ 'ip6 and (tcp or icmp6)'

[Beetljuice]

Pustil jsem to rovnou z GW

tcpdump -i eno1 'ip6 and (tcp or icmp6)'
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eno1, link-type EN10MB (Ethernet), capture size 262144 bytes
14:08:04.343337 IP6 2a02:17a1:930::2.39783 > 2a02:598:3333:1::1.http: Flags [S], seq 3494447042, win 5760, options [mss 1440,sackOK,TS val 1229914177 ecr 0,nop,wscale 2], length 0
14:08:04.343377 IP6 2a02:17a1:930::2.47355 > 2a02:598:3333:1::1.http: Flags [S], seq 2878794201, win 5760, options [mss 1440,sackOK,TS val 1229914177 ecr 0,nop,wscale 2], length 0
14:08:04.343401 IP6 2a02:17a1:930::2.48943 > 2a02:598:3333:1::1.http: Flags [S], seq 982909662, win 5760, options [mss 1440,sackOK,TS val 1229914177 ecr 0,nop,wscale 2], length 0
14:08:04.343430 IP6 2a02:17a1:930::2.56109 > 2a02:598:3333:1::1.http: Flags [S], seq 77868685, win 5760, options [mss 1440,sackOK,TS val 1229914177 ecr 0,nop,wscale 2], length 0
14:08:04.343458 IP6 2a02:17a1:930::2.45647 > 2a02:598:3333:1::1.http: Flags [S], seq 3009088541, win 5760, options [mss 1440,sackOK,TS val 1229914177 ecr 0,nop,wscale 2], length 0
14:08:04.343485 IP6 2a02:17a1:930::2.56075 > 2a02:598:3333:1::1.http: Flags [S], seq 4138994762, win 5760, options [mss 1440,sackOK,TS val 1229914177 ecr 0,nop,wscale 2], length 0
14:08:04.343538 IP6 2a02:17a1:930::2.50671 > 2a02:598:3333:1::1.http: Flags [S], seq 2236582288, win 5760, options [mss 1440,sackOK,TS val 1229914177 ecr 0,nop,wscale 2], length 0

[Beetljuice]

Můžeš na vnějším rozhraní brány (2a02:17a1:930::1) pustit tcpdump

Aha to jsem nějak přehlédl. To GW providera.

[L]

Aha, takže 2a02:17a1:930::2 je tvoje brána a 2a02:17a1:930::1 už je ISP, jo?

V tom případě bych vytvořil pcap dump (u tcpdump se dělá přepínačem -w) na tom vnějším rozhraní (filtr buď žádný a nebo ip6) a během toho bych spustil ty traceroute6 -T a traceroute6 -I, případně i traceroute6 -U. Výsledný pcap soubor by bylo dobré ještě otevřít ve wiresharku a zkontrolovat, jestli je tam opravdu vše ok. Pak bych to poslal ISP, že tam mají prostě něco špatně.

[Beetljuice]

Aha, takže 2a02:17a1:930::2 je tvoje brána a 2a02:17a1:930::1 už je ISP, jo?

Ano.

V tom případě bych vytvořil pcap dump ... poslal ISP, že tam mají prostě něco špatně

OK, dík. Pošlu a uvidíme.

[j]

Potrebujes eliminovat maximum potencielnich potizi ... =>

1) netestuj to na strance, ktera nefunguje. Ta stranka pouziva nejakej prdlej js, ale na ipv6 vubec nebezi.

2) klidne to otestuj takhle: https://[2a00:1450:4010:c0a::8a]/ (to je guugl), vynada ti to za cert a vrati nejspis chybu, ale i tim overis, ze to funguje (nebo ne) a eliminujes dns. Nebo to vyzkousej tady http://www.mojeip.cz/ to na ipv6 bezi.

3) otestuj port (80/443) nmapem. Pokud neni open = firewall, pokud je, tak bych videl problem v routovaci tabulce.

Z tech trace to vypada na ten firewall.

[Beetljuice]

Potrebujes eliminovat maximum potencielnich potizi ... =>

1) netestuj to na strance, ktera nefunguje. Ta stranka pouziva nejakej prdlej js, ale na ipv6 vubec nebezi.

Nějak nechápu ... která stránka?

2) klidne to otestuj takhle: https://[2a00:1450:4010:c0a::8a]/ (to je guugl), vynada ti to za cert a vrati nejspis chybu, ale i tim overis, ze to funguje (nebo ne) a eliminujes dns. Nebo to vyzkousej tady http://www.mojeip.cz/ to na ipv6 bezi.

Když tuto stránku zadám v prohlížeči na GW, tak nahlásí chybu : Tento web není dostupný

3) otestuj port (80/443) nmapem. Pokud neni open = firewall, pokud je, tak bych videl problem v routovaci tabulce.

Odkud? Zvenku? Zevnitř? Zevnitř :

nmap localhost 
Starting Nmap 7.70 ( https://nmap.org ) at 2020-03-12 10:03 CET
Nmap scan report for localhost (127.0.0.1)
Host is up (0.000024s latency).
Other addresses for localhost (not scanned): ::1
Not shown: 997 closed ports
PORT   STATE SERVICE
22/tcp open  ssh
53/tcp open  domain
80/tcp open  http

Nmap done: 1 IP address (1 host up) scanned in 1.67 seconds
nmap -6 localhost 
Starting Nmap 7.70 ( https://nmap.org ) at 2020-03-12 10:03 CET
Nmap scan report for localhost (::1)
Host is up (0.000045s latency).
Other addresses for localhost (not scanned): 127.0.0.1
Not shown: 997 closed ports
PORT   STATE SERVICE
22/tcp open  ssh
53/tcp open  domain
80/tcp open  http

Z tech trace to vypada na ten firewall.

[Petr Šobáň]

Myslel tu www.test-ipv6.cz ta totiž nemá IPv6 adresu!

petr@NT-Olomouc:~$ nslookup www.test-ipv6.cz
Server:		192.168.1.1
Address:	192.168.1.1#53

Non-authoritative answer:
www.test-ipv6.cz	canonical name = test-ipv6.cz.
Name:	test-ipv6.cz
Address: 217.31.202.49

Takže pro test IPv6 je na nic - musíš se snažit připojit na nějakou IPv6.

A aby to nešlo náhodou přes IPv4 musíš použít její IPv6 adresu.

Takže do prohlížeče dát http://[2a00:1450:4010:c0a::8a]/ to je google a pokud se zobrazí stránka tak IPv6 funguje. (Zobrazí se chybová stránka google protože přistupuješ přes IP.)

Pokud to píše "Tento web není dostupný" tak na tom stroji IPv6 nefunguje.

Mě to zobrazí "404. That’s an error." stránku od google.

Takže se kouknout odešel paket IPv6 z toho GW ? Pokud ano proč nepřišla odpověď?

Prostě firewall a nebo routovací tabulky.

Takže skouknout ip -6 addr, ip -6 route, ip6tables -L.

[Beetljuice]

Myslel tu www.test-ipv6.cz ta totiž nemá IPv6 adresu!

To jsme si nerozuměli. Já tuhle stránku používám pro test na konkrétním stroji v prohlížeči, jestli zdetekuje IPV6, je to jen jeden z kontrolních bodů. IPV6 testuji třeba proti www.seznam.cz, www.root.cz nebo goole.

Pokud to píše "Tento web není dostupný" tak na tom stroji IPv6 nefunguje.

Ano to se mi zobrazí.

Takže se kouknout odešel paket IPv6 z toho GW ? Pokud ano proč nepřišla odpověď?

Jak,čím nejlépe?

Takže skouknout ip -6 addr, ip -6 route

inet6 2a02:17a1:930::MOJE_IP/64

default via 2a02:17a1:930::IP_GW dev eno1 metric 1024 onlink pref medium

jen pro upřesnění i viz traceroute6 .... pingy prochází

[Petr Šobáň]

A firewall?

A když firewall na chvíli vypneš projde spojení na www přes IPv6?

[Beetljuice]

Když vypnu firewall, tak je stav stejný:

traceroute www.root.cz
traceroute to www.root.cz (91.213.160.188), 30 hops max, 60 byte packets
 1  u46-29-230-185.static.grape.cz (46.29.230.185)  1.307 ms  1.242 ms  1.230 ms
 2  * * *
 3  u152-121.static.grape.cz (93.91.152.121)  9.036 ms  9.026 ms  9.168 ms
 4  * * *
 5  * * *
 6  br-t-5920t1.ispalliance.cz (185.52.172.109)  9.403 ms  27.283 ms  27.244 ms
 7  nix4.masterinter.net (91.210.16.86)  9.277 ms  9.283 ms  9.355 ms
 8  vl1377.ss501.r15-1.dc1.4d.prg.masterinter.net (83.167.254.169)  9.326 ms  9.332 ms  9.451 ms
 9  vl2139.sl517s.r1-7.dc1.4d.prg.masterinter.net (194.145.182.65)  9.986 ms vl2138.sl516p.r1-7.dc1.4d.prg.masterinter.net (194.145.182.61)  11.222 ms  9.440 ms
10  91.213.160.188 (91.213.160.188)  9.457 ms  9.645 ms  9.576 ms

traceroute6 www.root.cz
traceroute to www.root.cz (2001:67c:68::76), 30 hops max, 80 byte packets
 1  2a02:17a1:930::1 (2a02:17a1:930::1)  1.395 ms  1.355 ms  1.323 ms
 2  2a02:17a1:930::1 (2a02:17a1:930::1)  1.279 ms !N  1.171 ms !N  1.149 ms !N

[Petr Šobáň]

Ještě doplním můžeš to zkoušet na:
http://www.nebezi.cz/
http://[2001:1528:132:70::ebe2]
tento server není přístupný přes IPv4 takže pokud se ti zobrazí stránky tak IPv6 funguje.

petr@NT-Olomouc:~$ nslookup www.nebezi.cz
Server:		192.168.1.1
Address:	192.168.1.1#53

Non-authoritative answer:
Name:	www.nebezi.cz
Address: 2001:1528:132:70::ebe2

[j]

nmap na localhost ti ale nic nerekne, zkus to na ten seznam ... trebas. A omez to na konkretni port, jinak to bude trvat dlouho a pripadne te neco blokne.

nmap -6 -p 443 seznam.cz
Starting Nmap 7.70 ( https://nmap.org ) at 2020-03-12 12:05 CET
Nmap scan report for seznam.cz (2a02:598:4444:1::2)
Host is up (0.0024s latency).
Other addresses for seznam.cz (not scanned): 2a02:598:4444:1::1 77.75.75.176 77.75.75.172

PORT    STATE SERVICE
443/tcp open  https

Nmap done: 1 IP address (1 host up) scanned in 0.75 seconds

Dalsi co muzes udelat je, ze si pustis tcpdump (nekde na routeru idealne). V nem muzes sledovat, co se vraci nebo nevraci zpet. Muze se ti vracet nejaky to icmp s detailnesim popisem, nebo taky vubec nic.

Firewall nemusi byt jen tvuj, muze ho tam mit prave ISP.

[Beetljuice]

nmap na localhost ti ale nic nerekne, zkus to na ten seznam ... trebas

nmap -6 -p 443 seznam.cz
Starting Nmap 7.70 ( https://nmap.org ) at 2020-03-12 12:17 CET
Nmap scan report for seznam.cz (2a02:598:4444:1::1)
Host is up (0.0020s latency).
Other addresses for seznam.cz (not scanned): 2a02:598:4444:1::2 77.75.75.172 77.75.75.176

PORT    STATE    SERVICE
443/tcp filtered https

Nmap done: 1 IP address (1 host up) scanned in 2.58 seconds

To projde normalne ...

Firewall nemusi byt jen tvuj, muze ho tam mit prave ISP

To se právě snažím dokázat, že je problém na straně providera

[Beetljuice]

Dalsi co muzes udelat je, ze si pustis tcpdump

tcpdump -nn ip6
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eno1, link-type EN10MB (Ethernet), capture size 262144 bytes
13:43:20.573729 IP6 2a02:17a1:930::2.39957 > 2a02:598:3333:1::1.33434: UDP, length 32
13:43:20.573785 IP6 2a02:17a1:930::2.34207 > 2a02:598:3333:1::1.33435: UDP, length 32
13:43:20.573826 IP6 2a02:17a1:930::2.55593 > 2a02:598:3333:1::1.33436: UDP, length 32
13:43:20.573867 IP6 2a02:17a1:930::2.36873 > 2a02:598:3333:1::1.33437: UDP, length 32
13:43:20.573908 IP6 2a02:17a1:930::2.53959 > 2a02:598:3333:1::1.33438: UDP, length 32
13:43:20.573957 IP6 2a02:17a1:930::2.34014 > 2a02:598:3333:1::1.33439: UDP, length 32
13:43:20.574001 IP6 2a02:17a1:930::2.48714 > 2a02:598:3333:1::1.33440: UDP, length 32
13:43:20.574041 IP6 2a02:17a1:930::2.43232 > 2a02:598:3333:1::1.33441: UDP, length 32
13:43:20.574083 IP6 2a02:17a1:930::2.52825 > 2a02:598:3333:1::1.33442: UDP, length 32
13:43:20.574133 IP6 2a02:17a1:930::2.39063 > 2a02:598:3333:1::1.33443: UDP, length 32
13:43:20.574180 IP6 2a02:17a1:930::2.56591 > 2a02:598:3333:1::1.33444: UDP, length 32
13:43:20.574222 IP6 2a02:17a1:930::2.40730 > 2a02:598:3333:1::1.33445: UDP, length 32
13:43:20.574268 IP6 2a02:17a1:930::2.36594 > 2a02:598:3333:1::1.33446: UDP, length 32
13:43:20.574311 IP6 2a02:17a1:930::2.52769 > 2a02:598:3333:1::1.33447: UDP, length 32
13:43:20.574347 IP6 2a02:17a1:930::2.56294 > 2a02:598:3333:1::1.33448: UDP, length 32
13:43:20.574389 IP6 2a02:17a1:930::2.47743 > 2a02:598:3333:1::1.33449: UDP, length 32
13:43:20.575139 IP6 2a02:17a1:930::1 > 2a02:17a1:930::2: ICMP6, destination unreachable, unreachable route 2a02:598:3333:1::1, length 88
13:43:20.575172 IP6 2a02:17a1:930::1 > 2a02:17a1:930::2: ICMP6, time exceeded in-transit for 2a02:598:3333:1::1, length 88
13:43:20.575181 IP6 2a02:17a1:930::1 > 2a02:17a1:930::2: ICMP6, time exceeded in-transit for 2a02:598:3333:1::1, length 88
13:43:20.575187 IP6 2a02:17a1:930::1 > 2a02:17a1:930::2: ICMP6, time exceeded in-transit for 2a02:598:3333:1::1, length 88
13:43:20.575194 IP6 2a02:17a1:930::1 > 2a02:17a1:930::2: ICMP6, destination unreachable, unreachable route 2a02:598:3333:1::1, length 88
13:43:20.575201 IP6 2a02:17a1:930::1 > 2a02:17a1:930::2: ICMP6, destination unreachable, unreachable route 2a02:598:3333:1::1, length 88
13:43:25.569130 IP6 fe80::d6ca:6dff:fe74:1139 > 2a02:17a1:930::2: ICMP6, neighbor solicitation, who has 2a02:17a1:930::2, length 32
13:43:25.569200 IP6 2a02:17a1:930::2 > fe80::d6ca:6dff:fe74:1139: ICMP6, neighbor advertisement, tgt is 2a02:17a1:930::2, length 24
13:43:25.819759 IP6 fe80::4e52:62ff:fe45:df4d > 2a02:17a1:930::1: ICMP6, neighbor solicitation, who has 2a02:17a1:930::1, length 32
13:43:25.820951 IP6 2a02:17a1:930::1 > fe80::4e52:62ff:fe45:df4d: ICMP6, neighbor advertisement, tgt is 2a02:17a1:930::1, length 24
13:43:30.683538 IP6 fe80::4e52:62ff:fe45:df4d > fe80::d6ca:6dff:fe74:1139: ICMP6, neighbor solicitation, who has fe80::d6ca:6dff:fe74:1139, length 32
13:43:30.684905 IP6 fe80::d6ca:6dff:fe74:1139 > fe80::4e52:62ff:fe45:df4d: ICMP6, neighbor advertisement, tgt is fe80::d6ca:6dff:fe74:1139, length 24
13:43:30.819132 IP6 fe80::d6ca:6dff:fe74:1139 > fe80::4e52:62ff:fe45:df4d: ICMP6, neighbor solicitation, who has fe80::4e52:62ff:fe45:df4d, length 32
13:43:30.819199 IP6 fe80::4e52:62ff:fe45:df4d > fe80::d6ca:6dff:fe74:1139: ICMP6, neighbor advertisement, tgt is fe80::4e52:62ff:fe45:df4d, length 24

[j]

Z tohodle, jestli dobre vidim,

2a02:17a1:930::1 > 2a02:17a1:930::2: ICMP6, destination unreachable, unreachable route 2a02:598:3333:1::1, length 88

=> tenhle stroj 2a02:17a1:930::1 (coz jak pises vejs je provider) tvrdi, ze nema routu dal.

Takze presne tohle posli providerovi at stim neco udela. S tim ty nic udelat nemuzes.

[Beetljuice]

Díky za analýzu.

[Beetljuice]

Tak vyřešeno. Problém byl samozřejmě na straně providera (jak jsme si mysleli). Informace pro naše připojení nám podal technik, který do IPv6 zřejmě příliš nevidí. Až potom, co jsem mluvil s tím správným člověkem, tak jsem se dozvěděl toto :

Za prvé nebyla řádně nastavena routa na jejich nadřazeném routeru pro náš rozsah.

Za druhé, mají úmyslně blokovaný přístup do inetu z WAN zákaznického zařízení (běží tam pouze icmp a udp). WAN je pouze spojovací adresa do IPv6 inetu pro přidělený prefix .... navíc nám byl předložen chybný rozsah adres.

Tož asi tak Díky všem za ochotu.