Dotaz: docker bind + VirtualBox VM

[rastos]

Tento post je o čiastkovom probléme, na ktorý som narazil pri jedom svojom experimente.

Chcem v docker kontajneri bežať BIND DNS server a použiť ho z VM bežiacom pod VirtualBox-om.

Setup:

Host:

# ip -4 addr  show dev docker0
5: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    inet 192.168.1.1/24 scope global docker0
       valid_lft forever preferred_lft forever

Docker kontajner:

# ip -4 addr show dev eth0
13: eth0@if14: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    inet 192.168.1.2/24 scope global eth0
       valid_lft forever preferred_lft forever

VM: Linux (VirtualBox - network adapter mode: Bridge na interface docker0)

# ip -4 addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default 
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    inet 192.168.1.3/24 brd 192.168.1.255 scope global enp0s3
       valid_lft forever preferred_lft forever

Ping v guest-ovi:

# ping -c 3 192.168.1.2
PING 192.168.1.2 (192.168.1.2) 56(84) bytes of data.
64 bytes from 192.168.1.2: icmp_seq=1 ttl=64 time=0.707 ms
64 bytes from 192.168.1.2: icmp_seq=2 ttl=64 time=0.294 ms
64 bytes from 192.168.1.2: icmp_seq=3 ttl=64 time=1.28 ms

--- 192.168.1.2 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2006ms
rtt min/avg/max/mdev = 0.294/0.762/1.286/0.407 ms

Resolvovanie:

Docker container:

# host container.samdom.example.org
container.samdom.example.org has address 192.168.1.2

Host:

# host container.samdom.example.org 192.168.1.2
Using domain server:
Name: 192.168.1.2
Address: 192.168.1.2#53
Aliases: 

container.samdom.example.org has address 192.168.1.2

Guest:

# host container.samdom.example.org 192.168.1.2
;; connection timed out; no servers could be reached

VM guest vie pingnúť kontajner, ale nevie kontaktovať DNS server bežiaci v tom kontajneri. Ale to nie je tak celkom pravda. Tcpdump/wireshark bežiaci v tom VM guestovi vidí, ako odíde DNS paket s DNS query a vidí aj paket s DNS odpoveďou. Ale napriek tomu resolvovanie zlyhá z timeout-om.

Kde je zádrhel?

---

---

Odpovědi

[Filip Jirsák]

Nepopsal jste topologii vašich zařízení, takže je těžké se v tom vyznat. Každopádně Docker používá pro oddělení sítí běžících kontejnerů jmenné prostory, takže kontejnery na sebe síťově nevidí přímo ani nejsou přímo viditelné z venku (z hostitelského systému nebo z jiných zařízení). Pokud na sebe mají vidět dva kontejnery, dělá se to v Dockeru pomocí linkování (např. při spuštění web serveru mu přidáte link na databázový server - Docker pak zařídí propojení mezi kontejnery na síťové vrstvě a upraví soubor /etc/hosts webového serveru, aby byl databázový server viditelný pod zvoleným jménem). Pokud má být aplikace z kontejneru dostupná z venku (z hostitele nebo z jiných zařízení), musí se příslušný port (nebo porty) z Docker kontejneru namapovat na port na hostiteli (Docker pak udělá NAT a co přijde na uvedený port na hostiteli přepošle na zadaný port dovnitř kontejneru).

[rastos]

Nepopsal jste topologii vašich zařízení

Nechápem. Všetko sa to odohráva na jednej fyzickej mašine.

Kontajner bol vyrobený cez Dockerfile, ktorý hovorí

EXPOSE 53

Čo viac by tomu bolo treba? Keďže host, na ktorom beží ten kontajner vie poslať DNS query do kontajneru a dostane správnu odpoveď, tak si myslím, že sieťová služba bežiaca v kontajneri je dostupná "zvonku" (teda z prostredia mimo kontajneru) a chcem, aby bola dostupná aj z VM guesta.

[n]

Pustit ten container s paramatrem

-p53:53

?

[Filip Jirsák]

Všetko sa to odohráva na jednej fyzickej mašine.

To je právě to, co chybělo.

Kontajner bol vyrobený cez Dockerfile, ktorý hovorí

EXPOSE 53

Čo viac by tomu bolo treba?

To říká, že je port 53 dostupný pro propojení, ale propojení musíte vytvořit sám. Jak píše "n", musíte při startu použít buď parametr -p pro namapování všech "expose" portů, nebo -p53:53 pro namapování portu 53 na port 53.

Keďže host, na ktorom beží ten kontajner vie poslať DNS query do kontajneru

Jenže ten dotaz posíláte přímo na interní IP adresu toho kontejneru, ta určitě není dostupná "z venku" (z jiných zařízení) a nemusí být dostupná z jiných jmenných prostorů na daném počítači. A neměl byste ji používat ani pro přístup z hostitele - Docker normálně tu adresu spravuje sám a při příštím spuštění kontejneru může být jiná. To, že jste tam vnutil svou IP adresu, je nestandardní řešení, a není mi moc jasné, k čemu je to dobré - ale řekl bych, že si tím zaděláváte na problémy.

[rastos]

propojení musíte vytvořit sám. Jak píše "n", musíte při startu použít buď parametr -p pro namapování všech "expose" portů, nebo -p53:53 pro namapování portu 53 na port 53.

Nepomohlo. Alebo niečo robím zle a nevidím to. Ak treba, aby som dodal ešte nejaké informácie, tak mi dajte vedieť.

ten dotaz posíláte přímo na interní IP adresu toho kontejneru,

Tak dobre. A na akú adresu by som mal za "normálnych" okolností tú query posielať?

ta určitě není dostupná "z venku"

Kto mi to teda potom odpovedá, keď urobím na hostovi "host container.samdom.example.org 192.168.1.2" a dostanem odpoveď?

Docker normálně tu adresu spravuje sám a při příštím spuštění kontejneru může být jiná.

To chápem, ale chcel som sa s tým zaoberať až v ďalšom kole - po tom, ako budem mať "proof of principle".

[Filip Jirsák]

Použijte ten parametr -p a pak se dotazujte IP adresy hostitele, tedy host container.samdom.example.org 192.168.1.1.

Tak dobre. A na akú adresu by som mal za "normálnych" okolností tú query posielať?

Musíte si nastavit to mapování (-p) a pak je posílat na IP adresu hostitele. Nebo pokud chcete komunikaci jen mezi kontejnery, nebudete port vůbec mapovat a místo toho použijete --link, který mezi sebou přímo propojí dva kontejnery. Ty IP adresy, které kontejnerům přiděluje Docker, se normálně "ručně" vůbec nepoužívají.

Kto mi to teda potom odpovedá, keď urobím na hostovi "host container.samdom.example.org 192.168.1.2" a dostanem odpoveď?

Odpovídá vám BIND z toho kontejneru. Ale je to speciální případ, protože se ptáte z rodičovského kontextu (hostitele) toho kontejneru, máte zřejmě k té adrese přístup.

To chápem, ale chcel som sa s tým zaoberať až v ďalšom kole - po tom, ako budem mať "proof of principle".

Tu IP adresu 192.168.1.2 jste ale musel v kontejneru ručně nastavit vy, ne? Docker normálně kontejnerům přiřazuje IP adresy z rozsahu 172.0.0.0/8, pokud vím.

[rastos]

Použijte ten parametr -p a pak se dotazujte IP adresy hostitele, tedy host container.samdom.example.org 192.168.1.1.

Len pre istotu sa spýtam ešte raz: pýtať sa IP adresy docker0 interface-u na hostiteľovi? Zmysel to dáva, ale fungovať to nefunguje. Timeout.

Nebo pokud chcete komunikaci jen mezi kontejnery ...

To teraz nie je môj cieľ.

Tu IP adresu 192.168.1.2 jste ale musel v kontejneru ručně nastavit vy, ne?

Asi je to tak. Už sa s tým babrem toľko, že neviem, čo presne som dockeru spravil A neviem to vrátiť do východzieho stavu bez toho, aby som zrušil úplne všetko, čo sa dockeru týka (vrátane zmazania /var/lib/docker/*). To by nebola úplná katastrofa, ale ak sa dá, chcel by som sa tomu vyhnúť.

[Filip Jirsák]

Parametr -p podle mne napojí port na všechny IP adresy hostitele, každopádně běžné je komunikovat přes IP adresy jeho normálních rozhraní (síťové karty). Je možné, že to nefunguje proto, že jste změnil konfiguraci sítě uvnitř toho kontejneru, a Docker se pak na něj neumí napojit.

Nestačí vytvořit znovu nový kontejner ze stejného obrazu?

[rastos]

Pravdu díš příteli.

A tiež tomu značne pomôže, keď v tom mapovaní portu je napísané -p 53:53/udp

Pretože (notes to self) "-p 53" znamená, že nejaký náhodný vonkajší port je mapovaný na port 53 v kontajneri a keď ten vonkajší port je 32769, tak ako DNS server je to dosť nafigu. Takže treba "-p 53:53". No a tým sa mapuje defaultne TCP port (čo prezradí výpis z "docker ps") - takže treba ešte pridať "/udp" (čo nie je tak úplne jasne spomenuté ani v dokumentácii).

Takže teraz mám stav taký, že vnútri kontajnera je sieť 172.17.0.0/16, bind v ňom bežiaci odpovedá na otázky vyrobené vnútri kontajnera poslané na IP adresu sieťového rozhrania viditeľného vnútri kontajnera a (fanfáry) odpovedá aj na query vyrobené na inom stroji v LAN. Takže z hľadiska dockera to vyzerá dobre. Jediné, čo mi zatiaľ nejde, je to, aby sa tam spojil aj ten VirtualBox-ový VM. Musím poskúšať, či to chce NAT, či bridge, či ký parom.

Zatiaľ ďakujem za pomoc.

[rastos]

čo mi zatiaľ nejde, je to, aby sa tam spojil aj ten VirtualBox-ový VM. Musím poskúšať, či to chce NAT, či bridge,

Takže, aby som to uzavrel: aj VM sa spojí so bind-om v dockeri. VM má sieťovú kartu v bridge móde a namierenú na eth0 (fyzickú kartu host-a). Vo VM je IP adresa 192.168.0.220 pridelená od DHCP servera v LAN a DNS query poslaná na IP adresu fyzickej adresy hosta (192.168.0.121) dostane odpoveď od DNS servera bežiaceho v dockeri.

Dôležitú úlohu tiež zohrávajú iptables pravidlá vyrobené docker-om (napr. "-t nat -A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER"). Nie vždy zrušenie všetkých iptables pravidiel pomáha

Ďakujem ešte raz Filipovi a "n".