Dotaz: Uvaha pfsense v KVM

[jany2]

Moj stary RB450 uz nestiha (presiel som na GPON). Moja terajsia siet s RB450 vyzera nasledovne

Inet <----> VDSL_modem_bridge <----> RB450-MK-PPPoE <----> Switch <----> LAN_192.168.1.0/24

Na RB450 som vyuzival 2 ETH porty, jeden nastaveny ako WAN a druhy ako LAN. RB450 musi ist prec, lebo je zastaraly a nestiha. Najprv som uvazoval o novom RB50Gx4 ale potom som si povedal, ze mam doma jeden volny Odroid H2. Ten ma 2x gigabit sietovky. Neviem ci moje uvahy su dobre, ale chcel by som to spravit nejak takto. Vid Obr

BTW pfsense uz skusali na proxmoxe .

Len som teraz z toho nejaky jelen

Zatial mam siet, kde mam stary mikrotik (vid prvy model siete hore). Cize pripojim sa cez jeden ETH port s Odroid doskou do LAN siete 192.168.1.0/24, nainstalujem proxmox a dostanem IP adresu z rozsahu (napr. 192.168.1.10). V proxmoxe vytvorim KVM, kde nainstalujem pfsense (dostane IP adresu napr. 192.168.1.11). Ak sa mi to vsetko podari, tak v pfsense budem mat pripravene 2 ETH porty. Fyzycky siet prepojim do takeho stavu

Inet <----> (Odroid ETH1 (KVM PFSense-ETH1-PPPoE --ETH2) Odroid ETH2) <----> Switch

Z ETH2 uz bude konektivita tiect priamo do switchu z ktoreho budu napojene dalsie fyzicke stroje (PC atd ...). Tym padom v pfsense bude na strane LAN spusteny DHCP server (napr. 192.168.0.0/24) ktory bude rozdavat IP adresy fyzickym strojom. Ak bude v pfsense na WAN rozhrani spravne nastaveny PPPoE a na LAN rozhrani spravne DHCP server, tak stroje budu dostavat IP adresy z rozsahu 192.168.0.0/24.

Teraz je otazka, ako sa zo siete 192.168.0.0/24 dostanem na IP adresy do siete (na ktorej bude proxmox a pfsense (+ dalsie KVM a LXC) 192.168.1.0/24 ?

Zrejme to budem musiet nejako bridgovat, resp. routovat, ale zatial s tym nemam ziadne skusenosti, viete mi poradit?

vdaka

Odpovědi

[PetebLazar]

Není jednodušší mít na LAN rozhraní OH2 jeden adresní IP(DHCP)rozsah (při LAN rozhraních jednotlivých KVM v bridge mode), nebo je záměrem izolace jednotlivých VM?

[Karlosek]

Záleží, jestli chceš oddělené sítě pro virtuály (třeba DMZ), nebo jen jednu pro všechny. V prvním případě bys potřeboval v pfsense 3 rozhraní a nastavit pravidla v pf. V druhém stačí naházet eth2, kvm i lxc do bridge a ten nastavit jako lan v pf. Eth1 pak nastavit třeba jako passtrough ve virtuálce pf, nebo taky jde vytvořit druhý bridge a dát tam eth1 a virtuální adapter pf jako wan. Mám to tak na pure debianu, nahodil jsem lxde s vnc, spravuji přes virt-manager a to klidně vzdáleně přes ssh. Akorát lxc se musí spravovat manuálně. Wan je nastavená jako macvtap passthrough na fyzický adapter a vše ostatní v bridge.

[jany2]

Chcel by som to takto. Na OH2, jedna sietovka (fyzicka) dajme tomu ETH1 by bola WAN. Druha sietovka ETH2 by bola LAN (ta by smerovala do fyzickeho switcha).

Na WAN by bola verejna IP a na LAN by bola 192.168.0.1, to by bolo pre webif pfsense. Mohol by potom pfsense ktory by poskytoval DHCP pre LAN pridelit IP adresu aj proxmoxu ? Ako by som sa potom dostal na proxmox, ci uz ssh, alebo webif.

Pripada mi to take divne, ze by vyrtual poskytoval IP adresu fyzickemu stroju na ktorom hostuje. Mozno by som si to mal skusit nainstalovat aby som bol mudrejsi

Zatial ale uvazujem ako by to fungovalo

thx

[PetebLazar]

Pripada mi to take divne, ze by vyrtual poskytoval IP adresu fyzickemu stroju na ktorom hostuje

Proč nevyhradit(nastavit) OH2 serveru a stejně tak pfsense ve VM statické IP adresy v LAN?

Default Configuration using a Bridge Bridges are like physical network switches implemented in software. All virtual guests can share a single bridge, or you can create multiple bridges to separate network domains. Each host can have up to 4094 bridges.

The installation program creates a single bridge named vmbr0, which is connected to the first Ethernet card.

Virtual machines behave as if they were directly connected to the physical network. The network, in turn, sees each virtual machine as having its own MAC, even though there is only one network cable connecting all of these VMs to the network.

Z dokumentace Proxmox.

[Karlosek]

Přesně tak, v domácích podmínkách to nemá moc smysl komplikovat. PM asi bude chtít vytvořit další br pro wan s příslušným fyz. eth. Ten pak nastavit v pf na wan, druhý br jako lan. PM a severům nastavit pevné IP třeba do .100, dhcp nastavit od .100. To zaručí, že se na důležité stroje dostaneš z lan i když by byl problém s pf. p.s. koukni se na Opnsense, mě je tak nějak sympatičtější

[Pavel 'TIGER' Růžička]

Mne je zase sympatický IPFire, ale vše je jen o prioritách.

[Pavel 'TIGER' Růžička]

Ne vždy je dobré mít všechno DHCP, někdy je lepší si nějaké adresy z DHCP rozsahu vyčlenit a komunikovat mezi zařízeními staticky. Třeba jen kvůli pořadí startu jednotlivých zařízení.

[Peter Golis]

S tým sa dá len stotožniť. Napríklad je dobré mať statickú IP pre sieťové rozhranie na ktorom beží DHCP Daemon.

[jany2]

Na servery vzdy davam staticku IP, resp. v MK som vzdy bindol IP adresu s MAC adresou stroja, ci uz virtualu, alebo fyzickeho servera.

Cize nemal by byt problem, ked nainstalujem proxmox a dam mu staticku IP 192.168.1.100. Prvy KVM na proxmoxe bude PFSense (prip. opnsense) v ktorom budu samozrejme 2 sietovky. ETH1 bude PPPoE (verejna dynamicka). ETH2 bude 192.168.1.1, ktora bude GW a bude tam sediet aj DHCP pre fyzicke stroje v sieti. Pre KVM/LXC dam staticke IP z toho isteho rozsahu. Potom by som sa mal dostat v ramci LAN aj na proxmox.

Hned zajtra to zacnem instalovat :)

[jany2]

Přílohy:

• Obrazovka z 2020-09-18 05:34:29.png (257271 bytů)
• Obrazovka z 2020-09-17 19:33:27.png (41825 bytů)

Podarilo sa mi to vsetko nainstalovat. Vyzera to tak, ze zatial vsetko funguje. Testoval som to len par hodin a nezaznamenal som problem. Do damacej produkcie sa to ale bojim nasadit, pretoze som vela cital a zistil som, ze freebsd resp. pfsense ma dost velke problemy s realtek sietovkami. Odroid H2 pouziva sietovky RTL8111G. Strasne vela uzivatelov sa stazuje na vypadky sietoviek, jednoducho prestanu pracovat (spadne siet). Realteky su proste zle!!! Ked som kupoval OH2, nevedel som, ze na tom budem chciet postavit router/firewall, ale teraz mi uz nepomoze nariekat nad rozliatym mliekom.

Je to take rozpoluplne, niekomu to proste funguje dobre a niekto ma problemy, nieco o tom je popisane na netgate fore resp. v dalsom topicu. Tam skor popisuju problemy na realnom zeleze. Neviem vsak aky je rozdiel, ked mam pfsense v KVM a on nevidi realne realteky, ale podhodil som mu VirtIO (paravirtualized). Vobec neviem ako by sa to chovalo, ked by som skusil Intel E1000, avsak na konci bude aj tak skutocny realtek.

thx

[PetebLazar]

Není to tak, že pokud má pfsense ve VM virtualizovaný NIC (nikoli passthrough NIC) tak stabilita Realteku ve FreeBSD není určující (rozhoduje zde kromě QEMU/virtio mj. stabilita/chování Realteku obsluhovaného kernelem Linuxu)?

https://www.redhat.com/cms/managed-files/2019-09-12-virtio-networking-fig1.png Zdroj

[Karlosek]

Bude to ok. Sám používám macvtap passthrough - tam se ale také nastavuje virtio. Ty to máš v bridge (?) takže o realtek se stará Linux. O problémech s virtio jsem četl pouze se shapingem, tam se doporučuje dát E1000. Jinak bezproblémové. Asi bys musel použít úplný pci passthrough, aby pf viděl realteka.

[jany2]

Ano obidva sietovky mam v bridge. Skusim to teda nasadit do realu, ale nebol by som rad ak by to padalo (to by ma urcite nepotesilo).

Inak pozeral som aj po inych (skor) mini itx MB s dvoma NIC a vacsinou je vsetko postavene na realtekoch (myslim u nas bezne dostupne asrock, gigabyte a spol ...). Neviem preco sa NIC realteky tak nemaju radi s freebsd. Niekedy davno ked som kupoval asrock tak ani ma nenapadlo skumat aku pouziva NIC. Dal som tam proxmox 5.x a od vtedy to tam funguje bez akehokolvek zadrhelu a NIC je tam tiez RTL8111GR.

[PetebLazar]

Pro dedikované řešení, například APU2 od PC Engines využívající Intel NICy (2-4). Otázkou je, nakolik by z dnešního pohledu výkonově limitovaný AMD GX-412TC nebyl v náročných řešeních brzdou.

[jany2]

Mozno som mohol viac hladat, netvrdil som ze take MB nie su, ale mozno su menej beznejsie. Tato asrock sa mi tiez paci + nejaky uspornejsi Intel s Teckom a RAM. Dokonca ma 6x SATA co na mojom OH2 su len 2, takze data chcem riesit cez USB3 disky.

Mam/mal som taku predstavu, ze na OH2 postavim Proxmox VE a do VM router/firewall a dalsie VM/LXC aby to bolo vsetko na jednom HW.

Teraz mam Asrock J1900 kde mam Proxmox (VM/LXC) a ako router pouzivam routerboard. Ak by som asrock a RB zrusil, pouzil namiesto toho OH2, tak by to bolo fain. Som si toho vedomy, ze ked padne Proxmox, tak pada vsetko (cela siet WAN PPPoE) ale od kedy mam Proxmox, tak este nikdy nepadol

[Ruža Becelin]

Nebyl, tady mi to utahne Gbps upstream, aniz by se vyrazne zapotil (doslova)

[PetebLazar]

Měl jsem na mysli třeba provoz VPN serveru, na druhou stranu CPU by mělo podporovat AES-NI tak by to pár stovek Mbps údajně mělo zvládnout.

[Bugsa]

Provozuji několik miniPC z Aliexpressu se 6 NIC. Na všech běží Proxmox a v něm pfSense nebo OPNsense a někde v kontejneru OpenWRT. Nikde jsem nezaznamenal žádný problém, vše funguje spolehlivě a rychle. Síťovky vždy předávám v módu VirtIO.

[jany2]

Jedna sa o stroje tohto typu? Su tam realteky NIC, Intel, alebo nieco ine ?

Tiez som zvazoval kupu, ale odradilo ma to, kvoli pripadnej reklamacii

[k3dAR]

zkusenost s tim nemam, ale pro jeden "projekt" sem pred casem delal "resersi" a nejlip mi vyslo tohle (Celeron 6gen s AES-NI, 2x DDR4 max 32GB, 1x mSATA, 1x interni 2.5" sata, 6x Intel GLAN)

[trekker.dk]

Hezky tam dávají na výběr - Color: no harddisk/32G MSATA/64G MSATA/...