Dotaz: Pomoc s vyberom routerov do vacsej realizacie

[msk]

Cau,

bol som osloveny, aby som odporucil k zasietovaniu jedneho arealu routery. V tejto teme sa ale bohuzial necitim dostatocne fundovany (*1) a tak nez slapim do lajna, tiez prosim o pomoc.

Jedna sa o areal niekolkych budov, s rozne oddelenymi sietami (firemna(e) lan + wifi pre klientov).

Momentalne riesime public Wifi. Ta bude realizovana po poschodiach/kridlach, pocet klientov moze dosiahnut dohromady niekolko stoviek. Kazde poschodie je pokryte 4-mi a viac wifi AP-ckami, zvedenymi do rack-u, medzi rackami na poschodi je backbone dovedeny do centralneho racku pre cely areal.

Routovanie teda mozeme riesit dvomi sposobmi:

A. na kazdom poschodi/kridle router, za nim 4 wifi ap v bridge. Adresy klientov prideluje kazdy router na kazdom poschodi, kazde poschodie ina siet.

B. na kazdom poschodi/kridle switch, vsetky switche v stohu, za nimi vsetky wifi ap v bridge, centralny router prideluje adresy pre celu wifi siet

C. na kazdom poschodi/kridle switch, za nim 4 wifi ap v bridge, centralny viacportovy router, jeden port = jedna siet pre kazde poschodie

Otazka znie:

- riesili by ste ktorukolvek z uvedenych variant pomocou SOHO routerov za par supov?

- pokial nie, doporuci niekto nejake rozumne routery

*1 mensie siete o desiatkach klientov riesim uspesne k plnej spokojnosti roznymi SOHO routerami s openwrt ( v poslednej dobe najma 1043ND ), kde pri poruche zariadenia ho rovno hadzem z okna, menim za nove a iba obnovim backup, kazdopadne v takomto objeme mi to pripada ako krajne problematicke riesenie ( plus dalsie negativa - volne leziaca krabicka, kable zozadu, ledky zpredu, bordel v kabelazi ... )

Diky za postrehy.

Dusan

Odpovědi

[NN]

Odpoved na otazky: Ne. Uvazoval bych o ucelenem reseni na bazi LWAPP + centralni controller pro vsechny AP, cele na samostatne VLAN. Adresaci zajistuje DHCP, autentizaci RADIUS.

[Max]

Na takové věci je stavěn Ruckus - centrální management, konfigurace nového AP spočívá v tom, že se na pár minut připojí kabelem do sítě, on si stáhne nastavení z management krabky, případně i fw a nastaví se. Klienti mohou být připojeni do sítě pomocí kabelu a tím dělají root ap, nebo pomocí wifiny (klient je připojen na jiného klienta - root klienta a on sám je tedy připojen přes hop) a sám navíc dělalá ap pro uživatele. Lze tak tedy pokrýt oblast, kde nemáš kabel.
Co jsem měl naposledy tu čest, tak to není zrovna levné řešení a nové verze fw jsou dostupné jen při placení supportu.

Levnějším řešením může pak být Mikrotik, který umí taktéž meshovat a taktéž má možnosti centrální správy (aspoň myslím).
Zdar Max

[lds]

Celkem ke spokojenosti pouzivame UNIFI (http://www.ubnt.com/unifi). Jako controller se pouziva aplikace nainstalovana na serveru, dodava se jak pro windows tak pro linux. Aplikace controlleru nemusi bezet porad, staci spustit pouze pro nakonfigurovani APcek. APcka umi i vice virtual SSID, podporuji VLAN. Vse pote pripojit do vykonnejsiho centralnimu routeru.

[PanZvedavy]

pokusit se neco podobneho realizovat pomoci soho routeru...to by bylo slapnuti do poradne smradlaveho howna... Na tohle se pouzivaji ucelena reseni jako UBIQUITI, neco ma i Mikrotik nebo jestli mas penize na rozhazovani tak i cisco muze neco nabidnout :)

[frr]

Popravdě jsem nikdy nic tak rozsáhlého nestavěl, což mi ale nijak nebrání Vám do toho kecat Řekněme že jsem šel párkrát okolo, když takové věci stavěli jiní, a rád utrousím pár hraběcích rad... plus něco jsem přece jenom okusil na vlastní pěst.

Předně ta síť není zas až tolik rozsáhlá, aby bylo potřeba za každou cenu oddělovat jednotlivá patra na jednotlivých křídlech od sebe pomocí routerů - myslím v rámci jediné "skupiny uživatelů kteří se smí navzájem vidět". Routery bych uměle vkládal až v případě, že by Vám ta síť začínala klekat pod náporem broadcastů od jednotlivých pracovních stanic, nebo že by to z nějakého důvodu nebylo správcovatelné (lidi by si nastavovali IPčka podle svého, připojovali do sítě černé DHCP routery apod. - a zjišťujte pak skrz L3 a L2, odkud ten bordel přišel).

Jestli potřebujete optimalizovat počet boxů v infrastruktuře a přitom posloužit několika skupinám lidí (volný WiFi internet pro guesty, plus třeba nějaké privátní WiFi sítě, plus k tomu N navzájem oddělených sítí v LANce) tak se nestyďte vyrobit VLAN pro každou skupinu, kterou má smysl oddělit nebo přinejmenším odroutovat. Pokud jeden box oblouží více VLAN, tím líp. Více virtuálních sítí (zde ESSIDů) může servírovat taky jediné APčko na jediném rádiovém kanálu. Můžete mít jeden ESSID otevřený každému, jiné ESSIDy uzavřené = šifrované WPA2 (pro každý ESSID jiný klíč, ovšem v rámci ESSIDu klíč shodný na všech APčkách) a třeba ještě přihodit individuální autentikaci klientů přes 802.1x proti Radiusu (odhaduji že opět může mít každý ESSID svůj vlastní realm nebo i celý rádiusový server, kdyby si to chtěl nájemník servírovat sám, nebo si to nechat od Vás forwardovat podle realmu apod. - v rámci jednoho kampusu možná zbytečná složitost, a složitosti je třeba se pokud možno vyhýbat).

Pokud potřebujete routovat mezi LANkami, zvažte použití jednoho centrálního routeru (nebo několika málo), ten router nemusí být zježený fyzickými porty, můžete routovat mezi VLAN subinterfejsy (do routeru vede L2 trunk) = "router on a stick". Opět je cílem centrální správa.

Stejně tak by mohl být centrální DHCP server - pro VLANy, které ho od Vás budou potřebovat.

V síti téhle velikosti narazíte na problém, který není snadno řešitelný: administrativní evidence topologie sítě, konfigurací jednotlivých boxů, případně automatizované hlídání, kde jste udělal v konfiguraci chybu (neřku-li generování low-level konfigurací z nějakého klikacího toolu) - snažte se to vymyslet pokud možno tak, aby infrastruktura fungovala pokud možno hromadně a samospádem, s minimem individuální konfigurace, s minimem rutinní práce pro individuální konfiguraci (extrémem je zřizování a rušení individuálních úprav konfigurace pro jednotlivé uživatele). Např. pokud se APčka budou moci navzájem lišit v konfiguraci pouze svou vlastní IP adresou pro management, tak tím líp.

Další věc je management rádiového pásma. Máte jenom pár kanálů. Můžete se pokusit o něco na způsob buněčné struktury, tzn. aby aspoň sousední APčka (či nějaké ostrůvky APček v meshi nebo WDS) měly nepřekryvné kanály. Ale v takhle velkém objektu ve dvou rozměrech to bude problém Optimální rozložení (kompromis typu "nejmenší zlo") bude záviset např. na tloušťce stropů mezi patry a přepážek v rámci patra (resp. na jejich schopnosti tlumit signál). Virtuální ESSIDy nad sdíleným rádiovým kanálem šetří rádiové pásmo. Viděl jsem tovární halu, kde v pásmu 5 GHz byly plné všecky rádiové kanály, na každém v průměru 4 APčka (fyzické boxy) a docela to i fungovalo. Fakt je, že tam jeli v podstatě telnet, netahali tam větší objemy dat - jinak by je rychle praštila "aloha".

Dál podle značek:

Cisco je Cisco. Pokud znáte Cisco, je to pro Vás ta správná stavebnice. Může mít svoje mouchy... jako všecko. Cisco umí rychlý roaming podpořený sítí (tuším jak proprietární, tak 802.11r).

Mikrotik vypadá hodně zajímavě. Slyšel jsem drb, že zatímco holé routerboardy jsou spolehlivé, celé SoHo krabičky od Mikrotiku časem hnijou... to se možná týká spíš klientů, vy budete řešit AP. Routerboardy umí většinou napájení přes 24V PoE - o starost míň, místo prašivých adaptérků všude možně po baráku můžete mít silnější a kvalitnější centrální měnič. Nemusí (nemůže?) se jednat zrovna o drahý PoE switch, pro nestandardní PoE na nižším napětí se dělají pasivní patch panely, ke kterým připojíte vnější zdroj, společný pro několik zásuvek. Co do schopností je RouterOS hodně dobrý - a vzhledem k počtu uživatelů i relativně odladěný. Pro konfiguraci máte na výběr "QuickSetup" wizarda, obecné klikací rozhraní, nebo příkazovou řádku - a taky export+import konfigurace. RouterOS umí VLANy a virtuální ESSIDy a mezi nimi virtuální bridge, umí autentikaci klientů přes 802.1x (kdyby bylo nedejbože třeba). Pokud jsem schopen posoudit, RouterOS neumí 802.11r. Pokud jsem měl možnost si všimnout, RouterOS nemá v oblasti WiFi problém naservírovat Vám v roli AP jakýkoli kanál - regulatory blázinec nechává v kompetenci admina.

OpenWRT zdědilo z Linuxu nemilou vlastnost zvanou CRDA, která Vám může docela házet klacky pod nohy co do volby rádiových kanálů (může vám tu množinu docela omezit). Pokud umíte CRDA vykostit, gratuluji. Jinak OpenWRT umí ve svém konfiguračním systému pobrat multi-ESSID konfiguraci včetně odlišných šifrování pro různé ESSIDy, umí i 802.1x proti rádiusu. Oboje jsou to zřejmě vlastnosti použitého hostapd. Tušímže hostapd v development verzi OpenWRT už umí i 802.11r (rychlý handover klienta mezi APčky podpořený sítí, dle otevřeného standardu) čímž je OpenWRT opět napřed před všemi možnými uzavřenými firmwary, které na SoHo APčkách chodí (a patrně i před Mikrotikem). Ale on ten handover chodí docela dobře i bez podpory sítě, klienti si prostě při přeskoku dohodnou šifru znova od začátku a pár vteřin jim to trvá (s "erkem" údajně 20 ms). Sledovat sílu signálu od více AP a patřičně reagovat umí klienti sami od sebe. Pokud se bavíme o OpenWRT na TP-Linku, tak SoHo APčka TP-Link neumí od přírody PoE, dá se sice přidat splitter, ale nativní vstup APčka bere max. cca 12 V. Zas na druhou stranu minimum je asi 5V, uvnitř je spínaný měnič na 3.3V, takže lehký úbytek na vedení příliš nebolí.

Společné a závěrečné poznámky:

Souhlasím s podvozkem TP-Link pro OpenWRT. Aktuální generace TP-Linků má hodně úsporný SoC od Ahterosu - asi dva modely jsem nedávno pitval a hodně se mi líbilo, co jsem našel uvnitř. Úžasně čistá deska, málo součástek.

Bohužel TP-Link ani Routerboardy nepoužívají solid-polymer elyty, ale relativně obyčejné "vodnaté" (zajisté low-esr) - takže mají zabudovanou nejistou životnost. I když ten aktuální Atheros topí *opravdu* maličko, ona ta nejistá budoucnost taky může znamenat 5 let... V těch dvou pitvaných kusech jsem elyty preventivně vyměnil za solid-poly Jsou jich tam asi 2-4 kusy.

TP-Link, Mikrotik i Cisco (na klientech) pokud vím používají hardware Atheros - zjevně vědí proč.

Jako omni antény na patro bych doporučil nějaké tyčové s velkým ziskem a úzkým "talířovitým" lalokem - velký výběr značky Alfa mají na Aspě. Kde to bude mít smysl tak případně sektorovou anténu. Nepoužíval bych příbalové bičíky. Příbalový bičík má relativně nižší zisk daný tím, že září "do celého kulového prostoru". Pokud použijete delší svislou tyč, bude Vám zářit jenom po patře - takže můžete mít větší dosah po patře a menší crosstalk mezi patry navzájem. Možná je to pitomost... záleží na přesném prostorovém uspořádání budovy, tloušťce zdí/přepážek apod. Chtělo by to předem test na místě.

[frr]

Ještě mě napadlo pár věcí...

Pokud je to kancelářská budova pro nájemníky, tak někteří nájemníci možná nebudou chtít VLAN ve Vaší správě, z bezpečnostních důvodů. Napadá mě nechat ve stojanech trochu místa pro vlastní aktivní prvky takových nájemníků. A pak budou nájemníci, kteří si pro jistotu natahají celou vlastní strukturku, aby měli pod "svým" zámkem i kabeláž a rack, kam se strukturka sbíhá

V baráku větším než malém stejně bude muset být metalická strukturka svedena do několika lokálních "metalických rozvoden" s lokálními switchi, protože si to vynutí limit na 100 m délku kabelu. Pokud to má mít nějakou centrální podobu v celém baráku, bude tam navrch ještě nějaká optická páteř pro Ethernet mezi rozvodnami, plus nějaká metalická páteř pro staré metalické technologie (DSL, telefony apod.).

Ještě mě napadá, že "router on a stick" je sice hezká věc, a třeba L3 switch umí i routovat, ale L3 switche často neumí moc firewallovat... U obyčejné kancelářské LANky pro pár desktopů a malý server je router potřeba jenom k tomu, aby tu síťku připojil na internet. Někteří nájemníci třeba nebudou chtít sdílet router do internetu se sousedy, tzn. aby je od sousedů dělil jediný IP hop v cizí správě... Plus možná někdo by si rád nechal přivést vlastní L2 VPN... nebo i klasický VPN tunel, ale "po svém". Čili dalo by se uvažovat jednak o něčem ve stylu "firewall on a stick" (Linux, BSD i Windows dneska umí VLANové subinterfejsy na trunkovém rozhraní), druhak opět nechat prostor ve stojanech pro všelijaké krabičky, co si který nájemník přitáhne (a pak zase odtáhne).

Možná nakonec nějaká mohutná centrála pro celou budovu ani nebude potřeba, pokud se menší plochy pronajímají odděleně. Popravdě řečeno, spousta méně špičkových nájemních kancelářských prostor nemá pořádnou strukturku - počítá se s tím, že si to nájemníci nějak zařídí (třeba hodí po podlaze) a s konektivitou do světa může být taky problém. Pokud nemovitost nemá technicky osvíceného vlastníka a místní telco operátoři jsou nenažraní, není se čemu divit...

Možná nakonec těch pár sítí, které mají pokrývat celou budovu, nebude potřebovat silnou centrálu, spíš jenom 2-3 VLANy a na centrále třeba šestnáctiportový switch pro "rozbočení trunků po budově". Většina routování a firewallování může být distribuovaná po budově v pronajatých prostorách.

Nakonec zásadní věc: chtěl bych Vám popřát, ať má ten barák aspoň připravené svislé kanály pro slaboproudé stoupačky. Tohle je často zanedbáno i v novostavbách. Možná zejména v novostavbách. Držím palce.

[msk]

Perfektny a vycerpavajuci popis, diky. Budova je v rekonstrukcii, o metaliku sa tam stara sikovny clovek. Podla mna je to zasietovane dostatocne rozumne a umoznuje to do buducnosti urcitu flexibilitu. Metalika na AP-cka je uz osadena, podla mna je tam toho viac, ako bude realne treba, zacneme osadzovat a uvidime ako to bude so signalom a podla potreby pridame.

Sieti tam bude par, nejedna sa o ziadnu office budovu k prenajmu, jedna sa o jeden subjekt, rozdeleny na 2-3 'divizie'. Zatial to vyzera na +- 4-5 sieti ( verejna wifi, privatna wifi + plebs a dedikovana na pracu s citlivejsimi datami ).

Racky su uz na kridlach nejaky cas osadene, spolu s PoE switchmi, medzi kridlami/poschodiami metalika a medzi budovami optika + patricne manageovatelne switche. Teraz sa jedna uz len o koncove AP-cka + router(y).

Po precitani dostupnych informacii budem asi doporucovat k pilotnemu testu Unifi (najma kvoli centralnej sprave a 'just works' faktoru) a jeden centralny router. Verejnu wifi siet nechame vcelku, pokym to bude siet zvladat, nebudeme delit. Niekoho si k tomu pravdepodobne este prizveme.

Diky moc za rady.

[frr]

Je radost bavit se s někým, kdo se snaží držet věci pevně v ruce - když už něco dělá, aby to mělo hlavu a patu. Přeju hodně štěstí

[frr]

U PoE si dejte bacha na kompatibilitu.

Standardní 802.3af/at pouští po drátech 48V a specifikuje jakýsi počáteční handshake, při kterém si napájecí a napájené zařízení dohadují proudový odběr.

Pak existuje spousta "taky PoE" zařízení, která pracují s pasivními injektory+splittery a nižším napětím. Jsou jednodušší a levnější - ale pokud byste to nakrmil 802.3af switchem, tak jsou dvě varianty:

a) buď to switch pozná (absence handshaku) a napájení nepustí

nebo b) tam switch pustí 48V a koncovému zařízení shoří vstupní měnič napájení.

Routerboardy od Mikrotiku berou tuším 12-24V. Pak se dá PoE přibastlit k většině AP (zejm. pokud mají na vstupu spínaný měnič) pasivním injektorem+splitterem na napětí cca 12V. Existují tuším taky stand-alone aktivní splittery, které berou z linky 802.3af a na výstupu dávají 5 nebo 12 V. Nevím jaké PoE má Ubiquiti. Záleží jaký hardware použijete, hledejte v dokumentaci. Mimochodem SR71-e od Ubiquiti je moje oblíbená MiniPCI-e wifi karta pro všeobecné použití

[msk]

Podla datasheetu k Ubiquity sa jedna o "passive 48V PoE", co si mozem vylozit rozne. Takze to asi bude chciet kupit jeden kus a modlit sa, ze to bude chodit s uz nakupenymi a osadenymi switchmi :).

[msk]

Mozno by som mohol zhrnut po 2 rokoch od realizacie stav. Takze:

- cely areal je prakticky postaveny na planet switchoch a jednom Mikrotik Cloud Core routeri

- vsetky switche su medzi sebou prepojene 10-1 Gbps uplinkom (strieda sa metalika a optika, podla vzdialenosti), kapacita zatial staci

- mikrotik routuje do uplinku niekolko vlan (infrastruktura, dohlad, zamestnanci, klienti, dmz, ...), ktore su potom podla potreby na jednotlivych switchoch odtagovavane pre jednotlive koncove body. Zaroven robi NAT do Internetu pre niektore siete a firewall-uje medzi sietami podla potreby. Vykonovo zatial bohate staci.

- na bezdrat sa pouzilo Ubiquity UniFi, nastavene na par klikov, bezi bez problemov. Kazde AP-cko "vysiela" niekolko roznych vlan. Pohyb po budove a "preskakovanie" medzi ap-ckami uplne bezproblemove.

Zaver - osobne som pred touto realizaciou nemal so ziadnou z uvedenych technologii ziadne vacsie skusenosti, ale slo to relativne bezproblemovo, aj ked par zasekov som zazil (najvacsi pruser bolo ked som si odpilil pod nohami pristup do plne nakonfigurovaneho mikrotiku [bez zalohy], skoro ma jeblo, znovunakonfigurovaval som to cely vikend, obdobne to bolo s backupom nastaveni planet switchov [ktore su ku vsetkemu tak debilne, ze jeden export nastaveni nejde importovat do ineho kusu toho isteho switchu]). Pozitivny dopad to malo na mna asi primarne v tom, ze v poslednej dobe vo svojom okoli nahradzam rozme poumierane dd/openwrt wifi-ny UniFi-ckami a umrete soho routery mikrotikom.