Dotaz: Návrh sítě

[kubik]

Mám na starosti síť ve škole. Je potřeba ji trochu přeuspořádat a já bych potřeboval poradit nějaký smysluplný návrh.

Co máme (omlouvám se, jestli je výčet nepřesný, neúplný, dle potřeby doplním):

• několik set uživatelů, asi 150 PC v LAN a několik set telefonů ap. na wifi
• asi tři použitelné servery (např. Fujitsu Primergy TX100S1), každý jiný, asi dva starší, lze dokoupit třeba další dva
• říditelné switche
• máme vlastní web server, mail server, LDAP ověřování pro přihlašování, sambu, FreeRadius s Cisco controllery na WiFi
• jeden Win server se třemi službami, které nejde přesunout
• pár kopírek/tiskáren

Ocením rady zkušených, jak ty služby rozdělit na jednotlivé stroje a uspořádat mezi sebou.

Můj návrh:

• na vstupu ze světa jeden linuxový stroj s firewallem a dvěma síťovkami (ven a dovnitř)
• win server s těmi službami
• jeden linuxový stroj na web
• jeden linuxový stroj pro mail
• jeden linuxový stroj na zálohy

Nevím, kam dát:

• DHCP a DNS
• LDAP, FreeRadius
• Sambu

Nedokážu odhadnout zátěže, kapacity a tak.

Budu vděčný za jakékoliv připomínky, návrhy nebo třeba i odkazy na nějaké články na dané téma.

Odpovědi

[NN]

Misto dalsich dvou krabic koupit vykonejsi 2U placku do racku a vsechny servery/sluzby vcetne win serveru, DHCP, DNS, LDAP etc. virtualizovat. Pokud budou penize, nejake mensi policko k tomu jako uloziste.. Sit nasekat do VLAN, pokud uz to tak neni. Telefony jsou IP/ustredna? Ad firewall, co je to za pripojku? Zadny router? Cim to konci ted?

[kubik]

Díky za reakci.

O virtualizaci jsem taky uvažoval. Ovšem moc o tom nevím. Taky netuším, na kolik by vyšel jeden takový stroj. Jak zhruba by ten stroj měl být výkonný? Jak to poznat?

Nemáš nějaký tip na nějaký web(y), kde by byly ceny?

Co si myslíš o repasovaných serverech?

[Kit]

Velkým mínusem repasovaných serverů bývá malá RAM a vysoká spotřeba energie.

Požadovaný výkon bys mohl odhadnout ze zátěže stávajících serverů s výhledem na dalších 5-7 let. Do 20 kKč by ses mohl vejít. Na RAM však nešetři.

[Petr Tomášek]

Já bych to rozdělil do dvou "serverů". První by byl zodpovědný za základní chod sítě (DHCP, DNS, LDAP) a druhý za „služby“ (web, FTP/Samba, atd.).

Ta první část se dá dát v nouzi i na router, ten bych rozhodně nechal běžet na normálním Linuxu (žádné osekané příšery typu OpenWRT a už vůbec ne nějaké¯uzavřené komerční systémy)...

[langhos]

jen prosim v zadnem pripade nedavej vsechno na jeden jediny stroj... virtualizaci minimalne pres 2-3 servery. Jinak budes v haji uplnem kdyz se s tim serverem neco stane.

[Jendа]

Tohle v SOHO řeším tak, že někomu ukradnu desktop, přeskládám disky a pustím to tam . (proto je například důležité, aby tam nebyl žádný enterprise vmware s proprietárním RAIDem)

[Josef Kufner]

A vadilo by něčemu, kdyby se používaly jen desktopy namísto předražených serverů?

[Jendа]

Spíš ne. Možná by pomohlo sehnat desktop s ECC a remote management (často by mohl stačit sériák na GRUB, konzoli kernelu a getty, ale pomocí toho neuděláš některé věci; nicméně Intel AMT začíná být ve všem, takže pokud člověk nějak vyřeší, že je to jedna velká díra, tak má i ten management).

[Max]

Pokud jedeš v pár ks., tak to vadit nemusí, ale upřímně, servery nejsou předražený, obzvlášť v případě, kdy člověk nakupuje po více ks.
Už jen blbý redundantní napájení je u desktopu problém, což je základní věc.
Zdar Max

[Jendа]

Pokud ten firewall nemá odbavovat 10 Gb/s, na webu není 100 návštěv za sekundu a neposíláte 50000 mailů za hodinu, tak je nesmysl mít 5 serverů.

Jak zhruba by ten stroj měl být výkonný?

Záleží, jak velká data chcete tahat po té Sambě a kolik žerou ty existující windowsové služby, ale jinak podle mě bude stačit cokoli vyrobeného v posledních 8 letech s 16, nebo lépe 32 GB RAM.

[Kit]

Co takhle ten webserver a mailserver vykopat ven do cloudu? Ušetří se tím traffic a zjednoduší se správa.

Ty dva ušetřené servery pak stačí jen recyklovat na požadované nové služby a nic se nebude muset kupovat.

[Wex]

Například google apps jsou pro školy zdarma.

[xxxxx]

Jasne proc googlu nedat uplne vse, vcetne fota vaseho rekta...

[randy]

Takze Google nie. Radsej do Microsoftu? Office 365 je pre skoly tiez zadara a k tomu MS Office pre vsetkych. To je asi lepsia volba.

[Roman]

Ano MS je lepsi volba pro statni organizaci typu skola. Bohuzel to vychazi ze statni spravy a jejich pozadavku. Zkouseli jsme prejit, ale nejde to.

[Josef Kufner]

Důležité je se zamyslet, co přestane fungovat, když to či ono padne. Pak taky jak to napravit. Je dobré oddělit věci, které mohou fungovat nezávisle a vyčlenit ty problematické, případně je dát za vlastní firewall.

Jak už zde padlo, virtualizace je velmi užitečná. Kontejnery mají velmi malou režii a umožní ti udržovat jednotlivé služby na různých systémech a hlavně i stěhovat je mezi servery. Pokud jeden server padne, přehodíš kontejnery na sousední a nikdo si ničeho nevšimne.

Rozdělil bych situaci na to, co řeší infrastrukturu, a pak na jednotlivé služby.

Co se infrastruktury týče, dát jeden počítač jako bránu (router, firewal, více síťovek) je v pohodě. Síťovky bych do něj dal alespoň tři. Jednu ven, druhou dovnitř a třetí pro win server, aby měl taky firewall. U linuxových serverů si firewall nastavíš stejně, jako na bráně, ale ty Windows jsou jedna velká díra, kterou je lepší neukazovat ani na LAN. I když ještě lepší by bylo virtualizovat i ten win server.

Zálohovací server určitě jako samostatný stroj někde fyzicky opodál. Pokud se stane nehoda v serverovně, ať to má šanci přežít.

Všechno ostatní rozházet do jednotlivých kontejnerů a servery použij dohromady jako privátní cloud (tedy jako obecnou infrastrukturu na spouštění kontejnerů).

Weby nepočítej dohromady – jednotlivé aplikace jsou děravé, tak dej každé svůj kontejner.

A ještě jedna mírně off-topic věc: WiFi je nestabilní bordel, nikdy nedávej WiFi síťovku do serveru/routeru. Vždy je lepší připojit do sítě samostatné AP, které se dá snadno a bezbolestně restartovat. Navíc taková AP mohou být na mnoha místech, kde je nejlepší signál a není potřeba vytahovat VF kabelem anténu z kouta.

[Max]

Přikláním se k virtualizaci. Min. dva servery, ať je aspoň failover. Zjednoduší se backupy a obnovy, možnost si rychle postavit testovací prostředí naklonováním produkce. Můžeš si rozhodit služby do kontejnerů, nebo i do jednotlivých VM (usnadníš si aktualizace OS a zmírníš rozsah odstávek)
Pak něco, kam můžeš odlejvat zálohy, buď další server, nebo jen nějaký NAS.

Síť mít rozdělenou na několik vlan :
- management (switche, AP, servery)
- služby (serverové app jako smtp, ldap apod.)
- tiskárny
- wifi síť
- telefony
- testovací vlan pro testovací prostředí

Routování mezi VLAN bych řešil L3 switchem. Firewall pro přístup do vlan bych řešil v rámci ACL na L3 switchi.
Server bych nestavil jako GW do netu, není k tomu důvod. To bych přenechal jen nějaké krabičce (ciscu, mikrotiku atd.)
Přístup na net od klientů přes proxy, jinak drop.
Nastavení proxy distribuovat přes dns/dhcp a mít na web serveru vhodně nadefinovaný "wpad.dat"

Režie linuxového dns/dhcp/radiusu/ldapu jsou minimální. Pro tak malý objem klientů je to relativně nula nula nic. V klidu to uživíš na 1 core + 1GiB ram. Každopádně když to provozuješ, tak asi víš, jaké to má režie, ne?
Samba, záleží kolik uživatelů a kolik dat. pokud jde jen o dokumenty a sem tam něco, tak v klidu 1core 1GiB ram (resp. já 2core a 2GiB, aby byla větší cache pro fs operace + kdyby jsi tam chtěl něco balit, nebo spouštět, tak aby byla rezerva).
U serverů spíše než CPU je v dnešní době důležitá RAM a nejvíce disky (rychlost v IOPS a kapacita).
Zdar Max

[Petr Tomášek]

Routování mezi VLAN bych řešil L3 switchem

Na routování bych ničemu, co není čistý Linux nebo *BSD nevěřil.

[Max]

Mám tu 48x 10Gbit L3 HP, který stackuju a mám tak vlastně fyzicky tři. Nějak nevidím přínos vedle toho ještě provozovat dva servery, který budou dělat routing. Přijde mi to na takovou triviální věc naprosto zbytečný.
Zdar Max

[kubik]

Díky všem za dosavadní a třeba i budoucí příspěvky. Doplním pár informací případně dotazů:

Wifi jede přes ty Cisco controllery, pouze se ověřují přes náš Freeradius a LDAP. A tvoří samostatnou VLAN. Je to z nějakého projektu.

Na zálohování máme NAS, v jiném umístění.

Vše, kromě asi tří služeb pod Win, momentálně jede na různých distribucích a verzích linuxu. Prostě historický a živelný vývoj v podfinancovaném školství. Ani pamětníci o některých věcech moc neví.

Zdá se, že převládá názor na virtualizaci. Přijde mi to také smysluplné, už kvůli záložnímu řešení. Náš asi nejvýkonnější stroj je čtyřjádrový Xeon s 8 GB RAM (Dell PowerEdge T20). Myslíte si, že je to dostatečný výkon pro tu virtualizaci? Třeba s navýšením RAM? Na kolik byste doporučili?

O virtualizaci toho opravdu moc nevím. Vím, že existuje oblíbený nějaký VMware. Pojem kontejner mi nic neříká. Mohl by mě prosím někdo postrčit správným směrem, kde začít studovat? Nějaké šikovné odkazy třeba?

Ředitel je ochoten zaplatit třeba nějakou konzultaci. Rozhodně preferuji konzultaci a následně si to budeme řešit sami s případnými průběžnými konzultacemi, místo toho, aby nám to někdo celé udělal a my nebudeme zase nic moc vědět. Našel by se někdo ochotný z Brna?

[DD]

Ahoj,

obdobný rozsah spravuji ve škole - jen s tím rozdílem, že ty PC byly tencí klienti a dnes jsou to tlustí klienti. Máme to takhle :

• 2 fyzické servery, na kterých běží virtualizace (vč. virtualizovaných WinServer2008R2). Dva považuji za nutnost pro failover HW - virtualizace se snadno přenášejí a fungují perfektně
• vstup je přes Mikrotik router, nikoliv přes server - výborně se na něm nastavuje vše potřebné pro síť, je to osvědčený a prověřený aktivní prvek sítě
• LDAP DNS DHCP a pod. služby mnoho nevezmou, největší problém je jinde - propustnost sítě. Máme vyexportované home a jiné složky přes NFS a Sambu a pro max. propustnost spojeny 4 síťové karty.
• konzultaci se nebráním, můžeme se domluvit - v profilu mám email, tak lidně napiš....

[Max]

Pro virtualizaci můžeš použít Proxmox. Podporuje jak kontejnery, tak plnohodnotnou virtualizaci.
Kontejner není úplně tak virtualizace, jen spustíš systém v uzavřeném prostředí a využívá stejné jádro jako host. Přístup ke storage je nativní a nejde přes další vrstvy jako u plnohodnotné virtualizace. Dosáhneš s ním většího výkonu a je méně paměťově náročný.
V kontejneru Windows nespustíš, můžeš tedy mít klasické Linux mašiny nasekané v kontejnerech a jen Windows pak virtualizovat. Proxmox má společné rozhraní, takže z hlediska správy by to neměl být větší rozdíl.
Pokud tedy třeš bídu s nouzí ohledně hw, tak Proxmox + Linux v kontejnerech + Windows ve VM.
Pokud jde o ram, tak 2GiB pro hypervisor (Proxmox) + zbytek podle náročnosti. Tzn., že pro dhcp/dns/radius = 1GiB, samba podle toho, jak to máš náročné, třeba 1-2GiB a na Windows nevím, co ti běží, ale tam min. 4GiB.
Ram není drahá, takže pokud dokoupíš dalších 8GiB, tak ti to asi bude stačit.
Zdar Max

[Jendа]

Osobně mám nejradši KVM s libvirtem. Existuje k tomu i klikací rozhraní virt-manager. Co se dneska používá na kontejnery netuším. Zdědil jsem jedno OpenVZ, ale je to peklo (brutálně opatchované jádro), a pak frčelo LXC a Docker, ale tam byly nějaké problémy s bezpečností (možná už se vyřešily).

Náš asi nejvýkonnější stroj je čtyřjádrový Xeon s 8 GB RAM (Dell PowerEdge T20).

Přidat RAM a mělo by to být OK.

[Josef Kufner]

Vše, kromě asi tří služeb pod Win, momentálně jede na různých distribucích a verzích linuxu.

Ideální situace na nasazení kontejnerů.

Virtualizace jsou všeho všudy tři druhy: Úplná, kdy se emuluje kompletně celý hardware (např. staré herní konzole na moderním PC). Pak na úrovni operačního systému, kdy se neemuluje hardware (tj. virtualizovaný stroj je shodné architektury jako hostující systém; využívá se HW akcelerace virtualizace), ale virtualizovaný je celý operační systém (KVM, VMware, Virtualbox), což se hodí pro Windows nad Linuxem. Nejméně virtuální jsou kontejnery, což je v podstatě jen oddělený namespace, kde kontejner sdílí jádro s hostujícím systémem (LXC, systemd-nspawn). Výhodou kontejnerů je velmi nízká až zanedbatelná režie. V zásadě můžeš kontejner chápat jako lepší chroot.

V prvním kole se vybodni na Windows, klidně jim nech samotný HW stroj, a pohraj si s LXC nebo s systemd-nspawn (podle toho jak moc si rozumíš s systemd – systemd-nspawn je lépe integrovaný).

Můžeš se kouknout třeba i na věci jako Kubernetes, ale to už je trochu vyšší level.

[j]

1) tux na router/firewall je ponekud overkill, to je fajn doma, kde to dela hromadu dalsich veci, ale ne jako samostatnej. I kdyz pokud tam das nejaky fakt levny 1U tak proc ne.

2) vse ostatni bys mel virtualizovat, mozna ne hned (v zavislosti na financich) ale vyhledove urcite. Tzn rozdelit funkcne (mail/web/... zvlast) ale ne na zvlastni HW. Koupit 2-3 vykonejsi stroje je mnohem efektivnejsi (a i levnejsi) nez koupit 5+ stroju.

3) cimz vyresis i pripadny vetsi zatizeni = proste rozdelis ty virtualy podne potreby

Ad vykon ... pocitej ze potrebujes hlavne hodne RAM, cim vic tim lip. Na jeden tuxi stroj kterej nebude delat nic (dhcp, dns ...) ber tak 2-4GB. U widli sou 4 min, pocitej spis 8GB. Samo pokud na tom neni nejaka databaze.

Ad ceny ... novej stroj s 2*10jader + 256GB ram cca 200kKc (bez disku). Zakladni pole v zavislosti na konfiguraci radove od 300k (bez ssd). Muzes samo nakoupit vyrazne levnejs ve frcu jedno i druhy, ale ...

Ve vysledku bys (v optimalnim pripade) mel mit - neco na routovani/firewall (samostatnej HW aby to bylo fakt i fyzicky oddeleny), 2 az N virtualizacnich stroju (dva sou minimum, abys mel druhej kdyz jeden pojde), oddeleny uloziste (NAS/SAN podle potreby, muze v principu kombinovat obe v jedny krabic. Vyhoda je predevsim to, ze nikde jinde disky nepotrebujes) a dalsi uloziste na zalohovani.

Nepredpokladam, ze ti bude nekolik set uzivatelu neco stahovat z ty samby ... coz je tak jediny na co bys moh narazit - predevsim teda financne, protoze na to bys potreboval opravdu hodne IOps na poli.

[DD]

Ty ceny jsou pro školu mimo mísu ... jen pro představu obnovovali jsme 1 server. Cena musela být bez disků a case (použili se staré) do 40 tKč. I za tuto cenu vše funguje ke spokojenosti.

[kubik]

Ano, myslím, že můžu počítat s rozpočtem tak 50 tis.

[j]

Jestli ze tam ma wireless switche od cisca, tak mi to az tak mimo neprijde, jinak skola mozna dostane ceny ponekud lepsi a asi nepotrebuje 256GB Ram. Za 50k prozmenu neporidi nejspis vubec nic.

[Max]

dhcp, dns,radisu 2-4GiB? to je overkill.
Pokud jde o win, tak na 4GiB jde udělat celkem dost muziky, v jedné dceřince se válí ještě SBS2008, je tam cca 25 uživatelů, používají na tom fileshare, dns, dhcp, active directory, Sharepoint a Exchange se 40 mailboxama (cca 40GiB databáze) a ten stroj má 4GiB ram :).
Takže jde všelicos a tebou navrhované řešení je úplně zbytečný overkill, na který škola mít rozhodně nebude. Podle mně si v klidu vystačí se současným hw.
Zdar Max

[kubik]

Na těch Win běží asi tři služby dodané nějakými firmami (obědy, docházka, printserver). S tím určitě zatím hýbat nebudeme. Jedna ta služba je dost nenažraná, vyžaduje aspoň 16 GB RAM a i to není úplně ideální. Nelíbí se mi to, ale nějak to běží, tak do toho nebudeme rýpat.

Je pro mě povzbudivý názor, že by stávající HW mohl stačit.

[Roman]

Dplnim jeste k VLANum - urcite vlany pro zaky, ucitele, admnistrativu, starvovaci a/nebo dochazkove terminaly - black boxy, ktere maji podporu jen 4 mistneho hesla!

[lertimir]

Jen pár poznámek, většina zde už byla řečena.

• Začít od konce, tedy definovat spužby, které chcete mít. Pro ty služby definovat, kvalitu služby (vadí když mail nepojede hodiny, dvě nebo max výpadek je do 5 minut
• určit si jak službu z potřebnou kvalitou realizuji. např web mohu mít na VPS ce s patrně mnohem vyšší rychlostí než na uploadu liky ze školy. na vstupu mohu mít router s OpenWRT, zálohy může dělat přímo NAS softem, který jede na něm. Servry (ve smyslu běžící služby) bych rozumně virtualizoval a možná rozumne sdružil DHCP, DNS, LDAP, Radius může běžet na jednom stroji. Třeba na nějaké malině. v podstatě to nic nedělá.
• zjistil zátěže na systémy a sít a podle ní upravil parametry serverů a VLAN. Oddělit studenty a pracovníky na L2 úrovni mi připadá jako dobrý nápad.
• Nahodit si rozumný monitoring a centrální logovací server. Na monitoring třeba xymon nebo nagios. At se ví když se děje něco špatného

[vencour]

Taková drobnost: předpokládám, že aspoň tušíte, jak má vypadat rozložení zátěže, co je po LAN a co jde do internetu. A tomu přizpůsobujete ostatní. A čekal bych, že i máte představu, co tak může nastat např. za 3 roky a že budete připraven ... tj. že Vaše dnešní práce, úpravy a tak mají nějaký smysl.