Dotaz: IPv6 router s 8 x 1Gbps do 19" racku

[SAM:]

Chystáme se provádět experimenty s IPv6. Konektivita k nám dorazí taggovanou VLAN. Hledáme vhodný router s pokud možno nejlepší podporou IPv6. Potřebujeme 8x 1000Base-T + SFP výhodou. Montáž do racku.

Mohl by někdo znalý doporučit vhodný HW? Děkuji předem za každý nápad.

---

---

Odpovědi

[kyytaM]

Mozno Vyatta 3500. :) Vyhodou je priama podpora OSS a support. :)

Nie ako odporucanie na zaklade osobnych skusenosti, ale skor ako tip na uvahu. :)

[SAM:]

To vypadá zajímavě, kouknu na to.

Nějaké řešení alá hotová krabička?

[kyytaM]

Intel x86 based zariadenia s Linuxom alebo len cisto free/planety softver (pre vlastny hw, alebo pre Xen/VMware/Hyper-V).

Dlhsiu dobu som to nesledoval, ale je to linux based riesenie (predtym zaklad vychadzal tusim z debianu), ktore vsetky tie jednotlive sietove linuxove komponenty (vpnky, routing, nat, proxy, fw.....) zjednoducuje do cisco like vytuneneho zariadenia (jednotne CLI, netreba sa sturat v miliarde konfigov + konfiguracne klikatko cez webrowser). Fajn je, ze zlepsenia a bugfixy davaju priamo naspat - plateni ludia pracujuci na OSS a tej roboty odviedli celkovo dost vela (aj ked samozrejme nie vsetko je dostupne vo free verzii). Vyhodou je, ze sa da v tom aj vrtat, ked sa chce. :)

Da sa forum prelozit a zisti co funguje a ako, s cim su/boli problemy, daju sa komunitne verzie bez problemov vyskusat na vlastnom hw/virtualke. Ked som to kedysi skusal, nebolo to este nejake pozoruhodne, bolo to vsak roky dozadu a ocividne sa velmi vela odvtedy zmenilo - zda sa, ze sa im celkom zacalo darit, stale zhanaju dalsi a dalsi personal. :)

[ipv6]

http://www.b2net.co.uk/foundry/foundry_netiron_imr_640_multiservice_router.htm ? Kedze si nespicikoval cenu.

[Stanislav Petr]

Tomuhle pozadavku celkem slusne vykovuje Juniper SRX 240 http://www.juniper.net/us/en/products-services/security/srx-series/srx240/

[frr]

Co to má umět? Na jaké pozici to bude fungovat? Nějaká podniková brána do internetu? Interní podnikový router mezi několika LANkami? Páteřní router u ISP? (Edge/Core/Access?)

Má to umět hlavně rychle forwardovat pakety? Pak bych doporučil asi nějaký L3 switch.

Má to umět něco navíc? Procesorově náročné fičury? Dynamický routing s velkými tabulemi? VPN? Složitější firewalling? Pak buď nějaký odpovídající procesorově nadupanější router, nebo obecné x86 železo a na tom Linux nebo BSD - co je Vašemu srdci milejší. Pokud se týče procesorů, na forwardování paketů bych dával přednost vyššímu taktu před počtem jader. Můžete se snažit o jednotlivé GbEth porty, nebo použít 10Gb síťovku a k ní externí switch s 10Gb uplinkem. Popravdě řečeno, pro běžný internetový provoz odhaduji, že jednotlivé 1Gb porty by mohly mít v součtu lepší průchodnost než jediný 10Gb port. Ve Sdělovačce 6/2008 vyšel zajímavý článek od lidí z Cesnetu, kteří benchmarkovali několik 10Gb karet od různých výrobců.

Namátkou pár linků:

Jedna zajímavá řada od Cisca - moduly rozhraní do menších routerů, které obsahují L3 switch s mnoha Gb Eth porty.

Dva boardy SuperMicro pro Nehalem 1 2 se čtyřmi onboard GbEth síťovkami, určené do 1U skříní. Na produktové stránce je vždycky vpravo nahoře kolonka "compatible chassis" a dole v "optional accessories" bych hledal stromeček/riser pro ležaté umístění PCI-e karty (x8 nebo x16). Dělají se taky podobné boardy s LGA775, pokud by Vám stačil menší procesorový výkon - ale slušně výkonné C2D/C2Q může být brzy těžko k sehnání.

Síťovky Intel - jsou tam i nějaké čtyřportové kousky, dva metalické a jeden optický (žeby natvrdo multimode?)

Síťovky Myricom 10Gb - bývaly levnější a o fous výkonnější než Intel.

Switche s 10Gb uplinkem dělá dneska kdekdo, třeba D-Link, Netgear nebo SMC - ten 10Gb port koupíte v krabici tuším s minimálně 24 1Gb porty, z toho 2-4 mohou být komba RJ45/SFP.

[SAM:]

Zdravím a díky za vyčerpávající info.

Řekněme, že od PASNETu nám dorazí na ČVUT FEL (Karlák) skrz VLAN IPv6 konektivita. Kompletní zavedení IPv6 (na úrovni ČVUT není zatím plánováno. Neplánujeme tedy produkční nasazení, spíš nám jde o to se s IPv6 seznámit, ošahat si HW, řešit možné problémy, se závratně velkým provozem v dohledné době nepočítáme. V routeru by tedy měla být ukončena VLAN od PASNETu a IPv6 routována do vybraných částí naší sítě.

Jde tedy spíš o menší záležitost.

[Stanislav Petr]

V tom pripade by mel bejt ten Juniper SRX 240 vyhovujici. Primadne muzete jit i na nizsi modely teto rady, pokud Vam budou vyhovovat porty (SRX 210). Podle mejch zkusenosti ma dnes Juniper asi nejkompletnejsi podporu pro IPv6. Napr. u Cisca byvaji problemy v tom ze mene pouzivane vlastnosti nemaji resene v HW a ten procesor z kalkulacky co do toho vetsinou davaj pak ma problem. Juniper rada SRX je primo od navrhu kombinovany SW/HW router podle toho je i dimenzovan procesor a pamet, takze je to do budoucna dobre rozsirovatelna platforma pro nasazovani IPv6.

[frr]

Respektuji návrhy ostatních, co se týče hardwarových routerů. S proprietárními řešeními nemám aktuální zkušenosti.

Pokud se týče linuxového železa, tak na nenáročné použití by podle mého stačilo i méně výkonné PC. Jako libovku bych viděl třeba

http://www.supermicro.com/products/motherboard/Xeon3000/3200/X7SBi-LN4.cfm

ve skříni SC512F s procesorem C2D E7500 nebo 7600. S malým klempířským hackem se tam vejdou dva 2.5" disky v softwarovém mirroru a CD mechanika. Pár takových PCček jsem postavil. Zmíněný procesor nežere skoro nic (45 nm C2D).

Alternativně, pokud potřebujete víc portů, na průchodnosti to kriticky nevisí a peněz je málo, můžete zkusit libovolné pecko s gigovým portem, a k tomu nějaký superlevný VLANový switch - třeba D-Ling DGS-1216T, případně jsou tuším i levnější.

[Ant]

na nenáročné použití by podle mého stačilo i méně výkonné PC

Muzete mi nejak objasnit volbu te desky? Protoze jak na to koukam, tak ma 4 GigE porty a pak uz "jenom" PCI-X slot a PCI. Puvodni tazatel ale chce 8 GigE portu a to nevim, jak PCI-X v realu 4 GigE zvladne (ja vim, teoreticky [64b@133MHz=8,5Gbps] hrave [rezerva 0.5Gbps] ).

To chassis (pekne!) i cenu te desky jsem nasel.

Dlouho jsem se take nezajimal o schopnosti PC smerovat 8 GigE provoz. Nakolik to vytizi procesor a sbernice? Jak je potom jeste PC pouzitelne (napr. traffic shaping, proxy)?

můžete zkusit libovolné pecko s gigovým portem

Co je "pecko"? P....?

Diky.

[Ondrej 'SanTiago' Zajicek]

To chassis (pekne!)

Ta krabice me prijde dost neprakticka - kdyz to budu chtit jako router, tak budu chtit mit ethernetove porty zepredu racku, ne zezadu.

[frr]

Hmm, u SC512 tuším nejdou namontovat uši dozadu (namontovat skříň zadkem dopředu).

ATX čelo a PCI záslepku vpředu má skříň SC513 - ale ta zas nemá CDčko. Něco za něco...

[frr]

Pokud se týče PCI-X, i kdyby to dalo třeba jenom 6 Gbps (což bych viděl jako reálnější hodnotu), tak by to bylo hezké. Stejně si ale myslím, že průchodnost bude viset spíš na těch Intelkách a jejich "paketech za sekundu", nebo ještě někde jinde. Na druhou stranu nemám strach, že byste dokázal vytížit všechny Gb porty trvale po strop. Ano, tuhle kombinaci hardwaru už jsem jednou či dvakrát stavěl s přídavným čtyřportovým Intelem v PCI-X.

Nakolik to vytíží procesor a sběrnice? Reálná data jsem od nikoho zpátky nedostal Ono je těžké nějak posuzovat konkrétní čísla, protože dva různí admini si postaví firewall klidně každý dost jinak, takže není dodržena zásada "za jinak stejných okolností"... Ale obecně si to pánové dost pochvalovali. Samo sebou, že to nedělalo prostý forwarding paketů, v reálném provozu to vždycky fungovalo jako nějaký firewall, jednou ve škole, jinde v nějaké WiFi síti - podrobnosti ale neznám. Jeden člověk tuším na ty disky v mirroru cosi logoval. Asi ne kompletní netflow Snad i kešoval HTTP. Vcelku nemám iluze, že by to zvládlo uroutovat 8 Gbps ve full duplexu - Linux tuším konkrétně kernelovými síťovinami vytěžuje jenom jedno CPU jádro (a patrně jde o výkonově lepší řešení, než se snažit rozložit zátěž mezi více jader). Možná třeba FreeBSD by to mohlo mít postaveno jinak (na větší průchodnost) - nevím. Pamatuju si jeden marketingový materiál od Intelu ohledně I/OAT a rozkládání zátěže mezi CPU jádra... podle mého to hoši od Intelu hezky na papíře namalovali, ale realita v Linuxu za tou obchodní prezentací trochu zaostává. On totiž Linux s paketem dělá všelijaké psí kusy, a snažit se v tu chvíli o koherenci keší a integritu zámků mezi více jádry je možná problém. Ostatně i v Linuxu tuším kdosi jednu chvíli vyvíjel alternativní paketový engine (namísto netfilteru), který by implementoval tuším zero-copy networking a kdesi cosi s ohledem na propustnost, ale bylo to značně na úkor schopností/fičur.

Pokud to mám říct ještě jinak, tak tahle deska pro C2D a dříve zmíněné pro 1x Nehalem představují asi maximální výkon, který se dá z jednoprocesorového vanilkového PCčka vyždímat. Dvouprocesorový stroj znamená mnohem víc peněz, tepla a kraválu, a přínosem pro výkon v roli firewallu bych si nebyl až tak jistý...

Pecko = PCčko.

[Ant]

Diky za vycerpavajici odpoved.

P.S. Zil jsem v domneni, ze zero-copy networking je bezna vec v jadre, ale asi ne (zero-copy jen pro ovladac sitovky?). Budu se po tom muset podivat do hloubky.

[frr]

Ona ta PCI-X sběrnice je lepší než drátem do oka. Existuje příbuzná deska s pouze dvěma onboard GbEth, která má PCI-e, ale celkový dosažitelný počet portů v sestavě je pak nižší (6). Jistě dokážu navrhnout spoustu motherboardů, do kterých jde nastrkat větší počet síťovek do PCI-e slotů - ale pokud vím, požadavek zněl 1U To znamená jeden slot naležato. Dva sloty naležato se u SuperMicra vyskytují tuším jenom ve větších mašinách a dual-Xeonových boardech => peníze navíc.

[Ant]

Jistě dokážu navrhnout spoustu motherboardů, do kterých jde nastrkat větší počet síťovek do PCI-e slotů - ale pokud vím, požadavek zněl 1U

Pozadavek se vubec o 1U nezminuje Mluvi se pouze o racku a takove normalni 4U to jisti

Moje predstava take byla PC s nekolika viceportovymi kartami v PCI-e, proto me zaskocil ten puvodni vyber desky s PCI-X.

[frr]

Ajo :-O Sním svůj klobouk...

[frr]

Osobně nemám 1U nijak v lásce - spousta 40mm ventilátorů, nestandardní formáty desek... Do noname 4U skříně se vejde takřka cokoli a nebude to tolik hlučet.

[Ondrej 'SanTiago' Zajicek]

S malým klempířským hackem se tam vejdou dva 2.5" disky v softwarovém mirroru a CD mechanika

Pro router bych radsi volil CF kartu v IDE redukci provozovanou v readonly rezimu.

Alternativně, pokud potřebujete víc portů, na průchodnosti to kriticky nevisí a peněz je málo, můžete zkusit libovolné pecko s gigovým portem

Do bezneho PC se da bez potizi narvat 4-5 gigabitovych PCIe karet, do PCIe 16* portu jde dat 4portova gigabitova karta, do PCIe 4* portu jde dat 2portova gigabitova karta.

[SAM:]

Děkuji za podmětné nápady. Jak jsem psal hledáme spíš něco ve stylu hotový box s vlastním OS. Ale řešení pecko + VLAN a switch je zajímavé. Má někdo nějaké info k Routerboard RB1100? Nebo nějaké jiné podobné zařízení. RB moc nadšen nejsem, implementace IPv6 poněkud pokulhává.

[VSi]

Ten Mikrotik OS může být klidně na tom PC, resp. Supermicro desce. Dřív to prodávali ve formě asi 256MB ATA modulu, co se zasunul přímo do základní desky. Jinak by šel asi nainstalovat i na flash disk. Podle mě je to lepší volba než RB1100.

Jiná hotová řešení budou asi v úplně jiné cenové kategorii, takže bych se orientoval podle toho, jaké jsou finanční možnosti, resp. jestli se dražší řešení vyplatí.

Propustnost takového řešení s Mikrotikem by mě taky zajímala. Četl jsem, že strop může být i na kvalitně navržené sestavě s kvalitními síťovkami pod 1 Gbps. Záleží na povaze provozu, jak už tu padlo důležitý je počet paketů za sekundu.

[frr]

Ohledně CF v read-only režimu: moje řeč Ale to znamená, mít na to hotový OS - buď odněkud stažené distro, nebo svoje vlastní distro. Pokud se má jednat o experimentální stroj, na kterém se bude zkoušet kdeco, pro méně zdatného admina může být lepší mít v tom točivý disk, aby si mohl nainstalovat nějakou standardní distribuci, downloadovat a kompilovat si kdeco podle libosti apod. Dva notebookové disky v mirroru nedají moc velkou průchodnost, ale přežijou hrozně moc (jsou mechanicky odolné a hodně málo topí) - s ohledem na spolehlivost bych bral nejlíp nějaké nejmenší, co se momentálně vyrábějí.

Do PCI-e x16 jde dát leccos, ale ne na intelských desktopových čipsetech - tam je ten slot zkriplený, aby bral jenom VGA. Čtyřportové síťovky Intel pasují do slotu PCI-e x4 (a výš). Pokud jde o desky do 1U, třeba taková X8SIE-LN4 má x16 slot, který by měl jít redukcí překlopit "naležato" pro čtyřportovou PCI-e síťovku. Taky počítám, že Nehalem by mohl chroupat filtry trochu rychleji než C2D/C2Q (on-chip řadič RAM => znatelně nižší latence přístupu do RAM).

[Jendа]

S malým klempířským hackem se tam vejdou dva 2.5" disky v softwarovém mirroru a CD mechanika.

K čemu je u routeru (nebo serveru obecně) CD mechanika?

[frr]

Pro lidi, co si ještě nepořídili USBčkovou CD mechaniku (a případně floppy, pro Widle). Konkrétně v téhle 1U skříni, když se vynechá CD mechanika, vejdou se tam dva 2.5" disky i bez klempířiny, s příplatkovým držákem do interní 3.5" pozice.

[Jendа]

Eh, k čemu je u serveru USBčková CD mechanika?

Jinak teoreticky by se tam měly vejít bez CD mechaniky tři disky - jeden místo ní.

[frr]

Pokud ta věc nemá být diskless nebo bootovat z předpřipravené flashky, tak ne každý umí bootnout instalátor / údržbátor OS po síti. No jasně, možná taky z "live USB" SSD Ale stejně mi přijde, že CDčko je pořád takové "bootovatelné médium poslední záchrany". A je fakt, že v serveru ta mechanika stejně akorát sbírá prach, takže po dvou letech už je prakticky nepoužitelná.

Tři disky by se tam vešly leda s klempířinou. Ten originální držák na dva 2.5" disky je moc vysoký, aby se dal nacpat pod CD mechaniku. A originální držák na tři disky neexistuje. Mimochodem, k čemu tři disky? Než RAID5 přes tři disky, to už radši RAID1 přes dva větší - bude to rychlejší a spolehlivější (erm... za jinak stejných okolností, tj. rychlost a MTBF disků).

[Jendа]

Bootuji už dost dlouho z flashky - nepoškrábe se, nezlomí se a může se nosit na klíčích.

Škoda, v některých skříních jde nacpat disk místo CD mechaniky.

[SAM:]

Oprava, uvedl jsem mylné informace. Na úrovni ČVUT je samozřejmě nasazené a průběžné rozšiřováno, ale zatím fakulty se moc neangažují.

[SAM:]

Pokud by to někoho ještě zajímalo, tak jsme otestovali a nakonec i finálně nasadili IPv6 router značky Edge-Core (je to jakási akvizice SMC nebo tak něco). Pro testovací provoz jsme měli půjčený model ES4626 (20 x 10/100/1000Base-T + 4 x Gigabit Combo (RJ-45/SFP) 2 x 10G expansion slots). Pro finální nasazení jsme koupili výkonnější kousek ES4626-SFP (16 x 1000Base-X SFP + 8 x Gigabit Combo (RJ-45/SFP) + 2 x 10G XFP 2 x 10G XFP). Z hlediska IPv6 jsme zatím nenarazili na nic, co by nám chybělo. Zdá se, že v tom běží něco podobného IOSu. Cena je zhruba čtvrtina až třetina srovnatelného Cisca.

[asdfg]

A co tak RB1100? http://www.balticnetworks.com/mikrotik-routerboard-1100-rb-1100.html Urcite lepsie ako nejake skladacky supermicro.

[SAM:]

RouterOS má implementaci IPv6 stále docela zabugovanou. Hlavně věci týkající se RA mi i v poslední verzi 4.12 dost zlobí.