abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 10:55 | Komunita

Vše nejlepší k dnešnímu Software Freedom Day (SFD, Wikipedie).

Ladislav Hagara | Komentářů: 0
včera 17:55 | Komunita

V Berlíně probíhá do neděle linuxová konference All Systems Go! 2019. Na programu je řada zajímavých přednášek. Sledovat je lze online. Videozáznamy jsou k dispozici jak na media.ccc.de. Dění lze sledovat na Twitteru.

Ladislav Hagara | Komentářů: 0
včera 15:11 | Nová verze

Byla vydána nová stabilní verze 2.8 (2.8.1664.35) webového prohlížeče Vivaldi (Wikipedie). Přehled novinek v příspěvku na blogu. Z novinek vývojáři zdůrazňují synchronizaci s Vivaldi pro Android. Nejnovější Vivaldi je postaven na Chromiu 77.0.3865.78.

Ladislav Hagara | Komentářů: 12
19.9. 21:11 | Nová verze

Po půl roce vývoje od vydání verze 8.0.0 byla vydána verze 9.0.0 překladačové infrastruktury LLVM (Wikipedie). Přehled novinek v poznámkách k vydání: LLVM, Clang, Extra Clang Tools, LLD a Libc++. Vývojáři zdůrazňují podporu "asm goto", díky které lze pomocí Clangu přeložit například Linux pro x86_64 (CONFIG_JUMP_LABEL=y).

Ladislav Hagara | Komentářů: 8
19.9. 14:00 | Nová verze

Bylo vydáno Eclipse IDE 2019-09 aneb Eclipse 4.13. Představení novinek na YouTube. Vydána byla také nová verze 7 online IDE Eclipse Che.

Ladislav Hagara | Komentářů: 0
19.9. 11:11 | Nová verze

Byla vydána verze 24.0 svobodného softwaru OBS Studio (Open Broadcaster Software, Wikipedie) určeného pro streamování a nahrávání obrazovky počítače. Přehled novinek na GitHubu nebo pomocí krátkých videí na Twitteru.

Ladislav Hagara | Komentářů: 3
19.9. 11:00 | Komunita

Microsoft představil a pod licencí SIL Open Font License (OFL) na GitHubu zveřejnil font Cascadia Code. Font je určen především pro zobrazování textu v emulátorech terminálu a vývojových prostředích (Přehled fontů s pevnou šířkou).

Ladislav Hagara | Komentářů: 19
18.9. 21:11 | Zajímavý software

Souborový systém exFAT se běžně používá na paměťových médiích jako karty SDXC, ale z licenčních důvodů jej nebylo možné začlenit do Linuxu, ačkoliv v roce 2013 unikl ovladač od Samsungu, jak shrnuje článek na Linux Weekly News. Park Ju Hyung nedávno vzal novější verzi ovladače od Samsungu a založil na ní vlastní projekt exfat-linux, který je k dispozici uživatelům.

Fluttershy, yay! | Komentářů: 11
18.9. 05:55 | Pozvánky

Dnes a zítra pořádá Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) ve spolupráci se studentským portálem Security Outlines konferenci CyberCon Brno 2019. Sledovat ji lze také online.

Ladislav Hagara | Komentářů: 0
18.9. 04:44 | Nová verze

Byla vydána Java 13 / JDK 13. Nových vlastností (JEP - JDK Enhancement Proposal) je 5. Nová Java / JDK vychází každých 6 měsíců.

Ladislav Hagara | Komentářů: 2
Kdy jste naposledy viděli počítač s připojeným běžícím CRT monitorem?
 (20%)
 (4%)
 (10%)
 (37%)
 (27%)
 (2%)
Celkem 193 hlasů
 Komentářů: 21, poslední dnes 09:11
Rozcestník

Delame servery, jak to v enterprise nenajdete - dil III.

24.3.2013 13:40 | Přečteno: 2879× | vpsFree.cz | Výběrový blog

Na konci meho tridilneho miniserialu o hardware ve vpsFree.cz zbyva jeste probrat sitovani.

Sit pred prechodem do racku

Dokud jsme meli akorat towery, nebylo moc co resit, Master Internet totiz doda linku ke kazdemu toweru zvlast. Po par mesicich provozu toweru se ukazala zajima vec - neni gigabitova sitovka, jako gigabitova sitovka. Na deskach Asus P6T je onboard jakysi Realtek - mohlo mne napadnout uz ze zkusenosti z Lbfree (jedna ze dvou libereckych CZFree-like siti), ze to nebude nejlepsi volba.

Tyhle Realteky se ukazaly jako dost smejdy, obzvlast, kdyz nimi proteka hodne malych paketu. Navic nemaji poradny offloading - sice mi prijde, ze offloading je silne "overrated feature", ale i mimo nej ty Realteky stoji celkove za nic. Takze se k cene desktopu pricetla jednoportova Intel e1000e sitovka.

Realteky jsme pouzili na vyrobeni vnitrni site - nepotrebovali jsme ji tehdy jeste temer k nicemu, protoze jsme nemeli zadne stroje, ktere by bylo vhodne mit jenom na interni siti, nicmene ja to vetsinou s takovymi featurami, ktere hned nutne nepotrebujeme, jsme na tom tak, ze je lepsi je mit dopredu, obzvlast, pokud to moc nestoji - clovek pak ma pri reseni ruznych infrastrukturnich situaci ma vic moznosti.

Jeste pri vyhradne towerovem provozu jsme tak koupili 24portovy managovatelny Linksys switch (SRW2024), s kterym i pri zpetnem ohledu nebyly vubec spatnou volbou. Dneska uz Linksys switche neexistuji, po tom, co Linksys koupilo Cisco, tuhle radu zaintegrovalo do sveho produktoveho portfolia jako SMB switchove reseni.

Sitova infrastruktura dnes

Dneska mame v Praze v racku sit postavenou nad dvema Cisco SG300-52 switchi, coz jsou prave potomci tech Linksysu, akorat s Cisco firmware. Ten ma uz aspon pouzitelne CLI (telnet, ssh), ktere se podoba klasickemu IOS. Tyhle modely jsou managovatelne L2 switche s par L3 prvky (ktere nepouzivame), maji celkem 52 gigabitovych portu a k tomu (pro lenochy) celkem obstojne webove rozhrani. Na puvodni Linksysy clovek potreboval Internet Explorer a CLI nemely - dalo se dohackovat, ale na produkcni pouziti na dulezite paterni prvky si to ani ja nedovolim.

Kazdy server je pripojeny do obou switchu, stejne jako oba dva routery, ktere mame. Nad touhle konfiguraci provozujeme bonding, aby mohl jeden ze switchu byt postradatelny. Dokud bezi oba, diky balance-xor se dostavame na 2Gbit rychlost po interni siti, coz je super hlavne pro zalohovani a budouci NAS.

Routery

Z predchozich clanku uz vam musi byt jasne, ze nejsem zastance zabehnutych enterprise reseni, ktere jsou mnohdy nekriticky prebirany jako dogma, a tak si spoustu veci resime po svem. Ani routery nejsou vyjimkou. Nevidim duvod, proc bych mel za stejnou funkcionalitu preplacet Cisco, Juniper, nebo podobne vendory.

Pred siti v Praze mame tedy 2 x86 routery, jsou to Supermicro servery s jednim ctyrjadrovym Xeon E3 CPU o taktu 3.3 GHz jeste Sandy Bridge varianty, v2 - Ivy Bridge vysel az nekolik mesicu po jejich nakupu.

Trochu zklamanim je stav opensourcovych routerovych reseni - nic z dostupneho se neda poradne provozovat, pokud vezmu do uvahy, ze na soucasnych routerech mame uz okolo 70 interfacu (VLANy, bondingy, IPIP tunely nad IPSecem, VRRP), nekolik instanci OSPF (i v3), BGP, potom nekolik oddelenych instanci DHCP a dalsi drobnosti jako OpenVPN. Tohle se proste neda na syrovem linuxovem boxu odmanagovat bez zesediveni. Nerikam, ze to nejde, ale je to na hlavu.

Na routerech nam tedy bezi jeden z mala proprietarnich softwaru, ktere v cele infrastrukture mame, a to Mikrotik RouterOS.

Je postaveny nad Linuxem, takze kompatibilita s hardware je dost slusna, spravovatelnost takoveho systemu je podle meho nazoru perfektni - maji prijemne UI (Winbox) i CLI. Jako kazdy software i RouterOS se nevyhne bugum, ale to se stava i s Cisco IOS pri obskurnejsich konfiguracich, takze se to tezko da pocitat jako nevyhodu jedinecnou RouterOSu.

Fyzicky jsou ty routery osazene 3mi 2portovymi igb sitovkami, ktere maji z hlediska latence tady uz celkem podstatny offloading VLAN i checksumming.

Oproti e1000e sitovkam mi prijde, ze igb jsou vice vhodne na seriozni nasazeni, nemaji minimalne takove trapne chyby jako takedown vhodne tvarovanym paketem (jako e1000e 82574L), igb driver je mene zabugovany a offloading narozdil od e1000e opravdu funguje.

Na softwarovych routerech, ktere nemaji ASICy na offloadovani routovani, je z hlediska propustnosti i latence kriticka frekvence CPU a propustnost PCIe sbernic. Dalsi dulezitou featurou je podpora MSI-X signalu misto klasickych preruseni (samozremost u PCIe), jejichz obslouzeni se v Linuxu umi pekne balancovat mezi ruzna jadra CPU. V souvislosti s MSI-X je dobre zminit opet proklete Intel 82574L, ktere pri nekterych konkretnich konfiguracich proste umiraji a pada jim link (workaround v e1000e je uz dlouho, proste vypne na tech cipech podporu MSI-X a jede se pres legacy MSI, ktere se ale hur balancuje).

Propustnost nasich routeru s RouterOS 5 je nekde u 3 Mpps, tedy 3 miliony packetu za sekundu, coz dava suma sumarum nejhorsi moznou propustnost pri malickych paketech na urovni asi 180 Mbit. Kdyby se mi hodne chtelo, mohl bych maskaradu, kterou tam mame pro interni sit, prehodit na dedikovany router, cimz bych mohl vypnout connection tracking, majici za nasledek zdvojnasobeni propustnosti.

Vzhledem k charakteru bezneho provozu na vpsFree jsou tyhle routery uplne skvele dostacujici, dokonce hodne naddimenzovane - prumernou velikosti paketu, ktery nam protece routerem, je nejakych 1000B, coz dava okolo 2.5Gbit propustnosti pri conntracku, 5Gbit propustnosti bez nej. To uz je slusne pouzitelne i pro "entry-level" 10G routing.

Navic pri nasi topologii site, pri pouziti OSPF a BGP, se traffic balancuje mezi ty dva routery, takze propustnost site do Internetu se nasobi jejich poctem.

Cena za takovy router je nekde u 30ti tisic Kc i s licenci RouterOSu, to bych chtel videt, jak neco takoveho jde dosahnout s klasickymi routery a la Cisco.

Brno

V Brne mame vseho vsudy 80 VPS a neplanujeme tam nijak extremne expandovat, ucel te lokace je spis pro zalozni VPS (MX, DNS, ...) pro cleny, kteri to potrebujuji, takze tam to s propustnosti neni potreba prehanet.

Proto tam misto x86 routeru a SG300 switchu mame dva Routerboardy RB1100AHx2, coz jsou dvoujadrove PowerPC routery s dostatkem gigabitovych portu. Nejnizsi propustnost pri nejmensich paketech je nekde u 80 Mbit, coz je stejne 4x nad maximalni hodnotou trafficu, ktery tam tece. Opet, kdybych vypnul conntrack, jsme na dvojnasobne propustnosti, stejne tak jsou tam ty routery dva, take se zatez rozklada pres ne oba.

Linky a uplink do datacentra

Jak v Praze, tak v Brne mame uplink privedeny dvema linkami, na kterych si privatnim BGP peeringem s Masterem vymenujeme routy. Na vlastni ASN nemame zatim narok, protoze podle pravidel RIPE (kde jsme cleny uz pul roku) nemame alespon dva upstream poskytovatele. Asi by se to dalo ukecat kvuli dvema nezavislym lokacim, ale nepotrebujeme to, takze jsem zatim neresil.

Vyhoda je, ze napr. pri DoSu prichazejicim na konkretni IP adresu ve vpsFree muzu danou IP poslat do null-routy diky BGP blackholingu sam, aniz bych musel cekat na podporu v MAI.

Latence v nasi siti

Na kazdou IP adresu navesenou na VPS mame separatni /32 (nebo /128 v pripade IPv6) routu diky pouziti OpenVZ "venet" interface. Diky tomu se vsechna smerovaci rozhodnuti delaji uz na L3 urovni, node, na kterem VPS sidli, tak um udelat routovaci rozhodnuti rovnou, v ARP tabulkach tak jsou akorat IP-MAC hardwarovych masin, nemusim resit pretekajici ARP tabulky a rozhodnuti "co s paketem" se da udelat rychleji, coz je pocitit hlavne, kdyz je potreba komunikace mezi dvema VPS na ruznych hardwarovych nodech.

Nasledkem je o asi 100 mikrosekund nizsi latence oproti klasicke konfiguraci site. Dalsi latenci stahuje bonding, protoze existuji dve cesty, kterymi se daji posilat pakety k jednomu cili, tim padem paket stoji mensi frontu na odeslani.

Tohle sice nebyl zamysleny dusledek pri navrhu site, ale je to prijemny bonus, ktery poznate, kdyz nad tou siti mezi VPS potrebujete sdilet data pres NFS. Coz ostatne v par pripadech delame a pribydou dalsi s tim, jak prijde NAS v prubehu nasledujicich par tydnu.

Zaverem

Tady bych asi povidani o hardwaru ukoncil, myslim, ze jsem se dotknul apon letmo vsech podstatnych bodu, ktere popisuji nasi infrastrukturu ve vpsFree. Necekam, ze za to sklidim ovace, slo mi o to ukazat mistnim milovnikum enterprise, ze trava se na hristi umi zelenat i bez pouziti "industry standard" enterprise technologii :-).

By the way, tenhle tridilny serialek jsem sepsal pri ceste tam a zpatky vlakem mezi Bratislavou a Brnem behem dvou dni, takze kdyz najdu vic zaminek jezdit vlakem, bude i vic spamu na blogu ode mne :-D

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

24.3.2013 14:01 disorder | blog: weblog | Bratislava
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
mne sa v laptope dvakrat pokazil intel, expresscard nahrada hreje a tiez nefunguje zdaleka tak dobre ako stary laptop. realteky co mam v htpc a starom laptope slapu bezchybne.

food for thought
24.3.2013 14:07 disorder | blog: weblog | Bratislava
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
oprava: v starom laptope je broadcom, tg3 driver.
24.3.2013 14:25 alkoholik | skóre: 37 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
Jo, Intel se uz sitovky celkem naucil. Pamatuju doby Intel PRO/100, kdy se rikalo: tohle je prvni karta od Intelu, ktera vazi vic nez jeji errata.
:)
24.3.2013 21:43 ewew | skóre: 38 | blog: ewewov_blog
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.

Poznáš aj konkrétny typ sieťovky, ktorá má problémy s malými paketmi ?

25.3.2013 13:29 snajpa | skóre: 20 | blog: snajpuv_blocek | Brno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
Byla to ta, co byla na Asus P6T, ale co to presne bylo... Realtek 8111[neco], aspon myslim, ale fakt si to nepamatuju a uz tyhle desky ani nikde nemam.
--- vpsFree.cz --- Virtuální servery svobodně
24.3.2013 23:33 Radek Hladik | skóre: 20
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
Chválím za pěknou sérii.

K tomu CLI u linksysů, ono se nemusí dohackovávat, stačí se normálně přihlásit přes tu jejich obludnost, udělat ALT+Z a spustit binárku, co tam normálně je :-) Jinak ty switche jsou/byly fakt super, ikdyž teď zrovna mi jeden v kombinaci s Intel 82574L předvedl "zajímavou" věc. Připojil jsem server, udělal ifup a nestačil jsem se divit...
kernel: [  335.465527] IPv6: ADDRCONF(NETDEV_UP): eth1: link is not ready
kernel: [  340.706092] e1000e: eth1 NIC Link is Up 100 Mbps Half Duplex, Flow Control: None
kernel: [  340.722659] e1000e 0000:03:00.0 eth1: Autonegotiated half duplex but link partner cannot autoneg.  Try forcing full duplex if link gets many collisions.
kernel: [  340.745904] e1000e 0000:03:00.0 eth1: 10/100 speed: disabling TSO
kernel: [  340.759794] IPv6: ADDRCONF(NETDEV_CHANGE): eth1: link becomes ready
kernel: [  340.775184] e1000e: eth1 NIC Link is Down
kernel: [  340.790571] e1000e 0000:03:00.0 eth1: Reset adapter
kernel: [  342.696207] e1000e 0000:03:00.0 eth1: Reset adapter
kernel: [  346.914047] e1000e: eth1 NIC Link is Up 100 Mbps Half Duplex, Flow Control: None
kernel: [  346.949849] e1000e 0000:03:00.0 eth1: Autonegotiated half duplex but link partner cannot autoneg.  Try forcing full duplex if link gets many collisions.
kernel: [  346.992419] e1000e 0000:03:00.0 eth1: 10/100 speed: disabling TSO
A pak pořád dokola... Druhý stejný switch neměl nejmenší problém. A protože tomuhle už zlobí ten webmanagement, tak místo něj přijde nejspíš přávě nějaké to Cisco...
11.12.2013 08:03 RAket
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
Nemáte prosím zkušennosti s novým ethernet chipsetem od Intelu i210AT? Nové supermicro mb mají toto a nevím, jestli radši nejít do osvědčené igb síťovky PG-I2. Díky.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.