abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 20:00 | IT novinky

Josef Průša představil nové vylepšené 3D tiskárny MK3S+ a MINI+. Nejzásadnější změnou je přítomnost nové sondy SuperPINDA. Ta nahrazuje původní sondy P.I.N.D.A. V2 (MK3/S, MK2.5/S) a M.I.N.D.A. (MINI). Cena MINI+ se zvedá o 1 000 Kč na 10 990 Kč.

Ladislav Hagara | Komentářů: 0
dnes 16:33 | IT novinky

Hodnota Bitcoinu, decentralizované kryptoměny se po třech letech opět blíží k 20 000 dolarům. Nejvyšší hodnotu 19 783 dolarů měl 17. prosince 2017. Následně během 7 týdnů klesl pod 7 000 dolarů. Vývoj lze sledovat také v terminálu. Například pomocí aplikace cointop (GitHub). Vyzkoušet lze "ssh cointop.sh".

Ladislav Hagara | Komentářů: 12
dnes 15:00 | Komunita Ladislav Hagara | Komentářů: 0
dnes 14:00 | Komunita

Vývojáři grafického editoru Glimpse, forku grafického editoru GIMP, hodnotí rok od vydání Glimpse 0.1.0. Stanovených cílů bylo dosaženo. Glimpse byl stažen minimálně 86 159 krát. Vývojářům GIMPu bylo odesláno 500 dolarů. Vydání verze Glimpse vycházející z GIMPu 3.0 zatím není plánováno. Vývojáři se pravděpodobně zaměří na vývoj Glimpse NX. Stabilní verze by měla vyjít v roce 2022.

Ladislav Hagara | Komentářů: 8
dnes 00:33 | IT novinky

Jon von Tetzchner představil Vivaldi Mail aneb poštovního klienta integrovaného ve webovém prohlížeči Vivaldi. Součástí Vivaldi Mailu je RSS čtečka a kalendář. Zatím se jedná pouze o ukázku (Technical Preview). Vyzkoušet lze v nejnovější Snapshot verzi. Vivaldi Mail je nutné povolit v nastavení "vivaldi://experiments/".

Ladislav Hagara | Komentářů: 5
včera 23:22 | Nová verze

Byla vydána verze 3.5.0 svobodného astronomického softwaru KStars. Z novinek vývojáři zdůrazňují integraci StellarSolveru.

Ladislav Hagara | Komentářů: 2
včera 19:55 | Zajímavý článek

MojeFedora.cz upozorňuje, že Fedora 33 zpřísnila kryptografickou politiku. Pokud jste po upgradu na Fedoru 33 narazili na to, že se nemůžete připojit k šifrované Wi-Fi, VPN apod., které jste dosud bez problémů používali, je to velmi pravděpodobně způsobené přísnější politikou.

Ladislav Hagara | Komentářů: 4
včera 16:00 | Komunita

Eben Upton na blogu Raspberry Pi informuje, že ovladač V3DV pro Raspberry Pi 4 úspěšně prošel testy kompatibility s Vulkan 1.0 u Khronosu.

Ladislav Hagara | Komentářů: 0
včera 15:11 | Bezpečnostní upozornění

Od 11. ledna 2021 začne autorita Let’s Encrypt vystavovat certifikáty na základě nového kořene. Ten existuje už od roku 2015 a většina zařízení již má potřebné aktualizace a nový kořen ISRG Root X1 obsahuje. Problémy ovšem bude mít přibližně třetina přístrojů s operačním systémem Android. Ten nový kořen obsahuje od verze 7.1.1 vydané v prosinci 2016. Pokud máte starší systém, nový kořen v něm nenajdete a v průběhu příštího roku se vám velká

… více »
Petr Krčmář | Komentářů: 6
včera 07:00 | Zajímavý projekt

Společnost Clockwork Tech představila DevTerm aneb open source přenosný terminál pro všechny vývojáře. Předobjednat jej lze v několika konfiguracích. K zájemcům by se měl dostat do dubna 2021. I s termální tiskárnou.

Ladislav Hagara | Komentářů: 14
Jak nakládáte s řetězovými e-maily?
 (6%)
 (41%)
 (3%)
 (2%)
 (3%)
 (9%)
 (58%)
Celkem 288 hlasů
 Komentářů: 8, poslední 16.11. 22:50
Rozcestník

Delame servery, jak to v enterprise nenajdete - dil III.

24.3.2013 13:40 | Přečteno: 2931× | vpsFree.cz | Výběrový blog

Na konci meho tridilneho miniserialu o hardware ve vpsFree.cz zbyva jeste probrat sitovani.

Sit pred prechodem do racku

Dokud jsme meli akorat towery, nebylo moc co resit, Master Internet totiz doda linku ke kazdemu toweru zvlast. Po par mesicich provozu toweru se ukazala zajima vec - neni gigabitova sitovka, jako gigabitova sitovka. Na deskach Asus P6T je onboard jakysi Realtek - mohlo mne napadnout uz ze zkusenosti z Lbfree (jedna ze dvou libereckych CZFree-like siti), ze to nebude nejlepsi volba.

Tyhle Realteky se ukazaly jako dost smejdy, obzvlast, kdyz nimi proteka hodne malych paketu. Navic nemaji poradny offloading - sice mi prijde, ze offloading je silne "overrated feature", ale i mimo nej ty Realteky stoji celkove za nic. Takze se k cene desktopu pricetla jednoportova Intel e1000e sitovka.

Realteky jsme pouzili na vyrobeni vnitrni site - nepotrebovali jsme ji tehdy jeste temer k nicemu, protoze jsme nemeli zadne stroje, ktere by bylo vhodne mit jenom na interni siti, nicmene ja to vetsinou s takovymi featurami, ktere hned nutne nepotrebujeme, jsme na tom tak, ze je lepsi je mit dopredu, obzvlast, pokud to moc nestoji - clovek pak ma pri reseni ruznych infrastrukturnich situaci ma vic moznosti.

Jeste pri vyhradne towerovem provozu jsme tak koupili 24portovy managovatelny Linksys switch (SRW2024), s kterym i pri zpetnem ohledu nebyly vubec spatnou volbou. Dneska uz Linksys switche neexistuji, po tom, co Linksys koupilo Cisco, tuhle radu zaintegrovalo do sveho produktoveho portfolia jako SMB switchove reseni.

Sitova infrastruktura dnes

Dneska mame v Praze v racku sit postavenou nad dvema Cisco SG300-52 switchi, coz jsou prave potomci tech Linksysu, akorat s Cisco firmware. Ten ma uz aspon pouzitelne CLI (telnet, ssh), ktere se podoba klasickemu IOS. Tyhle modely jsou managovatelne L2 switche s par L3 prvky (ktere nepouzivame), maji celkem 52 gigabitovych portu a k tomu (pro lenochy) celkem obstojne webove rozhrani. Na puvodni Linksysy clovek potreboval Internet Explorer a CLI nemely - dalo se dohackovat, ale na produkcni pouziti na dulezite paterni prvky si to ani ja nedovolim.

Kazdy server je pripojeny do obou switchu, stejne jako oba dva routery, ktere mame. Nad touhle konfiguraci provozujeme bonding, aby mohl jeden ze switchu byt postradatelny. Dokud bezi oba, diky balance-xor se dostavame na 2Gbit rychlost po interni siti, coz je super hlavne pro zalohovani a budouci NAS.

Routery

Z predchozich clanku uz vam musi byt jasne, ze nejsem zastance zabehnutych enterprise reseni, ktere jsou mnohdy nekriticky prebirany jako dogma, a tak si spoustu veci resime po svem. Ani routery nejsou vyjimkou. Nevidim duvod, proc bych mel za stejnou funkcionalitu preplacet Cisco, Juniper, nebo podobne vendory.

Pred siti v Praze mame tedy 2 x86 routery, jsou to Supermicro servery s jednim ctyrjadrovym Xeon E3 CPU o taktu 3.3 GHz jeste Sandy Bridge varianty, v2 - Ivy Bridge vysel az nekolik mesicu po jejich nakupu.

Trochu zklamanim je stav opensourcovych routerovych reseni - nic z dostupneho se neda poradne provozovat, pokud vezmu do uvahy, ze na soucasnych routerech mame uz okolo 70 interfacu (VLANy, bondingy, IPIP tunely nad IPSecem, VRRP), nekolik instanci OSPF (i v3), BGP, potom nekolik oddelenych instanci DHCP a dalsi drobnosti jako OpenVPN. Tohle se proste neda na syrovem linuxovem boxu odmanagovat bez zesediveni. Nerikam, ze to nejde, ale je to na hlavu.

Na routerech nam tedy bezi jeden z mala proprietarnich softwaru, ktere v cele infrastrukture mame, a to Mikrotik RouterOS.

Je postaveny nad Linuxem, takze kompatibilita s hardware je dost slusna, spravovatelnost takoveho systemu je podle meho nazoru perfektni - maji prijemne UI (Winbox) i CLI. Jako kazdy software i RouterOS se nevyhne bugum, ale to se stava i s Cisco IOS pri obskurnejsich konfiguracich, takze se to tezko da pocitat jako nevyhodu jedinecnou RouterOSu.

Fyzicky jsou ty routery osazene 3mi 2portovymi igb sitovkami, ktere maji z hlediska latence tady uz celkem podstatny offloading VLAN i checksumming.

Oproti e1000e sitovkam mi prijde, ze igb jsou vice vhodne na seriozni nasazeni, nemaji minimalne takove trapne chyby jako takedown vhodne tvarovanym paketem (jako e1000e 82574L), igb driver je mene zabugovany a offloading narozdil od e1000e opravdu funguje.

Na softwarovych routerech, ktere nemaji ASICy na offloadovani routovani, je z hlediska propustnosti i latence kriticka frekvence CPU a propustnost PCIe sbernic. Dalsi dulezitou featurou je podpora MSI-X signalu misto klasickych preruseni (samozremost u PCIe), jejichz obslouzeni se v Linuxu umi pekne balancovat mezi ruzna jadra CPU. V souvislosti s MSI-X je dobre zminit opet proklete Intel 82574L, ktere pri nekterych konkretnich konfiguracich proste umiraji a pada jim link (workaround v e1000e je uz dlouho, proste vypne na tech cipech podporu MSI-X a jede se pres legacy MSI, ktere se ale hur balancuje).

Propustnost nasich routeru s RouterOS 5 je nekde u 3 Mpps, tedy 3 miliony packetu za sekundu, coz dava suma sumarum nejhorsi moznou propustnost pri malickych paketech na urovni asi 180 Mbit. Kdyby se mi hodne chtelo, mohl bych maskaradu, kterou tam mame pro interni sit, prehodit na dedikovany router, cimz bych mohl vypnout connection tracking, majici za nasledek zdvojnasobeni propustnosti.

Vzhledem k charakteru bezneho provozu na vpsFree jsou tyhle routery uplne skvele dostacujici, dokonce hodne naddimenzovane - prumernou velikosti paketu, ktery nam protece routerem, je nejakych 1000B, coz dava okolo 2.5Gbit propustnosti pri conntracku, 5Gbit propustnosti bez nej. To uz je slusne pouzitelne i pro "entry-level" 10G routing.

Navic pri nasi topologii site, pri pouziti OSPF a BGP, se traffic balancuje mezi ty dva routery, takze propustnost site do Internetu se nasobi jejich poctem.

Cena za takovy router je nekde u 30ti tisic Kc i s licenci RouterOSu, to bych chtel videt, jak neco takoveho jde dosahnout s klasickymi routery a la Cisco.

Brno

V Brne mame vseho vsudy 80 VPS a neplanujeme tam nijak extremne expandovat, ucel te lokace je spis pro zalozni VPS (MX, DNS, ...) pro cleny, kteri to potrebujuji, takze tam to s propustnosti neni potreba prehanet.

Proto tam misto x86 routeru a SG300 switchu mame dva Routerboardy RB1100AHx2, coz jsou dvoujadrove PowerPC routery s dostatkem gigabitovych portu. Nejnizsi propustnost pri nejmensich paketech je nekde u 80 Mbit, coz je stejne 4x nad maximalni hodnotou trafficu, ktery tam tece. Opet, kdybych vypnul conntrack, jsme na dvojnasobne propustnosti, stejne tak jsou tam ty routery dva, take se zatez rozklada pres ne oba.

Linky a uplink do datacentra

Jak v Praze, tak v Brne mame uplink privedeny dvema linkami, na kterych si privatnim BGP peeringem s Masterem vymenujeme routy. Na vlastni ASN nemame zatim narok, protoze podle pravidel RIPE (kde jsme cleny uz pul roku) nemame alespon dva upstream poskytovatele. Asi by se to dalo ukecat kvuli dvema nezavislym lokacim, ale nepotrebujeme to, takze jsem zatim neresil.

Vyhoda je, ze napr. pri DoSu prichazejicim na konkretni IP adresu ve vpsFree muzu danou IP poslat do null-routy diky BGP blackholingu sam, aniz bych musel cekat na podporu v MAI.

Latence v nasi siti

Na kazdou IP adresu navesenou na VPS mame separatni /32 (nebo /128 v pripade IPv6) routu diky pouziti OpenVZ "venet" interface. Diky tomu se vsechna smerovaci rozhodnuti delaji uz na L3 urovni, node, na kterem VPS sidli, tak um udelat routovaci rozhodnuti rovnou, v ARP tabulkach tak jsou akorat IP-MAC hardwarovych masin, nemusim resit pretekajici ARP tabulky a rozhodnuti "co s paketem" se da udelat rychleji, coz je pocitit hlavne, kdyz je potreba komunikace mezi dvema VPS na ruznych hardwarovych nodech.

Nasledkem je o asi 100 mikrosekund nizsi latence oproti klasicke konfiguraci site. Dalsi latenci stahuje bonding, protoze existuji dve cesty, kterymi se daji posilat pakety k jednomu cili, tim padem paket stoji mensi frontu na odeslani.

Tohle sice nebyl zamysleny dusledek pri navrhu site, ale je to prijemny bonus, ktery poznate, kdyz nad tou siti mezi VPS potrebujete sdilet data pres NFS. Coz ostatne v par pripadech delame a pribydou dalsi s tim, jak prijde NAS v prubehu nasledujicich par tydnu.

Zaverem

Tady bych asi povidani o hardwaru ukoncil, myslim, ze jsem se dotknul apon letmo vsech podstatnych bodu, ktere popisuji nasi infrastrukturu ve vpsFree. Necekam, ze za to sklidim ovace, slo mi o to ukazat mistnim milovnikum enterprise, ze trava se na hristi umi zelenat i bez pouziti "industry standard" enterprise technologii :-).

By the way, tenhle tridilny serialek jsem sepsal pri ceste tam a zpatky vlakem mezi Bratislavou a Brnem behem dvou dni, takze kdyz najdu vic zaminek jezdit vlakem, bude i vic spamu na blogu ode mne :-D

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

24.3.2013 14:01 disorder | blog: weblog | Bratislava
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
mne sa v laptope dvakrat pokazil intel, expresscard nahrada hreje a tiez nefunguje zdaleka tak dobre ako stary laptop. realteky co mam v htpc a starom laptope slapu bezchybne.

food for thought
24.3.2013 14:07 disorder | blog: weblog | Bratislava
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
oprava: v starom laptope je broadcom, tg3 driver.
24.3.2013 14:25 alkoholik | skóre: 38 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
Jo, Intel se uz sitovky celkem naucil. Pamatuju doby Intel PRO/100, kdy se rikalo: tohle je prvni karta od Intelu, ktera vazi vic nez jeji errata.
:)
24.3.2013 21:43 ewew | skóre: 39 | blog: ewewov_blog
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.

Poznáš aj konkrétny typ sieťovky, ktorá má problémy s malými paketmi ?

Root v linuxe : "Root povedal, linux vykona."
25.3.2013 13:29 snajpa | skóre: 20 | blog: snajpuv_blocek | Brno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
Byla to ta, co byla na Asus P6T, ale co to presne bylo... Realtek 8111[neco], aspon myslim, ale fakt si to nepamatuju a uz tyhle desky ani nikde nemam.
--- vpsFree.cz --- Virtuální servery svobodně
24.3.2013 23:33 Radek Hladik | skóre: 20
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
Chválím za pěknou sérii.

K tomu CLI u linksysů, ono se nemusí dohackovávat, stačí se normálně přihlásit přes tu jejich obludnost, udělat ALT+Z a spustit binárku, co tam normálně je :-) Jinak ty switche jsou/byly fakt super, ikdyž teď zrovna mi jeden v kombinaci s Intel 82574L předvedl "zajímavou" věc. Připojil jsem server, udělal ifup a nestačil jsem se divit...
kernel: [  335.465527] IPv6: ADDRCONF(NETDEV_UP): eth1: link is not ready
kernel: [  340.706092] e1000e: eth1 NIC Link is Up 100 Mbps Half Duplex, Flow Control: None
kernel: [  340.722659] e1000e 0000:03:00.0 eth1: Autonegotiated half duplex but link partner cannot autoneg.  Try forcing full duplex if link gets many collisions.
kernel: [  340.745904] e1000e 0000:03:00.0 eth1: 10/100 speed: disabling TSO
kernel: [  340.759794] IPv6: ADDRCONF(NETDEV_CHANGE): eth1: link becomes ready
kernel: [  340.775184] e1000e: eth1 NIC Link is Down
kernel: [  340.790571] e1000e 0000:03:00.0 eth1: Reset adapter
kernel: [  342.696207] e1000e 0000:03:00.0 eth1: Reset adapter
kernel: [  346.914047] e1000e: eth1 NIC Link is Up 100 Mbps Half Duplex, Flow Control: None
kernel: [  346.949849] e1000e 0000:03:00.0 eth1: Autonegotiated half duplex but link partner cannot autoneg.  Try forcing full duplex if link gets many collisions.
kernel: [  346.992419] e1000e 0000:03:00.0 eth1: 10/100 speed: disabling TSO
A pak pořád dokola... Druhý stejný switch neměl nejmenší problém. A protože tomuhle už zlobí ten webmanagement, tak místo něj přijde nejspíš přávě nějaké to Cisco...
11.12.2013 08:03 RAket
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil III.
Nemáte prosím zkušennosti s novým ethernet chipsetem od Intelu i210AT? Nové supermicro mb mají toto a nevím, jestli radši nejít do osvědčené igb síťovky PG-I2. Díky.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.