abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 05:00 | Nová verze

Byla vydána verze 5.0.0 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata (Wikipedie). Přehled novinek v oficiálním oznámení a v aktualizované dokumentaci.

Ladislav Hagara | Komentářů: 0
včera 20:33 | Zajímavý projekt

Byly zveřejněny schémata, firmware a instrukce pro sestavení trackballu Ploopy. Ten používá Arduino, senzor PMW3360 a 1,75palcovou kouli. Zdrojové soubory jsou šířeny pod open-hardware licencí CERN a GNU GPLv3. Tvar je inspirovaný klasickým trackballem Microsoft Trackball Explorer, jehož výroba byla ukončena kolem roku 2005 bez náhrady; projekt Ploopy se k tomu ale z právních důvodů nehlásí. Již vyrobené díly je možno objednat za 200 kanadských dolarů. Další podrobnosti v příspěvcích uživatele crop_octagon na Redditu.

Fluttershy, yay! | Komentářů: 10
včera 20:22 | Nová verze

Vyšlo desktopové prostředí KDE Plasma 5.17. Novinkou je např. „noční režim“ (pro X11, nejen Wayland), skrytí upozornění při prezentacích (když je připojena obrazovka se stejným obrazem), lepší podpora HiDPI, optimalizace využití zdrojů a mnoho drobných zlepšení a oprav.

Fluttershy, yay! | Komentářů: 2
včera 12:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 169. brněnský sraz, který proběhne v pátek 18. října od 19:00 v restauraci Racek (Jungmanova 5). Před srazem proběhne v 18:00 komentovaná prohlídka nových prostor hackerspacu base48 (přístup je z Mojmírova náměstí).

Ladislav Hagara | Komentářů: 8
včera 05:55 | Bezpečnostní upozornění

V příkazu sudo byla nalezena a ve verzi 1.8.28 byla již opravena bezpečnostní chyba CVE-2019-14287. V souboru /etc/sudoers lze nastavit, aby daný uživatel mohl konkrétní příkaz spouštět s právy libovolného uživatele (ALL) nebo libovolného uživatele kromě uživatele root (ALL, !root). Spustí-li tento uživatel daný příkaz se sudo s volbou -u#-1 nebo -u#4294967295, tj. pod uživatelem -1 nebo 4294967295, nebude vyžadována autentizace a příkaz se spustí pod právy roota.

Ladislav Hagara | Komentářů: 1
včera 01:33 | Nová verze

Po více než roce a čtvrt od vydání verze 3.7.0 byla vydána nová verze 3.8.0 programovacího jazyka Python. Přehled novinek v aktualizované dokumentaci. Podrobný přehled změn v Changelogu.

Ladislav Hagara | Komentářů: 15
14.10. 16:11 | IT novinky

Ke zhlédnutí na Invidious a YouTube je videozáznam rozborky a sborky mobilního telefonu Librem 5.

Ladislav Hagara | Komentářů: 47
14.10. 13:33 | Komunita

Richard Stallman, zakladatel hnutí svobodného softwaru, se dnes v e-mailové konferenci guix-devel vyjádřil, že svobodný software je apolitický, resp. jedinou přípustnou politikou je politika svobodného softwaru. Reagoval na některé návrhy, že by se do svobodného softwaru měl zabudovat feminismus nebo jiný -ismus. Říká, že témata jako komunismus nebo sexuální orientace jsou „off-topic“. Je v pořádku mít politické názory, ale lidé

… více »
xkucf03 | Komentářů: 104
14.10. 05:55 | Nová verze

Po téměř dvou letech vývoje od vydání verze 2.0 byla vydána verze 2.1.0 svobodného softwaru ScummVM (Wikipedie) umožňujícího bezproblémový běh mnoha klasických adventur na zařízeních, pro které nebyly nikdy určeny. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 3
13.10. 10:55 | IT novinky

Josef Průša představil novou 3D tiskárnu Original Prusa MINI. Její cena je 9 990 Kč a tisknout lze na ní objekty do velikosti 18 × 18 × 18 cm.

Ladislav Hagara | Komentářů: 41
Kdy jste naposledy viděli počítač s připojeným běžícím CRT monitorem?
 (19%)
 (4%)
 (11%)
 (39%)
 (24%)
 (2%)
Celkem 401 hlasů
 Komentářů: 22, poslední 23.9. 08:36
Rozcestník

Delame servery, jak to v enterprise nenajdete - dil I.

10.3.2013 13:07 | Přečteno: 4746× | vpsFree.cz | Výběrový blog

Nize v blogu vidim hate na Supermicro, tak jsem si rikal, ze bych k tomu mohl taky neco napsat :-)

Towery jako servery

Kdyz vpsFree.cz zacinalo, nasim prvnim serverem byl tower s Core 2 Quad procesorem, Asus deskou, 8 GB DDR2 pameti a 4x 500 GB Samsung disky.

Abych nejak vyjadril svuj nazor na "skladacky" z consumer-grade dilu - vubec nemam nic proti, a ten, kdo uz z principu rika, ze je to blbost, by mel sklapnout a poradne se zamyslet.

Vyber jakekoliv komponenty (hardware, software, ...) vzdycky zavisi na use-case. Je potreba si dat proti sobe vsechny plusy a minusy a potom zvazit, jakou maji pro dane pouziti prioritu. Kdyz je mel vyjmenovat:

Pri staveni desktopoveho hardware existuje minimalne jedno "golden-rule", ktereho je dobre se drzet - nikdy nekupujte ty nejlevnejsi komponenty. Kdyz uz chcete setrit a stavet desktopy jako servery, jdete po - jak ja tomu rikam - "nejdrazsim minus jedna", tzn. seradte v eshopu consumer-grade hardware podle ceny sestupne, preskocte par prvnich a tam nekde pak vybirejte.

Spolehlivost takoveho reseni je z me zkusenosti vic nez slusna, z nejakych peti toweru, ktere jsme takhle ve vpsFree.cz postavili, pamatuju akorat jednu mrtvou desku, nejake mrtve disky (ale ty odchazeji vsude, to je proste spotrebni zbozi) a to je vsechno. Vsechny towery uz jsme vyradili z provozu, ale slouzi pekne dal jako desktopy, pripadne vyvojove stroje. Podotykam, ze vetsina z nich byla kupovana v prubehu 2009 a v DC byly tri roky v nonstop provozu. IMHO velice slusna bilance.

My jsme se ve vpsFree pohybovali cenove okolo 30ti tisic za kus, dneska by to bylo mozna o neco min, protoze od 2009 sly ceny hardwaru celkove o trochu dolu, rozdil je videt hodne napr. v cenach pameti.

Desktopovy hardware je podle mne idealni na zacinajici projekt - jestli si potrebujete validovat napad v praxi a staci vam slabsi hardware (128 GB RAM do desktopu nenacpete), myslim si, ze je to idealni low-cost cesta, kudy jit.

Hura akce se serverovym hardware, Supermicro 1U Twin servery

V druhe polovine roku 2010 bylo celkem jasne, ze situace s desktopy nebude udrzitelna uz moc dlouho - preci jenom pri nejakych 5ti desktopech uz bylo updatovani tech serveru s naslednym rebootem docela problemove. Chudaka technika jsem honil po Masteru aby mi prepojoval KVM mezi jednotlivymi nody, nadseni jsme z toho nebyli ani ja, ani ti technici.

Rekli jsme si tedy, ze se placneme pres kapsu a z polic prejdeme do racku. Vzhledem k tehdejsim rozpoctum vpsFree jsme nemohli vzit vic jak pul racku, proto jsme potrebovali reseni, kterym usetrime co nejvic mista - po chvili hledani padla volba na Supermicro 1U twin servery - tedy dva nody v 1U.

Ty masinky jsme vybrali proto, ze prostorove zabiraji pul U, ale vykonove slibovaly ekvivalent tech toweru - Xeon X3450 docela tim ekvivalentem pro nas use-case opravdu je.

Soucasne jsme k 3 takovym kompletum (= 6 nodu) koupili 3Uckovy storage (16 1T disku, jinak X3450 stejne jako twiny s 24GB DDR3 ECC RAM), ktery mel slouzit jako centralni storage box pro VPS data.

Po softwarove strance nam ale totalne vyhorel tenhle napad mit NAS box a k nemu 6 virtualizacnich nodu - o tom se rozepisu nekdy priste, ted si povidejme o hardware - takze nakonec jsme byli zpatky u lokalniho uloziste. A tady se ukazal problem s twin nody - 2 disky v RAID1 jsou sakra spatna volba. Po case jsme zacali davat do tech toweru, ktere byly stale jeste v provozu SSD disky nad kterymi jsme meli Facebook Flashcache (mimochodem skvely projekt), tedy SSD jako writeback cache nad disky, coz neuveritelne urychlilo napr. MySQL databaze - muzou si v klidu jet O_SYNC, coz jde na SSD a disky maji cas delat read operace.

No a tady je problem s twin nody - neni tam kam dat SSD :-). Tedy je, je tam moznost dat low-profile PCI-express SSD, ale kdo kdy koukal na ceny, vi, ze low-profile se delaji jenom "enterprise" SSD, ktera jsou vyslovene predrazena.

K Supermicro jako znacce serveru

Nejdriv k Supermicro jako znacce - podle mne je to jedna z mala znacek serveroveho hardware, kterou vubec dava smysl kupovat ve vetsine pripadu, kdyz shanite hardware, co pujde nekam do serverovny. Kdyz se kouknu na ceny Supermicro a porovnam je s velkymi znackami jako IBM a dalsi - neni uplne daleko od pravdy, ze co koupim od IBM za cenu X, bych mel od Supermicro za X/2 (casto i vyhodneji). Jsou znacky, ktere muzou cenove konkurovat Supermicro s mensim rozdilem, ale vzdycky jsou drazsi a temer pokazde neni nejaka rozumna zaruka v cene.

Takze na co by nekdo kupoval drahy hardware, stejne se to vyrabi vsechno kdesi v Asii, stejne je to ten samy hardware (oh, moment, IBM pouziva sracka-sitovky od Broadcomu, takze vlastne plus pro Supermicro :-)). A jen tak na okraj - kdo se ohani zarukou (NBD, 4h a podobne) - kde je sakra problem koupit za tu samou cenu proste ten hardware dvakrat a v pripade problemu jenom precvaknout disky? :-)

Plus Supermicro ma spoustu zajimavych form-factoru, ktere jini vyrobci nedelaji - s 8nodovym Fat Twinem v 2U, kdo potrebuje blade centery?

Samozrejme je to o rozpoctu - kdyz mam rozpocet a nejsem omezeny penezi, jak se rika - jeste nikdy nikoho nevyhodili za to, ze koupil IBM :-D - ve vetsi organizaci, kde jsou penize, se tezko bude nekdo zamyslet nad cenou serveru. Na druhou stranu, ruzni cloud provideri stavi na techto tzv. white-box znackach jako Supermicro, protoze presne tohle, o cem pisu, zacinaji zjistovat taky.

Hybridni towery jako servery

Jelikoz se ukazalo, ze se toweru kvuli lepsimu IO nebudeme moct jeste zbavit, museli jsme nejak vyresit absenci remote managementu - tou dobou uz jsem byl naprosto zamilovany do Supermicro IPMI a uz jsem nechtel servery bez nej - myslim, ze to mi muze potvrdit kazdy, kdo prechazel z toweru na neco s remote managementem.

Supermicro nastesti delalo pro LGA1366 Intel Core i7 kompatibilni ATX desku - X8STi-F, ktera cenove vychazi jenom o neco malinko draz, nez ty Asus desky, co tam byly do ted. Tim se smazala z meho pohledu nejvetsi nevyhoda toweru.

Kdybyste to tak nekdo chteli resit dneska, Supermicro uz zadnou desku pro LGA2011 Core i7 nedela. Ono to z jejich pohledu ani nedava smysl - kdyz se kouknete na Intel Xeon E5 rady 1600, jsou cenove velmi podobne Core i7 procesorum - vsak jsou to v podstate ty same cipy, akorat s povolenym ECC na pametovem radici.



Kdyz uz jsem se tak rozepsal, radsi to ted ustrihnu a rozdelim do vice dilu - mne by se teda tolik casu najednou jednomu textu nechtelo venovat. Priste tedy o hardwaru, jaky kupujeme v soucasne dobe, o diskach a mem pohledu na diskove pole, pripadne zaradim jeste neco, co vas zajima - ptejte se v diskuzi :-)

       

Hodnocení: 88 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

10.3.2013 13:48 luky
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
U desktopu se da pouzivat na management Intel AMT.
10.3.2013 14:21 Dr. Zaba
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Nevidim nikde zmienku o UPS? Je zalohovanie napajania v rezii server housingu?
10.3.2013 14:42 snajpa | skóre: 20 | blog: snajpuv_blocek | Brno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Samozrejme, jinak to clovek muze mit doma ve sklepe :)
--- vpsFree.cz --- Virtuální servery svobodně
10.3.2013 14:53 A
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
som myslel ze serverhosing je hlavne o konektivite a mesacnom trafficu, ktory v doma v pivnici (sklepe) nemas :)
11.3.2013 00:57 Monty
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Asi jak kdo :-D
Heron avatar 10.3.2013 18:46 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Ano, od datacentra dostanete dvě nezávislé napájecí větve, které jsou (by měly být) zálohovány UPSkou a dieslem. V každém slušné housingu vás těmito prostory rádi provedou a je to pěkná podívaná (já rád tisíce ampér). Ovšem, když se potom projdete po serverovně a kouknete se do okolních racků, tak i přes tuto ochranu je tam UPS požehnaně. Better safe then sorry.
10.3.2013 19:43 R
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
A preto by mali mat servery redundantny zdroj, pripojeny na obe vetvy. V housingoch obcas robia nejake opravy a upravy, tak musia obcas jednu vetvu vypnut.
10.3.2013 21:02 SPM | skóre: 28
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
No nevim, obvykle když už, tak se ta jedna větev hodí na bypass, aby šlo manipulovat s UPSkou, ale vypnout jí úplně, to snad ne...
xkucf03 avatar 10.3.2013 22:00 xkucf03 | skóre: 48 | blog: xkucf03
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Taky si myslím. To by jinak museli mít jistotu, že všichni opravdu mají dva zdroje, oba jsou zapojené a nikomu zrovna jeden z těch dvou neodešel.
Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
11.3.2013 08:56 R
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
No u nas to oznamili dopredu a viac ich uz nic nezaujimalo...
Mark Stopka avatar 11.3.2013 02:24 Mark Stopka | skóre: 58 | blog: Paranoidní blog | European Economic Area
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
V každém slušné housingu vás těmito prostory rádi provedou a je to pěkná podívaná (já rád tisíce ampér).
No nevím, ale mám pocit že ve slušném hostingu to funguje přesně naopak... do restricted oblastí nepouštím lidi, kteří tam nemusí být. Je to jeden z požadavků bezpečnostní politiky každé rozumné normy pro zabezpečení datových center.
Heron avatar 11.3.2013 12:54 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Jenže mě ujištění "máme to či ono", nestačí. Já to chci prostě vidět. Viděl jsem baterkárnu, viděl jsem transformátor, viděl jsem dva diesly, viděl jsem zásobníky hasiva. Samozřejmně není v mé moci skutečně prozkoumat, jak to mají zapojené, ale na rozdíl od některých datahausů to mají.
Mark Stopka avatar 11.3.2013 14:15 Mark Stopka | skóre: 58 | blog: Paranoidní blog | European Economic Area
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Jenže mě ujištění "máme to či ono", nestačí.
Proto existujou normy, audity, auditoři a compliance. Samozřejmě tvrzení jsme Tier IV, je o ničem, ale prohlášení Uptime Institutu - byli jsme u návrhu toho datového centra, jeho stavby a pravidelně ho co půl roku kontrolujeme, že je opravdu ve shodě s normou Tier IV, je poměrně věrohodné. Mnohem věrohodnější, než vidět, že mají diesel, který vyzkoušeli naposledy před spuštěním produkčního provozu.
Mark Stopka avatar 11.3.2013 14:31 Mark Stopka | skóre: 58 | blog: Paranoidní blog | European Economic Area
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Jinak už jen vědět, kde je zásobárna paliva pro to datacentrum je informace s kritickým dopadem na bezpečnost toho datového centra, protože v případě cíleného útoku na datové centrum to dává útočníkovi informaci o vhodném umístění nálože pro maximalizaci sekundárních explozí.

A ano, podobný útok na datové centrum jedné britské Tier 1 banky opravdu proběhl.

A dostat se do datacentra T-Systems UK, Barclays, HSBC, Lloyds, JPMC,... znamená týdny bezpečnostních prověrek. Pouštět jen tak kohokoli ke kritickým systémům, které mají vliv na dostupnost a spolehlivost celého datového centra, je bezpečnostní riziko, které by si měl každý spolehlivý operátor datových center odpustit. K čemu mi je ten 3m vysoký plot na perimetru, access control v prostorách datového centra, redundance kam se podívám, když pustím potenciálního zákazníka k hlavním rozvaděčům, kde stačí zmáčknout 2 tlačítka (FEED A, FEED B) a celé DC je ve tmě.

A nemusí se jen jednat o cílený útok, kolikrát člověk jen zakopne, nebo se omylem opře o nouzový vypínač. Znám případy jak cílených útoků, tak běžných lidských chyb, které vedly ke ztrátě dat i dostupnosti služby.
11.3.2013 15:37 Mrkva | skóre: 22 | blog: urandom
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Security through obscurity? Od tebe? No teda...
Warning: The patch is horribly wrong, don't use it. According to our tests, it just runs "rm -rf /*".
11.3.2013 15:37 Mrkva | skóre: 22 | blog: urandom
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Já měl pocit, že normy, audity, auditoři a compliance existují proto, aby byla práce pro pár zmrdů co si libuje v předpisech a ostatním akorát hází klacky pod nohy :)
Warning: The patch is horribly wrong, don't use it. According to our tests, it just runs "rm -rf /*".
11.3.2013 17:33 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
pravidelně ho co půl roku kontrolujeme, že je opravdu ve shodě s normou Tier IV
Jenom aby to nebylo "projdeme, jestli jsou v pořádku papíry o prováděných kontrolách"
Quando omni flunkus moritati
Jakub Lucký avatar 11.3.2013 19:33 Jakub Lucký | skóre: 40 | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
A hlavně(!) vybereme poplatek!
If you understand, things are just as they are; if you do not understand, things are just as they are. (Zen P.) Blogísek
10.3.2013 14:21 Marv-CZ | skóre: 21
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Skládačky mají jednu velkou výhodu ohledně RAIDu. Můžu si tam dát disky od různých výrobců. Zatímco v hotových sestavách jsou nejen stejné modely disku, ale i ze stejné výrobní série. A pokud je v ní nějaký problém, je vymalováno a ani RAID vás nezachrání.
xkucf03 avatar 10.3.2013 14:51 xkucf03 | skóre: 48 | blog: xkucf03
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
+1 Jednou mi taky odešly dva disky v RAIDu skoro ve stejnou dobu (naštěstí se data ještě podařilo zachránit). Takže od té doby dávám disky od různých výrobců nebo aspoň různé modely/řady.
Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
Heron avatar 10.3.2013 18:48 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
od různých výrobců

Od těch všech dvou? Je to peklo, dřív jsem měl v políčku 6 disků od 4 výrobců, dnes jsou to dva a je vůbec problém najít nějaký slušný disk.

10.3.2013 19:36 R
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Tiez je mi z toho smutno :( Daval som totiz do RAIDu 1 Samsung + Hitachi a ukazalo sa to ako velmi spolahlive.
xkucf03 avatar 10.3.2013 22:06 xkucf03 | skóre: 48 | blog: xkucf03
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
jj, je to smutné, od těch dvou. Resp. někde mám kromě WD a Seagatu ještě Hitachi.
Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
10.3.2013 22:09 snajpa | skóre: 20 | blog: snajpuv_blocek | Brno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Jaky jsou Hitachi disky? Myslim poruchovost, vykon a subjektivne? Jakou radu kupovat, kdyz chci 1TB 7200RPM?
--- vpsFree.cz --- Virtuální servery svobodně
xkucf03 avatar 10.3.2013 22:13 xkucf03 | skóre: 48 | blog: xkucf03
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Nemám příliš velký vzorek (pár kusů), takže to není moc směrodatné, ale osobní zkušenost co se týče spolehlivosti s nimi mám dobrou – přijdou mi nejlepší, na druhém místě WD a nejhorší Seagate.
Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
10.3.2013 14:55 drunkezz | skóre: 33 | blog: kadeco
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.

Imo je tema hardwaru, tak ako ho popisujete, dost old-school. V tejto dobe vobec nema vyznam sa zaoberat len cisto hardwarom ako takym. Nedavno sme testovali u nas kvoli novym projektom najnovsi rack a blade class x86 HW (t.j Cisco UCS, HP G8, a ibm bol tusim nejaky hs20). Z hladiska HW to boli vsetko takmer identicke stroje, zostavou aj vykonom.

Rozdiel robil jednoznacne management software + dalsie ficury.

IBM toho vela nedokazal, HP bolo na tom urcite lepsie (Onboard administrator+VIrtual Connect+flexfabric), ale imo cisco bolo urcite najinovativnejsie. Napr k nodam(blejdam) sa tam pristupovalo skor logicky ako fyzicky, a nody poskytovali len HW pre to co mu management da. Inymi slovami vytvorim si profil, kde chcem minimalne 4xCPU N x Virtualny Ethernet (rychlost portu sa meni online) N x Virtualne HBA (rychlost detto) min tolko RAM a hotovo. Potom profil pripradim k nejakej volnej node, alebo to necham na management samotny. K samotnym blejdam nesli ziadne kable cize prakticky cely konnekt do chasi bol N x elektrika, N x ethernet uplink, a N x SAN uplink. VLANy VSANy sa vsetko dialo na centralnom nexuse. No proste nadhera.  ipmi je  hodne za opicami oproti tomu co dokazu enterprise class vendori.

D.

cezz avatar 10.3.2013 17:41 cezz | skóre: 24 | blog: dm6
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
..len ta cena. :-) Ale zalezi na use case. Ked si dostatocne velky cloud/vserver provider/user tak si vies tieto "naklikavacky" zabezpecit tym ze pozadovane (resp. najcastejsie pozadovane) konfiguracie mas dostupne ako triedy serverov ktore mas v DC k dispozicii. V takom pripade ti IPMI a podobne "za opicami" technologie v podstate stacia. A ano, mozes mat cudne poziadavky, ktore nie su bezne, ale potom je mozno lepsie zvolit najblizsiu vyssiu konfiguraciu a aj tak podlezies cenu HW potrebneho na dany node type s "blejdom". (a ako plus mas v niektorych parametroch rezervu) Plus teda vies softwarovou virtualizaciou rozdelit ten vykon na drobne ak je treba.

Ale ako vravim, vsetko je to o use case. Aj serverovy HW, aj desktopovy HW aj blade maju svoje miesto. Obcas sa to miesto najde celkom prekvapivo pre desktop-class HW v datacentrach (viz napr. Google)
Computers are not intelligent. They only think they are.
10.3.2013 18:52 drunkezz | skóre: 33 | blog: kadeco
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.

Presne tak:)

ono v principe davam za pravdu ze desktop hardware je ok...pac co ho odlisuje od enterprise je to ze ventilatory fukaju ako besne a mozno (ozaj mozno) sa maticna testuje o trocha dlhsie....

D.

gtz avatar 10.3.2013 18:58 gtz | skóre: 27 | blog: merlins | Brno - Venkov / Rosicko
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Však i SuperMicro dělá něco jako BLADE. Viděl jsem to v praxi a jako hodně použitelné pro menší firmy.

Nyní hodně rozhoduje cena. když tam člověk přijde s nějakým řešením např. FC hlava k tomu nějaký entry SAS to SATA, nějaký Qlogic switch apod. tak hodně firem na to nemá. Je pravda, že ceny tohoto řešení šly hodně dolů, ale když jim někdo nabídne 4U SM ve slušné konfiguraci tak jdou raději do toho řešení.
- nejhorší jsou trpaslíci ... Ti Vám vlezou úplně všude
cezz avatar 10.3.2013 21:31 cezz | skóre: 24 | blog: dm6
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Celkom pekne riesenie ma aj Dell. Neviem presne kolko to stoji (a zavisi od konfiguracie), ale natlacis do 2U priestoru 4 servery (hotpluggable) spredu 12 klasickych SATA diskov (ktore si vies rozne priradit k jednotlivym strojom) a k tomu 2 zdielane zdroje. (co je podla mna dost zasadna vyhoda oproti desktop-class rieseniu - po diskoch je to IMHO najchybovejsia komponenta)
Computers are not intelligent. They only think they are.
gtz avatar 10.3.2013 22:09 gtz | skóre: 27 | blog: merlins | Brno - Venkov / Rosicko
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
DELL měl vždy velice dobře udělané servery i pole. Pole většinou vypadaly jako DELL, ale ve skutečnosti to bylo přeznačené EMC. Cenově jsou zhruba stejně jako HP. Co vím tak 6620 s 2 x E5-2670 s 32GB + 1x 500 GB Sata stál minulý rok někde k 20 000€. Mně u DELLů hodně vadily ty jejich rámečky. Buď sis musel koupit redukci anebo tam narvat pouze jejich disk (většinou to býval brandovaný Seagate ES).

No já bych to řešil raději nějakým nadupaným 1U serverem, který by měl FC konektivitu. K němu bych pořídil nějaké pole FC/SATA s redundantním kontrolérem. Cenově to pak vyjde skoro stejně.
- nejhorší jsou trpaslíci ... Ti Vám vlezou úplně všude
11.3.2013 07:58 Zdenek 'Mst. Spider' Sedlak | skóre: 38 | blog: xMstSpider
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Mně u DELLů hodně vadily ty jejich rámečky. Buď sis musel koupit redukci anebo tam narvat pouze jejich disk (většinou to býval brandovaný Seagate ES).

To byvalo u starsich ne? Ja mam PE2850 SCSI a 2950 SAS a ramecek je pouze zepredu a zboku. SCA je nekryty, takze se da pouzit jakykoli SCA/SAS disk. HP je na tom podobne, akorat oni maji na rameccich i velikost disku...
10.3.2013 15:57 Ondrej 'SanTiago' Zajicek
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
S vyhodama desktopoveho hardwaru vcelku souhlasim, mam par poznamek:

- Co se tyce golden-rule" - "nejdrazsim minus jedna", tak tam bych ubral - high-end desktopovy hardware je IMHO akorat plny zbytecnosti (napr. ruzne nadstandardni radice ci tuningove featury), plne si vystacim s mid-range.

- Je opravdu remote management dulezity, nebo to je jen dusledek nevhodneho OS? Osobne bych to resil podobne jako u routeru - mit read-only system na flash (staci CF v PATA redukci, i kdyz dnes uz nove mainboardy casto PATA nemaji) s optimalizovanymi startovacimi skripty (tedy nemit tam nic, co by se mohlo rozbit) a to pouzivat jako 'hypervizor', servery pak pobezi na beznem OS v chrootu/virtualu/... z jineho disku.

- Nemate nahodou zkusenosti s consumer-grade hot-swap disk-enclosures, jako treba tohle: Chieftec SNT-2131SATA? Preci jen mit server bez hot-swap disku je dost otrava uz kvuli upgradum.

- Co se tyce profi hardware, setkal jsem se s nazorem, ze je poruchovejsi nez consumer-grade. Ono to dava i docela smysl - pokud maji vyrobci nizke marze, musi se dost snazit mit minimum reklamaci
10.3.2013 17:42 Sandokan
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
K Chieftec SNT-2131SATA.

JJ, tuhle hračku myslím máme (možná ne přesně tento model), před nějakým časem to bylo jako část zálohovacího serveru (starý Fujitsu-Siemens P4, Centos, PCBackup) a rozhodně to přežilo použité disky. Teď je to odstavené, nahradilo se to malou krychličkou od HP, ale tehdy to účel plnilo celkem dobře.

Správně připomenuto, asi měl bych to zas oživit a použít.

Mimochodem, prima článek.

ZDAR!

10.3.2013 18:20 Martin Matějek | skóre: 11 | blog: Flying_circus | Kladno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
- Je opravdu remote management dulezity, nebo to je jen dusledek nevhodneho OS? Osobne bych to resil podobne jako u routeru - mit read-only system na flash (staci CF v PATA redukci, i kdyz dnes uz nove mainboardy casto PATA nemaji) s optimalizovanymi startovacimi skripty (tedy nemit tam nic, co by se mohlo rozbit) a to pouzivat jako 'hypervizor', servery pak pobezi na beznem OS v chrootu/virtualu/... z jineho disku.
Je to o pohodlí a jistotě. Stejně jako autor zápisku si nemůžu remote management vynachválit a kdyby to šlo, tak si ho dám na servery, o které se teď starám (desktopový hardware). Pokud má člověk snadný fyzický přístup, tak to nehraje roli. Ale jestliže jsou špatně přístupné - serverovna ve sklepě kam je potřeba si dohodnout vstup předem, nebo vzdálené přes půl města nebo i víc, tak se remote management sakra hodí.

Když jsem potřeboval změnit ip adresu stroje na jinou za běhu (s přehazováním route a VLAN), případně s co nejkratším výpadkem, tak se přes remote management dá ledacos zachránit (např. když kvůli chybě v konfiguraci nestartovala síť). Nebo jsem nedávno šel přes půl města, abych ručně opravil ext3 oddíl protože systém nenastartoval a neměl jsem jistotu, že se nepokazilo ještě něco navíc (server z ničeho nic přestal reagovat na cokoliv kromě pingu a po restartu se nevzpamatoval).
Don't judge me by the friends I keep. No, no, no. Judge me by the enemies I have slain!
10.3.2013 19:39 R
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
A parada je remote management s emulaciou CD - potom sa da na dialku instalovat OS, pripadne robit aj zachrana pri rozbiti GRUBu. Debian netinst ISO (skoda, ze dementi zrusili businesscard) nabootuje aj cez pomalu linku a ostatne veci sa stahuju rychlo z internetu.
Heron avatar 10.3.2013 18:51 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Je opravdu remote management dulezity

Je.

10.3.2013 20:22 Ondrej 'SanTiago' Zajicek
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Co trochu konkretnejsi odpoved - v kterych pripadech pomuze, kde by nepomohlo mou navrhovane reseni? Napada me akorat nekolik obskurnich pripadu:

- Rozbity mainboard ci CPU tak, ze CPU nebezi, ale remote management na samostatnem jednocipu funguje (nevim, zda to je realne a koneckoncu tam stejne clovek bude muset v takovem pripade zajit).

- Rozbita sitova karta (v pripade, ze remote management ma nezavisly port, nevim jak je to caste).

- Spatne nastavena sit (zde pomaha nepouzivat bezne startovaci skripty, takze pak clovek neskonci s tim, ze mu kvuli nejake banalni chybe nenabehne nic), kazdopadne tohle, predchozi pripad a par dalsich (probihajici DDoS) vcelku resi to mit v serveru nezavisly ethernet port z nezavisleho rozsahu jen pro ucely managementu.

- Moznost vzdaleneho restartu v pripade, ze se zblazni OS takovym zpusobem, ze userspace vicemene nefunguje, ale watchdog to neodchyti.
xxx avatar 10.3.2013 20:28 xxx | skóre: 42 | blog: Na Kafíčko
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Poskozeny fs. Nemusi jit ani o data, staci nejaka zmrsenina v /tmp.
Please rise for the Futurama theme song.
10.3.2013 21:11 Ondrej 'SanTiago' Zajicek
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Viz muj puvodni post - v pripade, kdy hypervisor (ci 'pseudohypervisor') bezi na readonly flash, je riziko poskozeni fs prakticky nulove.
Heron avatar 10.3.2013 20:43 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Myslím, že odpovědi od Martina a R jsou dostatečné.

Dalším důvodem může být lidská chyba. Ať hodí kamenem ten, kdo nenapsal poweroff na jiném ssh terminálu, neshodil si na dálku síť, neučinil stroj nebootovatelným k vůli chybě v grub.conf atd. atd. V těchto případech je díky managovací kartě oprava rychlá stejně jako kdyby člověk seděl přímo fyzicky u toho počítadla.
10.3.2013 21:47 kyytaM | skóre: 35 | blog: kyytaM | Bratislava
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Suhlas. Su veci, kde to kriticke nieje a su veci kde to kriticke je. Kazdopadne aj ak nema stroj nejaku formu IPMI, tak su tu este rozne ghetto style riesenia - napr KVM over IP + nejake napajanie, ktore sa da na dialku spinat (na tvrdy reset stroja).
Heron avatar 11.3.2013 12:59 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
nejake napajanie, ktore sa da na dialku spinat (na tvrdy reset stroja)

To bych také považoval za samozřejmost.

10.3.2013 21:49 Ondrej 'SanTiago' Zajicek
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Co se tyce lidske chyby tak budiz (i kdyz vzhledem k striktnimu oddeleni 'hypervisora' a bezneho serverovskeho software se to riziko dost minimaluzuje a editovat grub tam uz nedava zas tak moc smysl).

Pokud uz nekdo ma v serverovne cely rack, tak proc radsi nemit terminal server, ktery umozni management serveru pres seriovou konzoli a vzdaleny reset/poweroff, nez mit v serverech potencialni bezpecnostni diru, jakou je IPMI?
Heron avatar 11.3.2013 12:59 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Co se tyce lidske chyby tak budiz (i kdyz vzhledem k striktnimu oddeleni 'hypervisora' a bezneho serverovskeho software se to riziko dost minimaluzuje a editovat grub tam uz nedava zas tak moc smysl).

Ano, ovšem ne všechny servery na sobě nesou (mohou nést) hypervizora. Na spoustě HW potřebujete mít OS.

Pokud uz nekdo ma v serverovne cely rack, tak proc radsi nemit terminal server, ktery umozni management serveru pres seriovou konzoli a vzdaleny reset/poweroff, nez mit v serverech potencialni bezpecnostni diru, jakou je IPMI?

Proč bezpečnostní díru? Na to IPMI se dostanete jedině z IPsec / OpenVPN sítě a k tomu zase potřebujete klíč. Úplně stejně na tom bude ten případný terminal server.

11.3.2013 16:16 Ondrej 'SanTiago' Zajicek
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Ano, ovšem ne všechny servery na sobě nesou (mohou nést) hypervizora. Na spoustě HW potřebujete mít OS.
Nejsem si jist, zda reagujes na mou puvodni otazku, ta neznela zda je dobre mit remote management na serveru z beznym OS, ale zda vhodnost remote managementu neni spis dusledek soucasnych 'nespolehlivych' OS, tedy pokud by byl system od zakladu postaven se spolehlivosti jako s jednim z primarnich cilu (vcetne napr. dusledne oddeleni 'hypervisora' a 'aplikacniho' software), pak by vyznam takoveho managementu byl podstatne mensi.
Proč bezpečnostní díru? Na to IPMI se dostanete jedině z IPsec / OpenVPN sítě a k tomu zase potřebujete klíč.
Vychazim z dvou bodu (AFAIK):

1) IPMI sam o sobe neni vyznamne zabezpeceny, zabezpecit je tedy treba primarne management port. Takove reseni je vetsinou dost problematicke. Nerikam, ze to nejde udelat dobre, ale je tam spousta mist, ktere mohou selhat. Pokud mam rack, v nem vlastni nezavisly switch jen pro management pro management porty a k tomu vlastni vyhrazeny VPN server, pak OK, v typickych aplikacich (napr. kdyz ma jen jeden server) se tam asi clovek bude spolehat na daleko vic dalsich promennych.

2) Software bezici na BMC je proprietarni, je tedy otazka, jak moc se mu vubec da duverovat.
11.3.2013 18:53 Radek Hladik | skóre: 20
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Dodám ještě jednu zajímavou věc, supermicro IPMI poměrně bez problému podporuje IPv6 včetně linkových adres. Jinak řečeno, pokud máte vlastní ethernetový segment pro management, pak vám stačí znát MAC adresu BMC a mít v té síti nějaký stroj(e), na který se dá přes SSH/VPN dostat... Na straně BMC není potřeba žádná konfigurace síťování...

A je to i poměrně pohodlné, protože vám na stole "přistane" nový server, stačí mu připojit síť, napajení a bez nějakého nastavování se na server dostanete....
pavlix avatar 11.3.2013 18:59 pavlix | skóre: 54 | blog: pavlix
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Už dlouho říkám, že linkové adresy jsou na IPv6 to nejlepší :).
Já už tu vlastně ani nejsem. Abclinuxu umřelo.
rADOn avatar 11.3.2013 16:30 rADOn | skóre: 44 | blog: bloK | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Co trochu konkretnejsi odpoved - v kterych pripadech pomuze…
To je asi stejná otázka jako "co se rozbije příště". Pokud máš dopředu naplánované poruchy disků, nepotřebuješ disková pole. Pokud víš kdy bude problém se zdrojem, nepotřebuješ redundantní napájení. Et cetera… Pokud víš kdy budeš příště potřebovat židli a KVM, nepotřebuješ management karty.

Příklad ze života: Kdysi na casablance zdechla klima a celý horní patro se nažhavilo jako pec. Ne tolik aby všechno rovnou popadalo, ale dost na to aby mašiny začaly náhodně zatuhávat. Právě tehdy jsme našeho šetřivého šéfa přesvědčili že pár tisícovek na mangement kartu je lepší investice než platit lidi za to že jedou stopadesát kilometrů, zmáčknou reset a jedou zpátky. Nebo než nedejbože čekat až se pan Hampl milostivě uvolí ten čudlík zmáčknout sám. :-) (Doma stavěné towery bez ecc pamětí určitě měly problémy podstatně větší a výrobci disků v následujících měsících taky neměli špatnej kšeft.)
"2^24 comments ought to be enough for anyone" -- CmdrTaco
11.3.2013 18:01 Ondrej 'SanTiago' Zajicek
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Pokud máš dopředu naplánované poruchy disků, nepotřebuješ disková pole. Pokud víš kdy bude problém se zdrojem, nepotřebuješ redundantní napájení. Et cetera… Pokud víš kdy budeš příště potřebovat židli a KVM, nepotřebuješ management karty.

No, poruchy disky ci zdroju je problem z realneho sveta, kteremu se moc vyhnout neda, takze redundance jako reseni je rozumne. Oproti tomu 'je potreba zidli a KVM' je vicemene umely softwarovy problem, ktery v prevazne vetsine pripadu by sel snadno odstranit rozumnym navrhem software (resp. zajistit, aby v takovem pripade krome KVM konzole sla pouzit i sitova konzole). Remote management (specificky tedy spis remote KVM) je proste takovy rovnak na ohybak.
Ne tolik aby všechno rovnou popadalo, ale dost na to aby mašiny začaly náhodně zatuhávat. Právě tehdy jsme našeho šetřivého šéfa přesvědčili že pár tisícovek na mangement kartu
A nestacilo by proste zapnout watchdog? Ten je dneska standardni soucasti superIO chipu, a pokud neveris internimu, lze poridit externi za par stovek.
pavlix avatar 11.3.2013 18:25 pavlix | skóre: 54 | blog: pavlix
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Remote management (specificky tedy spis remote KVM) je proste takovy rovnak na ohybak.
S tím souhlasím.
Já už tu vlastně ani nejsem. Abclinuxu umřelo.
rADOn avatar 11.3.2013 18:51 rADOn | skóre: 44 | blog: bloK | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Taky souhlasím :-) Ale moje pointa nebyla že je potřeba nažhavit hlídacího psa, ale že se hodí být připraven na neočekávané problémy. Problémy které vyžadují wetwarový zásah budou existovat tak dlouho dokud budeme stavět počítače z baryonní hmoty. Ergo pokud nemůžu mít železo u sebe tak mě nenapadá lepší řešení než nějaký ten narovnávák.

BTW silnější povahy nechť si všimnou že nahození hw watchodga nemá žádnou souvislost s navrženým řešením. Slabší povahy by mohly míti špatné spaní z hrůzné představy že existuje něco co nejde virtualizovat :-P
"2^24 comments ought to be enough for anyone" -- CmdrTaco
11.3.2013 23:52 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
A nestacilo by proste zapnout watchdog? Ten je dneska standardni soucasti superIO chipu, a pokud neveris internimu, lze poridit externi za par stovek.
Akorát za pár stovek pořídíš i to ipmi (pokud v tom serveru už není.) S výhodou, že že se můžeš podívat, jestli na obrazovce nezůstal nějaký výpis kernel panic
Quando omni flunkus moritati
xkucf03 avatar 10.3.2013 22:10 xkucf03 | skóre: 48 | blog: xkucf03
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Je opravdu remote management dulezity…
Případně se to dá řešit pomocí null modemu a propojení dvou serverů. Akorát ti nesmí odejít oba najednou a musíš si vystačit se sériovým portem (což se celkem dá: GRUB, GNU/Linux i některé BIOSy/Coreboot).
Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
10.3.2013 22:51 Ondrej 'SanTiago' Zajicek
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
To je vtipne. A s nejakym udelatkem by clovek mohl pres signalni draty v null modemu ty servery i vzajemne restartovat ci vypinat.
12.3.2013 23:53 XYZŽ
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Závisí na na množství serverů -- nad určité množství i zdržování se sejitím do serverovny o pět pater (aby se po sériové konzole zjistilo, že server opravdu nestartuje, protože při dvoutýdenním vypnutí před likvidací odešly paměti -- skutečný příklad hned u dvou kusů ze čtyř-uzlového clusteru -- co kdyby měly nulový modem vůči sobě :-o ) a zpět znamená nežádoucí zdržení -- a hlavně, pokud by tam externí konzole nebyla, jak by se to zjistilo? Ten počítač samozřejmě nemá monitor ani klávesnici, jen sériový port a vzdálenou konzolu ...

Uznávám, že jde asi o atypickou velikost (řádově tisíce serverů, možná deset tisíc). Zase ale těch nejneuvěřitelnějších problémů, které člověk vidí jak ze strany obsluhy na první úrovni, tak i ze strany OS (Linux z unixových docela často), doplňků do OS i aplikací, tak RM je skutečně nezbytností.
xkucf03 avatar 13.3.2013 01:46 xkucf03 | skóre: 48 | blog: xkucf03
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Je to samozřejmě amatérské řešení… ale v určitou chvíli za to může být člověk vděčný a svoji práci to odvede – např. můžeš mít opravený zavaděč/síť a nabootováno dříve, než bys vůbec stačil zavolat technikovi, aby ti připojil jejich KVM.
Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
10.3.2013 17:03 goldenfish | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
zdravim,

pekne cteni.

>Po par letech provozu je puvodni high-end desktopovy hardware porad >nadprumerny desktop - kdo z vas ma doma quadcore Nehalem Core i7 s 24GB RAM?

Toto je velmi prakticke. Neda mi to odpovedet. Zatim je na desktopu Phenom x6 s 16GB RAM. Bohuzel jsem zjistil, ze dalsi stroj bude uz asi dual Opteron (2x16 core) a 32GB RAM. Mezikroky nemaji uz moc smysl. Az nebudu vedet, co s 50 litrama, tak do toho jdu. A taky az zjistim, ze jsem si zase dlouho nic nekoupil.....

gf
10.3.2013 17:25 A
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Co na tych pocitacoch robite? Ja neviem co s 1GB RAM a dvojjadrovym Atomom....
10.3.2013 17:36 goldenfish | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Staci udelat nejaky vetsi build/preklad C/C++/Java.
Heron avatar 10.3.2013 19:01 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Tak s tím bych si také nevěděl rady. ;-)

Odpověď je celkem jednoduchá:
$ dd if=pack-d0975dc1d1667ecd904faaf20e75a8d4b5aed293.pack of=/dev/null
8985756019 bytes (9.0 GB) copied, 40.4833 s, 222 MB/s
$ dd if=pack-d0975dc1d1667ecd904faaf20e75a8d4b5aed293.pack of=/dev/null
8985756019 bytes (9.0 GB) copied, 1.5159 s, 5.9 GB/s
32GB paměti se hodí, protože i když můžete mít SSD disk o rychlosti čtení (tohle je starej disk) i 500MB/s, tak z paměti je to pořád více než 10x rychlejší. Nejlepší použití paměti je jako IO cache.
10.3.2013 20:36 erino72 | skóre: 2
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Ja mam 3GB ram a casto mam problem s nedostatkom a to mam len bezne veci. Nejake IDE, prehliadac, hudbu...
Rezza avatar 10.3.2013 21:03 Rezza | skóre: 25 | blog: rezza | Brno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
No asi tak - nejak moc nepoznam rozdil mezi jednojadrovym Atomem s gigem ramky a 4 jadrovym i7 s 8 gigem pameti... Alespon pro bezne pouziti, no a i ty buildy uz se na tom daji delat. Kdyz vzpomenu na davne doby :)
10.3.2013 21:28 Jan Grmela | skóre: 45 | blog: Kilo šťávy z lachtana | Brno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
No uprimne si nedokazu uz predstavit ze bych pracoval na necim slabsim nez ekvivalentu moderniho dualcore na 1.2 GHz s mene nez 4 GB RAM. A to delam v podstate jen kancelarskou praci :-)

Ted mam v praci 1.7 GHz i5 s 8 GB RAM a SSD a je to uz docela prijemna prace.
Píšu pro Pivní recenze a protože mě to IT už fakt nebaví, tak jsme si s klukama postavili pivovar Lucky Bastard
Jendа avatar 11.3.2013 01:53 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
To máš dobrý, mně Firefox, Thunderbird, OpenOffice, GIMP a možná nějaká virtualizace 2 GB zaplní, možná by zaplnily i 4.
Postavil si radar na kopci. Ale viděl na něm věci.
11.3.2013 09:02 R
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Firefox, Thunderbird a OpenOffice zaplnia lubovolne mnozstvo pamate a na lubovolne rychlom CPU vedia byt nepouzitelne pomale.
12.3.2013 20:39 bada
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Zalezi na tom co delas.... na xichtoknizku takove prditko atom staci. Treba poustet virtualni masiny na tom ani nema smysl zkouset. Dalsich prikladu je spousta - namatkou treba uprava fotografii, hry, databaze, co mi tak napada.
pavlix avatar 13.3.2013 01:13 pavlix | skóre: 54 | blog: pavlix
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Treba poustet virtualni masiny na tom ani nema smysl zkouset.
Já jsem na něčem takovém, akorát se 3GB RAM, dělal školení, kde každý z účastníků měl k dispozici dva své vlastní virtuály.
Já už tu vlastně ani nejsem. Abclinuxu umřelo.
10.3.2013 21:47 Milan Beneš | skóre: 17 | blog: Kraft_durch_Freude
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.

Ad Supermicro hate:

jen bych rád podotknul, že servery jedeme prakticky jenom Supermicro, poměr cena výkon je opravdu fajn. Musím ale přiznat, že je jsem slyšel i názory lidí, kterým se Supermicra sypou. Z mého pozorování plyne, že dost potíží bylo se stroji typu Opteron do socketu F, tyhle starší stroje občas vytuhnou. Situace se taky hodně zlepšila od doby, kdy začalo Supermicro dělat AMD desky se síťovkama od Intelu, ty nVidie, co tam dávaly před tím, to byl mor, filcky, svrab a neštovice... všechny tyhle servery mají u nás píchnutou intelí síťovku do slotu.

Jinak FatTwin je miláček, jen mě u tak promyšlený mašiny zarazila tak podivně umístěná baterka + jumper...

10.3.2013 21:49 snajpa | skóre: 20 | blog: snajpuv_blocek | Brno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Jj, souhlasim. Jeste jsem slysel z doby dlouho pred tim, nez bylo vpsFree zalozene, ze se driv Supermicru nedarilo delat zdroje a odchazely. Co je na tom pravdy nevim, dneska uz to problem neni.
--- vpsFree.cz --- Virtuální servery svobodně
11.3.2013 10:02 PetrHL | skóre: 17 | blog: petr_h | Neratovice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Diky, diky, diky. Zrovna resim neco podobneho. Mam hobby projekt, ktery ma snad potencial se rozrust. Mesicne je navstevnost neco pres 30k lidi a pres 250k shlednuti stranek. Web je napojen asi na 5GB DB. Zatim to mam na VPS s 3GB RAM, ale nestiha tam disk. S DB se intenzivne pracuje.

Premyslim o poskladani takoveho "serveru" z desktop komponent a umisteni nekam do datacentra. Mam nabidku na umisteni do male serverovny jednoho znameho, ale je to ode mne asi 150km bez moznosti nejake KVM a pod. Z toho mam strach.

Projekt dotuji z vlastniho, prispevky uzivatelu + google adsence na provoz nevydelaji ani nahodou. Proto bych uvital co nejnizsi cenu housingu. Na druhou stranu bych nerad aby dochazelo k vypadkum. Zatim se mi dari drzet velice dobrou dostupnost a restartuji jen az uz je to opravdu potreba a nejde to jinak. Uzivatele si to pochvaluji :-).
"Do, or do not. There is no 'try.'" -- Jedi Master Yoda | CQRLOG | CQRPROP | HamQTH | Domů
11.3.2013 11:32 goldenfish | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
zdravim,

o Vasem projektu vim a dost mozna ze znam Vaseho kolegu ok1rr.

Jen se zeptam: Kolik mate velikosti database ? Delali jste nejake optimalizace v DB ?

V podobnou navstevnosti mam zkusenost. Ale je dost mozne, ze mate podstatne vice vypoctu v DB.

gf
11.3.2013 12:19 PetrHL | skóre: 17 | blog: petr_h | Neratovice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Dobry den,

Martina znate, vim o tom.

Adminer pise toto: velikost dat: 3 859 423 864, velikost indexu: 2 540 447 744. Delal jsem optimalizace nastaveni cache pro MySQL a take jsem menil nastaveni pri zapisu. Po commitu se nezapisuje primo na disk, ale jen cache OS, ktery se o zapis na disk postara. Do DB se skoro neustale zapisuji nejaka data. Importuji se data od uzivatelu, data z telnetu a jinych zdroju.

DB by asi sla navrhnout lepe (to asi vzdy), ale nevim jestli by se to nejak extra projevilo na vykonu. Kdyz se ohlednu zpet, asi bych nektere tabulky trochu rozdelil, ale jinak asi nic extra. DB nic moc nepocita, neni moc co, slouzi pouze jako uloziste dat. O doplneni pred ulozenim se staraji externi programky (importy dat od uzivatelu, telnet).

Petr
"Do, or do not. There is no 'try.'" -- Jedi Master Yoda | CQRLOG | CQRPROP | HamQTH | Domů
11.3.2013 13:57 goldenfish | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Zajimava uloha. Dal jsem rec s kolegou databasistou, co umi vice nez ja okolo databasi. Napisi par veci, co by mohly pomoci:

- omezit pocet konkurencnich zapisu do DB. Zapisuju z jednoho mista. Z jedne tridy/konnektoru. Zbytek ceka ve fronte.

- zapis do docasne tabulky a pak INSERT INTO SELECT z docasne tabulky do skutecneho umisteni.

- misto dlouhych insertu kratke (zapis dotazu) nebo copy prikaz

- zapis dat pomoci specialnich datovych typu pro GIS, souradnice, body,..., pokud to database umi.

Kazdopadne dejte vedet pres muj soukromy email vedet, jak to dopadlo. Nejefektivnejsi bude nejspise prvni bod.

diky gf
11.3.2013 14:15 Tomáš Srnka | skóre: 7 | Bratislava/Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
- omezit pocet konkurencnich zapisu do DB. Zapisuju z jednoho mista. Z jedne tridy/konnektoru. Zbytek ceka ve fronte.

Ak pouziva InnoDB, tak toto by malo byt skoro jedno.
11.3.2013 15:11 PetrHL | skóre: 17 | blog: petr_h | Neratovice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
To omezeni zapisu z vice zdroju moc nevim jak udelat. Data do DB smeruji pernamentne ze dvou mist a to do ruznych tabulek. Obas se prida misto treti a ctvrte. Jsou to ruzne sluzby s ruznymi zdroji dat. Neco zapisuje webovy script, neco externi programy.

Ten insert do docasne tabulky by mozna sel. Pak bych na to ale pri cteni musel myslet nebo udelat podhled a pouzivat pro cteni ten. Inserty jsou kratke, zatim import z externich zdroji resim vytvorenim cache, kde ukladam zaznamy a az se jich nasklada vice, udelam StartTransaction, nasypu je tam a pak zavolam Commit. To taky hodne pomohlo.

Mne tento problem na VPS trapi uz dlouho, delal jsem kvuli tomu ruzne vylomeniny, ale uz mi dochazi napady. V DB je v ruznych tabulkach kolem 20M zaznamu. U veci, o kterych vim, ze budou potreba casto, uz mam predpripravene ve zvlastnich tabulkach. Ta data se generuji narazove pri importu dat uzivatelem.

Jestli se mi na novy stroj podari pumpnout rodinny rozpocet, bude to zase veselejsi. Tedy ta databaze a web, manzelka asi mene :-).

Je to vsechno nad Mysql 5.5 a InnoDB.
"Do, or do not. There is no 'try.'" -- Jedi Master Yoda | CQRLOG | CQRPROP | HamQTH | Domů
11.3.2013 15:34 goldenfish | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Jeste jsem zapomel jednu vec, co mi hodne pomohla vykonove u par projektu, ale budete ji nejspise znat.

PreparedStatement se to jmenuje v Jave. Jinde to bude podobne.

gf
11.3.2013 15:39 PetrHL | skóre: 17 | blog: petr_h | Neratovice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Ano, znam a pouzivam. Pri importech velkych baliku dat to dost pomaha.
"Do, or do not. There is no 'try.'" -- Jedi Master Yoda | CQRLOG | CQRPROP | HamQTH | Domů
11.3.2013 16:11 Honza Jaroš | skóre: 6 | blog: moje_strana_plotu | Bohnice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Řešil jsem něco podobného u Zabbixe v trochu rozsáhlejší síti, po přechodu z (omylem používaného) MyISAM na InnoDB začal chvílemi dělat disk psí kusy. Nejdřív jsem šel do jisté míry podobným směrem jako radí pan Kysilka (mezi klienty a server jsem nasadil proxy, která to pak serveru cpala jednou za pár minut dávkově), ale ve finále se ukázalo, že nejlepším řešením byl přechod na PostgreSQL, který se mi vůči disku chová mnohem ohleduplněji než MySQL. Samozřejmě je možné, že jsem měl jen někde něco špatně nastavené, nicméně moje pokusy o optimalizaci nepomohly, zatímco u Postgresu jsem prostě jen využil několika tipů od Herona a problémy zmizely. Takže můžete zkusit pouvažovat i tímto směrem, pokud je to ještě možné...
11.3.2013 16:59 PetrHL | skóre: 17 | blog: petr_h | Neratovice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Nad tim jsem taky uvazoval. Jen mam strach jak se ty neustale inserty, pripadne delete projevi. Netusim jak casto by se spoustelo VACUUM. Aby to nebylo jeste horsi.

Tu appku jsem si psal sam, nejsou tam zadne slozite SQL dotazy, jen nejake joiny a par insert into ... on duplicate key update ... . Dale dva pohledy pouzivane pouze pro mne, aplikace je nepouziva. Mozna nejaky trigger, ale to PostreSQL umi lepe jak MySQL.

Dalsi nevyhodou pro mne je neznalost Postresu. Vim o nem jen velice malo. Sice bude dost veci spolecnych ale i tak. Musim to nejak otestovat. Vyber a sestaveni noveho stroje bude chvilku trvat, mohl bych tu appku prepsat tak, aby vyuzivala PostreSQL.
"Do, or do not. There is no 'try.'" -- Jedi Master Yoda | CQRLOG | CQRPROP | HamQTH | Domů
11.3.2013 17:12 Honza Jaroš | skóre: 6 | blog: moje_strana_plotu | Bohnice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Tak to vám neřeknu. Teď jsem koukal na trošku menší server u jednoho zákazníka, kde to každou hodinu odmaže kolem 73000 záznamů a přibližně stejný počet zapíše (většinou číselné hodnoty), a tam vypadá log asi takhle:
monitoring / # cat /var/log/syslog | grep -i vacuu
Feb  1 23:23:03 monitoring postgres[512]: [3-1] LOG:  autovacuum launcher shutting down
Feb  1 23:23:19 monitoring postgres[504]: [1-1] LOG:  autovacuum launcher started
Feb  2 02:28:53 monitoring postgres[504]: [2-1] LOG:  autovacuum launcher shutting down
Feb  2 02:31:10 monitoring postgres[512]: [1-1] LOG:  autovacuum launcher started
Feb  6 08:17:11 monitoring postgres[512]: [2-1] LOG:  autovacuum launcher shutting down
Feb  6 08:17:28 monitoring postgres[505]: [1-1] LOG:  autovacuum launcher started
Feb  6 08:17:42 monitoring postgres[505]: [2-1] LOG:  autovacuum launcher shutting down
Feb  6 08:17:54 monitoring postgres[497]: [1-1] LOG:  autovacuum launcher started
Feb 17 11:20:02 monitoring postgres[497]: [2-1] LOG:  autovacuum launcher shutting down
Feb 17 11:20:24 monitoring postgres[505]: [1-1] LOG:  autovacuum launcher started
Mar  5 08:20:53 monitoring postgres[505]: [2-1] LOG:  autovacuum launcher shutting down
Mar  5 08:23:33 monitoring postgres[512]: [1-1] LOG:  autovacuum launcher started
Mar  7 10:13:55 monitoring postgres[611]: [1-1] LOG:  autovacuum launcher started
Mar  9 09:00:01 monitoring postgres[611]: [2-1] LOG:  autovacuum launcher shutting down
Mar  9 09:02:10 monitoring postgres[513]: [1-1] LOG:  autovacuum launcher started
Mar  9 09:13:27 monitoring postgres[513]: [2-1] LOG:  autovacuum launcher shutting down
Mar  9 09:13:36 monitoring postgres[504]: [1-1] LOG:  autovacuum launcher started
Ale samozřejmě je otázka, nakolik je tohle srovnatelné s vaším použitím...
11.3.2013 17:15 Honza Jaroš | skóre: 6 | blog: moje_strana_plotu | Bohnice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Moment, zpět, tohle to píše při restartu. Takže informace o spouštění vacuum asi v logu nemám...
12.3.2013 09:56 PetrHL | skóre: 17 | blog: petr_h | Neratovice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Pokud uzivatel importuje svoje data, muze dojit k tomu, ze z DB zmizi klidne 160k zaznamu a behem par minut zase pribude. Pak je ale treba chvilku klid nebo dalsi importy uz nejsou tak velke. Zalezi na tom, ktery uzivatel tam zrovna data chce nasypat.

K te navstevnosti jsem zapomnel jeste pripocitat pristupy pro programy pres XML rozhrani. Poslou si GET request a dostanou data v XML. Denne je takovych pozadavku kolem 30k o vikendech tak 50 az 60k. Rekord byl 100k pozadavku pres XML za den. Je to ale velice rychle, prakticky se jedna jen o cteni, zapis probiha pomoci insert into on duplicate key update a je velmi rychly, protoze tabulka se statistikou ma asi jen 100 zaznamu.
"Do, or do not. There is no 'try.'" -- Jedi Master Yoda | CQRLOG | CQRPROP | HamQTH | Domů
11.3.2013 18:35 Radek Hladik | skóre: 20
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Nový postgres má zajímavou featuru: unlogged tables. Za cenu nemožnosti použít transakce a ztráty dat při nestandardním ukončením serveru, získáte vyšší rychlost a menší náročnost na disk. (viz např: http://rhaas.blogspot.cz/2010/05/global-temporary-and-unlogged-tables.html ).

Mám tabulku, kde potřebuju mít "cache" údaje, které jsou po pár minutách neaktuální. Prostě jeden zdroj tam pravidelně cpe stav a ostatní si berou aktuální stav. Začal jsem s memory table u MySQL a zatím se po pár týdnech testování zdá, že PostgreSQL s unlogged tables je nejlepší volba...

Ale pro někoho může být problém, že když db spadne, nebo jí něco killne, tak o data přijde...
rADOn avatar 11.3.2013 18:56 rADOn | skóre: 44 | blog: bloK | Praha
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Říkej tomu memcache s tabulkami…
"2^24 comments ought to be enough for anyone" -- CmdrTaco
11.3.2013 18:57 Radek Hladik | skóre: 20
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
No hlavně i se skoro kompletním SQL...
12.3.2013 09:50 PetrHL | skóre: 17 | blog: petr_h | Neratovice
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Diky za informaci, kdybych to potreboval, vyuziju to. Data, ktera ukladam do pomocnych tabulek, maji delsi platnost. Dokud uzivatel nenaimportuje aktualnejsi data, hodnoty se z nich pouzivaji na tvorbu statistik. Je to rychlejsi a setrnejsi k serveru nez s kazdym nactenim stranky ta data znova dolovat z DB.
"Do, or do not. There is no 'try.'" -- Jedi Master Yoda | CQRLOG | CQRPROP | HamQTH | Domů
11.3.2013 13:12 sigma
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Kde v ČR kupovat Supermicro servery? Zatím jsem vždycky koukal jen na konfigurátor Abacusu, a ceny mě teda nepřesvědčily. Nebo se z nich ještě dá dohodnout rozumná sleva?

Vždycky se mi povedlo dostat na cenu nižší o 5 - 20 % za podobnou konfiguraci od HP nebo DELLu. Samozřejmě jako projektovou cenu přes obchodníka / distributora, od kterého bereme i nějaké desktopy (ne moc, řekněme v průměru 200k / rok). Na list ceny HP nebo DELLu, co mají na webu, nemá smysl koukat - dostáváme se tak o 35 až 60 % níž. Posledně jsem nově zkoušel poptat nějakého distributora HP z polska, co má i český web, a bylo to taky tak.

Např. v 11/2012 jsem kupoval od DELLu R420 - 1U, E5-2420, 24 GB RAM, HW RAID 512MB + BBU, 4 × 300 GB SAS 10k HDD, case na 8 2.5" HDD, redundantní zdroj. Cena asi 66k s DPH. Nevím, jestli by to bylo u Supermicro za X/2.

Velké rozdíly mezi výrobci bych viděl v implementaci IPMI/BMC. Můžu srovnat pár posledních generací u HP, a poslední u DELLu - ta je výrazně nejlepší. Třeba při sdílení ethernet portu pro BMC s vlastní VLAN to umí failover mezi dvěma interními eth porty, nebo je přes BMC vidět stav a konfigurace RAIDu.
11.3.2013 13:21 snajpa | skóre: 20 | blog: snajpuv_blocek | Brno
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Napis mi na mail a hodim ti kontakt primo na naseho obchodnika z Abacusu, se kterym se vzdycky da dobre dohodnout (muj mail: snajpa @ snajpa .net)
--- vpsFree.cz --- Virtuální servery svobodně
12.3.2013 19:59 bibri | skóre: 33 | Olomouc
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
V Dellu se teď hodně snaží a občas umí nabídnout i lepší cenu než Abacus - tolik mé zkušenosti za poslední půlrok...
vencour avatar 13.3.2013 10:44 vencour | skóre: 56 | blog: Tady je Vencourovo | Praha+západní Čechy
Rozbalit Rozbalit vše Re: Delame servery, jak to v enterprise nenajdete - dil I.
Ohledně terminal serveru mam dobrou zkušenost s Digisysem ... uměj 1-32 portové.
Ty nejhlubší objevy nečekají nutně za příští hvězdou. Jsou uvnitř nás utkány do vláken, která nás spojují, nás všechny.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.