Dotaz: Serverove vs. PC komponenty

[Ales]

Ahoj, dostal jsem ve firme za ukol postavit server (ucel je takova vsehochut, pojede tam nas, posta, stream z ip kamer). To, co je naprosto krucialni je spolehlivost (i kvuli streamu z kamer). Server by mel byt minimalne nachylny k hw chybam, takze nutnosti bude redundantni zdroj a tady prichazi kamen urazu. Moc nerozumim standardum u serverovych komponent... lze kazdy redundantni zdroj za chodu vymenit? U nekterych jsem videl popis hot-plug u nekterych oznaceni 1+1. Musi to podporovat zakladni deska? Prosim, doporucte mi nejaky? Nebo idealne, muze mi nekdo znaly poradit, na co si dat pozor a cemu se vyhnout pri porizovani redundantniho zdroje?

Ohledne ostatnich komponent. Ma dnes smysl porizovat striktne serverove veci nebo doporucite pouzit pc komponenty? Jde mi o posouzeni spolehlivost vs. cena. Navic, PC motherboardy kolem 5.000 uz jsou velice slusne i se SATAIII, zatimco serverove desky se SATAIII jsou cenove uplne jinde.

Diky vsem za prispevky

Odpovědi

[poky74]

Opomenul jsi důležitou věc, která je asi klíčová, kolik na to máš financí?

[Max]

Tak je pravda, že dnes jsou desktop součástky (pokud je člověk rozumný a ví kam sáhnout) velmi stabilní a spolehlivé. Přecijen, nejháklivější komponenty jsou dnes jen HDD a graf karty, popř. ještě zdroj. Ostatní věci drží. U serverů odpadají graf. karty (pokud stavět z desktop desky, tak hlavně né z desky s integrovanou grafikou, vždy je lepší použít nějaký externí shit).

Osobně mám zkušenosti převážně s HP servery (hlavně řada DL-380) + několik IBM serverů. Není problém měnit špatný zdroj za běhu, nebo za běhu stroje vytáhnout napájení z jednoho zdroje, znovu zapojit a vytáhnout napájení z druhého zdroje atd. Vše je pohoda jazz leháro (stejně tak jako u externích polí). Ono by to také moc smysl nemělo, mít dva zdroje a nemít možnost s nimi za běhu manipulovat.

Když jsou dva zdroje v serveru, tak bych je nestrkal do jedné UPS (ač by se měla průběžně testovat, tak může dojít k jejímu selhání a pak jsou dva zdroje na nic).

Jinak koupit server má několik výhod - integrovaná vzdálená správa (HP = iLO, IBM = RSA) + případné notifikace od modulu vzdálené správy. Servery mají připravené šachty pro hotplug disky, jsou dobře připravené do Uček atd., takže ve finále to podle mně není o tolik dražší, protože člověk platí i tyto, na první pohled neviditelné, věci.

Pokud záleží hodně na dostupnosti, tak bych se možná zamyslel nad dvouma serverama a mít storage jako cluster. Tam už bych se třeba nebál použít dva desktopy v clusteru v oddělených lokalitách. Ale to je otázka. Sám musíš vědět, kolik tak dostaneš přiděleno financí na servery, jaké jsou přesné požadavky atd.
Zdar Max

[Ales]

Díky. Mám na to cca 25.000,- ale některý komponenty už mám z PC, např. 2x 2TB SATAII HDD, ještě mám k dispozici AMD Phenom II X6 bez desky nebo Core i5 s deskou a pamětí.

Má u serveru tohohle typu smysl řešit, jestli ma SATAIII nebo stačí SATAII?

Ještě jsem nenapsal, že je důležité, aby na desce byly 4x PCI-Express kvůli pozdejší rozširitelnosti.

Po pravdě než dva paralelní servery bych raději zainvestoval do jednoho spolehlivého řešení (už kvůli spotřebě), ale se dvěma UPS (mimo rozpočet) počítám.

Pokud bych zvažoval nákup serverové platformy, tak je toto dobrá volba?: http://www.suntech.cz/produkt/117376/SUPERMICRO-2U-server-2xLGA1366-i5520-6xSATA-12xDDR3-ER-6xSATA-650W-IPMI.htm. Popisek je dost o ničem. Píše se tam, že tam je redundantní zdroj (ovšem už ne, jestli je hot-plug). S tímhle bych se do rozpoctu vesel, kdyz bych koupil jeden CPU a 2gb pameti.

Nebo jsem zvažoval bez desky: http://www.suntech.cz/produkt/111902/Supermicro-SC823TQ-R500LP-2U-eATX-6sATA-SAS-LP-rPS-500W-cerne.htm. Ovšem nevím, jestli je to pouze pro desky e-ATX nebo se tam vejde i standardní ATX (popřípadě malá ATX).

Omlouvám se, asi bych se mohl zeptat prodejce, ale ti většinou nejsou schopni podat relevantni odpoved, proto se raději ptám praktiků.

Díky

A.

[smoofy]

"Má u serveru tohohle typu smysl řešit, jestli ma SATAIII nebo stačí SATAII?"

Nejspíše ne, dokonce jsem zaslechl, že mnohdy bývá na nškterých řadičích SATAIII pomalejší než SATAII. Trojka bude mit ale vetsi buffer.

"Po pravdě než dva paralelní servery bych raději zainvestoval do jednoho spolehlivého řešení (už kvůli spotřebě), ale se dvěma UPS (mimo rozpočet) počítám." Spolehlivé řešení neexistuje. Kdyby ano, nebyly by potřeba redundantní řešení a clustery vč. většiny RAIDů (krom 0). Takze souhlas s Maxem. I kdybys nakoupil ty "nej" komponenty tak je toho moc co se ti na jednom stroju muze vysypat a na ty tvoje pozadavky neni potreba nic extra silneho takze dva stroje ktere by to bez nejmensich problemu zvladali bys postavil za ty penize s prehledem, samozrejme na desktop platforme, server asi urco ne. Nevim, zda-li se delaji desktopove reseni s redundantnim zdrojem, nikdy jsem se s tim nesetkal, ale v pripade, ze budes mit ty stroje dva, tak to ani nepotrebujes. Vzdalena sprava je vec dobra a semtam i uzitecna o kterou desktopovym resenim nejspis prijdes (znovu neznam desktopovej ekvivalent) nicmene znovu se da bez ni obejit s clusterem, popripade nahradit jednoducho alternativou v podobe wake-online apod (slabe oproti moznostem klasicke vzdalene spravy kde je napr. konfigurace, HW diagnostika a etc.).

Uvědom si, že pokud se ti na serveru cokoliv vysype tak je cely systém dole nezávisle na tom, kolik jsi do toho vrazil. Pokud budes mit redundantni zdroj tak ho musis mit pripojen na nezavisle vetvi, jinak je ti k nicemu. Hotplug zalezitosti jsou sice super ale trochu drazsiho charakteru (krom zminovaneho disku). Napr procesor nebo pamet za behu nevymenis na x86 platforme. Nejvetsim problemem jsou mechanicke casti a tudiz pevne disky. Muzou se tvarit kdovijak skvele, ale po par tydnech ci i dnech nepretrziteho provozu se teprve ukaze z jakeho jsou testa. Precejenom nonstop zahrivani a provoz proveri takze urcite bych resil pravidelnou zalohu. Osobne jsem provozoval nekolik serveru jak na desktop platforme i rackove a lepsi zkusenost mam s tema desktopama nakolik je tam vice mista a mene se hrejou. Vzdycky byl teda problem s disky.

[Max]

Máme v jobu IBM servery a ty umí odstavit vadný modul, ale reenable jedině přes bios, takže hotplug nehrozí.
Zdar Max

[Max]

Tak to je tvoje věc, ovšem když se něco po, tak budeš mít docela hoňky. Ovšem za 5 let, co pracuji s HP servery, tak jsem se ještě snad nesetkal s jedním, u kterého by něco odešlo, teda když nepočítám disky.
Na druhou stranu jsme pořídily pár IBM serverů (o něco vyšší třída, jak námi používané HP) pro SAP a hlavní server se průběžně půl roku sral (odstavoval ramky, hlásil je jako vadné, dost jich i vadných bylo) a nakonec se teda vyměnila deska a od té doby pohoda klídek (jinak celou dobu běžel stabilně, to jo). Takže i echt servery se můžou srát :-/.

Je třeba si nejdříve říci, jakou chceš dostupnost a kolik času máš na případné HW problémy. Zase, jde zaplatit packy, kdy ti dodavatel zaručuje dodání komplet náhradního serveru do x hodin.

Na druhou stranu, možná jsme moc nahoře a jsme zvyklý mít všechno jištěný a přitom malé firmy si běžně vystačí s jedním serverem, ač šéf chce mít třeba 99,99% dostupnost, tak v pohodě zkousne výpadek půl dne a nic se neděje, nebo třeba celou noc atd.
Zdar Max
PS: podle mně je to jedno, zda SATAII, nebo SATAIII

[Ales]

Díky. Můžete mi ještě prosím kouknout na ty servery v odkazech?

Btw, server bude dost i prevadet video na mp4. Ma vliv desktop vs. serverova platforma na prevod videa?

A.

[Max]

Supermicro servery neznám, ale když už má něco redundantní napájení, tak u toho i předpokládám hotswap.
Jen tak informativně, kolik kamer bude na server napojeno? A bude se jednat o IP kamery? Protože pokud to budou IP kamery a bude jich víc, tak se tím dokáže pěkně ucpat lajna a docela i zatížit server, nejen CPU, ale i diskové operace. A pokud to má sloužit i jako nasko, tak bych od 2x 2TB v R1 nečekal nějaké uspokkojivé výkony. Ale zase nevím, zda to bude nasko na zálohy, kde nějaké latence a rychlosti nehrajou tak velkou roli jako nějaké společné uložiště pro uživatele.
Máme v jobu několik druhů kamerových systémů(ip/koax/různí dodovatelé) a musím říci, že ty servery se moc neflákají s tím, že to, co běží po IP, tak je to pěkný zabiják lajny, nicméně 1Gbit síť je dostatečná, 100Mbit k tomu není.
Zdar Max

[Ales]

Pocitam, ze max 8 kamer. To myslim nebude problem, rozvody jsou cat6. A jeste snad jeden dotaz. Jaky je tvuj nazor na repas servery? Da se toho sehnat za docela prijemny ceny dost. To samy UPS. Je to spatnej napad brat repasy nebo ne?

[Max]

Můj názor na repas servery je takový, že se to vůbec nevyplatí. Znám několik lidí, co šli do repasu, měli totiž na výběr buď repas server, nebo něco novýho poskládanýho z desktopu. Pak to skončilo tak, že vyhodili 3 repas servery, naladili nový stroj postavený na desktopu, který ty starý šunty výkonově v pohodě dal + se spotřebou na tom byl hodně nízko.
Pokud jde o UPS, tak tam zkušenosti nemám, ale tam není takový vývoj, takže starý vs. nový není takový rozdíl, takže tam bych se toho asi moc nebál a dával si pozor jen na kvalitu baterie.
Zdar Max

[Kit]

Repas server je podle mne vhodný spíš pro výuku nebo nějaké nepříliš kritické nasazení, možná na testování aplikací. Nemyslím si, že by to už nebylo spolehlivé, ale morální zastarání také hraje svou roli.

Repasované UPS bych vůbec nebral. Fyzicky stárnou rychleji než počítače a výměna baterie bývá jen dočasnou záležitostí.

Google vsadil na levné desktopové železo a spolehlivosti dosáhl redundancí. Ve prospěch serverů zase hovoří lepší granularita redundance prostředků (nejsou zdvojeny servery ale jejich komponenty) a diagnostika za provozu. Záleží na aplikaci, kterou chci nasadit a požadavcích na spolehlivost.

Pro záznamy z IP kamer bych použil zrcadlení dvou NAS, u vícediskových klidně s RAID 0 a každý umístit jinam. Výpadek jednoho z nich neohrozí data a cena je přijatelná. Na poštu a běžné datové úložiště bych zase vybral běžný server a zvážil bych outsourcování některých služeb.

[lertimir]

Morální zastarání je prázdný pojem hnaný mnohdy módností a snahou prodávat nové věci. To co je důležité v profi zařazení je TCO v součinnosti s tím, že systém musí splnit požadovanou funkci v požadované kvalitě. Pokud repasovaný stroj požadavky splní, tak hlavní rozdíl je ve spotřebě elektřiny. Poměr výkonu na watt pořád stoupá, a rozdíl ve spotřebě časem pokryje rozdíl v ceně. Takže ne moc starý stroj se jako repas ještě vyplatí, a více starý už moc ne. Je třeba to spočítat.

Na druhou stranu provozuji UPS ky i 10 let staré a jsou v pohodě. Podobně jako výše podstatná je TCO. Baterie je potřeba tak po 3-5 letech vyměnit a nová baterie do staré UPS může být cenou velmi blízko nové UPS. Takže po nějaké době se nevyplatí nová baterie, ale vyměnit UPS. Jetvno jsem vyhazoval nějaké z roku 98.

V každém případě rozumný zaměstnavatel by měl do TCO i zakalkulovat práci obsluhy, a řešení které vyjde o 10k levněji, ale bude stát týden šolíchání od jednoho člověka, vůči řešení o 10k dražším, které za den pojede naplno asi není levnější řešení.

[smoofy]

Jak se to vezme, repas je vodskousenej a vi se ze to facha :) na druhou stranu provoz 24/7. Ty masiny vetsinou vydrzej dlouhy leta po tom co uz jsou davno vykonostne mimo a jsou urcity odvetvi, kde je potreba mit TOP vybavu takze osobne si mysli, proc ne, ale jen z overenyho zdroje. Disky si vymenis za par supu. Ale jak rikam, je to otazkou nazoru.

[smoofy]

Znovu souhlas. Pro IP kamery se vyplatí mít samostatnou sítovou domenu. Dokazi zatizit sitovy provoz zejmena pokud se pouzivaji SOHO sitove prvky. Jak ale psal Max, na mensi siti (cca 30+- pocitacu odzkouseno) to 1Gb zvladne hrave.Znovu zalezi na tom, kolik tech kamer mate a jakym zpusobem budete ten obraz zpracovavat, jestli planujete ukladat zaznamy 24/7 pripadne jenom streamovat etc. Dalsi veci je na jakem systemu to pobezi. Hodne zalezi samozrejme na tech kamerach protoze, co si tak pamatuju, ty maji vetsinou software widlackej takze tam uz to muze byt dalsi omezeni.

[smoofy]

Jsem asi slepej jako krtek ale ty ceny, se mi zda, jsou jenom za skrine bez procaku a pameti.

Tady mas presnej popis od vyrobce. http://www.supermicro.com/products/chassis/2U/823/SC823TQ-R500LP.cfm

http://www.supermicro.com/products/system/2U/6026/SYS-6026T-TF.cfm

Maji to tam pekne neprehledny a vubec se nedivim ze se v tom nevyznas. Pokud k tomu prictes cenu pameti a procaku tak se do toho limitu nevejdes. U ty druhy masiny stoprocentne ne u prvni jakz takz. Vliv na prevod videa bude mit to, co doto narves, takze prave ty pameti (rychlost/kapacita) a procak. Asi bych spise volil mensi kamacitu a rychlejsi pro stream, ale s timhle nemam zkusenosti. Cele mi to prijde dost pritazene. Za ty penize proste nemuzes sehnat dostatecne spolehlive reseni jak tu popisujes v rackove forme a navic mi to prijde i zbytecne. Mas na rackovy reseni skrin, nebo to chcete nechat pod stolem?

Kdyz uz, volil bych neco takovyho: http://www.64bit.eu/lenovo-thinkserver-rd210-1x-xeon-e5520-2-26-1x2gb-ddr3-1333/cz/

Mam pocit ze tam v zakladu je jeden zdroj, ale druhy se da prikoupit, dalsi nevyhoda je, ze neni osazenej disky a jsou tam 2.5 coz se muze promitnout na cene. Taky se obavam ze to nesplni podminky nasledne rozsiritelnosti, i kdyz me nenapada, co by jsi chte do tech PCI-Exp slotu cpat :).

[Ales]

jj, je to bez procesoru a pameti. Mam na to 19" 12U rack. V pci-express budou 4 dualni tv tunery :) kvuli streamu ze starsich kamer. Myslel jsem, ze by ani nebylo spatny reseni dvouprocesorova deska kvuli modularnosti.

[smoofy]

No proti rozsiritelnost nic nemam, ale cenove se do toho limitu nevejdes ani vubec :).Hlavne mi neprijde uplne dobry vyuzivat server pro prevod streamovanyho videa zaroven pro NAS a email atd. Jak to spadne mas po sluzbach a treba za ten mail te sef asi nepochvali. NAS a se asi da na chvili ozelet stejne jako ty kamery. Ja bych v tuhle chvili pro tohle reseni volil jednu dedikovanou masinu pro ty kamery a nejaky starsi stroje pro NAS a email, ty klidne nech dohromady. Na druhou stranu na to dost dobre muzes vyuzit stary zelezo takze klidne udelas i redundantni zapojeni. Opravdu neni moc dobrej napad cpat vsechny tyhle sluzby na jeden stroj, uz jenom treba proto, ze jsou vsechny dosti sitove narocny.

[lertimir]

Mě to také přijde šíleně podfinancované. Za 26k se slušné serverové řešení postavit nedá. jen procesor, deska a EEC paměť bude stát více. A server s trochu vyšší dostupností bez paměti s paritou bych neriskoval. Navíc očekávám, že ty 2x2T disky jsou ty pomalé 5k otáčkové disky do desktopu. Když se do nich pošle serverová zátěž, tedy paralelní procesy, které budou současně dost číst a psát, tak se na seek time zaseknou, přetíží a brzy shoří. Tohle je kategorie disků, které jsou super jako domácí datové úložiště, ale jistě ne jako zatížený serverový disk.

Souhlasím s názorem server rozdělit. Na jedné straně pošta a případně NAS na druhé straně streamy z kamer, u převodu videa na mp4 si nejprve ujasnit, jak to převádět jakým softem a pokud to má být on line z více kamer, tak si udělat jasno, jak převod provést v grafické kartě jinak procesory to v podstatě nestíhají. Teprve pak na to koupit HW.

[smoofy]

Myslim ze ta i5 co ma Ales k dispozici s tema diskama na ten NAS a email bohate staci, vzhledem v velikosti dotace co na to dostal nepredpokladam, ze tam bude kdovijak velkej trafic a par stanic ty disky v klidu obslouzi o emailu nemluve.

[Ales]

OK, takze volba pada na desktop komponenty ve dvou nezavislych sestavach. Jake byste pro tyto ucely volili vyrobce, eventuelne jeste lepe typ procesoru a desky. AMD vs. Intel je asi jasne, ze? :)

[smoofy]

Jakozto velky zastance AMD s litosti musim rici ze jednoznacne Intel :). Rozhodne bych sel do RAIDu an obouch masinach samozrejme hardwaroveho. S Intel deskama nemam vubec spatne zkusenosti u serveru a rozhodne zainvestovat do rychlejsich kvalitnejsich pameti, alespon pro ten stream server a navic pro tento zvazit nejakou lepsi dedikovanou grafiku pro prevod videa a rychlejsi disky ci disky s vetsi cache.

Kdyz tak nad tim premyslim tak by nemel byt proble sehnat rackovej case pro desktopovy komponenty.

[Ales]

Ze serverovych reseni mi pripada pomerne zajimavy tohle: http://www.suntech.cz/produkt/124729/SUPERMICRO-Tower-4U-2xs1366-i5500-4x-HS-SAS-SATA-6xDDR3-ECC-reg-645W.htm Co myslite?

[lertimir]

U AMD je zajímavé, že díky používanému řadiči v procesorech jedou na desktopových deskách i ECC paměti. Není potřeba Xeonu a serverové desky jako u intelu pro tohle zabezpečení.

[smoofy]

Funguje to na všech bez vyjimky (samozrejme myslim novy procesory)? To je zajímavá informace. Otázkou je, nakolik se to vyplatí oproti ztrátě výkonu procesoru a vyššímu zahřívání.

[Max]

Tak HW RAID asi těžko, protože HW řadiče se pohybují od 8000,- výše .
Ty shity, co se prodávají za nižší ceny jsou vesměs SW řadiče, které využívají klasické CPU, tudíž pak je spíše rozumnější využít klasický SW raid v systému, který je např. v linuchu na velmi dobré úrovni a myslím si, že pro zmíněné účely dostačující. Nicméně, pokud by chtěl člověk využívat hotswap u disků, tak si musí udělat průzkum, zda má příslušné ovladače pro svůj integrovaný řadič, které to zvládají, pokud ne, tak to zvládne každý levnější externí řadič.

Pokud jde o Intel vs AMD, tak je to vesměs jedno. Na NAS + mail není potřeba žádný CPU výkon, takže tam dostačuje cokoliv (klidně nějaký AMD s malým TDP, gigabyte deska + pár GB paměti a je to, za pár korun hodně muziky).
Pokud jde o kamerový server, tak tam bude vzhledem ke konverzím apod. potřeba docela výkon (8 kamer není také nic moc malého), takže tam bych šel asi do i7 s pořádným výkonem.

Obyč paměti vs. ECC? Myslím si, že si člověk v klidu vystačí s "obyč"(značkové, trochu lepší) paměťma.
Zdar Max

[ondro]

Chces za malo penazi vela muziky. Pri takomto rozpocte odporucam dva PC z desktopovych komponentov. Pri takomto planovanom nasadeni nepotrebujes ECC pamete. Odporucam Intel platformu a pouzit dosky z Executive series (poznas podla pismenka Q nazve dosky). Tieto dosky maju Intel® Active Management Technology (Intel® AMT). Co je vlastne desktopova obdoba serverovskej vzdialenej spravy (iLO,IPMI,...). Vyborna vec a vo verzii 7.0 by mala zvladat aj KVM (nemam este vyskusane mal som zatial len dosky s AMT 5.0). Ak potrebujes pci-e 4x, tak DQ67OW alebo DQ67SW. Ak pouzijes kvalitne disky, kvalitny zdroj a adekvatne chladenie, tak nemas problem s 24/7 chodom a vydrzi ti to fungovat bez problemov dlhu dobu.

Pri tvojom planovanom nasadeni je to najlepsia volba.

[nyan]

Tak HW RAID asi těžko, protože HW řadiče se pohybují od 8000,- výše

Jop. Tady bych dodal ze drazsi z techto hracek maji jednu zasadni vyhodu: battery-backed write cache. Velice urychluje vykon pri zapisu, s tim ze o nezapsana data neprijdete pri vypadku.

Nicmene pokud nepredpokladate vysoke zatizeni zapisu, tak by to bylo zbytecne. Na spolehlivost vam staci SW raid.

Nicméně, pokud by chtěl člověk využívat hotswap u disků, tak si musí udělat průzkum, zda má příslušné ovladače pro svůj integrovaný řadič, které to zvládají, pokud ne, tak to zvládne každý levnější externí řadič.

Jen bych dodal, ze SATA ma od prvni verze primo ve specifikaci Hotswap. Tudiz by to teoreticky mel umet kazdy SATA radic.

Osobne mam vyzkouseno na svym desktopu ze to funguje bez problemu (linux, levna asus deska amd). Jedine co potrebujete je neco jako todle, abyste nahodou nevytahli/nepripojili kabely nakrivo a neskratovali je.

[dustin]

Setkal jsem se s deskami, kde integrovaný řadič nebo driver (nevím) nezdetekoval disk přidaný do eSATA kolébky (přes extension bracket, je to jenom jiný konektor) za běhu systému, bylo nutné rebootnout. Přídavné PCIe řadiče a jejich drivery detekovaly OK. Tedy mám stejnou zkušenoste, jak píše Max, že integrované je potřeba otestovat.

[Max]

Ano, já vím, že SATA to má už v HW spec., proto jsem jasně mluvil o ovladači k řadiči, páč ač by to řadič jako takový uměl, tak se člověk setká s ovladači, který to nezvládnou a pak je problém.
Zdar Max

[macher]

btw, adaptec ma novou radu 6 Entry - jsou to hw radice, ale maji mensi pamet (128). cena v cr je kolem 3k bez a nahoru.

[Jupi]

A kde sa daju tieto radice kupit?
Mal by som zaujem o Adaptec RAID 6405E, ale absolutne nikde ho neviem zohnat. Vsade maju len Adaptec RAID 6405, ktory je cenou niekde uplne inde a vyzaduje PCIe x4. Mam problem, ze mam volny uz len PCIe x1.

[Ales]

OK, díky všem za příspěvky. Pomohlo mi to v rozhodování.

Mějte se