Dotaz: 1U case, 2x Xeon 54xx, chlazeni

[artec]

Zdravim,

navazuji na vlakno Uchladí Pentium D 2,8 GHz ? a pozadal bych nekoho zkusenejsiho (nejlepe nekoho znaleho jako uzivatele frr - František Ryšánek) o radu.

Nastudoval jsem jiz radu materialu, ale se stavbou xU serveru nemam jeste zadne prakticke zkusenosti.

Me naroky na konfiguraci:

 - 2x Intel XEON E5405

 - MB TYAN Tempest i5000VS
  - orientace umisteni pameti a zebrovani chladice North Bridge
  - je zde snad idealni.

 - 1U Case - financni duvody provozu v Telehouse.

 - 4x 3.5 SATA HDD

Mel bych dotaty tykajici se:

CPU Intel Xeon E5405

Z datasheetu Intelu a potom z tohoto jsem vydedukoval, ze prodejci (napr. Alza) prodavaji tento boxovany procesor s aktivnim Heatsinkem v provedeni s 1U pasivnim chladicem + ventilator. Pochopil jsem to spravne tak, ze se 1U pasiv pouziva v 1U case samostatne (bez ventilatoru)? A v 2U+ case se pouziva stejny 1U pasiv a nasroubuje se na nej dodany ventilator? Je lepsi v dobre chlazene 1U case pouzivat boxovany (dodany) 1U pasiv nebo je lepsi koupit treba tento aktiv?

1U case a chlazeni

Zatim jsem uvazoval o techto 3 variantach:

1. varianta

1U case supermicro SC811i 420W. Jsou zde 2 radialni dmychadla. V tomto casu bych upravil celou predni cast (vyhazel 2x 3.5 HDD ramecky, slim CD a 3.5 FDD + USB) a misto toho umistil 4x 3.5 HDD.

2. varianta

1U case supermicro SC813MT 420W. Jsou zde 4x 40mm axialni ventilatory.

3. varianta

1U case CHIEFTEC UNC-110L-B 350W. Prepazku bych vyplnil celou ventilatorama (podle oka 7-8ks 40mm) a celou utemoval, aby vzduch neproudil tam, kde nemel. Predni cast bych opet upravil, aby se tam dalo umistit 4x 3.5 HDD.

Jake reseni bude nejlepsi, ktery 1U case nejvice uchladi? Jak je to potom s lyzinami? U supermicra se musi koupit nebo uz jsou soucasti? A u CHIEFTECu se nekde daji koupit nebo se musi vyrobit?

Dekuji za rady

Honza

Odpovědi

[miki]

Do jakýho racku si to nakonec umístil? Jaké máš průměrně teploty na těch xeonech? Taky se chystám složit server i když slabší do 1U a tohle by mě taky zajímalo a nikde o tom nic neni.

[frr]

Hmm, ten původní dotaz jsem nezachytil. Takže pozdě ale přece...

Obecně stavět 1U server, zejména dual Xeon, ze součástek od různých výrobců (skříň vs. board) je sázka do loterie. Pokud je u boardu nebo skříně "compatibility list", tak se jím řiďte - dává určitou záruku, že to bude pasovat dohromady.

Skříně SuperMicro 1U jsou tradičně určeny pro atypický formát desek, které si SuperMicro samo vyrábí. Nezkoumal jsem to do detailu, možná že ATX díry v desce mají dokonce standardní rozteč, ale třeba konektory na zadním panelu jdou až pod ležatý PCI slot vlevo a nekoná se standardní obdélníkový výřez pro záslepku panelu ATX konektorů dodanou s boardem. Je to jednak kvůli ventilaci (zadní čela SuperMicro jsou důkladně děravá), druhak kvůli optimálnímu využití vzácné plochy zadního čela pro PCI slot a třeba onboard SCSI, třetím důvodem je dokonalá integrace s riser kartami pro ležatý PCI slot. 1U boardy mají dokonce tuším nějaký zkosený roh a možná výklenek pod riser kartou. Bylo to tak už u sestav pro Xeony P4/Netburst (skříně cca SC812/SC813), aktuální generace skříní a boardů SuperMicro jde ještě dál (formáty desek jsou úplně divoké). Pokud jste našel u SuperMicra 1U skříně pro standardní ATX boardy, tak gratuluju - radši se ale pořádně podívejte na fotku zadního panelu, mrkněte do manuálu apod.

Další věc je, že 1U skříně SuperMicro mívají v břiše nastřelené matice pro montáž chladičů CPU. To je další důvod, proč do nich bez klempířiny zaručeně pasují jenom konkrétní modely boardů doporučené=vyrobené firmou SuperMicro...

Konkrétně SuperMicro má výborně udělaný produktový web. U skříní a barebonů je vždycky ve spodní části produktové stránky uvedena tabulka, z čeho se ta konkrétní kastle skládá: jaký je v tom zdroj, diskový backplane, ventilátory, zda jsou součástí standardního příslušenství chladiče CPU a lyže. U kompletních barebonů typicky oboje ano, u holých skříní často nikoli, a liší se to i mezi generacemi podobných skříní. Je tam jednak tabulka standardního příslušenství (součást balení), druhak hned pod ní tabulka volitelného příplatkového příslušenství pro daný model skříně. Lyže a chladiče CPU mohou být buď v ceně nebo za příplatek - podle toho, ve které tabulce se nacházejí. Rozumí se, že jsou uvedeny partnumbery těch součástek - takže se podle toho dají objednávat i náhradní díly, dohledat detailní informace přes produktovou skupinu "accessories" apod. Na produktových stránkách motherboardů, v seznamu vlastností někde na vrchu, bývá kolonka "doporučená skříň". Taky se dříve na webu SuperMicro vyskytovala tabule v PDF zvaná "motherboard vs. chassis matrix" - ale zdá se, že na tu u nových modelů SuperMicro už nehraje.

Na dual-Xeonové boardy Tyan jsem slyšel spíš chválu. Snad by mohly pasovat do skříní SuperMicro 2U, i když i tady bych se bál, že bude problém poskládat mezi board a břicho skříně ještě rubovou montážní podložku pro šrouby chladičů CPU (skříně SuperMicro mívají nastřelené matice pro chladiče v břiše skříně, a board tomu musí rozměrově/roztečemi přesně odpovídat).

Když se mrknu na www.tyan.com, tak tam vidím i skříně a taky kompletní barebony (skříň s boardem). Což potvrzuje můj dojem, že zkombinovat skříň s boardem není sranda, a je lepší kupovat oboje od jednoho výrobce, a to ještě po studiu dokumentace, že vybrané modely jsou navzájem kompatibilní.

Mimochodem, ten board od Tyanu vypadá, že je možná maličko hlubší než klasický ATX rozměr. Pozor na to - aby se Vám do zvolené skříně vůbec vešel. Třeba 2U skříně SuperMicro SC823 podporují boardy tuším až 12" x 13" (E-ATX). Vámi zmíněné skříně jsou ale patrně pro menší desky, tuším jsem tam četl 12" x 10" (ten Tyan má mít 10.5").

Taky zdroj by to chtělo aspoň 500W (pro dva Xeony, serverový board, čtyři disky a hrst ventilátorů). Fakt je, že ty počty okolo wattáže jsou dost magie, vlastně by teoreticky stačil i 350W zdroj, tyhle nové Xeony zas tolik nežerou, ale ono to vytížení zdroje se ve finále promítne do jeho životnosti... těžko se to kvantifikuje.

Takže zpátky na začátek. I u SuperMicra se člověk v 1U skříních může snadno spálit, pokud pečlivě nečte dokumentaci. Základní premisa zní, že je tam tak málo místa pro volnou tvorbu při skládání skříně a boardu, že prakticky nemá smysl o tom moc přemýšlet, a je lepší koupit hotový barebone. U SCSI disků bývala navrch jedna užitečná vlastnost: kompletní barebony mívaly na SCSI backplanu GEM318 enclosure processor, holé skříně mívaly backplane *bez* enclosure managementu...

Nedovedu si představit, jak byste chtěl složit dohromady board od Tyanu se skříní od Chieftecu/Chenbro/CLM/CiDesign, aniž byste ten hardware držel fyzicky v ruce dřív, než ho koupíte. Pokud to železo nedržíte fyzicky v ruce, nemáte jistotu, že bude pasovat dohromady a že bude dávat smysl z hlediska ventilace.

Pokud zjistíte, že k nám někdo dováží vedle boardů Tyan také ty jejich "originální" skříně (které si Tyan stejně nechává u někoho stavět na míru, možná právě u CLM), tak asi víte, kterým směrem dál pátrat. Taky tady pořád ventiluju SuperMicro: než objednáte něco u SuperMicra, zkuste se mrknout, kolik stojí podobná sestava u nějaké echt značky (Dell, IBM, HP) - i proti značkovému hardwaru lze mít výhrady (občas svérázný přístup k mechanické kompatibilitě ve stylu "rozdíl je v IBM"), ale jejich ceny můžou být překvapivě zajímavé a něco se šušká o rozdílu v dlouhodobé spolehlivosti.

Ohledně disků: pokud chcete 4 disky, popřemýšlejte o šuplících. SATA disky konkrétně u SuperMicra půjdou montovat do šuplíkatých skříní, které mají v názvu "T", nebo lépe "TQ". TQ skříně jsou univerzální pro SATA/SAS disky a mají v backplanu enclosure manager, kompatibilní se SGPIO - ten bezvadně funguje s novými SAS RAIDy Adaptec a Areca, takže konečně bez velkých problémů fungují i failure LEDky u disků.

Xeon 5400 series je správná volba - 45nm litografický rastr znamená relativně malou tepelnou ztrátu (menší než 65nm C2Q Xeon 5300, znatelně menší než třeba Xeon Irwindale = Netburst). Máte šanci, že drobné nedostatky ve ventilaci Vám projdou.

Boxované chladiče u Xeonů: u aktuálních Xeonů na bázi Core2 jsou dvě možnosti:

A) "1U + active" lze použít buď jako pasiv do 1U (bez ventilátoru) nebo jako aktivní s ventilátorem do libovolné výšky chassis, zejm 3U+ bez airshroudu (tj. bez podpory 1U/2U pasivních chladičů). Do 2U je lepší použít pasivák (var.B), pokud tomu něco nebrání.

B) 2U passive = pasivní chladič do 2U.

U Xeonů na bázi P4 Netburst (Socket 604) bývaly tři varianty: pasiv 1U, pasiv 2U a active.

Osobně zastávám názor, že do 1U skříně s duševně zdravým uspořádáním ventilace patří pasivní chladiče (v kombinaci s dostatečně silnými ventilátory skříně). Když máte slabé ventilátory ve skříni a dáte kvůli tomu na CPU aktivní chladiče, tak beztak jenom honíte horký vzduch dokola, a pokud je ventilátor klasický axiální, tak má beztak téměř ucpané sání haubnou skříně.

Pokud jsou ke skříni v ceně originální chladiče, tak na boxovaném chladiči vlastně nezáleží (zůstane "na ryby").

BTW, Vámi zmiňovaný "aktivní 1U chladič" ThermalTake je určen pro patici LGA775 (charakteristická je rozteč montážních děr "do čtverce") tj. pro desktopové procesory. Xeony mají patici LGA771, a její montážní díry pro chladič mají výrazně obdélníkový "footprint" - tento je mimochodem stejný pro LGA771 (Xeony 5000 series = Core2) a Socket 604 (předchozí Xeony Nocona/Irwindale = Netburst).

http://www.supermicro.com/manuals/matrices/ThermalMatrix.pdf

Ještě poznámka ke spolehlivosti. Nebudu mluvit o konkrétních značkách, ale řekněme, že některé výrobní série zdrojů můžou mít poruchovost třeba 10%. Některé 10% po dvou letech, jiné 10% po prvních dvou týdnech provozu. Pokud Vám záleží na tom, aby server běžel "furt", řekněme s maximálně jednodenním výpadkem, ptejte se na možnost garantovaného rychlého vyřízení reklamací. Stojí to peníze navíc, ale není to od věci. 1U skříně mají takřka všecky součástky speciální (zdroje, boardy), nelze je snadno nahradit "z nejbližího počítačového železářství". Pokud nad tím mávnete rukou, připravte se na dobu řešení reklamace třeba řádově měsíc - po tu dobu bude server buď down, nebo musíte provoz někam přemigrovat, nebo budete řešit nestejný náhradní hardware apod. Pokud těch serverů kupujete naráz větší počet, pouvažujte, zda nekoupit jeden kompletní navíc, nebo aspoň hrst klíčových součástek (board, jeden-dva zdroje, snad i nějaké ventilátory, i když ty vydrží hodně).

[artec]

Uz ani pri polozeni dotazu jsem moc nedoufal, ze by zde na toto nekdo odpovedel. Nezbyva mi nic jineho napsat, nez-li pred Vami opravdu klobouk dolu. Myslim, ze jste mi tim dokonale otevrel oci, ma predstava se uplne rozchazela s realitou. Navic jsem nikdy zadny rack HW nestavel ani nedrzel v ruce. Ted uz vim, ze tohle, narozdil od bigtoweru, ktere stavim bezne, je opravdova veda.

Zjistil jsem, ze toho vim o rack serverech opravdu velmi malo a to "malo", co jsem nastudoval, tak to opravdu nestaci. Uplne mi treba uniklo, ze MB ani casy nemaji standardni ATX zaslepky, vubec jsem se na to ani nezameroval, protoze jsem si myslel, ze standardni zaslepky ATX maji proste vsechny desky a case. Koukal jsem na nekolik desitek typu barbone tyanu nebo supermicra, zadny z nich nemel standardni zaslepku ATX. Ze by zde nemusela byt standardni roztec sroubu, to jsem take vubec netusil. O maticich v konstrukci u supermicra jsem sice neco cetl, ale zase jsem si naivne myslel, ze to bude pasovat na vsechny desky.

Ted uz vim, ze kdybych se pustil sam "po domacku" do stavby 1U serveru s rozdilnym vyrobcem case a MB, tak by to bylo blaznovstvi. S rozmerema desky a casu mate pravdu, alespon na tohle jsem tedy mohl prijit sam.

S tim 420W zdrojem jsem trochu tusil, ze to nebude optimalni, do podobnych tower sestav davam vetsinou nejake 550W s aktivnim PFC.

Pro Xeony 5405 jsem se rozhodl taktez z duvodu, ktere pisete. Na zaklade Vasich doporuceni jsem vse prehodnotil (spise zacal od znovu) a ted bych volil asi tuto sestavu:

SuperServer 6015C-NTB
2x Xeon E5405

S tim chladicem jsem se take seknul, nejak jsem v te euforii zamenil socket 771 za 775. V barbonu supermicra jsou dodavany 2 1U pasiv chladice. Bude asi lepsi pouzit tyto nez treba ty boxovane od Intelu ze? Ted me napada, jesti tento dotaz neni zase mimo, protoze treba zase do MB a case supermicra nebude pasovat jiny 1U chladic nez od supermicra.

Ten zdroj 560W by mohl na ty dva E5405 byt uz dostacujici. S tou spolehlivosti nevim, zatim jakykoliv problem resim okamzitou vymenou, bez ohledu na vysledek reklamace, jakykoliv nejaky cas server down si nemuzu dovolit. Tento barabone stoji v CR neco pod 17tis. kc s DPH, myslim, ze obsahuje asi vse potrebne. Myslite, ze je toto vhodna kombinace barabone pro dual xeon E5405 nebo mam radeji volit neco trochu jineho nebo uplne jineho?

[frr]

DD, netřeba mi pochlebovat, prostě to shodou okolností patří k mému živobytí, a asi si víc pouštím hubu na špacír než kolegové od fochu... zase tolik těch vědomostí není, spíš pár drobností.

Koukal jsem na nekolik desitek typu barbone tyanu nebo supermicra, zadny z nich nemel standardni zaslepku ATX.

Předpokládám 1U. Od 2U výš je naopak tato záslepka pravidlem, a standardní rozteč děr dle ATX/E-ATX je vcelku všudypřítomná, pokud se konkrétně u Supermicra nepustíte do atypických skříní typu "UIO". Díry v břiše skříně pro CPU chladiče jsou nastřelené na míru boardům SuperMicro ještě ve 2U skříních SC823, u 3U a vyšších je to tuším snáz upravidelné. Ostatně i pokud jsou matice nastřelené, pořád je můžete vyrazit nebo odvrtat, ale v případě reklamace pak musíte reklamovat jenom konkrétní vadnou součástku, ne celý barebone...

Vámi zmiňovaný SuperServer 6015C-NTB vypadá na velmi přiměřený kousek Ty Xeony by do toho měly pasovat, vypadá to na vhodnou kombinaci. Pozor při objednávání pamětí, tenhle server bere moduly typu DDR2 ECC Registered, což je dáno čipsetem 5100 (nikoli FB-DIMM, který je typický pro příbuzné čipsety 5000 series). "Obyčejné" ECC REG by nakonec mohly mít kratší latence než FB-DIMM. Použil bych chladiče přibalené k barebonu, budou tam optimálně pasovat. Nicméně ty boxované 1U+Active by taky měly být OK, vzhledový i funkční rozdíl bude minimální.

Ohledně spolehlivosti: máte slušnou šanci (odhadnu 90-95%), že ten server přežije záruční lhůtu bez poruchy. Zažil jsem lepší spolehlivost než u SuperMicra, ale zažil jsem i výrazně horší. Nějaké příhody z natáčení by se našly, ale nechci být moc konkrétní. V podstatě si nevyberete... pokud o něco jde, s poruchami musíte předem počítat.

Jo do towerů se staví daleko snáz Člověk má spoustu místa, může použít součástky ve standardních formátech, snadno nahraditelné v případě poruchy. Můj oblíbený tower je Chieftec DX-01B-D-U. Už ten defaultní 400W zdroj je vcelku solidní elegán, a to Chieftec dělá i výkonnější kousky. Vzadu na skříni je volná pozice na 12cm ventilátor... Jenom si vzpomínám, že když jsme tam jednou montovali nějaké entry-level serverové desky SuperMicro, tak mi přišlo, že se chladič na South Bridgi (nebo PXH?) docela hřeje. Je dost možné, že SuperMicro dimenzuje chladící plochy součástek na motherboardech na svoje přehnaně ventilované 19" skříně, takže v tichém toweru (kde není takový průvan) se některé konkrétní součástky víc ohřejí...

[artec]

Kolegove od "fochu" zde nepochybne jsou, ale jak je videt treba v teto diskuzi, tak si tech "par drobnosti" uchovavaji jak statni tajemstvi.

V tech pametich mam porad pekny "hokej". Daval jsem zde take dotaz ohledne druhu FBDIMM a zadnou obrovskou diskuzi to tedy take nerozpoutalo. V manualu k desce X7DCU pisou, ze se v ni maji pouzivat Buffered (Registered) ECC DDR2 667/533Mhz pameti, a to dual rank nebo single rank. A to bud vsechny dual rank nebo vsechny single rank. Maji tam u te desky take Tested Memory List, ale pameti KINGSTON, ktere bych chtel z cenovych duvodu pouzit, tam nemaji.

Neni mi treba jasne, jestli se do desky muzu davat i pameti s organizaci chipu x8 a to z duvodu, co o nich treba pisou na Alze.

Vubec mi neni jasne, jake jsou rozdily v pouziti techto pameti:

2GB DDR2 667MHz ECC Registered with Parity CL5 Single Rank x4 KINGSTON BOX
2GB DDR2 667MHz ECC Registered with Parity CL5 Dual Rank x4 KINGSTON BOX
2GB DDR2 667MHz ECC Registered with Parity CL5 Dual Rank x8 KINGSTON BOX

Jestli bude mit treba nejake nasledky, kdyz koupim ty nejlevnejsi nebo treba nevim, jake vyhody by mely pameti x4 v single ranku nez v dual ranku?

Doted jsem zil pouze ve svete toweru a jak zjistuji, tak myslim, ze jsem o nic vubec neprisel. Narozdil od 1U se u toweru fantazie meze nekladou. V toweru jsem si vzdycky udelal vse presne podle mych predstav, v 1U koukam neudelam vubec nic.

[FooBar]

Ja bych se troufl zeptat, jaka je motivace stavby vlastniho 1U stroje misto koupeni hotoveho?

Napadaji mne tri duvody:

1) Cena

2) Nejake extra specialni pozadavky na to, co ma byt uvnitr

3) Snaha si to zkusit

Kdyz to vezmu odzadu... treti duvod je naprosto pochopitelny, ackoliv bych si to asi zkousel na jinem (levnejsim) hw. Druhy duvod uz zalezi na tom, co vlastne je pozadavkem. Zaznamenal jsem pouze 4x SATA 3.5" disky v kastli, coz ale neni tak neobvykly pozadavek.

Finalne prvni duvod a to cena. Ceny, jake jsou u serveroveho hw (at uz hotovych serveru, nebo treba jen vybranych komponent) treba u alzasoftu nebo jinych end-user prodejcu jsou naprosto zavadejici: to jsou firmy, ktere se tim nezabyvaji, vetsina jejich obratu pochazi z jineho druhu zbozi, ktere tedy chteji logicky mit co mozna nejlevnejsi aby meli naskok pred konkurenci.

Vyhodou u neskladaneho HW je, ze vas pak nepotka neprijemne prekvapeni "ejhle, ono to nepasuje!", ponevadz uz to zapasoval nekdo jiny. Chlazeni je reseno doslova na miru danemu hardware: proud vzduchu, kabelaz,... (vyjimkou jsou nektere entry-level "servery" od Intelu, ktere funguji tak, ze do kastle zn. Chenbro soupnou Intel desku a nijak neuchycenou zmet kabelu). Kdyz si nekupujete napr. znackove disky (cimz myslim rebranding "Sun" a podobne), tak to vyjde cenove srovnatelne se skladackou.

[artec]

Jedine, co me k tomu vede, je jednoznacne cena a nic vice. Zadne extra specialni pozadavky nemam, dalo by se to shrnout asi takto:

- vyska 1U
- 2x Quad Core 45nm - uspora energie. Klidne i nejslabsi Xeon E5405
- 4x Sata - nepotrebuji hot swap. Skonci tam stejne disky z rady Seagate ES.2 - 2x250GB, 2x500GB
- asi 12GB RAM, minimalne na 667MHz, nevyzaduji, aby byly ECC nebo reg.
- dostatecny zdroj - 560W je idealni, vyborne chlazeni, vysoka zivotnost

Co jsem prubezne pocital, tak bych toto mohl poskladat s cenou celkove do 40tis. kc s DPH. Za tuto cenu jsem proste jiz hotovy 1U server s temito parametry nikde nenasel a teto cene se jiz hotove 1U servery ani zdanlive nepriblizuji, nebo alespon o zadnych takovych nevim.

Snaha si to zkusit z me strany take neni, vim uz davno, ze platforma 1U je "pruserova". Kdyby byly ceny v telehouse za tower stejne jako za 1U, tak bych nikdy o 1U ani neuvazoval. Muj sen je mit v telehouse jednou pronajaty cely 19 rack, coz se "stadem" toweru je nemyslitelne. Zatim bych zkusil na "zkousku" umistit jeden 1U server a uvidim, co to bude delat.

Za ty roky jsem zvykly na bezproblemovy provoz toweru, problemy s chlazenim nebo nahradu hw v nich za jiny hw neznam. Hlavne jsem si navykl pouzivat svoje overene komponenty a sw nastaveni a jsem zvykly bezne na uptime kolem 200 dni. U 1U serveru mam ve vsem tolik "otazniku", ze si moji duveru jen tak urcite neziskaji.