Dotaz: Platforma s PCIe 4.0

[hw]

Potřebuji aktualizovat vývojovou pracovní stanici. Základní podmínka je deska s minimálně 4 sloty PCIe 4.0 x16. Tím jsou myšlené skutečně plnohodnotné x16 sloty, každý se 16 PCIe linkami. Žádné sdílené linky apod. V desce potřebuji provozovat několik 100/200/400 Gbps Ethernet/InfiniBand karet + nějakou levnou grafiku typu Radeon Pro na 2 4K monitory.

Počítač kromě testování Ethernet/InfiniBand hardwaru musí sloužit i jako vývojová stanice pro testovaný hardware, takže tam poběží HW vývojové nástroje. To znamená, že druhý požadavek je co nejvyšší hrubý výkon. Sice dnešní EDA nástroje (syntéza a P&R digitální logiky, logické a SI simulátory apod.) již dokážou relativně slušně škálovat na více jader, ale hrubý výkon na jádro, rychlý přístup do RAM a velká + rychlá cache jsou stále ještě základ. Počet jader CPU tedy nutně nemusí být moc vysoký, cokoli od osmijádra bude stačit. Co se týče RAM, pro začátek tam bude 64 GiB, ideálně ECC. Do budoucna je důležitá rozšiřitelnost na 128 nebo 256 GiB, víc už určitě ne.

Co jsem zatím zjistil:

• AMD Ryzen nemá dostatek PCIe linek, ani jsem nenašel desku s potřebným počtem PCIe slotů třeba přes čipset. V případě nejvyšší nouze bych to viděl na nějaký Ryzen řady 5000 a desku ASUS Pro WS X570. To by bylo jenom dočasné řešení, protože v případě osazení všech x16 slotů bude mít každý jenom 8 PCIe linek. Prvních pár měsíců bych asi s VGA + 2x 100Gbps Ethernet/InfiniBand běžících pouze po 8 PCIe linkách přežil. Časem by ale byla náhrada nutná.
• AMD Ryzen Threadripper mi přijde zbytečně velký, co se týče počtu jader a s tím související obří TDP. Taky cenově se mi zdají Threadrippery hodně předražené (kromě toho, že nejsou - stejně jako jakékoli jiné CPU). Co se týče desek, tak kromě pár workstation/server výjimek nedostupných v obchodech jsou k dispozici samé "herní" hrůzy s RGB světýlky apod.
• AMD EPYC se mi momentálně jeví jako nejlepší varianta. Serverová platforma s dostatečným počtem PCIe linek, čtyřkanálovým řadičem RAM s podporou ECC, rozumné TDP vůči Threadripperům. Nejsem si moc jistý výkonem na jádro, protože oproti Ryzenům a Threadripperům běží EPYCy na nižších taktech. Desku bych bral nejspíše některou z řady H12SSL od Supermicro, které mají 5 PCIe 4.0 x16 a 2 PCIe 4.0 x8.
• Intel vlastně vůbec netuším. Je v současné době, případně v blízké budoucnosti, k dispozici nějaká platforma od Intelu s PCIe 4.0 a dostatečným počtem x16 slotů? Nějak jsem nic vhodného nenašel.

Prozatím to vypadá na EPYC. Máte zkušenosti, jak jsou na tom EPYCy s hrubou výpočetní silou na jádro? Třeba osmijádrové EPYCy v porovnání s Ryzenem 7 5800X, který je momentálně asi jediný běžně dostupný z řady 5000?

Máte případně tip na nějakou platformu, která by vyhovovala požadavkům a vynechal jsem ji? Víte o něčem vhodném od Intelu?

Odpovědi

[X]

Jako co cekas? Zazrak? Jsem si jisty, ze si urcite vystacis sam a zadnou radu nepotrebujes. Mimochodem vzhledem k aktualni situaci na trhu si stejne nemas moznost vybirat.

[LarryL]

Proč tak zvostra? Jasně, že by si dokázal něco koupit i bez rad "ábíčkářů", ale to neznamená, že si nemůže přečíst zpětnou vazbu od uživatelů EPYCu, aby si udělal představu jestli pro jeho use case nebudou problémy.

[hw]

Chodí sem plno lidí, kteří se PC+server hardwarem zabývají a mají o něm přehled. Pro mě je to jenom nástroj, jako pro někoho lopata nebo vrtačka, takže se o to nijak extra nezajímám. Netuším třeba co nabízí Intel, nebo jestli od AMD není ještě jiná varianta.

[Max]

Buď Threadripper nebo EPYC. Do čeho z těch dvou jít, to je na tobě. Teď vychází nové řady jak Threadripper, tak EPYCu, IPC mají procentuálně o dost vyšší, takže ty dva měsíce se asi vyplatí počkat, než budou skladem. Tj,. počkal bych si na modely a pak se podle výkonu a ceny rozhodl.
Jinak AMD vydala minulý rok EPYCy s vyššími takty pro lepší výkon per core, jsou to modely 7F32 / 7F52/ 7F72. My jsme teď koupili několik serverů se 7F32 (mám nasazení, kde potřebuji 4x core + rezerva na co nejvyšším výkonu) a budu je teprve instalovat.
Zdar Max

[hw]

Díky. Na 7F32 jsem se právě díval. Osmijádro mi stačí, jenom se mi nelíbí trojnásobná cena oproti 7262, ale asi by to z generace 7002 byla nejlepší volba. Nakonec cena není rozhodující, tu zaplatí zákazníci.

Stejně asi zkusím počkat na nové EPYCy 7003. Uvidíme co AMD na pondělní akci představí. Pár měsíců ještě přežiji na stárnoucím Xeonu s PCIe 3.0 a jenom 25+100GbE NIC.

Nemá něco podobného a konkurenceschopného třeba i Intel? Nějak PC hardware moc nesleduji, tak se v současných produktech Intelu vůbec neorientuji.

[Max]

Aha, no, já ani nevím, kolik 7F32 stojí. Prostě jsem na něj ukázal, že potřebuji 4 servery s tímto CPU. Výběr pro to konkrétní nasazení prošlo obhajobou, takže se to pořídilo.
Teoreticky bych mohl jet na krev a 3 měsíce s koupí počkat, ale jednak jsem nechtěl jet na krev a riskovat, že se nestihne dodávka, dále tak nějak nevím, co AMD vydá. Vždy je to totiž tak, že chce nejdříve oslnit mega výkonem, tj. vydává CPU nejvyšších řad, což je třeba 64x core. Zbytek portfolia vydává během následujícího půl roku, někdy i déle. Jinými slovy, nevěřil jsem, a nevěřím, že AMD vydá mezi prvními CPU i nástupce 7F32. Mohu se plést, ale fakt tomu moc nevěřím. To se ale brzo dozvíme.
Zdar Max

[Pavel 'TIGER' Růžička]

Intel má pořád xeony a pro socket 3647 se dá něco najít, ale trh je teď ... vlastně nejen trh, ale celý svět.

[Max]

Nedá, Xeon je šíleně pozadu a stále se objevují nové problém, viz poslední zranitelnost "Lord of the Ring(s)". Navíc i kdyby chtěl někdo tu chybu udělat, tak nejsou k sehnání, aspoň né ty, s menším počtem jader a max výkonem/frekvencí per core.
Zdar Max

[Pavel 'TIGER' Růžička]

Já ale nepsal, že je lepší. Měla by to být ta pomyslná konkurence. Ale ani v těch cenách nekonkurují. I mne přijde, že Intelu nějak celkově dochází dech, tedy pokud za rouškou nekují nějaké nové plány.

[Ondro]

Zakladny problem je, ze to je platforma s PCIe 3.0. Ak na to chce fakt pouzivat tak rychle sietovky, tak toto nieje cesta. Takze bud AMD alebo pockat na nove Xeony s PCIe 4.0

Podotknem, ze EPYC nema 4 kanalovy radic pamete ale 8 kanalovy. 4 kanalovy maju Threadrippery (nove Threadrippery Pro 8 kanalovy)

Prave tie nove Threadrippery Pro vyzeraju zaujimavo. 3955WX alebo 3945WX(asi len OEM). Mali by byt citelne lacnejsie ako 7F32, vyssie frekvencie, o nedostatok PCIe 4.0 lines sa nemusis bat. Vecsie TDP ale ak nebudes vyuzivat vsetky jadra, tak bude umerne nizsia(alebo tie jadra budu schopne bezat na vyssej frekvencii) a tie jadra navyse sa mozu v buducnosti hodit. Nielen v buducnosti, ak naozaj na tom chces testovat 100-400Gb sietovky, tak tie jadra navyse podla mna vyuzijes hned. K tomu viaceri vyrobcovia ohlasili zakladne dosky, ktore urcite nebudu s RGB napriklad https://www.anandtech.com/show/16396/the-amd-wrx80-chipset-a-few-boards-for-3rd-gen-threadripper-pro

Vies si aj hned kupit Lenovo ThinkStation P620 a mas vybavene. P620 s 3945WX/3955WX je za zaujimave ceny.

[PetebLazar]

Pozor! Existují EPYCy, které mají pravděpodobně z důvodu nízkého počtu použitých CCX/chipletů nejspíše omezenu souhrnou IF konektivitu k IO die. Takže efektivní průchodnost odpovídá cca quad-channel RAM (osadit by stále mělo jít 8/16 DIMM na socket dle MB). Jedním takovým zástupcem je například Epyc 7282.

https://www.amd.com/en/products/cpu/amd-epyc-7282

Performance optimized to 4 channels with 2667 MHz speed DIMMs for the following models: AMD EPYC™ 7282, AMD EPYC™ 7272, AMD EPYC™ 7252, and AMD EPYC™ 7232P processors. Additional memory channels will not increase overall memory bandwidth. 85.3 GB/s

[trekker.dk]

Samozřejmě, že kují. Za posledních pár let nahrabali hromadu peněz, takže teď část z těch peněz vrhnou na trh a ukradnou cizí know-how přetáhnou lidi od konkurence, což je za pár let dostane zpátky na špičku a budou vydělávat dál.

[trekker.dk]

Za mě +1 k tomu EPYCu. Úplně levný hardware to teda není, ale vzhledem k požadavkům a účelu hádám, že to nebude na překážku. Akorát jako desktop to bude asi bootovat pekelně dlouho

[PetebLazar]

Není u toho ASUS Pro WS X570 těch 8x + 8x linek na 2. a 3. PCIe 16x slotu zajištěno pomocí PCIe switche? Ten hranaty šváb mezi sloty by to evokoval. Pokud ano tak by celková průchodnost obou byla dohromady jen 8x. https://images.app.goo.gl/Gv3rJNcjTGeG6zs3A

[Camembert]

Ne, jsou to plnohodnotné x8, avšak 3. PCIe je z chipsetu, který je s CPU propojen x4.

[PetebLazar]

Díky. To by dávalo vcelku i logiku, 4x 4.0 připojení chipsetu je rychlostně cca 8x 3.0. Už jsem schéma našel. Dříve to výrobci uváděli do manuálu, v poslední době z nich schémata zapojení MB mizí.

[hw]

Díky všem za rady a nápady. Nakonec mi z toho vypadly dvě možnosti:

• AMD EPYC 7002 (případně počkat na řadu 7003), deska Supermicro H12SSL, CPU spíše některý nižší model. To bude levnější, ale přitom plně dostačující varianta.
• AMD Threadripper Pro 3955WX. Buď hotová sestava Lenovo TS P620, ale raději jenom skládačka s deskou Supermicro M12SWA-TF jako upgrade stávající workstation Supermicro se starým Xeonem. Tahle možnost bude sice dražší, ale bude mít výkonnější CPU pro vývojářskou pracovní stanici.

[Camembert]

Jsem na tom podobně s potřebou PCIe linek a tak bohužel čekám, anžto chci jít taky cestou upgradu. Jenže PRO verze Ryzenu i Threadripperu nejsou určeny pro retail a bůh ví, kdy se tam dostanou. A jako bonus má Lenovo exkluzivitu pro Threadripper Pro, netuším na jak dlouho, ale to taky dostupnosti nepomůže :(

[PetebLazar]

Ta OEM exluzivita Lenovo snad před pár týdny skončila, proto se objevují WRX80 MB třetích stran Supermicro, ASUS, ...

Ryzen Pro se dá najít i skladem v ČR. https://www.suntech.cz/produkt/542048-amd-ryzen-7-pro-4750g-3-6ghz-8c-16t-12mb-8cu-am4-wraith-stealth/?gclid=Cj0KCQjwi7yCBhDJARIsAMWFScOUSeilTMDBWLjQ-xVhNpp8Ksi823gW9wJGJn_oTyJLHIs-RvLSN4waAoqxEALw_wcB

[PetebLazar]

WRX80 MB v nabídce https://smicro.cz/supermicro-mbd-m12swa-tf-o

3955WX v nabidce https://www.softech.cz/nezarazeno/amd/2167549

[PetebLazar]

https://videocardz.com/newz/amd-epyc-7003-milan-series-specifications-and-pricing-leaked

Pokud jsou ty ceny/údaje reálné tak pro single socket SP3 vypadá ten 24c 7443P jako sweet spot. Zajímavý singlethread takt (4.0GHz) při zajímavé ceně (jako 3955WX). Vzato přes GHz_core je to v base taktech u 3955WX (16x3,9)=62,4GHz_core Zen2, u 7443P je to (24x2,85)=68,4GHz_core Zen3. Vzato přes boost takty, tak 4,3GHz Zen2(ThrPro) by mohlo být méně výkonu než 4,0GHz Zen3(Epyc) s lepším IPC.

[Petr Tomášek]

EPYC 7282 vypadá jako sweetspot se 16c/32t , akorát paměťová propustnost není tak veliká.

[PetebLazar]

Mě přišel 7282 zajímavý do dual socket SP3. Rozdíl v ceně MB není až velký. Dohromady by to mělo 8-channel a při 3200MHz DDR4 by se to na těch 200GB/s souhrnné paměťové průchodnosti asi dostalo. A 32-core za 30kKč je velku láce. S ohledem na nízké boost takty vhodné spíše na MT zátěž.

S příchodem Epyc 7003 s lepším IPC a výšším boost taktem mě více láká 7443P. Zajímalo by mne zda by EPYC fungoval i pouze se dvěma DIMMy. V kombinaci s Asrock ROMED8-2T s jejím pomocným PCIe6́pin přídavným napájením slotů by mohlo jít o dostupný DIY WS/server. Musím změřit/spočítat o kolik PCIe 16x slotů bych s ohledem na orientaci SP3 přišel při osazení IceGiantem ProSiphon.

[Andrej]

Nevidím tam nikde přímo požadavek na x86.

Takže: Talos a Power9?

[hw]

Pokus hezký, ale bohužel. Platformu x86_64 jsem předpokládal tak nějak explicitně tím výčtem variant (AMD, Intel).

Před mnoha lety se provozovaly vývojové nástroje především na unixových pracovních stanicích se Solarisem nebo HP-UX. Tahle éra končila někdy před 20-15 lety a tuhle roli převzala platforma x86 s Linuxem. Dnes má běžné PC řádově vyšší výkon než třeba pracovní stanice Sun, na kterých jsem před dvaceti lety pracoval. Navíc, zkuste si v dnešní době pořídit nějaké aktuální nástroje od Mentor Graphics, Synopsys, Cadence nebo třeba Xilinx, Intel pro jinou platformu než x86.

[Ovoce]

Nevidím tam nikde přímo požadavek na x86.

Takže: Talos a Power9?

I kdyby, tak nemá čtyři sloty PCIe 4.0 ×16 ;P

[Andrej]

Nooo, ten dual socket snad jo…

[hw]

Tak nakonec je asi rozhodnuto. Lenovo ThinkStation P620 splňuje všechny požadavky a cenově vychází celkem slušně.

Jenom pro informaci, ve většině obchodních popisů P620 je uvedeno 4x PCIe 4.0 x16. Ve skutečnosti má 4x PCIe 4.0 x16 + 2x PCIe 4.0 x8. To je třeba pro moje použití už dost zásadní rozdíl.

[PetebLazar]

Škoda, že si tak dávají na s čas Threadrippery 5xx0 (Pro), přínos mezi Zen2 a Zen3 nějaký přecijen je. Ale P620 by asi měla jít časem upgradovat.

[Ondro]

Dobra volba. Za tie ceny co to predavaju by si sa k tomu so skladackou nepriblizil. Ked k tomu priratas support, usetreny cas, tak dnes podla mna nieje lepsia volba. Cakam, ze dalsi vyrobcovia sa casom pridaju. Lenovo mal na tuto platformu urcity cas exluzivitu.

[hw]

Vybranou konfiguraci Lenovo mám za cca 3500€ bez DPH. Se skládačkou s MB SuperMicro bych se dostal na nějakých 2500-3000€, ale musel bych čekat na dostupnost desky.

Kupovat se budou prozatím asi 3 kusy přes naši pobočku v DE. Na rozdíl od CZ tam nabízí Lenovo možnost vlastní konfigurace a také nižší ceny než u nás.

[PA]

A má smysl to kombinovat? Obecně - na stejném stroji dělat testování nad hardware (tzn. vývoj ovladačů)i syntézu FPGA (hádám z popisu). Já dělám překlad na virtuálkách na svém build serveru, dělat to na stejném počítači jako následně výsledný produkt oživuju/ladím si neumím představit (i když jde o jednoduší věci typu jedna karna na relativně pomalém PCIe). Nakonec jsem zakotvil v tom, že na to mám testovací stroje, pcie passthrough do VM, ve které se přímo pak dělají testy/debug driverů. Vzhledem k tomu, že se mi občas podaří zabít i hypervisor (resp. pcie root) tam, že pomůže jen power cycle (dokonce ani HW reset nestačí) tak dělat na tom ještě něco jiného....z toho bych se asi okotil...

V rámci EDA mám ještě pocit, že poměrně zásadní roli hraje cache.