abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 16:22 | Upozornění

V rámci projektu ADAM (Advanced DNS Analytics and Measurements) uvádí Laboratoře CZ.NIC ve spolupráci s CSIRT.CZ do produkčního provozu nástroj DNS crawler. Záměrem je periodicky procházet všechny domény 2. úrovně pod TLD .cz, získávat o nich různá veřejně dostupná data a ta pak dále zpracovávat. I když to jeho jméno přímo nenapovídá, DNS crawler bude kromě sběru dat z DNS také komunikovat s webovým a e-mailovým serverem každé domény.

Ladislav Hagara | Komentářů: 0
dnes 07:00 | Nová verze

Po 9 týdnech vývoje od vydání Linuxu 5.6 oznámil Linus Torvalds vydání Linuxu 5.7 (LKML). Přehled nových vlastností a vylepšení na stránce Linux Kernel Newbies. Kódové jméno Linuxu 5.7 zůstává Kleptomaniac Octopus.

Ladislav Hagara | Komentářů: 2
dnes 00:22 | Komunita

Byl aktualizován styl zápisu zdrojových kódů Linuxu. Maximální počet znaků (sloupců) na řádek byl zvýšen z 80 na 100. Preferováno ale zůstává 80 znaků [reddit].

Ladislav Hagara | Komentářů: 16
včera 23:44 | Komunita

Vývojáři postmarketOS (GitLab) hodnotí tři roky vývoje tohoto v květnu 2017 představeného operačního systému pro chytré telefony vycházejícího z optimalizovaného a nakonfigurovaného Alpine Linuxu s vlastními balíčky.

Ladislav Hagara | Komentářů: 13
30.5. 01:00 | Nová verze

Po více než pěti měsících od vydání verze 3.11.0 byla vydána nová stabilní verze 3.12.0, tj. první z nové řady 3.12, minimalistické linuxové distribuce zaměřené na bezpečnost Alpine Linux (Wikipedie) postavené na standardní knihovně jazyka C musl libc a BusyBoxu. Z novinek lze zmínit počáteční podporu architektury mips64 (big endian) a programovacího jazyka D.

Ladislav Hagara | Komentářů: 0
29.5. 23:00 | Komunita

Coffee Run je další krátký open source film od Blender Animation Studia. Vše o filmu na Blender Cloudu.

Ladislav Hagara | Komentářů: 7
29.5. 16:33 | Nová verze

Byla vydána nová verze 2020.06.01 distribuce BlackArch Linux (Wikipedie). Jedná se o distribuci založenou na Arch Linuxu zaměřenou na penetrační testování a výzkum počítačové bezpečnosti. Z novinek lze zmínit přes 150 nových nástrojů. Aktuálně jich je 2553.

Ladislav Hagara | Komentářů: 0
29.5. 14:11 | Komunita

V dubnu loňského roku získal multiplatformní open source herní engine Godot (Wikipedie) 50 tisíc dolarů z programu Mozilla Open Source Support (MOSS) Mission Partners na portaci Godot Editoru na webové technologie (HTML5 a WebAssembly), vylepšení podpory WebRTC, přidání podpory WebSocket a vytvoření 3D modelů pro nová dema. Fabio Alessandrelli dnes přestavil jeden z výsledků: Godot Editor běžící ve webovém prohlížeči.

Ladislav Hagara | Komentářů: 0
29.5. 13:44 | Nová verze

Včera bylo oznámeno přejmenování Raspbianu, tj. linuxové distribuce určené především pro jednodeskové miniaturní počítače Raspberry Pi, na Raspberry Pi OS. Dnešní příspěvek na blogu Raspberry Pi a také video na YouTube představuje květnové novinky již v Raspberry Pi OS, konkrétně ve verzi 2020-05-27. Zdůrazněny jsou například nové aplikace Bookshelf a Magnifier. Detaily v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
29.5. 11:11 | Pozvánky

Dnes od 16:00 do 19:15 a zítra od 9:00 do 15:00 lze virtuálně navštívit festival novodobých kutilů Maker Faire Prague Online 2020.

Ladislav Hagara | Komentářů: 0
Používáte některé open-source řešení [protokol] pro šifrovaný instant messaging?
 (52%)
 (9%)
 (4%)
 (9%)
 (4%)
 (9%)
 (17%)
 (13%)
Celkem 23 hlasů
 Komentářů: 0
Rozcestník

32 jader a škálování při kompilaci a OpenSSL

12.12.2019 14:54 | Přečteno: 2282× | Hardware | Výběrový blog | poslední úprava: 13.12.2019 11:14

Jsou to už dva roky od doby, kdy jsem zveřejnil zápisek o škálování šestnáctijádrového procesoru Intel 7960X za 45 tisíc. Dnes se dá pořídit 32jádrový procesor AMD za 55 tisíc. No nekupte to. Už jen pro pohled na htop s 64 thready se to prostě vyplatí ;-)

Mě to sice kazí těch 532 threadů (+1039 kiernel threadů) Spuštěné je jen GUI a jedna SSH session. Ale to je na jinou debatu.

Mimochodem gnómí systém-monitor sám o sobě žere skoro 10 % výkonu jednoho jádra. Měření holt ovlivňuje realitu jako v kvantovce ;-) Výstup z /proc/interupts také vypadá vtipně, to si jistě dokážete představit. Až se pokocháte pohledem, podíváme se, jak s počtem jader škálují některé úlohy, pro které by si někdo mohl chtít tento procesor pořídit.

Sestava

Threadripper 3970X, 4x32GB 3600MHz DDR4 (díky těmto hustým modulům jsou na desce ještě 4 volné sloty, ty se budou hodit, kdyby majitel někdy chtěl provozovat více než jednu elektron aplikaci současně, může rozšířit paměť na 256GB což je současně maximum této platformy. Pokud zvětší swap soubor, tak by mohl možná ty dvě elektron apky provozovat souběžně i s chromiem. Možná.) Dále tam je 2x 1TB nvme SSD, ASUS TRX40 deska, AIO vodní chladič, zdroj RM850i a omáčka okolo.

Zatímco Intel je sen taktovače a ladiče, tak AMD je z toho pohledu nuda. Zapne se jednu funkci v BIOSU (PBO) spolu se zvětšením několika limitů a je to. Možná trochu poladit parametry pamětí. A přínos není ani tak příliš znatelný. Brzy se narazí na limit toho, že 400W tepla není snadné z toho procesoru ani AIO vodníkem odvést. Každopádně je PBO při testech zapnuté. Při kompilaci na všech jádrech statečně drží 4,2 GHz, při OpenSSL 4,1 GHz a při hnusné zátěži jako mprime small FFT 3,9 GHz. Jednojádrové takty nejdou přes 4,35GHz. Při předpokladu podobného IPC jako dříve testovaný Intel 7960X, bude oproti němu výkon v rozsahu 1-8 zatížených jader horší. Kdo by si ale kupoval takový procesor pro osmijádrovou zátěž, že.

Software

Testuje se na minimální instalaci Ubuntu 19.10. Soudruzi z AMD zapomněli poslat patch na kernel, takže aktuální jádro v době vydání s threadripperem trojkové řady nebootuje. Jádru je třeba předat parametr mce=off což je jen workaround, mce tam není jen pro srandu králíkům takže vypnutí není dobrým řešením. Ale to, že bude u AMD po uvedení nové platformy nějaký softwarový problém, je zhruba asi stejně jasné, jako že nás Intel v pravidelných intervalech oblaží nějakou novou a fascinující dírou ve svých procesorech (jako třeba dnes Plunder Volt). Když jsme u těch děr, Threadripper v lscpu hlásí:

Vulnerability Itlb multihit:     Not affected
Vulnerability L1tf:              Not affected
Vulnerability Mds:               Not affected
Vulnerability Meltdown:          Not affected
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl and seccomp
Vulnerability Spectre v1:        Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Vulnerability Spectre v2:        Mitigation; Full AMD retpoline, IBPB conditional, STIBP conditional, RSB filling
Vulnerability Tsx async abort:   Not affected

Takže Spectre jsou řešeny i na nových Threadripperech softwarovými mitigacemi.

Metodika

Překládám vanilkové jádro 5.4 s implicitním .config (lze získat pomocí make defconfig). Jádra vypínám přes zápis do /sys/devices/system/cpu/cpuN/online. Tímto způsobem lze nasimulovat vypnutí SMT (vypnutím jader 31-63) a taktéž 24jádrový model 3960X (vypnutím příslušných dvojic v každém CCX). Celý proces kompilace probíhá v ramdisku. Měřím pomocí time make -jN resp. openssl speed rsa2048 -multi N. Všechna měření dělám dvakrát a výsledky průměruji. V případě kompilace dávám do grafu počet kompilací za 10 minut.

Kompilace

Minule jsem testoval překlad jádra 4.13.5 a na Intelu s –j16 se dalo přeložit 14x za 10 minut. Na AMD se s –j16 přeloží současné jádro necelých 13x za 10 minut. Podobné konstatování bylo i v minulém díle. Vypadá to, že růst IPC*frekvence není sto pokrýt ztráty způsobené bobtnáním softwaru (tedy pozorujeme Gatesův zákon v praxi).

I na této platformě se potvrzuje, že při –j32 je výsledek lepší na 32jádru bez SMT než s ním (a ekvivalentně pro 24jádro). Linux tedy stále nedokáže zcela zvládnout rozdělení procesů tak, aby na jednom páru byl pouze jeden proces. SMT přidává 26 % výkonu 32jádru a 33 % výkonu 24jádru. 32jádro je o 15 % výkonnější (ale o 56 % dražší) než 24jádro. Je vidět, že škálování v takto postavené úloze výrazně vadne. Pojďme to tedy vyzkoušet jinak. Budeme kompilovat více jader současně např. místo make –j64 spustíme 4 nezávislé instance make –j16 na separátní kopií zdrojáků.

Tohle vypadá mnohem lépe. Z grafu je hezky vidět, že když u 16 threadů začíná škálování vadnout, tak tomu další instance velmi pomůže. Podobně přidání dalších 2 instancí někde kolem 40 threadů. Přínos SMT se u 4 instancí vyšplhal na 40 %. Bohužel je to také ještě méně realistický scénář… Pokud bude růst počtu jader pokračovat, bude nezbytně nutné zapracovat na paralelizaci samotného gcc protože make ani u projektů jako linux kernel není schopno v každé chvíli najít dostatek cílů, aby saturovalo celý procesor. Tím klesá „parallel portion“ Amdahlova zákona a škálování jde do háje.

OpenSSL RSA

Tady je to zcela bez překvapení. Škáluje to s fyzickými jádry velice pěkne (-multi 32 je 30,3x rychlejší, než –multi 1) a SMT přidává cca 10 %. Opět je patrný mírně větší výkon, když při 32 threadech na 32jádru vypneme SMT (a ekvivalentně na 24jádru).

7zip

7-Zip [64] 16.02 : Copyright (c) 1999-2016 Igor Pavlov : 2016-05-21
p7zip Version 16.02 (locale=cs_CZ.UTF-8,Utf16=on,HugeFiles=on,64 bits,64 CPUs AMD Ryzen Threadripper 3970X 32-Core Processor  (830F10),ASM,AES-NI)

AMD Ryzen Threadripper 3970X 32-Core Processor  (830F10)
CPU Freq: - - - - - - - - -

RAM size:  128754 MB,  # CPU hardware threads:  64
RAM usage:  14120 MB,  # Benchmark threads:     64

                       Compressing  |                  Decompressing
Dict     Speed Usage    R/U Rating  |      Speed Usage    R/U Rating
         KiB/s     %   MIPS   MIPS  |      KiB/s     %   MIPS   MIPS

22:     214939  6055   3453 209093  |    2840092  6321   3832 242188
23:     189690  5746   3364 193272  |    2779563  6319   3806 240506
24:     179640  5747   3361 193149  |    2719748  6320   3777 238711
25:     171073  5896   3313 195325  |    2640529  6294   3733 234953
----------------------------------  | ------------------------------
Avr:            5861   3373 197710  |             6314   3787 239090
Tot:            6087   3580 218400

Cinebench R20 a pár dalších benchmarků ve Windows

Cinebench škáluje poměrně dobře na fyzických (32j má 26x větší výkon než 1j) i virtuálních jádrech (SMT na AMD přidává 34 % a HT na Intelu 29 %). AMD je v rozsahu 1-16 přibližně 10 % výkonnější, pro 24 a 32 cca 50% a na maximálním počtu threadů má AMD převahu 110 %. Je třeba přiznat, že ten test není k Intelu zcela férový, protože nepoužívá AVX512. Cpu-z, který má podporu AVX512 vykazuje až 35% převahu Intelu na jednom jádře. Intel má také navrch v „legacy“ aplikacích. Zkoušel jsem třeba SuperPi mod 1.6 32M s výsledkem 519 sdekund na AMD a 429 sekund na Intelu, to je 21% převaha Intelu. Corona 1.3 AMD 27s a 54s pro Intel (přesně dvojnásobek).

Závěrem

Architektura ZEN2 s centrálním IO čipíčkem se AMD velmi povedla a je to vidět zejména u threadripperů. Předchozí generace, tedy 2990WX, měla kvůli komplikované NUMA architektuře značné potíže (v mnoha testech znamenalo vypnutí poloviny CCX paradoxně růst výkonu). Ten procesor se tedy nedal doporučit pro použití v PC, které má plnit více úkolů ale pouze jako procesor pro stroj plnící jednu specializovanou úlohu, u které je známo, že na něm dobře škáluje.

Po pár dnech používání PC s trojkovou řadou můžu konstatovat, že se to už neděje. Tady si již lze představit, že si ho pořídí někdo, kdo potřebuje něco náročného vyrenderovat, spočítat, nasimulovat, zvirtualizovat,… ale občas si na něm něco zahraje, nebo bude používat po zbytek času jako běžné PC. V těch ostatních oblastech nebude tak dobrý, jako Intel 9900K nebo AMD 3950X ale bude „good enough“. I tak je to ale procesor pro extrémně úzkou cílovou skupinu a jeho osudem pravděpodobně bude, že si ho pořídí většinou lidé, protože ho chtějí a ne proto, že ho potřebují. Tato skupina asi překoná i firemní klientelu – firmy, které používají softy schopné tak vysoko škálovat většinou mají infrastrukturu na offload takové zátěže (renderovací farmy,…). A tam dají spíše Epycy. Nebo jsou to pozéři a pořídí si nový Mac Pro za 1,8 milionu ;-)

A nakonec tradiční upozornění - pozor na vyvozování příliš širokých závěrů z naměřených výsledků v tomto článku. Testy jsou úmyslně zaměřeny úzce, tak laskavě vyvozujte jen úzké závěry ;-)

       

Hodnocení: 100 %

        špatnédobré        

Obrázky

32 jader a škálování při kompilaci a OpenSSL, obrázek 1 32 jader a škálování při kompilaci a OpenSSL, obrázek 2 32 jader a škálování při kompilaci a OpenSSL, obrázek 3 32 jader a škálování při kompilaci a OpenSSL, obrázek 4 32 jader a škálování při kompilaci a OpenSSL, obrázek 5 32 jader a škálování při kompilaci a OpenSSL, obrázek 6

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

Max avatar 12.12.2019 15:47 Max | skóre: 68 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Moc pěkné, díky.
Zdar Max
Měl jsem sen ... :(
12.12.2019 16:31 luky
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Skoda, ze jsi -jN utnul u poctu jader, protoze driv doporucene N byl dvojnasobek jader. Hlavnim duvodem je zcela urcite IO wait, ktery v pripade ram je minimalni, ale i tak by bylo zajimave to videt.
12.12.2019 16:51 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL

Tohle mělo smysl, když se spoustu času strávilo čekáním na pomalé disky. Nedávno jsem s tím ze zvědavosti trochu experimentoval a vyšlo mi, že při překladu na tmpfs nemá smysl dávat větší počet úloh, než je k dispozici logických CPU.

Konkrétně jsem překládal jádro SLE15-SP2 (což je podobně nové, ale s o dost bohatší konfigurací než defconfig z blogpostu) na Ryzenu 3900X (12 jader, 2 thready na jádro). Od -j24 výš byly rozdíly pod úrovní statistické chyby a i rozdíl mezi -j23 a -j24 už byl menší než jedno procento. Podobně na stroji se staršími Xeony X7560 (4 sloty po 8 jádrech, 2 thready na jádro, tj. 64 logických CPU) se optima dosáhlo někde mezi 60 a 63.

13.12.2019 00:08 kvr
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Přesně. Ono ani v době pomalých disků to nebylo extra pozitivní. Buď bylo dost paměti a stejně se všechno rychle dostalo do cache. Nebo bylo málo paměti a runtime nejen vytlačil sdílené zdrojáky, ale ještě se navzájem vytlačil do swap.

Navíc, nedávno jsem paralelizoval jeden (dlouhý) test, jednoduchý, který dělal to samé pro množství vstupních dat. Se čtyřma logickýma CPU (2*2 thready) se čas zmenšil na cca 50% (i přes poměrně dobrou eliminaci parallel overhead). Takže navíc záleží na tom, jak se kód rve o vnitřní zdroje CPU. Naštěstí jsou kompilátory trochu komplexnější...

Čistě ze zvědavosti, co s těma mašinama provádíte? Ne, že bych občas nedělal big data apod a zpracovával šílené množství vstupů, ale reálný běh už pak běží na serveru, na vývoj mi obvykle stačí laptop...
12.12.2019 16:53 miho | skóre: 23 | blog: Mihovy_sochory | Orlová
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Utnul protože s tím mám už zkušenost :-) V roce 2009 na osmijádru (2x4 xeon bez HT) to mělo vliv zcela marginální viz
http://www.abclinuxu.cz/blog/Mihovy_sochory/2009/10/skalovani-procesoru-pri-kompilaci-jadra

V roce 2014 na šesnáctijádru s HT (2x8 xeon * HT) nulový a to i na SSD
http://www.abclinuxu.cz/blog/Mihovy_sochory/2014/2/sesnactijadro-s-ht-a-skalovani-pri-kompilaci-a-openssl

Od té dobny to už ani nezkouším. Ale pro klid duše jsem to teď narychlo testnul a real je při -j128 o desetinu vteřiny horší než při -j64 akorát narostl user o 18s - takže vyšší zatížení a tím spotřeba s nulovým přínosem.
12.12.2019 18:45 kralyk z abclinuxu | skóre: 29 | blog:
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Skoda, ze jsi -jN utnul u poctu jader, protoze driv doporucene N byl dvojnasobek jader. Hlavnim duvodem je zcela urcite IO wait, ktery v pripade ram je minimalni, ale i tak by bylo zajimave to videt.
Moje zkušenost s tímhle je spíš negativní, zejména u C++ věcí se složitějším kódem, kde je kompilace náročná na paměť. Zvyšování paralelizace nad nproc pak vedlo akorát k tomu, že to žralo brutální množství ramky, ale rychlost lepší nebyla...
Přidej se k odporu proti eko-fanatismu! Konzumuj prémiové informace plné zdravého rozumu a vyhýbej se těm nevhodným!
12.12.2019 20:24 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
zdravim,

diky. Super zapisek. To potesi videt dalsi a lepsi 32 jadro....

Zkusim do konce tydne neco napsat. Uvazuji v lete prechod z 32-core (2990WX) na (64-core) 3990WX. A do serveru si asi dokoupit nejaky AMD EPYC(16 core).

Koukal jsem na benchmarky a vypada to velice dobre.

gf
13.12.2019 12:23 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
zdravim,

s temi preklady kernelu to u mne vypada na 2990WX takto. Asi by se to dalo vyladit vice nebo resit pres RAMdisk.
-j 32

real    0m57,139s
user    20m19,768s
sys     2m2,336s

-j 64

real    0m49,738s
user    31m30,032s
sys     3m3,312s

gf
13.12.2019 13:36 miho | skóre: 23 | blog: Mihovy_sochory | Orlová
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
To odpovídá 12,1 kompilacím za deset minut při -j64. Na 3970X mi to vychází na 24,7.To je příliš velký rozdíl, někde něco nehraje. Byl to defconfig? Probíhalo to v tmpfs?
13.12.2019 13:43 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Zkusil jsem to i s make defconfig, tak se dostavam na 49s. RAMdisk jsem nezkousel. Ale to se zlepsi mozna o nejakou drobnou vterinu.
13.12.2019 13:40 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL

Pokud chcete, aby výsledky něco vypovídaly o výkonu procesoru, překlad v tmpfs je nutnost (a i jinak není moc důvodů v tmpfs nepřekládat, pokud máte dost paměti, aby to šlo). Když se podívám na ty vaše výsledky metrikou celkového času CPU (user + sys) děleného dobou překladu (tj. jakési "míry paralelizace"), dostanu v prvním případě 23.5 a ve druhém 41.7, což není úplně moc (ideál by byl 32 a 64). V podstatě to znamená, že 26 resp. 35 procent času procesor na něco čekal.

Pro srovnání, při překladu na tmpfs na 3900X dostanu (i při paměti prozatím běžící s dost neuspokojivým SPD časováním)

          real        user        sys
   -----------------------------------------------
   -j12   1m3,751s    9m48,272s   1m16,665s   10.4
   -j24   0m48,999s   14m4,137s   1m51,504s   19.5

Vezmu-li v úvahu, že ten procesor má dvanáct jader, stál třetinu a má poloviční TDP, je to námět k zamyšlení.

Pro úplnost bych ale ještě dodal, že test buildu s defconfigem není moc šťastně zvolený. Když build zkusím s realističtější distribuční konfigurací, vyjde mi ten poměr s -j12 11.7 a s -j24 22.2, což je o dost lepší.

13.12.2019 13:58 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Tak i s ramdiskem skoro zadna zmena.

Jako, ze 3.generace je znacne vylepsena oproti 2.generaci Threadripperu (muzete doplnit i Ryzen 3X00X) se vi. A i jsem s tim castecne pocital, ze to jednou prijde. To je udel pionyru, tech technologickych.

To same bylo lehce nemile prekvapeni v lehkem snizeni single-thread vykonu pri zmene AMD 1950X na AMD 2990WX.

gf
13.12.2019 14:46 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL

Nedalo mi to a zkusil jsem ještě osmijádrový 2700X, což by měla být podobná architektura jako 2990WX:

    -j8    2m1,050s    13m7,965s    1m40,901s    7.3
    -j16   1m28,412s   18m40,589s   2m18,100s   14.2

Oproti 3900X jsou časy přibližně dvakrát pomalejší (podle počtu jader a frekvence by to mělo být 1.54), takže pokrok tam vidět je (kvantitativně asi tak o třetinu).

Teď jsem si ale uvědomil, že při porovnávání výsledků z různých systémů může hrát významnou roli i verze gcc (moje výsledky jsou s gcc 7.4).

13.12.2019 15:04 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
gcc version 6.3.0, Debian stable. Muze byt. System tu nemam uplne nejnovejsi.
19.12.2019 14:34 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Jeste jsem pred asi tydnem premyslel o tom, zda jsou benchmarky s kompilaci, ktera bezi 30-60 minut dostatecny test.

Me se osobne dost libil test, kdy si clovek zkopiluje LibreOffice nebo Chromium. Coz je tak 15-60 minut zateze. Hodne casto na 100%.

Co jsem koukal na buildy mensich projektu (30-100 MB workspace/velikost projektu, tak se misty CPU dost flaka). Je to videt na malych knihovnach, kde ta uroven paraelizace neni az takova.

To nic ale nemeni na tom, ze novejsi generace ThreadRipper procesoru budou rychlejsi i na mensim poctu jader.

gf
13.12.2019 12:37 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Pridam nejak info z provozu AMD 2990WX a neco o upgrade.

AMD 2990WX je fajn procesor. Je videt, ze se zacina dusit pri hodne vlaknech a pri vypoctech s hodne pameti. Zlepseni casovani pameti - vymena (64 na 128GB) z 2400 na 3000 pomohla o par procent.

Hodne uvazuju o 64 jadru (3990WX). Co jsem videl benchmarky 3.generace Threadripperu, tak vypadaji uplne skvele. A vyresi se tim hodne problemu 2.generace. Hlavne konecne podobny single-thread vykon jako Core i9 procesory od Intelu.

Nejsem si uplne jisty, zda budou ty benchmarky tak uplne pekne jako u 24 nebo 32 core 3.generace ThreadRipperu.

Cena asi nebude uplne nejlepsi. Cekal jsem puvodne 3200 USD za 64-core, ale i 4000 USD bez dane se zkousne. Precijenom uz neni konkurence co se tyce vykonu. Do toho upgrade zakladni desky asi AsRock Creator TR4X, protoze ma lepsi chlazeni M.2 SSD disku nez AsRock Taichi X399, ktera lepe vypada a kterou ted mam.

Prekvapilo me moznost celkoveho osazeni 256GB RAM + PCI-X-4.0 sbernice hlavne pro SSD disky=taky asi podle toho upgrade M.2 SSD disku.

Uvidim koncem jara. Zatim mam jine financni priority.

Dost me prekvapilo po delsi dobe, co jsem upgradoval InteliJ IDEA, tak ze zamakali na paraelizaci. Bezi to o neco lepe. Zejmena start je moc fajn, kdy Vam nabehne ve status baru 156 threadu a mate za par vterin u 2M codebase nacteny projekt. Ale ta indexace celeho projektu je tedy pomala a neni moc optimalizovana (1-1.5 minuty je moc na tuto masinu).

gf
13.12.2019 13:44 miho | skóre: 23 | blog: Mihovy_sochory | Orlová
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Z toho procesoru bych měl pár obav:
1) Jaké budou takty s dvojnásobným počtem jader když TDP už nemůžou už moc zvedat?
2) Stačí 4 paměťové kanály na 64 jader? Nebo bude jiná platforma s 8 kanály (pak bude ale deska za 1000$)?
3) Cena mezi 24 a 32 neroste lineárně a mezi 32 a 64 to bude asi stejné. Lze tedy usuzovat, že 4000$ je velmi optimistický odhad. Já bych čekal 5000$ a u nás 140 s daní.
13.12.2019 14:48 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Diky za nazor.

U me je cenovy strop nekde 90 za CPU a 15 za MB. Oboji v CZK bez dane.

Kdyztak budu vyckavat, zda se cena nesrovna. Je to uz trochu drazsi HW a bude to chtit hodne si spocitat, zda se to vyplati.

Kdybych si nechal AMD 1950x, tak jdu ted koupit z fleku AMD 2970x (32 jadro) a teme neresim asi upgrade.

Pro me je dulezite provadet vicejadrove hodne vypoctu/algoritmu, videt rychle vysledek na treba 30 prvcich a predevsim rychle zpracovat velke mnozstvi testu. Dohledavat a hlavne ladit pak par dni jednu chybu v algoritmu (data caputure+ocr), aby algoritmy fungovaly pro vetsinu dokumentu, me stoji hodne casu.
7.1. 00:02 miho | skóre: 23 | blog: Mihovy_sochory | Orlová
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Tak jsem se s tou cenou pletl, bude fakt 4k$ takže můžeš hned 7.unora nakoupit ;-) Ale frekvence jsou oproti 3970X podle předpokladu nižší (2,9 GHz base oproti 3,7 GHz) a hrubý výpočetní výkon bude cca 35% nad 3970x. Musíš mít tedy naprostou jistotu, že tvůj workload dobře škáluje jinak bude reálný výkon horší než u toho 32jádra.
7.1. 08:42 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
zdravim,

ted to taky ctu. Je to hodne lakave....

Uvidim, jak budou vypadat benchmarky. Pak padne nejake rozhodnuti.

Financne OK. Unor to nebude. Tak dobre na tom nejsem. Mel bych na nej mit 6-8/2020 podle toho, jake budu mit priority...

gf

Ovoce avatar 18.12.2019 00:03 Ovoce | skóre: 14 | blog: Vyplizlo_ze_zivota
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
ASRock Creator má IIRC slabou napájecí kaskádu, jenom osm nebo tak (i její chladič), tuším snad nejhorší ze všech modelů na trhu, jestli se nepletu. Když už stojí to CPU $3000, tak bych doporučoval radši TRX40 Taichi, to má snad 2x víc fází.
19.12.2019 14:30 User682 | skóre: 38 | blog: aqarium | Praha
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Me se vcelku dost libil 'ASRock Creator' kvuli chlazeni disku, ale je mozne ze to prehodnotim, az si neco na podobne tema prectu. Taichi X399 verzi ted aktualne mam.

kazdopadne diky, gf.
13.12.2019 11:05 miho | skóre: 23 | blog: Mihovy_sochory | Orlová
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Přidal jsem pár výsledků z windows, hlavně Cinebench R20 včetně srovnání s 7960X.
13.12.2019 13:27 Tomas
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Hezke... ale nepobezi na takovem krasnem stroji pak windows, ze ne? :-)
13.12.2019 14:02 miho | skóre: 23 | blog: Mihovy_sochory | Orlová
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Bude tam skoro jistě widnows... Majitel, dlouholetý uživatel linuxu na desktopu, vzdal před cca třemi lety boj se systemd když prohlásil, že zbytek svých vlasů kvůli tomu riskovat nebude. Zatím se nevrátil, takže předpokládám, že Windows působí na pleš méně destruktivně.

Když tak o tom přemýšlím, tak systemd způsobil nebo se velkou mírou přičinil k diaspoře minimálně čtyř linuxáků z mého okolí.
13.12.2019 14:22 debian+
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Resp. nie je to tym ako amatersky spravca VPS vs komercny hosting? A pokial chcem seriozne robit weby, tak nedokazem naplno aj spavu serveru aj web-developing?
13.12.2019 14:34 debian+
Rozbalit Rozbalit vše Re: 32 jader a škálování při kompilaci a OpenSSL
Resp. moj pocitac, moja sprava.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.