Šesnáctijádro s HT a škálování při kompilaci a OpenSSL

18.2.2014 10:10 | Přečteno: 2542× | Hardware | | poslední úprava: 18.2.2014 14:58

Po dlouhé době tady mám opět dostatečně zajímavý počítač, který stojí za otestování. Dvouprocesorový stroj jsem tady sice už měl. Za čtyři a tři čtvrtě roku se toho ovšem dost změnilo. Nebo ne? Počet jader se jen zdvojnásobil, IPC trochu stouplo. Nejzásadnější změnou pro víceprocesorové sestavy je přemístění řadiče paměti do procesoru. Tím vzniká taková NUMA v malém měřítku (přístup k lokální paměti je o 20 % rychlejší) a Linux se opravdu dle numactl podle toho chová. Poslední změnou je, že v roce 2008 se dala pořídit dvouprocesorová pracovní stanice s 16GiB paměti za sto tisíc. Dnes to stoji čtvrt milionu. Pravda- je v ní 128 GiB ale to není o nic větší overkill, než 16 GiB před pěti léty. Pojďme se tedy podívat, jak se změnila situace v praxi.

Testovací sestava

2x Intel Xeon E5 2687W v2, 128GB (8x16GB) DDR3 1600MHz ECC Registered a omáčka okolo: Supermicro X9DAi, GeForce GTX780 Ti, 2x Nzxt Kraken X40, 2x Samsung 840 EVO 500GB, Cooler Master Cosmos II, Seasonic 1kW zdroj, DVD

Software

Aktuální Ubuntu Server LTE 12.04.4, gcc 4.6.3, jádro 3.11, x86_64, openSSL 1.0.1 d bn(64,64), p7zip 9.20, Truecrypt 7.1a

Metodika

Překládám vanilkové 3.2.9 s implicitním .config (lze získat pomocí make defconfig). HT vypínám v BIOSu, jádra vypínám přes zápis do /sys/devices/system/cpu/cpuN/online. Celý proces kompilace probíhá v ramdisku. Měřím pomocí time make -jN resp. openssl speed rsa2048 -multi N. Všechna měření dělám dvakrát a výsledky průměruju. V případě kompilace dávám do grafu počet kompilací za 10 minut. To dává lepší představu rozdílů a také z důvodu, který bude zřejmý později. Zásadním rozdílem oproti minulým měřením je, že u současných Xeonů se nedá žádným rozumným způsobem hýbat s frekvencí. Proto není zafixovaná ale nechávám v činnosti turbo. To v praxi znamená, že frekvence je 3.6-4 GHz podle počtu zatížených jader

Výsledky

Kompilace Real time

Výsledky vypadají poměrně neuspokojivě. Šesnáctijádro je jen 3.2x rychlejší než čtyřjádro a 1.8x rychlejší než osmijádro. Přínos HT je 20 % jinými slovy 16-jádro s HT podává asi takový výkon jako 19.2-jádro bez HT. Zřejmě tady narážíme na nějaký problém. Vyzkoušel jsem prototomu "pomoct" spuštěním dvou kompilací současně.

Kompilace Real time - dvě separátní kompilace současně

Výsledky vypadají o něco lépe. 16-jádro je 3.57x rychlejsí neč 4-jádro a 1.94x tychlejší než 8-jádro. Přínos HT je opět 20 % což je očekávaná hodnota (podobnou jsme naměřili při testu desktopového šestijádra). Na druhou stranu v takovém případě by bylo nesrovnatelně levnější pořídit prostě dva stroje. Pokud si chcete srovnat výsledky, tak jedna kompilace trvá 31.9 vteřiny a dvě souběžné kompilace pak 55.85 vteřiny.

Signs/s pro 2048bit rsa

Fyzická jádra škálují takřka ideálně. 16-jádro je 3,93x rychlejší než 4-jádro a 2x rychlejší než 8-jádro. Přínos HT je pouze 2 %. To je je hodně překvapivý výsledek (minule jsme naměřili 12 %. Nedokážu vysvětlit, proč tomu tak je.

7-Zip benchmark

7-Zip [64] 9.20  Copyright (c) 1999-2010 Igor Pavlov  2010-11-18
p7zip Version 9.20 (locale=en_US.UTF-8,Utf16=on,HugeFiles=on,32 CPUs)

RAM size:   128908 MB,  # CPU hardware threads:  32
RAM usage:   6804 MB,  # Benchmark threads:     32

Dict        Compressing          |        Decompressing
      Speed Usage    R/U Rating  |    Speed Usage    R/U Rating
       KB/s     %   MIPS   MIPS  |     KB/s     %   MIPS   MIPS

22:   66908  2455   2651  65088  |   934560  3164   2662  84248
23:   69559  2630   2695  70872  |   926326  3171   2671  84715
24:   67018  2663   2705  72058  |   900990  3141   2660  83565
25:   64159  2746   2668  73254  |   884276  3131   2655  83140
----------------------------------------------------------------
Avr:         2623   2680  70318              3152   2662  83917
Tot:         2888   2671  77118

Truecrypt benchmark

Geekbench 32bit

Geekbench spušěný ve Windows (ubuntu server odmítl spolupracovat s 32bit verzí).

Závěr

Tento kousek budu mít ještě nějakou chvíli doma, můžu tedy něco vyzkoušet, pokud o to bude zájem.

       

Obrázky

Komentáře

[gsnak]

Daj si facku za neoznačené osi grafov

[miho]

Řekl jsem si, že bude přínosnější to opravit než se fackovat

[Dr. Eddy]

Takze jdou na tom online hry ve Flashi plynule?

[kotrcka]

nie, má tam slabú grafiku + linux, takže podpora flashu je taká aká je

[User682]

zdravim,

moc diky za zapisek. Velmi zajimave.

Vlasnim sestijadro, naprosta spokojenost a clovek uvazuje o tom, co si koupit dale. Asi se to da navysit na 8 jader s vetsi frekvenci za rozumnou cenu. O cem ale uvazuju, ze si koupim pocitac jako vyrobni prostredek za odpovidajici cenu. Cilize 2x16 jader v Opteronu. Clovek zvazuje, zda tech padesat tisic casem vyda.

Hodne je pro me zajimave, jak se to projevi na kompilacich(C++/Java) a unit/integracnich testech (radkove 100-vky testu).

gf

[Michal Kubeček]

Díky za potvrzení, že "moduly" u AMD Bulldozer/Piledriver se při reálné zátěži chovají úplně jinak než hyperthreading. Sice jsem to očekával, ale někteří hardcore fans se snažili naznačovat opak.

[miho]

To rozhodně, jádra v modulu sdílejí mnohem menší část než dva virtuální jádra v HT.

Na druhou stranu- to je jen akademická záležitost. Podstatný je výsledný výkon (případně výkon/W nebo výkon/$). Existují praktické aplikace, kde porazí 2Njádro od AMD intelácké Njádro s HT a jsou aplikace, kde tomu je naopak. Nechci vyvolávat flame tak se zdržím komentáře kterých je víc

[miho]

Přidal jsem geekbench

[Bhua]

Ja jsem prave koupil server s 24 fyzickyma CPU a 32 GB RAM za 800 euro, jako pracovni masinu na vyvoj a testovani. Cekam ze si na tom uziju podobne

[citanus]

co to je za stroj? kolik to zere : )

[ovoce]

Jestli to má jen 32 GB RAM, tak asi myslel dva procesory-dvanáctijádra. Dvacetičtyř*procesorový* stroj, jo, to už by byla haluz.

[Jendа]

Pochopil bych takový server nebo výpočetní node, ale desktop?! To provozuješ Firefox?

[Heron]

Kde vidíš desktop? Píše tam pracovní stanice.

[Jendа]

Původně jsem chtěl napsat, že má slabou grafiku, takže třeba na stříhání videa to nepůjde, ale koukám, že jsem se nechal zmást komentářem výše (v číslování NV se nevyznám, na zobrazování používám Intel a na výpočty ATI).

Jak se liší workstation a desktop? Já říkám desktop všem počítačům, na kterých uživatel přímo lokálně pracuje.

[miho]

Wikipedia dnes nejede? http://cs.wikipedia.org/wiki/Pracovn%C3%AD_stanice

Moje osobní definice je: ECC (naprosto nutná podmínka) a buďto 2 procesory nebo profi grafická karta nebo XeonPhi nebo něco podobného.

Jinak ten počítač bude sloužit pro vývoj a simulaci nějakých clusterových aplikací. Grafická karta tam jě taková kvůli paření her.

[Heron]

Asi nejkratší odpověď: Na pracovní stanici se pracuje, desktop je Gatesova vize z devadesátých let.

Já říkám desktop všem počítačům, na kterých uživatel přímo lokálně pracuje.

A co je potom terminál?

[Michal Kubeček]

If train station is a place where a train stops, what the hell is a workstation? :-)

[Heron]

Z train station ty vlaky taky odjíždějí Takže workstation je místo, kam práce přijede, chvíli tam stojí a občas odjede (ujede?). Aneb práce, která se nevyřeší sama, nezasluhuje vaši pozornost.

[ovoce]

If train station is a place where a train stops, what the hell is a workstation? :-)

Spíš desktop, kde je každá komponenta až řádově dražší, protože "profíci" za to zaplatěj. U některých to má logiku (serverový HW jiných výkonnostních kategorií než v desktopu), u jiných ne.

[Jendа]

Na pracovní stanici se pracuje, desktop je Gatesova vize z devadesátých let

Hurá, mám workstation! :)

A co je potom terminál?

Hm. To je, když uživatelské aplikace běží jinde, a na terminál se posílá jenom vykreslená grafika.

[gsnak]

Čiže niečo ako cloud?

[Jendа]

Ne. Cloud je infrastruktura, která se platí podle zatížení a lze realtime škálovat.

[Heron]

Hurá, mám workstation! :)

Vítej do klubu