Rozhovor s Radkem Špimrem, IBM na téma nových serverů IBM Power Systems LC (diskuse)

[RS]

Zajimave testy Firestonu (S822LC) s open source : MariaDB : https://www.softizy.com/blog/mariadb-10-1-mysql-5-7-performances-ibm-power-8/ PostgreSQL : http://www.quru.com/whitepapers/postgreSQLonPower/ RedisLABS : https://redislabs.com/solutions-redis-labs-on-power In cloud (OVH) tests : https://github.com/bwgartner/ovh-power8-mariadb-benchmarking

[Jendа]

Základní cena jednosocketového serveru Habanero, vybaveného jedním osmijádrovým 3,32GHz procesorem Power8, 32GB RAM a jedním 1TB HDD SATA je podle našeho amerického webshopu 6 595 dolarů.

Není to trošku dost?

je osazena dvěma výkonnými koprocesory GPU Nvidia Tesla K80

Hmm, takže nVidia dodává blob i pro Power architekturu?

[Radek Spimr/IBM]

Dobry den, jedna se o server (HABANERO = S812LC) s relativne vysokym vykonem 642 SPECint_rate2006 a rozsiritelnosti pameti az na 1TB s propustnosti 115GB/sec (memory/chip). Habanero nema GPU, ma ale 4x PCI sloty, dva jsou CAPI enabled. Vsechny PCI sloty jsou hot-swap. Podobne servery jako HP DL180, DL80, DL380 nemaji hot-swap PCI sloty, vetsinou maji polovicni nebo az ctvrtinou velikost pameti (krome DL380) a CAPI neumi zadny z nich!!! Tudiz HABANERO umi pripojit 2x FPGA karty a offloadovat napr. kompresi nebo jine algoritmy na FPGA nebo pripojit pres FPGA napr. Flash pole (storage) s microsekundovou latenci pro NoSQL databaze, jako to delame s RedisLABS RLEC resenim.

Takze cena 6,5k USD je podle mne vzhledem k vykonu a propustnosti a unikatnim vlastnostem, nedostupnym na x86 HW prijatelna. Primarne je server urcen do Hadoop a SPARK a JAVA farmy apod.

- http://www.spec.org/cpu2006/results/res2015q4/cpu2006-20151103-37953.html - https://redislabs.com/solutions-redis-labs-on-power

[Honza]

Dobry den, zminil jste ze k serveru se daji pripojit dalsi fpga karty. Nicmene predpokladam ze aplikace by mely dane fpga reseni podporovat. Jak tohle momentalne v praxi funguje a jsou nejake signaly jak to bude fungovat do budoucna ? Napriklad ze oracle ke svemu RAC doda i syntetizovany fw pro vyse zminene karty, ktere budou zajistovat trabe cache fusion ? Predstava je to lakava... :).

Zkratka jak je to s podporou techto fpga obecne ? Existuji nejake aplikace mimo rekneme ciste vedeckych ktere z daneho zarizeni umi vyzdimat pozadovany vykon ? Jak je to u nich s licencemi ?

Dekuji za odpoved

H.

[Radek Spimr/IBM]

Dobry den, u FPGA pres CAPI jsou to 2x server (z celkem 4 PCIe karet) u LC serveru. Integrace resp. ovladani je na nizsi urovni nez aplikace, jedna se o kernel extension, aktualne v Ubuntu, RHEL, nicmene bude dostupne v dalsich distribucich a dokonce i v AIX unixovych AIX serverech. Jednotlive karty jsou automaticky detekovatelne na urovni OS. Ty karty se daji programovat. Pouziti s konkretni aplikaci je pres API, takze jakakoliv aplikace muze FPGA vyuzit. Pouziti jako memory extension (cache fusion nap.) je jen jedna specificka oblast, na FPGA se daji offloadovat ruzne algoritmy jako MonteCarlo, gzip a ruzne dalsi security a compression moduly apod. Pres FPGA take analyzujeme v realnem case ETHR packety na siti apod. Reseni na tierovani pameti spise hledejte u open source a linux partneru nez u Oracle, IBM na NoSQL engine s RedisLABs resenim, podle mne I velci vendori cistych in-memory databazi (nemohu jmenovat) zabyvaji intenzivne touto myslenkou, jelikoz stavajici databaze u velkych zakazniku maji i > 150TB a pres veskerou kompresi a redukci a optimalizaci dat. modelu v takto velkych instalacich zustanou desitky TB dat, ktere je potreba zpracovat do pameti. Klastrovani vetsinou neni tak efektivni a navic pametove moduly cele reseni vyrazne prodrazi. U toho NoSQL reseni mame 24x redukci HW, jeden server a jedno flash pole vs. stejne reseni na 24x x86 serverech. Naklady jsou pak az 3x nizsi. NoSQL se u nas da standardne koupit jako appliance, cena zalezi na velikosti Flash storage a na poctu serveru. Vetsinu ceny tvori prave storage. CAPI enablement je standardni feature u VSECH IBM POWER8 scale-out serveru. Zde najdete konkretni informace o CAPI partnerech, aktualnich resenich apod. :https://www.ibm.com/developerworks/community/groups/service/html/communityview?communityUuid=a661532e-1ec6-442f-b753-4ebb2c8f861b

Tady jsou detaily k tomu IBM NoSQL engine : http://ibm.biz/capiflash

Zde jsou zakladni informace ke CAPI : http://www-304.ibm.com/webapp/set2/sas/f/capi/CAPI_POWER8.pdf

[Radek Spimr/IBM]

FAQ zde : https://www.ibm.com/developerworks/community/groups/service/html/communityview?communityUuid=a661532e-1ec6-442f-b753-4ebb2c8f861b#fullpageWidgetId=W2e466fff7d17_42f3_b2ec_24ebcb0a877c&file=1de0230c-ade8-40d5-a044-73e2ad5131b2

[Honza]

Dobry den, dekuji za spoustu materialu. Technologie se mi jevi jako velmi zajimava, nicmene stale mi prijde porad jeste takrikajic v plenkach.

1) Neni zatim jiste jak to bude s vyvojem kodu pro fpga karty primo od vendoru, pro kterou potrebujete i tu cast, ktera bude primo na miru aplikace. Pokud napriklad budu vendor sifrovaci brany a budu chtit vyuzit vase reseni postavene na fpga budu muset: 1) napsat kod v nejakem hdl jazyce, verilogu, opencl etc. ktery budu moct syntetizovat pro dany fpga chip. 2) budu muset napsat low level ovladac, ktery zbinduje accelerovane fce se systemovymi fcemi a zajisti transparetni spusteni pres os. To mi neprijde jako trivialni at jiz z hlediska vyvoje, ladeni etc. FPGA se se postupne rozsiruji a jejich ceny klesaji, nicmene programovani je stale takrikajic vyssi divci. Neexistuji zadne protokoly standardy etc. ktere by komunikaci fpga<->zbytek architektury/os popisovalo (CAPI je prvni vlastovka), tudiz v soucasne dobe si takovy vendor musi obstarat vsechno sam.

2) Virtualizace techto zarizeni v podstate neni podporovana, v libcxl zatim neni podpora pro shared mod, prvni aix ktery podporuje tyto karty je aix 7.2 atd atd. Z toho napriklad plyne ze tato technologie jeste neni pripravena pro powervm ekosystem. Budu napriklad moct (alespon v blizke budoucnosti) pouzivat vyse uvedene karty se spravnym "firmwarem" mezi vice lpary ? Jak s tim zamicha treba live partition mobility ? Existuje nejaky standard jak psat syntetizovany fw do fpga, tak aby ho bylo mozna namapovat na vio a po te rozdistribuovat mezi dalsi lpary ? Jak s timto v podstate cizim "SW" vyjdou bezpecnostni cap|eal4 certifkace ? Nebo ibm planuje pouzivat tyto karty primarne na linux platforme v dedikovanem mode ?

3) Politicky aspekt. Intel vas hlavni konkurent v teto oblasti (alespon tak to vnimam) koupil Alteru. IBM pred par dny oznamila strategicke spojenectvi s Xilinxem. Nicmene karty od Nalatechu jsou postaveny na Altere. Jak to bude se spolupraci mezi vami a Alterou/Intelem do budoucna ? Nebo se budete soustredi pouze na Xilinx zarizeni ? BTW proc IBM poradne nepritlacilo na pilu a Xilinx nekoupilo ? :)

Osobne vnimam toto reseni jako obrovsky prislib do budoucna a verim ze toto je jedna z mala cest jak v relativne blizke budoucnosti(cca 3 roky) vcelku jednoduchym zpusobem slusne zvysit vykon stavajicich serverovych reseni. Tesim se taky na dobu kdy nekoho napadne zkusit soupnout tyhle karty/fpga chipy na desktopy/notebooky/tablety a offloadovat treba fyziku ve hrach :). Ale je tu porad spousta otazek a technologie je stale jeste moc mlada.

[X.]

Docela zajímavý článek, nicméně čekal bych že takhle silné tvrzení:

Servery s procesory Power8, a tudíž i nové LC servery, mají dvakrát až třikrát vyšší výkon na jádro i pro běžně používané aplikace open source...

bude okamžitě podložené alespoň několika benchmarky třetí strany. Nebo jsem slepý?

[Radek Spimr/IBM]

Dobry den, pro porovnani vykonu vetsinou POWER8 vs x86 pouzivame nase byvale Lenovo servery, ale nektere testy jsou i na konkurencnich serverech. Testy provadi vendor sami, my si jen bereme do nasich WP jen vysledky. Doporuciji se zeptat primo u vendor, u MariaDB doporuciji Anderse Karlssona, se kterym spolupracujeme i na konkretnich obchodnich pripadech po technicke strance. Nektere vysledky s popisem testu napriklad zde :

a) benchmark na PostgreSQL : https://www-304.ibm.com/partnerworld/wps/servlet/download/DownloadServlet?id=LQPehnUMv8eiPCA$cnt&attachmentName=ibm_power_systems_solution_for_postgresql.pdf&token=MTQ0ODYyNjkyMzc3Nw==&locale=en_ALL_ZZ

b) MariaDB benchmark : https://mariadb.com/sites/default/files/ibm_power_systems_solution_for_mariadb.pdf

c) zde je benchmark na 1M QPS (dotazu za vterinu) od MariaDB : https://blog.mariadb.org/10-1-mio-qps/

d) MongoDB test (bez x86) : https://www-304.ibm.com/partnerworld/wps/servlet/download/DownloadServlet?id=4JXLmWUUU_JiPCA$cnt&attachmentName=ibm_power_systems_solution_for_mongodb.pdf&token=MTQ0ODYyNzg4NzgzNA==&locale=en_ALL_ZZ

Navic mame servery k dispozici jak v cloudu (VUT BRNO - OpenPOWER HUB) nebo OVH nebo nas oficialni cloud portal nebo i jednotlive server na zapujcku, kde lze jednotlive testy napr. pouzitim vyse popsanych prikladu testovat proti x86 v realne situaci primo u zakaznika. Pokud mate zajem tak bud jsem k dispozici primo ja radek_spimr@cz.ibm.com nebo nasi distributori Avnet a DNS, kteri maji take demo servery na zapujcku k dispozici.

OpenPOWER HUB : https://docs.google.com/forms/d/1py0Fg2x9xoQP9yYzOm4DSnJ1buyQBBCWN9Sj_OZuXek/viewform

Popis HUBu a podminek zde : http://research.redhat.com/getting-started-with-power-8/

Dekuji.

[Radek Spimr/IBM]

Jeste pro srovnani oficialni vysledky podle spec.org, ikdyz pro konkretni aplikace jako je MariaDB nebo eDB nebo Java doporucujeme primo aplikacni benchmary.

Baseline : IBM Habanero - http://www.spec.org/cpu2006/results/res2015q4/cpu2006-20151103-37953.html

Nejnovejsi Oracle SPARC M/T7-1 - http://www.spec.org/cpu2006/results/res2015q4/cpu2006-20151026-37722.html - nejnovejsi chip 2x vyssi vykon, ALE : 32 jader vs 10x v Habaneru, cena T7-1 okolo 50-60k USD tj. skoro 10x vic nez Habanero.

a tady HP DL180 Gen9 : http://www.spec.org/cpu2006/results/res2014q4/cpu2006-20141202-33411.html - s 16c (+60%) a o cca 10% mensim vykonem (-10%), cenu nevim, ale podle mne srovnatelna pri stejne velike pameti, ale rozhodne mensi maximalka pamet/core, apod.

Dekuji,

[peter]

Vyzera to zaujimavo, konecne nejaka zmena.. Ale zda sa mi to skor iba na javu a nejake tie db. Dnes su v mode microservices a rozne menej narocne jazyky/platformy, ako napr golang, node.js. Nakoniec cely docker je v robeny v go. Existuju/su v plane nejake porty?

[Radek Spimr/IBM]

Dobry den, FPGA se da pouzit skoro na vsechno, mame zhruba 3 hlavni smery, akcelerace vykonu (CPU), networkingu a storage. U akcelerace CPU je to podobne jako u GPU od Nvidie. Vyhoda na POWERu je ze vsechny servery jsou CAPI enabled, GPU podporuji jen nektere. FPGA neni nic noveho, nektere acceleratory jsou primo na chipech, puvodne FPGA pouzivaly specialni sbernice, v Powerech to je pres PCIe a maji standardni form factor, aby se daly dat do vsech serveru bez uprav designu. Reseni nad FPGA nedodava az na vyjimky IBM (IBM noSQL Engine) takze informace o pouziti bud u vyvojaru SW nebo v komunitach, nebo u vyrobcu FPGA (alpha-data, nallatech apod.) tech karet je vzdy nekolik. Daji se akcelerovat resp offloadovat specialni algoritmy, zpracovani videa a grafiky apod. u tech sitovych a storage veci jde predevsim o nekolikanasobne nizsi latency nez maji na stejne sbernici standardni protokoly. A samozrejme na nekterych projektech s FPGA pracuji vysoke skoly, tam se jedna o oblibenou oblast.

Zde nase forum na CAPI, kde lze zjistit informace o aplikacich a oblastech nasazeni : https://www.ibm.com/developerworks/community/forums/html/forum?id=acb6dd06-6716-4589-9c0f-9a0462035795&ps=25

Ohledne tech programovacich prostredi a nastroju, primarne se snazime co to jde, aby ty nejzajimavejsi byly optimalizovane primo na POWER8 processor pres nas Linux ecosystem a OpenPOWER : https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/26579cc3-66fe-42b8-baf9-1fcc88445848/page/ec0b6ee5-c962-4451-8135-fe8ed5116fdb/attachments

- node.js je naportovany, GoLang se portuje a optimalizuje, viz link vyse.