Stavíme levný a výkonný POWER8 desktop: Tyan TN71-BP012

14.3.2019 16:58 | Přečteno: 4209× | ostatní | | poslední úprava: 14.3.2019 16:58

Poslední dobou dochází opět k popularizaci IBM POWER architektury, díky OpenPOWER iniciativě a také třeba Raptor Talos 2 - všechno tohle ale něco stojí, tak si postavíme moderní POWER "desktop" za zlomek ceny...

Já mám doma sice Talos 2, ale rozhodl jsem se z něj udělat server, který potřebuju na jiné účely (mimo jiné jako build server pro Void Linux). Co ale s desktopem? Nedávno se mi povedlo sehnat POWER8-based server Tyan TN71-BP012 s desetijádrovým CPU IBM Turismo, resp. dva; těchto serverů je momentálně dostupné velké množství na eBayi za cenu pod 300 EUR. To je vzhledem k hardwaru výborná nabídka, takže se podíváme na specifikace:

Specifikace

Jde o 2U servery, jak už bylo zmíněno s 10-jádrovým CPU na základní frekvenci ~2.9GHz a turbo ~3.4GHz. Procesor podporuje SMT8, což znamená 80 vláken celkem. POWER8 používá buffered memory architekturu s memory buffer čipy Centaur, v tomto případě to má 4 Centaury a na každém je 8 slotů pro DDR3L registrované ECC paměti. Některé enterprise POWER8 systémy používají speciální paměťové karty s Centaur čipy na nich, v tomto případě ne, máme tu standardní DIMM sloty, což je pro domácího uživatele samozřejmě výhoda. Každý Centaur čip má na sobě 16MB L4 cache, což znamená 144MB celkové L3+L4 cache.

Bohužel chybí HDD hotswap trays, což nám ale může být jedno. Backplane (s 3x Mini SAS HD) nechybí, ale to my nepoužijeme. Jsou tu dvě PCIe mezzanine karty; jedna je ethernet NIC Mellanox ConnectX3 Pro s podporou 10GBASE-T, druhá je čtyřportový SATA3 HBA s čipsetem Marvell, dva porty jsou použité pro interní 3.5" disk sloty, dva jsou volné.

Z portů tu máme 2x USB3.0 vzadu a 1x USB3.0 vepředu, 1x USB1.1 vzadu pro BMC, dedikovaný LAN port pro BMC/IPMI, sériový port a VGA výstup. Ten je spravovaný BMC čipsetem Aspeed AST2400, jak je v serverech vcelku běžné. Z dalších interních portů tu máme čtyři PCIe sloty, x16 a x8 přímo na CPU, a dva x4 (s x8 fyzickým form factorem) z PCIe switche PEX.

Server je bez RAM. Díky použití DDR3L pamětí se dají ale sehnat dost levně, už od 400 za jeden 8GB modul. Minimálně je tam potřeba dát 2 moduly, já doporučuju 8 nebo 16. V mém případě jde o 16 8GB modulů. I přes starší technologii umí tyto servery obrovskou paměťovou propustnost, prakticky kolem 90GB/s (manuál píše až 170GB/s peak bandwidth s nejlepší paměťovou konfigurací), viz. zde.

Firmware je pro OpenPOWER standardní, tzn. hostboot/skiboot/skiroot/petitboot, systém nastartuje do jednoduchého linuxového systému s Petitbootem, který vyhledá všechny dostupné OS na místních a síťových lokacích a bootuje pomocí kexec mechanismu.

Hluk

Bohužel je tu jedna velká nevýhoda: a to hluk. V serveru je 5 8cm ventilátorů, každý zvládne až 15000 otáček, žere 55W a má dost velký airflow a tlak na to, aby zvedal kryt, když není přišroubovaný :) To znamená úroveň hluku ekvivalentní tryskovému letadlu, a to i pouze s jedním ventilátorem, který celý systém bez problémů uchladí. Potenciálních řešení je několik:

1) použít 3U heatsink+fan pro Talos 2, pak vyřešit chlazení zbytku pomalejšími ventilátory. POWER9 Sforza socket je kompatibilní, takže chladič bez problémů sedí. To je nejjednodušší řešení, kryt zpátky nasadit nepůjde.

2) použít velký 14cm ventilátor (třeba Noctua industrial) a vyrobit si vzduchový tunel, aby foukal přímo na chladič, pak ten ventilátor umístit horizontálně. Toto řešení použil jeden uživatel na Twitteru a podle všeho funguje vcelku bez problémů.

3) Vodní chlazení. Toto řešení jsem použil já, s normálně běžným dostupným AIO closed-loop systémem za asi 1500. Je to sice asi nejnáročnější, ale říkal jsem si proč ne... Toto řešení je nejtišší a má nejlepší teplotní výsledky.

Prototypujeme vodní chlazení

V místním hackerspace byl dostupný jednoduchý AIO vodník Akasa A10, takže jsem začal testovat s tím. Jako nejjednodušším řešením se ukázalo být vyrobit adaptér z LGA2011. Socket je přišroubovaný k backplate 4 šrouby M3.5 s rozmístěním 75x40mm. Na základě toho bylo možné udělat prototyp adaptéru z LGA2011 (80x80mm) ze stavebnice Merkur a M3.5 šrouby s uřezanými hlavičkami.

Nebyl jsem si úplně jistý, jestli toto bude fungovat, protože uchycovací systém od IBM vyvíjí na procesor vysoký tlak (asi 100kg), který je potřeba pro správný kontakt s LGA piny v socketu. Díky tomu se taky nepoužívá teplovodivá pasta, došlo by k jejímu vytlačení. Překvapivě systém nastartoval, s idle teplotami kolem 50°C, což není úplně nejhorší.

Vyrábíme finální uchycení

Na základě tohoto jsem zakoupil lepší vodní chlazení Akasa R20, s 240mm radiátorem místo 120mm. Toto používá skoro identický vodní blok, ale má vylepšený uchycovací systém, s kovovými backplate standoff šrouby, na které se potom prišroubují pružinové matice. Ukázalo se, že tyto šrouby také používají závit M3.5, a že mají v podstatě úplně ideální výšku na zašroubování přímo do socketu místo původních šroubů.

Ale první ty adaptéry: jde o hliníkový L profil 1x1cm s tloušťkou 1mm. L profil byl použitý z důvodu pevnosti, nesmí se to prohýbat. Do něj jsme udělali na CNC otvory, dva ve vzdálenosti 40mm pro šrouby do socketu a pružinové matice, dva ve vzdálenosti 80mm pro uchycení na LGA2011 bracket, vzdálené 2.5mm, kvůli 75mm vs 80mm rozdílu rozteče.

Kromě toho bylo potřeba vyrobit (uřezáním šroubů) závitové tyčky M3.5 dlouhé asi 20mm, zašroubovat je do těch standoff šroubů a celé to zašroubovat do socketu. Pro první test jsem pod ně dal ještě standardní podložky, protože měření ukázalo rozdíl výšky asi necelý 1mm.

Desku jsem vyšrouboval ze svého testovacího druhého serveru a vzal ji do hackerspace. První test jsem provedl ještě s původním testovacím vodníkem A10. Hned se ukázaly trochu lepší teploty, pod 40°C v idle.

Tak jsem to celé vzal domů a uchytil do hlavního serveru. Po stejném uchycení ale server nenastartoval; tlak vyvinutý na procesor nebyl dost vysoký a BMC hlásilo ztrátu šťávy do procesoru. Tak jsem podložky dal pryč, zašrouboval standoff šrouby přímo do socketu a pružinové matice přímo přes adaptér na ty standoff šrouby. Výsledek byl úspěšný: idle teploty pouze kolem 31°C.

Chlazení zbytku

Bohužel chladit to chce víc než jen CPU; hlavně Centaur čipy docela hřejí, hřeje i PCIe switch a Mellanox NIC. Nakoupil jsem tedy nějaké Noctua ventilátory, 40x10mm pro Centaury, 40x20mm pro PCIe switch, 92x20mm pro NIC. Výsledkem jsou uspokojivé teploty všude, a nízká úroveň hluku, překvapivě malé Noctua ventilátory jsou v podstatě neslyšné.

Uchycení a ostatní věci

Desktopový systém potřebuje GPU. Tak jsem dal do x16 slotu svůj Radeon Pro WX5100, což je funkční, ale samozřejmě server bere nízkoprofilové karty, takže karta přesahuje. Vyrobil jsem pro to takový adaptér z hliníkového plechu :) Jeden DisplayPort je blokovaný, ale tři jsou stále bez problému dostupné. Šlo by použít riser kabel a kartu nějak uchytit horizontálně, ale nebylo to třeba. Kromě toho jsem ještě přidal dvě karty pro další USB porty.

Bylo potřeba vyřešit i úložný prostor. Výchozí Tyan firmware nepodporuje NVMe SSD ve svém firmware kernelu, což znamená, že není možné přímo z NVMe bootovat. Jak je nabootovaný cílový kernel, tak samozřejmě NVMe jde normálně vidět. Tato deska je podporovaná v upstreamu, takže je technicky možné zkompilovat nový firmware s 4.19 kernelem, flashnout jej a mít NVMe boot, v mém případě to nebylo potřeba.

Mám tu adaptér z PCIe na 2x M.2, kde jeden M.2 je PCIe/NVMe, druhý SATA (a používá PCIe jen pro napájení, musí se připojit zvlášť SATA kabelem). Tak jsem použil 250GB SATA SSD (Samsung 860 EVO) pro systém, a 500GB NVMe Samsung 970 Pro pro /home - 500GB SSD jsem vytáhnul z Talose. Už mi 500GB začalo být trochu málo, 750GB je OK. Takže jsem kartu strčil do jednoho z PCIe slotů a tím je napájení vyřešeno. Díky tomu jsem mohl dát pryč původní tray na dva 3.5" disky, i SAS backplane. Molex konektor použitý na napájení 2x3.5" traye jsem použil na napájení USB karet.

Zbylo pouze vyřešit uchycení NIC ventilátoru a CPU radiátoru, a pak kam to celé dát. NIC ventilátor jsem uchytil jednoduchým L profilem, radiátor pomocí dvou kusů hliníkového plechu do existujících děr. Následně jsem koupil v IKEA za 500 konferenční stolek LACK, dal jej dohromady (jen polici uchytil o 5cm níž), a výsledkem je klasický LACKrack...

A to je celé: desetijádrový/osmdesátivláknový systém s moderní POWER architekturou, hluboko pod dvacet tisíc. Jen tak pro zajímavost, ve věcech jako build testy je asi jen o 15% pomalejší než můj osmnáctijádrový Talos 2, který je o polovinu výkonnější než papírově ekvivalentní Intel Xeon.

       

Komentáře

[ewew]

Blog môže byť označený ako kvalitný zápis.

[stepan]

Ahoj, pracujes stale u Samsungu?

[q66]

ano, zatím stále u Samsungu

[stepan]

Preferujes tedy konkurencni LG monitory? Ne, to byl vtip... Moc hezka prace chlape.

[q66]

konkurenční znamená existenci konkurence, 4K monitor má Samsung nejmenší 28" a je to TN, takže když není, tak není...

[stepan]

Chapu ;)

[Zdenek 'Mst. Spider' Sedlak]

Dobre 4K jsou HP Envy 27s, mam tri kousky.

[Josef Kufner]

Chtělo by to přidat ještě akrylátové bočnice, kdybys náhodou na stolku něco vylil a hezky nasvítit vnitřek.

[q66]

Spíš kvůli prachu a dalšímu ztišení... něco takového mám v plánu, ale spíš z hliníku, než z akrylátu.

[Josef Kufner]

A není škoda to schovat?

Hlavně hliník bude tenký plech a ten rezonuje a drnčí. Tlustý akrylát nebo něco podobného bude tlumit lépe.

[snajpa]

Mozna to chce na praci, ne jako vanocni vyzdobu...

[Josef Kufner]

Tak to se nevylučuje, ne?

[pc2005]

Velmi super blog.

Každý Centaur čip má na sobě 16MB L4 cache, což znamená 144MB celkové L3+L4 cache.

Heh to je víc než měl můj druhý počítač RAM . A víc než měl můj první počítač HDD!

[Max]

Já bych tam ty malý noctua větráky nedával a posel bych to nějakýma Noctuama 140x140, nebo 120x120 tak, aby foukaly jednak na ty pasivy, dále i na ty paměti a další věci kolem. Každopádně uznávám, že by to pak chtělo trochu jiné uchycení (asi rovnou už zakomponovat do nějakého krytu).
Zdar Max

[Ovoce]

Chtělo by to nějakej ventilátor, kterej má podlouhlej obbdélníkovej tvar, aby to mohlo najednou foukat na všechny. Jenže kvůli stupidní byrokratický EU která dusí inovace, svobodu a podnikání máme pořád jenom kravský komunistický větráky všechny s čtvercovým průřezem. Vojeb jak za RVHP, není divu, že mají ty fuckary barvu jakou maj.

[q66]

proč? teploty jsem kontroloval, nic se tam nadměrně nezahřívá, a malé větráky se dají jednoduše připevnit na heatsinky, takže nepotřebují nějak extra airflow ani tlak (když jsou přímo u heatsinku). Navíc v podstatě nejdou slyšet, dnes jsem ještě všechny ventilátory dal do módu se sníženýma otáčkama (pomocí přibalených low power adaptérů), obrovský rozdíl to neudělalo, ale aspoň to bude ty větráky míň namáhat... (i když Noctua teda píše, že mají vydržet 150,000 hodin, to je nějakých 17 let provozu, i ty malé)

[Max]

Jde i o teploty okolních komponent, různé smd součástky, kondíky apod. Reálně jim teplejší běh nevadí, ale pak nemusí mít takovou životnost, jako když jsou lépe chlazený. Nicméně nelze říci, zda tomu tak skutečně u této desky je, nebo ne. Je to spíše jen obecný plk.
Zdar Max

[Gilhad]

Když se tu diskutuje to chlazeni, měl jsem takový nápad, že si postavím výkonný počítač (ať už je to cokoli) a na procesor, případně i další výhřevné součastky bych dal chladič tepelně spojený s tlustší hliníkovou stěnou (tak 2mm?) skříně, takže bych získal velkou chladící plochu, co by to teplo odvaděla mimo skříň. Má to nějaké skryté zádrhele?

Uvnitř skříně by byl velký větrák, možná i nějaké malé na těch chlazených blocích

Zatím jsem přišel na následující:

• Tlustý hliník je dražší a těžší než tenký plech
• zvuk větráků půjde na velkou ozvučnici (ale ty větráky můžou být uchyceny odpruženě)
• pro chlazení je to třeba přišroubovat k vnitřním chladičům, při rozebírání se to musí rozšroubovat, abych neutrhnul CPU
• při vyšších teplotách CPU bude na bočnici horké místo (takže asi ještě ochrannou síťku aby se člověk nespálil náhodným dotekem), ale těm vyšším teplotám by to právě mělo zabránit dobrou tepelnou vodivostí hliníku
• rozvedením tepla nad celou MBU to bude hřát sáláním i dovnitř (ale to airflow dělá taky a mnohem nerovnoměrněji)
• bude potřeba z té bočnice "spustit" přípojné bloky k jednotlivým chladičům - ale do tlustého hliníku se vrtá dobře, závity si udělám kde chci
• bude potřeba udělat tepelné připojení (klobouk) na těch chladičích (většina končí buď hřebenem, nebo heatsinky s tenkým plecem na konci)

Dává to nějaký smysl, nebo je vodní chlazení jednoznačně lepší bez ohledu na plochu bočnice (běžný desktop, výhřevná největší strana)

(Říkám si, že kdyby to smysl mělo, proč už to dávno někdo nevyrábí ve velkém a nevydělává na tom?)

[PetebLazar]

Mezi CPU a bočnici by se hodil diamant odpovídajícího tvaru (pro pasivní přenos tepla se těžko najde něco lepšího).

Vážně: K dispozici je přenost tepla vedením, prouděním a sáláním. Okolní vzduch bočnice se rychle ohřeje s určitým gradientem (bez vynuceného ofukování bočnice), prouděním (teplý vzduch stoupá vzhůrů od bočnice) a sáláním (při cílových teplotníchh rozdílech to asi nebude žádná sláva).

Pro malé výkony možná použitelné, pro velké si myslím nikoli.

Je si třeba uvědomit, že plocha žeber chladičů není v součtu zrovna malá a jejich teplota je udržována nízko nuceným ofukem.

[Vantomas]

Setkal jsem se s průmyslovými počítači, které jsou tímhle způsobem chlazené. https://e-shop.fccps.cz/boxer-6301vs-a1-1010_d42160.html

[PetebLazar]

Ano, ale pasivní počítače jsou často řešeny na bázi notebookových, či úsporných verzích CPU. CPU odkazovaného pasivního počítače má TDP 25W (což je řádovově jinde než kombinace výkonných desktopových CPU a GPU). V trvalé zátěži a při vyšší teplotě okolí může takový chladič dosahovat značných teplot. Při krátkodobé zátěži určitě vypomůže tepelná kapacita chladiče.

[Josef Kufner]

Narazíš na to, že když budeš chtít bočnici sundat, budeš sundavat chladič z procesoru.

Alespoň jeden větrák to v počítači chce, neboť hřeje úplně všechno. Sice relativně málo, ale v součtu se to bude přehřívat. Takže mi vychází lépe vzít velký pasivní chladič a pohrát si s celkovým průtokem vzduchu skrz skříň.

Docela zajímavá myšlenka, na kterou jsem před lety narazil, je použití komínového efektu, kdy se nad procesor dá třeba metr vysoká roura jako komín a teplo z kamen, ehm, procesoru to protáhne a odsaje horký vzduch pryč. Výsledek je bezventilátorový, ale poněkud prostorově výraznější.

[Gilhad]

Myslel jsem to tak, ze na procesor dam "normalni chladic" (patrne i s vetrakem), ale na nej jeste pridelam tepelny most na bocnici, takze ten chladic bude chlazeny nejen ofukovanim vetrakem, ale i primy7m vedenim tepla na bocnici pocitace.

O vetracich v te skrini (nasavaci, vyfukovaci) a pripadne i na chladicich CPU, GPU a dalsich jsem tam uz psal...

[luky]

Mame venkovni produkt, kde bocnice skrine je zaroven chladicem a je teplovodivou pastou spojena s 10+ chipy (2*CPU+6*DSP+...). Zadny vetrak tam neni a od 2014 je v provozu nekolik tisic jednotek a prehrivanim netrpi.

[Josef Kufner]

Nepřehřívá se ti to, protože jsi na ten chladič napojil všechno. Když u klasického ATX PC takle napojíš jen procesor, tak je situace velmi odlišná.

[luky]

A v cem je problem na to napojit "vsechno" i u PC?

[Josef Kufner]

Řekl bych, že hlavně konstrukční. U klasických PC komponent se s tím moc nepočítá.

[luky]

Koukam na svoji desku a nevidim duvod, proc by to nemelo jit vyfrezovat. I v pripade pouziti graficke karty (mam v cpu) by se to dalo resit dirou nad slotem a dalsim blokem/heatsinkem, pripadne vertikalni ci kabelovou redukci.

[Ovoce]

Vygoogli si skříně Streacom, HDPlex nebo MonsterLabo, ty tohle řeší.

[radeczek]

Pěkné, měřil jsi spotřebu? Kolik taková bestie žere? R.

[q66]

Teď to docela hodně zatěžuju (kompilace qt5 s velkým množstvím vláken) a podle BMC to žere 400W. V idle bych čekal podstatně míň, kolem 100.

[q66]

OK, idle je 200W

[radeczek]

Díky. Jak dlouho ti ta kompilace QT (co konkrétně?) zabrala? Přikláním se ke kolegům níže - nějaké porovnání výkonu?

[q66]

Necelou hodinu, včetně webenginu (chromium), konkrétní benchmarky nemám, ale můj 18-jádrový Talos 2 je ve věcech jako buildy asi o 50% rychlejší než moje předchozí pracovní stanice (2x Xeon E5-2683v3, 28 jader celkem na 2.0/3.0 GHz), a desetijádrový P8 podle všeho není o moc pomalejší než ten Talós.

[Ovoce]

OK, idle je 200W

No jo, to jsem trošku čekal, ale za to holt může ta platforma. Ty Centaur buffery tomu moc nepomůžou a vůbec asi idle spotřeba není optimalizovaná zdaleka na úrovni PC nebo x86 procesorů pro server. Co si vzpomínám na starší test téhle platformy na AnandTechu, tak jim to dopadlo podobně.

[q66]

FWIW, to je idle s plným desktopem a tak, kde grafika si vezme tak 50W, něco si vezmou čipy na desce, všechna ta RAMka taky něco žere, PCIe switch, NIC, apod.

[Bherzet]

To jsem se chtěl zrovna zeptat, kolik ta RAM může udělat. Tady píšou 2 - 3 Watty pro DD3, Kingston udává maximálně 6,7 Wattu pro 16 GB DD3 modul. Ty tam máš 8 GB moduly, předpokládám, že to nějaký rozdíl udělá (nevím, jestli zrovna dvojnásobný), ale když to vezmu pesimisticky, tak 16 × 5 Wattů = 80 W max. Což je dost.

Když tu spotřebu umíš změřit, tak kdyby ses někdy nudil, můžeš to zkusit změřit jen s jedním modulem (v idle).

[q66]

No, tahat ven to nebudu, a s jedním modulem to ani nefunguje, ale ano, ty moduly si pár desítek wattů vezmou. Spotřebu ukazuje BMC.

[pc2005]

Jak moc se v idle podtaktuje CPU? x86 má dost agresivní snižování taktů.

[q66]

"x86" nemá nic, něco jiného implementují novější Intely, něco jiného mají starší Intely, něco jiného má AMD. Nevím jak přesně ten power management na P8 funguje, ale je tam - stará se o to OCC, což je vlastně separátní PowerPC jádro (starší, z jiné generace). AFAIK to agresivně nepodtaktovává (i když by se to určitě za tímto účelem dalo vyladit, mělo by to být vcelku flexibilní a všechno se dá ladit ve firmwaru), ale je tam v defaultu určitý ekvivalent Turbo Boostu, kde v zátěži frekvence vyleze až na 3.5GHz, pokud to nezačne throttlovat z důvodu teplot.

[PanZvedavy]

Jaky je ucel tohoto harakirY? Je to odolne vuci chybam jako spectre apod. na platforme intel - amd?

[q66]

Spectre potenciálně ovlivňuje všechny procesory se speculative execution, nicméně aspoň power9 má hardware mitigation https://wiki.raptorcs.com/wiki/Speculative_Execution_Vulnerabilities_of_2018

[Ovoce]

*firmware mitigation, úplně stejně jako Intel/AMD

[q66]

ne, protože POWER má v hardwaru tzv. chicken switch, firmware to jen ovládá

[Ovoce]

Chicken bit, se tomu říká.

To je přesně to, co ty aktualizované firmwary/microcody dělají na x86. Exponují chicken bit, který dřív nebyl přístupný, a OS ho pak aktivuje podle potřeby.

[Ovoce]

Kromě toho co tyhle funkce dělají je, že různě flushují stav prediktoru větvení nebo prediktor na chvíli deaktivují, nijak neopravují to problematické chování jako takové.

U "hardware mitigation" už se předpokládá nějaká reálná úprava hardwaru aby nebyl zranitelný, nebo byl méně. A to určitě Power9 mít nemůže, to z definice vyžaduje změnu křemíku, než změnu fungování přes mikrokód.

[q66]

"Problematické chování" je speculative execution samotná. POWER9 nikdy neměl produkční procesory zranitelné proti Meltdown ani Spectre v1/v2, všechno bylo vyřešeno už v předprodukční fázi; jinak POWER8/9 AFAIK ani žádný mikrokód nemají.

[Ovoce]

To je BS, Power9 silikon je zranitelný na Spectre i Meltdown. IBM to samo potvrdilo (muselo...). To, že "produkční proc" nikdy nebyl zranitelný je jenom marketingovej kód pro "dodali jsme opravu ve firmwaru předtím, než jsme to začali prodávat". A možná je to IMHO lež, protože Power9 šel na trh v menší míře údajně už na konci roku 2017 - alespoň IBM to tehdy oznámilo. Je možné, že to ale bylo jenom do superpočítačů, nebo to bylo papírově oznámené, ale reaálné dodávky pak byly až někdy v lednu-únoru 2019. To nevím a je mi to jedno, ale fakticky je situace tak jako tak stejná jako u x86 a snažit se to nějak přikrášlit je marketingový honění vocasů.

Tady tyhle věci tvrdí Raptor Engineering? Jestli jo, tak bych je nebral moc vážně, protože oni mají ten marketing řekněme dost agresivní, nebojí se FUDu. Prodat víc těch Talosů z pozice malý firmy asi není nic lehkýho a oni se holt snaží. Zůstat přitom v nějakých rozumných mezích upřímnosti/etiky se jim ne vždycky daří.

Slyšel jsem od nich hodně zveličování rizik zavřeného hardwaru a dokonce strašení tím, že platformu x86 v budoucnu "nejspíš" někdo "zamkne" a "už tam nebude možný instalovat Linux" (jako kdo, lol? MS? Intel? Fakt nekecám, tohle ten člověk od nich plácal). Prostě, nebrat vážně, co ti týpci říkají.

[q66]

Relevantní změna pro Spectre v1/v2 byla už koncem 2017: https://git.raptorcs.com/git/talos-hostboot/commit/?id=fcf7d0e3f5fe8013b8f88a70a4f69cb5c0efc38b

[q66]

A ano, změny byly opravdu i v křemíku.

[Ovoce]

Link?

https://www-01.ibm.com/support/docview.wss?uid=nas8N1022433

[q66]

https://social.raptorengineering.io/conversation/731

[Ovoce]

Takže Raptor tvrdí něco jinýho než samotný IBM. Já tomu nevěřím, protože jak už jsem psal níž, mám s těma jejich lidma v tomhle negativní zkušenosti. Podle mě to formulují zavádějícím způsobem, aby situace vypadala lepší, než je.

[q66]

IBM nikde netvrdí, co přesně je affected, a je dost možné, že se k určitým enterprise zákazníkům dostaly předprodukční steppingy křemíku (DD2.1 a dřívější), na které je potřeba aplikovat firmware opravy, stejně jak na POWER7/8/8+, kromě toho i aktualizovaný křemík potřebuje nějaké úpravy FW, jen podstatně menší (např. pro ovládání mitigation level). To co tvrdí Raptor se nijak nevylučuje s tím, co tvrdí IBM na tom linku, kromě toho i můj link odkazuje na ten tvůj link.

[q66]

Každopádně firmware je open source, takže si můžeš klidně projít git historii

[Ovoce]

Firmware patches for POWER7, POWER7+, POWER8 and POWER9 platforms are now available via FixCentral.

Mitigation of these vulnerabilities for Power Systems clients involves installing patches to both system firmware and operating systems.

The Firmware and OS patches released by IBM in February and March 2018 to address the original Meltdown vulnerability (CVE-2017-5754) also address the L1TF/Foreshadow vulnerability, except for Power 9 Systems running with KVM Hypervisor. OS patch for Power 9 KVM Systems will be made available soon.

[Ovoce]

Taky jsem s "Timothym" byl v jedné menší diskusi a tvrdil tam, že Power určitě nemá a nikdy neměl Meltdown, dokud jsem mu nedodal odkaz přímo od IBM...

Pak se tvářil, že zapomněl, nebo že přži psaní nedával pozor nebo tak něco. Přitom hodně pochybuju, že tohle neví, nakonec o těch produktech diskutuje v jednom kusu na Phoronixu a Twitteru... Nebylo to nijak ze začátku, počítám že tak v létě, a tohle je věc, kterou sales-člověk ví. Jako já mu fakt nevěřím, že je vždycky upřímnej a nelže.

[q66]

POWER meltdown má (POWER8 určitě), ale produkční POWER9 relevantní k Talosu ne a nikdy neměl, jen ve vývojové fázi

[Ovoce]

Produkční a neprodukční je stejný křemík (Raptoru nevěřím, dokud to neřekne přímo IBM). Rozdíl je jenom ve firmwaru/OS.

Meltdown je na Power iirc méně závažný než na Intelu a IIRC se to řeší nějakým flushováním L1 cache: link

"L1-D cache flushing on exit from kernel to user mode"

Dokonce se ty mitigace dají vypnout.

[q66]

stejný křemík to není naprosto určitě, když je to rozdílný stepping. Se mi zdá, že tu taky trochu bullshituješ.

[Ovoce]

Můžu link, který ukazuje ten odlišný stepping?

A to jako že by dokázali vyrukovat s opravou někdy zkraje roku 2018 ještě před uvedením Talosu (květen)?

A připomínám, že Power9 měl launch v prosinci 2017 (AC922) Podle PR už to v té chvíli produkčně používal Google a ty americké superpočítače.

[q66]

Už jsem posílal, https://git.raptorcs.com/git/talos-hostboot/commit/?id=fcf7d0e3f5fe8013b8f88a70a4f69cb5c0efc38b - tento commit přidává HW feature definici (v křemíku) pro stepping DD2.2 do hostbootu, je to commit od IBM, z konce 2017, nemá nic společného s Raptorem nebo Talosem. Tyto změny by měly mít za výsledek mitigation Spectre. Podle všeho to co používal Google a tak je stepping DD2.1, ale všechny Sforza procesory pro Talos už od začátku prodeje jsou Nimbus DD2.2.

[Ovoce]

A nebullshituju, jenom neakceptuju pochybný story z nedůvěryhodnýho zdroje, když oficiální pramen od výrobce CPU tvrdí opak. Raptor je jenom malej OEM, asi necítí takovou zodpovědnost/respekt z legálních implikací toho, že něco tvrdí...

[pc2005]

Ono se dá říct (hlavně z marketingového hlediska), že je opravený křemík i když je jen třeba updatovaná ROM maska nebo nějaký fuses (nemůže třeba i to změnit stepping?). To by museli říct, že je předělaná architektura a to POWER9 určitě mít nebude. Koneckonců to psal q66, že je problém samotná spekulace. A pak je samozřejmě taky problém v tom, že někdo může brát spectre+meltdown a někdo jen spectre (jehož jedna varianta se dá řešit softwarově) apod...

BTW Docela mě ale před rokem překvapilo, že POWER je náchylnej na Meltdown a AMD ne, zvlášť když je to hlavně chyba kontroly oprávnění. Bych čekal, že si tohle v IBM ohlídaj.

[q66]

No, POWER9 nemá skoro žádný mikrokód/firmware přímo na procesoru, v podstatě všechno je v PNOR, takže stepping zpravidla znamená opravdu změny křemíku. Jediný firmware co je přímo v procesoru je OTPROM (obsahuje toto: https://git.raptorcs.com/git/talos-sbe/tree/src/boot/otprom_init.S, stará se o načtení SBE), SBE (self-boot engine, v podstatě malý mikroprocesor co inicializuje hlavní CPU, obsahuje toto https://git.raptorcs.com/git/talos-sbe/tree/) a hostboot bootloader (načte hostboot, ten už je v PNOR flash na desce, obsahuje toto https://git.raptorcs.com/git/talos-hostboot/tree/src/bootloader)

[q66]

viz. https://wiki.raptorcs.com/wiki/OpenPOWER_Firmware - všechno je to open source

[pc2005]

V tomhle dokumentu pro POWER8 se o mikrokódu píše. Ale pravě nevím no. Čekal bych ale že tak obrovskej procesor musí mít nějakou formu opravy výrobních vad, jinak by museli vyhodit celej kus byť při jednom defektu. Přidat pak různé fixup hooky okolo jednotlivých jednotek mě přijde jako docela dobrej nápad nehledě na architekturu.

[q66]

Podle toho co mi bylo řečeno, tak POWER8 má CPU bloby, POWER9 ne

[pc2005]

Tak jsem si našel i "POWER9 Processor User’s Manual" a zmínky o mikrokódu jsou tam taky. Na stránce 38 je dokonce obrázek pipeline se třema blokama "ucode". Ale řekl bych, že u POWER berou mikrokód jinak než u x86.

The microcode patch facility allows most instructions to trap to software for fix-up or emulation. There are six full Instruction Mask Registers (IMRs) per core.

Takže to je pro některé vícecyklové operace (je tam i tabulka a třeba atomický load a store je rozfázovanej). Takže přes tenhle mechanismus nejspíš mohou zachytávat některé instrukce a modifikovat.

Z toho jednoho commitu:

- mttrig2 now causes an L1 flush on NDD2.2/CDD1.1

A kódu z kernelu:

	if (types & L1D_FLUSH_MTTRIG)
		instrs[i++] = 0x7c12dba6; /* mtspr TRIG2,r0 (SPR #882) */

A toho POWER9 manuálu:

Writes to the trigger registers (TRIG0, TRIG1, and TRIG2), can be inserted in the instruction stream to cause triggers to the on-chip trace array debug logic. These registers are used for lab debug and bringup only and architecturally behave as a NOP.

Mě tahle část přijde jako narychlo nahackovaná na debug registr. A jestli mají na jádru nějakou debug logiku, tak klidně mohli změnit jí.

Pak ještě info z téhle stránky:

Power9 system now uses mitigations for Spectre/Meltdown vulnerabilities. One mitigation enables "L1D private per thread" mode. Each cache line in L1D has 2-bit thread ID. Only one thread can read data from L1D line in "L1D private" mode.

A opět POWER9 manuál:

L1 Set-P directory bits: 32 × 8-way × 4 bits. This Set-P structure (which is used for normal L1hit use) also includes a TM bit, a Private bit, and a 2-bit thread ID.

Tohle (přidat bit a kontrolní logiku do L1 cache) mě nepřijde jako něco co se dá implementovat (u tak velké firmy jako IBM) za pár měsíců. Ten POWER9 manuál je z dubna 2018.

Takže mě přijde, že ta private cache tam byla a jen narychlo přidali do nějakýho debug enginu (pro své potřeby) pár pravidel pro její vyžadování (mechanismy tam už mohli klidně mít pro verifikaci vyrobeného čipu). Za těch pár měsíců by vydali opravenej čip jen pokud by všechny modifikace architektury vyšly na první dobrou.

[Ovoce]

Ono se dá říct (hlavně z marketingového hlediska), že je opravený křemík i když je jen třeba updatovaná ROM maska nebo nějaký fuses (nemůže třeba i to změnit stepping?).

No to si taky právě myslím, když to bylo ready někdy v dubnu-květnu, tak to IMHO muselo být jenom v integraci novějšího mikrokódu (to se dá dělat přes nějaké efuses bez změny masky, bych si tipnul, ale nevím, jak je přesně v procesorech IBM uložený).

[KS]

Božárna.

[Travis]

Mě by docela zajímalo jestli se povedlo nějak otestovat výkon Power procesoru versus x86 v linuxu. Pokud nějaké testy/výsledky budou tak jsem zvědav:)

[q66]

Ve věcech nepotřebujících optimalizovaný asm kód je většinou podstatně rychlejší, drhne to jen tam kde ten asm je třeba (hlavně enkodéry videa jako x265/libaom), protože to často není napsané a použije se portable C fallback

[otasomil]

Zdravim
Tak to je pecka...HW za pakatel a takovy vykonny.
Osobne toto mit tak se s hlukem ventilatoru nebudu trapit, machinu necham v sousedni mistnosti a odtud se probouram trubkou odpadni do pracovni mistnosti kde bude jen monitor/monitory a klavesnice/mys.
Jo jinak paradni zapisek tady.

[q66]

no to nepodceňuj, to jde slyšet i o 3 místnosti dál...

[ewew]

Nebolo by možné odmerať hluk pomocou mobilného telefónu. Videl som na to aplikáciu na Android.

[Blaazen]

Opravdu ty ventilátory žerou 55W? To vypadá jak chyba v desetinné čárce

[q66]

Opravdu 55W, každý z nich.

[Josef Kufner]

To zní docela šíleně. Pokud jedou na 12 V a je jich tam pět, tak to máš 4.5 A na kus a při 5 kusech to je 22.5 A odběr ze zdroje jen na ventilátory. Jak silný zdroj tam máš?

[q66]

no, dal jsem je pryč, tak je to fuk, jsou tam dva 750W zdroje, tzn. nejnižší konfigurace ve které se to prodávalo - z důvodu těch větráků nejsou s těmi zdroji oficiálně podporované PCIe sloty a přední disky, protože pak by ta spotřeba mohla být už moc blízko těm 750W. Takto i se všemi zaplněnými PCIe sloty a grafikou je spotřeba max. tak 400W.

[Josef Kufner]

No … když to tak porovnám s notebookem, na kterém toto píšu, kde běžná klidová spotřeba bez displeje je pod 5 W … uff. Těch pár let vývoje je hodně znát.

Jen tak mimochodem, jak velký rozdíl je ve spotřebě při zátěži a bez zátěže? Řeší se tam spotřeba vůbec?

[Bedňa]

Nazdar Quaker, nádhera. To sa číta samo, som rád že si sa zas po dobe ukázal.

Rád by som si prečítal aj nejaké nové story zo Samsungu, ono sme to preberali aj na IRC, ani o tom nevieš :) Prípadne na čom robíš teraz. OF si už zakopal?

Píš, píš, preháňaj, tešíme sa :)

Fakt píšeš dobre a je škoda sa o zaujímáve veci nepodeliť.

[q66]

OF bude určitě mít někdy tento rok update, teď to stojí na rozbitém ppc64 asm pro coroutines... chce to vyřešit, a pak se snad bude moct pokračovat