Týden s Talosem, první dojmy a stav Linux ppc64 ekosystému (diskuse)

[dumblob]

Moc pekne napsane - zadne zbytecne detaily, pouze to nejdulezitejsi a nejzajimavejsi. Pekne jsem si pocetl.

Pro "power users" to zni jako perfektni volba.

Jak je na tom spotreba oproti tomu Xeonu, co jsi mel predtim?

Tesim se na dalsi pokracovani ohledne boje s musl apod.

[q66]

Celkově asi menší, TDP 18jádra je tuším 180W, u Xeonů to bylo 120W pro každý. V průměru bych čekal tak na stejno.

[pc2005]

Super článek. Nechceš udělat nějaké benchmarky? Jak je vyřešeno meltdown/spectre?

[q66]

bohužel to už nemám jak porovnat, protože Xeony už nemám jak zapojit. Meltdown a spectre jsou řešeny ve firmwaru, AFAIK minimálně s výchozím nastavením to nějaký obrovský vliv nemá.

[dizz]

Ja myslim, ze by stacilo "neco" sjet a pak vysledky nekam vystavit a my ostatni s Xeonama/Epycama to porovame vuci nasim vysledkum

[alkoholik]

Neco jako testy na Phoronix?

[q66]

Ty jsou celkem staré, AFAIK nedávno byly na Phoronixu novější testy.

[alkoholik]

Spectre na POWER9

[pc2005]

thx

[Roman]

Za zminku jeste stoji, ze iniciace v Hostboot trva skoro minutu. Samotny boot kernelu finalniho OS je uz pak velmi rychly.

Firefox potrebuje JIT a vubec novejsi verzi FF pro PPC. Chromium je ale temer plne funkcni a kompletni - https://wiki.raptorcs.com/wiki/Porting/Chromium .

[q66]

novější? běží mi tu 64.

[Ovoce]

Ten člověk, co psal/píše TenFourFox pro starý Applí PPC počítače/OS X je velkej fanda PowerPC, koupil si taky Talose a pracuje na problémech s Power ve Firefoxu, dělá i na tom JITu. Nevím jestli přesně to, ale nějaká jeho práce už má být v v64 a 65.

Jeho blog asi stojí za to sledovat, pokud jste fandové, má tam o rozjíždění a dalších věcech okolo Talosu dost věcí.

https://www.talospace.com/

http://tenfourfox.blogspot.com/search/label/talos

[Grunt]

To máš jako doma?

[q66]

jo, doma.

[Grunt]

A nějaký soucit s náma co nemáme v povolání bankovní loupeže, nic?

[q66]

jo, kdybych tak dělal ty loupeže, to bych si pořídil 2x22-jádro. Takto si musím vystačit s 18-jádrem a tím, že poslední dva měsíce se mé ne-mandatorní výdaje (tzn. všechno mimo hypotéku, energie a jídlo) blížily nule.

[Ovoce]

A nějaký soucit s náma co nemáme v povolání bankovní loupeže, nic?

Náhodou já z toho mám dobrý pocit. Vždycky mě potěší, že osobně s x86 nemám nejmenší problém až ji dokonce mám rád a tak mám všechno levný :)

Jinak teda čumím, že rozdíl v ceně mezi tou 2S a očesanou 1S deskou je taková raketa. Přitom je tam reálně jen o něco míň poměrně levnejch součástek. Takže na té 2S bude dost tučná marže - variabilní náklady na jeden kus asi určitě nejsou zas tak brutální, jenom ty fixní na vývoj... A taky je ještě pěkný, že i ta spešl malá mATX deska Blackbird s minimem slotů/parády stojí už skoro stejný prachy jako ten Talos II Lite (900$) - takže asi opět, výrobní náklady nízký, ale rýžujou. V lepším případě proto, aby se jim vrátila počáteční investice (což by bylo normální a OK). V horším případě, prostě využívají toho, že lidi požadující ty otevřený firmwary jsou relativně ochotní nechat se dost zkásnout a není tam moc konkurence která by vykuky držela pod kontrolou.

[q66]

AFAIK nějaká velká marže tam není, navrhnout a vyrobit kompletní systém z ničeho jako malá firma s malovýrobou něco stojí a rozhodně bych neřekl, že to bude levné, kromě toho objem prodeje je taky relativně malý a pokrýt se to musí. Talos 2 Lite prostě můžou být jen desky, které neprošly QC pro dual socket a mají polovinu odpájenou a jinak by se vyhodily. Stejně tak rozdíl mezi 18 core a 22 core procesorem je tak velký, protože ty CPU se vyrábí jako 24-core a ty s menším počtem jader mají nějaká z různých důvodů vyplá, 22-core je skoro "perfektní" procesor a proto má takovou přirážku (low yield). Stejně tak Blackbird je podle Raptoru to úplně nejlevnější, s čím mohli se svýma zdrojema přijít. Kdyby v tom byli pro peníze, tak jsou v trochu jiném byznysu.

[Ovoce]

Proto právě mluvím o počáteční investici (fixní náklady) a výrobních nákladech (variabilní náklady). To se vždycky musí rozlišovat.

Výrobní náklady nemůžou být o moc větší než dejme tomu 500 dolarů (ale spíš ještě o hodně, hodně míň), jinak by nikdy nemohli prodávat Lite jenom za 1100 dolarů. Rozdíl ceny výroby jednoho kusu Lite a Vanilla desky nemůže být moc veklký, jen pár pasivních komponent/slotů, víceméně. To znamená, že na Lite mají marži třeba jenom 50-60 % a na 2S modelu 80-90+ %.

Ty počáteční náklady na vývoj jsou odlišná položka, jsou jednou dané a nezávisí na počtu prodaných kusů. Takže jestli jich neprodají moc, tak opravdu třeba nebudou moc v zisku. Ale jestli jich prodají třeba milion, tak už se napakujou. Ale vždycky se musí ty dvě věci rozlišovat, a "marže" z definice zohledňuje jenom ty variabilní (to není můj názor, tak se to v ekně definuje a používá). Z marže se pak splácí ty fixní náklady.

[q66]

Ale Lite jsou jen vyřazené standardní desky, takže můžou být mnohem levnější. Jde to vidět na tom jak je to odpájené, třeba na mé nechali oculink konektor, i když je nefunkční. Pár pasivních komponent to rozhodně není, půlka desky prostě není osazená.

[Ovoce]

To myslím nebude odpájené, ale prostě vynechané. Dělají se tak i PC bordy, nebude to "harvesting". Drahý na tom je ten neosazený SAS (iirc?) čip*, a pak už bude víc podle mě stát tak maximálně ten socket (ale druhý tam zůstal, že - cena asi bude v jednotkách nebo nízkých desítkách dolarů, pokud to dodává přímo IBM nebo to není moc ekonomizované). PCB plus čipy bude velká část výrobní ceny, a PCB je shodné i Broadcom/Aspeed a další čipy jsou jak na Lite tak na 2S desce.

* Aha tak ne, ten je volitelnej a za příplatek, ani na Talosu II 2S nemusí být.

[q66]

Druhý socket tam není. Nevím kdo je dodává, ale pokud vím, tak IBM dodává jen procesory a 2U chladiče (3U chladič je vlastní návrh)

[Ovoce]

BTW jedna věc k těm fotkám:

Ten antistatickej pytlík funguje jenom pro věci, co jsou uvnitř. Ta vnější strana je naopak vodivá/pokovená. To znamená, že uvnitř chrání, ale když desku zvenku položíš na něj, tak ne a naopak by ji to teoreticky možná i mohlo vyzkratovat (nevím, expert nejsem, ale není to určitě pozitivní, byť teda nikdy se mi tak nepovedlo něco zničit, myslím, než jsem se to dozvěděl a přesně tohle vždycky dělal).

Takže je lepší položit desku jen tak na dřevěnou desku/stůl.

[q66]

ještě se mi za 15 let práce s hardwarem nikdy antistatickým pytlíkem hardware zničit nebo poškodit nepodařilo. Je to jen podložka, na statickou elektřinu si dávám pozor a vždycky před saháním na hardware se vybiju.

[Ovoce]

Jo, moc nebezpečný to asi nebude, protože tohle IMHO dělá 90% lidí a málokoho to napadne nebo se o tom dozví... ale to dřevo bude lepší.

[pc2005]

Zkoušel jsem měřil antistatické stříbrné pytlíky co tu mám a nic to nenaměřilo (uvnitř ani vně). U pytlíku co má na sobě takovou komplikovanou mřížku černých čar je vodivost opravdu na povrchu a na 3cm (rozměr jednoho oka) to naměří asi 1 mega. Takže se určitě nezkratuje.

[Bystroushaak]

by ji to teoreticky možná i mohlo vyzkratovat

Vyzkratovat je ale přesně to co chceš. Antistatická ochrana se dřív dělala prostě tak, že se to zabalilo do alobalu. To co ti zničí součástku je rozdíl potenciálu, který tam nemůže být, když je všechno společně propojené.

[Josef Kufner]

To však platí jen pokud tam není někde baterka, která např. udržuje CMOS paměť s konfigurací BIOSu. Pokud vím, ty pytlíky jsou vodivé opravdu jen trochu, dost na to, aby se nechtěné náboje nenasbíraly a ty nasbírané vybily, ale málo na to, aby to způsobilo potíže. Bavíme se tady řádově o GΩ. Vem si, jaký vliv má třeba jen vlhkost vzduchu při šoupání nohama po podlaze.

[Bystroushaak]

To však platí jen pokud tam není někde baterka, která např. udržuje CMOS paměť s konfigurací BIOSu. Pokud vím, ty pytlíky jsou vodivé opravdu jen trochu, dost na to, aby se nechtěné náboje nenasbíraly a ty nasbírané vybily, ale málo na to, aby to způsobilo potíže. Bavíme se tady řádově o GΩ. Vem si, jaký vliv má třeba jen vlhkost vzduchu při šoupání nohama po podlaze.

Ano, to je pravda. Platí to jen pro statickou elektřinu, samozřejmě pokud by tam někde byl zdroj energie, nebo to nedejbože zapnul, tak to v případě alobalu spolehlivě zničí.

[PetebLazar]

Gratuluji, dobrá práce.

Aby mne zde nekamenovali za otázku, která tu měla padnout jako první: "Může na tom běžet Crysis?".

Teď vázně. Chci se zeptat zda by šlo využít emulace platformy x86_64 (pomocí QEMU?) s cílem vyhnout se zranitelnostem Spectre/Meltdown na nativní x86_64 platformě, samozřejmě asi s drakonickou výkonostní daní danou náročností emulace?

[Kate]

Crysis? Na takovém PC by to chtělo hrát Talos Principle :)

[Ovoce]

Power má Spectre taky (i Meltdown tuším) a taky má stejně jako x86 nějaké "mitigations", tak nevím, jestli by to mělo smysl, protože emulace bude stát víc výkonu než ty opravy jako IBRS/STIBP/IBPB. Ty těžko opravitelné věci jako Spectre v1 tam jsou taky, takže to stejně musí řešit jednotlivé programy jako jsou browsery.

[pc2005]

Já měl dojem, že spectre jde použít i z qemu (když šlo použít z javaskriptu).

[PetebLazar]

Šlo mi o to zda by se S/M útok v emulovaném režimu v x86_64 logice vůbec uplatnil (případně zda by prošel do nativní zranitelnosti vrstvy PPC64).

[Agent]

Hlavně aby šly Bulánci...

[xsubway]

Bu... co?

To byla jen řečnická. Prosím nereagovat! :D

[AsciiWolf]

Hezký! Ještě by to chtělo nějakou open source grafickou kartu.

[pc2005]

To už tu taky bylo . Akorát, že PCIe karty s FPGA stojej pořád strašnou pálku a GPU softcore by možná konkurovalo něčemu jako intel GMA.

[pc2005]

P.S. A taky by asi nebylo moc motivace protože se AMD otevírá víc a víc.

[AsciiWolf]

Akorát, že PCIe karty s FPGA stojej pořád strašnou pálku a GPU softcore by možná konkurovalo něčemu jako intel GMA.

Právě. Jinak, AMD se sice dost otevírá, ale stále vyžadují poměrně dost proprietárního blobu, bez kterého GPU rozumně nefunguje.

[pc2005]

Myslíš firmware? Ten mě zas tak nějak netrápí. Jeho otevření je navíc ekvivalentní plné dokumentace toho bitstreamu toho FPGA.

[Odin1918]

Nebo radsi zenskou...

[AsciiWolf]

Open source ženskou?

[marbu]

Jo no, a zrovna na architektuře co není x86_64 ... Naštěstí pro tu radeon (GCN 4) grafiku je ve vanilla kernelu AMDGPU ovladač a co se teď dívám, tak většina lidí, co do toho kódu přispívá, je z AMD, takže více méně ideální stav. Ale praktiky záleží na tom, kolik funkcionality je takto pokryté, jak je to stabilní a tak.

Zajímalo by mě, jestli je s AMDGPU open source ovladačem v případě toho Tallos II systému prakticky nějaký zádrhel.

[q66]

není, funguje stejně jako na x86.

[pc2005]

Zajímalo by mě, jestli je s AMDGPU open source ovladačem v případě toho Tallos II systému prakticky nějaký zádrhel.

Neměl by, kernel drivery jsou psané poměrně multiplatformně. Maximálně je občas umělé omezení driveru na architekturu, protože to nikoho nenapadlo otestovat, ale zrovna toho, že to nepojede na POWER, bych se nebál. Obvykle stejně stačí jen upravit Kconfig aby to neblokoval.

P.S. Koukám, že HMM subsystém je omezený na X86_64 a PPC64.

[Jendа]

Zajímalo by mě, jestli je s AMDGPU open source ovladačem v případě toho Tallos II systému prakticky nějaký zádrhel.

Řekl bych, že docela zásadní, stejně jako s AMDGPU všude jinde -- nepodporuje OpenCL. Vůbec. Pro OpenCL je potřeba proprietární AMDGPU-Pro. Nevím jak ostatní, ale já grafiku vůbec nepoužívám na zobrazování, ale na počítání.

[Jendа]

(dobře, než zase přijdou nějací trollové: samozřejmě že někam monitor připojit musím, ale neakcelerovaný 2D desktop)

[q66]

Na to přišels jak? Jak Clover, tak ROCm AMDGPU-PRO vůbec nepotřebují.

[Jendа]

Ah, super, takže na nových GPU to už jde? (na HD7970 se mi to posledně rozchodit nepovedlo)

[pc2005]

To protože na HD7970 (southern islands/gcn 1) se amdgpu nepoužívá (podpora je pořád podle kernelu work in progress). Použij na ní ovladač radeon.

config DRM_AMDGPU_SI
    bool "Enable amdgpu support for SI parts"
    depends on DRM_AMDGPU
    help
      Choose this option if you want to enable experimental support
      for SI asics.

      SI is already supported in radeon. Experimental support for SI
      in amdgpu will be disabled by default and is still provided by
      radeon. Use module options to override this:

      radeon.si_support=0 amdgpu.si_support=1

Teda ono to závisí na tom kdy jsi to zkoušel. Teďka by už nějaká podpora v amdgpu být měla (viz ten výpis z jádra). Ale ono je to blbý, GCN generace 1-2 je přesně v té díře, kde končí podpora v radeonu a začíná podpora v amdgpu, takže se na ně trochu pozapomnělo IMO. Když jsem asi před rokem a něco zkoušel rozchodit nějaké APU (myslím že carrizo - noťas HP255G5), tak to má GCN 2 a různě to házelo s amdgpu warningy a oopsy, takže jsem to vrátil na funkční radeon driver. Od té doby jsem neměl notebook na reinstalaci.

Opencl je podporovaný i v driveru radeon (byť je v tabulce WIP, ale než vyšel ROCm tak to bylo myslím všude).

[pc2005]

Na RX460 začalo opencl přes mesa/llvm chodit někdy na začátku roku 2017 (karta se začala prodávat v srpnu 2016 myslím). Já to zkoušel už v tom srpnu, ale znamenalo to kompilovat aktuální git verze xorg driverů, kernelu a i tak to fungovalo špatně, protože v cloveru nebyly implementované nějaké "libc" funkce opencl, takže jsem půl roku jel na amdgpu-pro než vyšla nejbližší stabilní verze xek/mesa apod.

[pc2005]

Update opencl balíčku ve slackware jsem hlásil už někde před víc než rokem. A slackware jaksi -pro verzi nepouživá.

# ./clinfo
Platform #0
  Name:                                  Clover
  Version:                               OpenCL 1.1 Mesa 18.3.1

  Device #0
    Name:                                AMD Radeon (TM) RX 460 Graphics (POLARIS11, DRM 3.27.0, 4.20.0-rc2-next-20181113-kontron+, LLVM 7.0.0)
    Type:                                GPU
    Version:                             OpenCL 1.1 Mesa 18.3.1
    Global memory size:                  4 GB 
    Local memory size:                   32 kB 
    Max work group size:                 256
    _MEM_SIZE:                           (256, 256, 256)

Ale jinak opravdu s opencl může být problém, pokud na dané hostující architektuře není podpora LLVM. Ale to jsou jen ty extrémní okrajové architektury.

[Zdenek 'Mst. Spider' Sedlak]

Pekne, pekne.

Moje hlavni workstation zacina mit problemy z dechem, tak se zacinam divat på nastupci. To, cemu dneska rikaji workstation je predrazena bida, takze virtualizaci presouvam na dve T430, ale pokukuji po TR/EPYCu.

Kazdopadne Talos II je zajimava vec, uvidime, jak se bude darit pristi rok, protoze kombo vanilla + 2x 18C vypada hodne zajimave, akorat to bude chtit trochu vic RAM, coz by snad nemel byt problem, pokud vyjdou predpovedi o klesani cen za pameti.

Doufejme, ze trochu zlevni, v nejhorsim tvoje sestava Lite deska + 18C vypada taky dobre

[marbu]

Pěkné. Ten boot mi přijde podobný tomu, co dělá libreboot, akorát že tady je to v tom systému přímo od výrobce.

[Bedňa]

Parádička, vyzerá to luxususne, tak hádam sa blýska na lepšie časy s tým otvoreným HW.

Nemohol som si nevšimnúť, že si ostal pri Textadepte, čo ma celkom teší.