HW novinky: základní deska pro 19 grafických karet (diskuse)

[pc2005]

Dá se ten každej PCIe port ještě rozdělit něčím takovým? .

[s\dfasdfasdf]

jak funguji ty risery, ze je propojeni jen pomoci usb kabelu? jaka data se posilaji mezi deskou a kartou, kdyz je to jen 1x PCIe?

[pc2005]

To byla reakce na mě? USB se používá gen 3.0 kabel, protože USB má podobnej bitrate jako PCIe a podobné parametry pro vodič. Jinak to je o tom že to je levný použít než vymýšlet něco novýho. Rozhodně to není USB, je to jen pasivní redukce.

Jak přesně PCIe multiplexace funguje nevím, ještě jsem se nedostal k tomu abych tu část specifikace prostudoval. Ale na počtu linek nezáleží, stejný data projdou na x1 i na x16. Co se týče toho switchování, tak to je ekvivalentní switchování ethernetu (PCIe je taky paketový). V těch paticích samozřejmě nebude plná rychlost ledaže by měla linka do MB vyšší generaci PCIe (takový čipy existujou taky). Ale na těžení BTC to není potřeba protože tam se přenáší jen pár MB dat za 10 minut. Ostatní coiny nevím, ale obvykle musí být celý dataset v GPU.

Ještě je možný že má PCIe nějaké omezení na maximální větvení (jako třeba USB).

[fdyfhhf]

Dotaz byl na kohokoliv. Takze usb kabel je jen fyzicke medium Ale protokol je jiny, proste 4 draty. Pokud to chapu spravne, tak tezeni Funguje podobne jako cuda a propojeni Deska ----> gpu slouzi k plneni a cteni Pameti z karty a prenasi se jen vstup A ysledek takze staci maly kanal.

[pc2005]

Pokud to chapu spravne, tak tezeni Funguje podobne jako cuda a propojeni Deska ----> gpu slouzi k plneni a cteni Pameti z karty a prenasi se jen vstup A ysledek takze staci maly kanal.

jj

[snajpa]

Ten USB 3.0 kabel je hack na prenos 5Gbps linek za levno. PCIe 1x potrebuje minimalne 2 5Gbit diferencialni pary - clock a data, coz prave USB 3.0 kabel splnuje (do 50 cm, pak uz to prestane chodit). Pak jsou desky s PCIe switchi, PCIe je switchovatelna sbernice a funguje na pozadi tak, ze jsou to virtualni PCI-to-PCI bridge pospojovane jednim busem, kudy si vymeni data podle adresy pozadavku. Dokonce je moznost s nekterymi PCIe switchi (Broadcom hlavne, ale i dalsi) mit netransparentni port, ktery adresy bude prekladat a da se tak dostahnout prepinani karet za ziva mezi systemy. Tohle vcelku neustoji graficke blob drivery, ale PCIe to umi.

[snajpa]

A jinak, na minovani zcashe je potreba okolo 20-30MB/s na PCIe v peaku, Ethereum cca podobne, vetsinou o dost min. Cili se jedna PCIe linka da v pohode pro mining rozswitchovat na poradny les karet. A s deskou s 18ti x1 sloty, to muze byt solidni narez. Potencialni problem (na ktery jsem narazil u vetsiny ne-mining desek) je legacy x86 bullshit, ktery vynucuje mit rezervovanou pamet pod 4G markem pro PCI base adress registry a dalsich par legacy regionu, pokud je to graficka karta s grafickym vystupem. Mining desky na to maji ohackovany BIOS, ale taky jsem jeste nezkousel pushnout limity, kam az se da zajit. Maximum mam vyzkouseno 13 karet na desku, protoze vic karet nebylo po ruce, kdyz jsem to naposled zkousel (a tak jedeme na Asrocku bez dalsich externich PCIe switchu, ale puvodni plan byl pomoci PCIe switchu stavet z tech karet vylozene stromy).

[pc2005]

Pokud se to dostane do bootu kernelu, tak v kernelu si můžeš PCI reenumerovat (některá z voleb pci=assign-busses,nocrs,conf1,pcie_scan_all,realloc). Musel jsem to použít na c2d chipsetu, co neumí přemapovat periferie nad 4GB, kde se RX460 odmítala inicializovat a celý PCIe bridge se vypnul (takže si ho v early bootu v quirkách zapnu a pustím na něj enumeraci kernelem).

[snajpa]

No, reenumerace by mela znamenat i moznost tedy pridat kartu za behu, ktera tam pri POSTu nebyla, ze? To se mi za zadnyho boha proste nepovedlo. Nevidim cestu, jak to udelat.

[pc2005]

On PCI není 100% plug and play jako třeba USB, že ho za běhu vytrhneš a OK. Ty IO/MEM regiony jsou vlastně bázové adresy, které má naalokovanej driver jako pointery a pracuje s nima. Když mu je pod rukama změníš tak nebude moc rád.

Co ale funguje jako plug and play (expresscard je prakticky normální bridge) je to, že se v pci-pci bridgi předdefinuje okno a pak když se připojí karta, tak se u ní jen použije ta samá bázová adresa jako v tom bridgi (lspci vlastně ukazuje dvě položky, jednu pro bridge z hosta a jednu pro kartu). Samozřejmě to má svá omezení jako například že když si definuješ menší rozsah než bude vyžadovat ta karta, tak máš smůlu.

To zda se bude ten PCI-PCI bridge vůbec inicializovat i když v něm není karta má nejspíš v sobě nastavený BIOS od výrobce desky (když nedetekuje kartu, tak může ten bridge natvrdo vypnout v čipsetu a ani linux nic neuvidí).

Prostě jakmile začne něco používat zařízení, tak už IMO nemůžeš na stejné úrovni stromu nic měnit, můžeš jenom větve za nepoužívanými bridgi. Aspoň tak nějak to chápu v linuxu. Samozřejmě že by šlo asi udělat nějaký API pro všechny PCI drivery, aby se deinicializovaly, že se provede kompletní reenumerace, ale nevidím to jako moc pravděpodobné že by to někdo implementoval. Samozřejmě jiné "OS", jako pokus o vlastní BIOS tohle můžou ignorovat a uživatel může v klidu strkat PCI karty do běžící 486 .

[archen]

Good stuff!

[luv]

Jak si u tech 13 karet resil napajeni - vlastni kabely nebo zmet redukci? :)

[snajpa]

Serverovy zdroje, k nim dvojity 2.5mm2 kably per karta, hromada cinu, nakoupeny molex->6/8pin redukce, ucvakany, popajeny dohromady 125W trafopajkou :)

[luv]

Takze takovy hybrid mezi vlastnima kabelama a redukcema, taky reseni :).

AMD nebo Nvidia grafiky?

[snajpa]

Vsecko Nvidia zatim, mame par AMDcek, ale nevidim moc smysl v kupovani dalsich; ma to sice kratsi ROI (hlavne na ETH), ale to je tak vsechno - pak ti po dvou-tri letech zbyde karta, kterou chce kdo? (Mluvim o RX470, Vega je taky cca fail on paper, zatim jsem ale nemel v ruce). Az pujde mining ETH uplne do kopru (proof of stake), spousta/vsichni prehodi na equihash based meny a tam AMDcka dost prohravaji v Sol/s per Watt. Ja mam sam nejake 3 karty, koupil jsem je v lednu, davno se vratily; ted resim rigy pro dalsi nadsence u male vodni elektrarny na Morave, mame tam nejakych 30 karet a vsechno jsou to Nvidie. Dalsi jsou v planu (a kdybyste nekdo mel v planu ted jeste vyhazovat $ za rigy a nevedel kam s nima, ozvete se ).

[snajpa]

Ad karty poradim aktualne jedno hlavni - nekupujte proboha 1080tky, nevyplati se, nechte je hracum. Kdyz uz vetsi prachy per karta, tak 1080 Ti (a vyhybat se Founders Edition, naprd chlazeni).

[luv]

Nvidia ... prektaktovani/podtaktovani/fan speed teda resis pres dummy Xka?

[snajpa]

Jj, bez Xek to nejde... prasoskript na nastaveni rychlosti ventilatoru na 100% tady. Nejdriv je ale potreba pogenerovat config, ktery rekne driveru, ze si jdeme hrat s vecma, co muzou zpusobit nestabilitu..

nvidia-xconfig --cool-bits=28 --allow-empty-initial-configuration --enable-all-gpus

Potom klic na zmenu taktu GPU je

GPUGraphicsClockOffset[3]

a na pamet

GPUMemoryTransferRateOffset[3]

, kde ta trojka znamena, ze se bavime o tretim modu karty, tj. performance modu, kdy je karta vyuzivana naplno.

Na tohle nadavaji i lidi co bezi HPC clustery na grid kartach, ze ty Xka musi poustet. Kvuli nim ale NV dela upravy, tak se treba neceho casem dockame.

[luv]

Jak moc mas pod/pretaktovane - s 1060 jedu vetsinou na -200cpu/+1000mem. Nastaveni rychlosti vetracku v zavislosti na teplote predpokladam taky resis vlastnim kodem nebo si nasel neco hotovyho?

[luv]

Jo a kolik ti zerou Xka vram? Pod 6MiB se me nepodarilo dostat.

[Kvakor]

Serverovy zdroje, k nim dvojity 2.5mm2 kably per karta, hromada cinu, nakoupeny molex->6/8pin redukce, ucvakany, popajeny dohromady 125W trafopajkou :)

Na jednom čísnkém webu (jméno si nepamatuju, protože bylo čínsky ) jsem viděl hotové šesti/osmipinové konektory s drátovými očky na druhé straně. Pak to stačí našroubovat na nějakou centrální rozvodnici z masivní mědi a dá se obejít i bez spousty cínu Jen bych dal sakra pozor na zkraty, výsledek by pak mohl připomínat záběry ze zásahu obládacího panelu z nějakého startrekoidního seriálu

PS: Na tlusté kabely trafopájka moc dobře nefunguje, to chce nějakou masivní obludu s klasickým topným tělesem, nebo rovnou namáčet do tekuté pájky.

[luv]

V malem meritku se to da delat slusne pri pouziti klasickych zdroju s "modularnimi kabely" a nacrimpovat vlastni kabely.

[snajpa]

Deska si nezada tri zdroje, protoze by to neustala, ale je mirena na minery, kteri pouzivaji ATX zdroje pro grafiky a chteji je zapinat spolu se systemem najednou.
Na dovyrobeni potrebnych 3V3 a posileni 12V railu pro 18 PCIe slotu jsou tam ty tri molexy. Nestudoval jsem manual, ale vsadim se, ze ta deska pojede jenom s jednim pripojenym zdrojem a ze jeden z tech konektoru bude prave na napajeni desky, zbytek na ovladani pridavnych zdroju pro grafiky.

[luv]

To si uplne nemyslim, ty pridavny konektory jsou 4pin molex a pres to externi zdroj samozrejme nezapnes.

[luv]

Jo aha uz to vidim, to ma fakt navic dva "velky" porty aby si tim mohl ovladat ty extra zdroje ... hezky :).

[pc2005]

V tuto chvíli není možné na desce provozovat 19 grafických karet, neboť AMD má v ovladačích omezení 16 karet, Nvidia pak 13 (pro vyšší počet je povoleno pouze použití těžařských verzí karet s GPU GP106).

Tak jestli to je jen limit ovladačů, tak stačí udělat dva a víc virtuálů a podmnožiny grafik jim přes VT-d přidělit ne? Stejně se tam bude CPU flákat když to je GPU mining deska.

[trekker.dk]

https://lists.vpsfree.cz/pipermail/community-list/2017-June/004501.html

První dva odstavce. V čem přesně byl problém, ale AFAIK snajpa nepopisoval.

[snajpa]

Je pravda, ze jsem tomu nevenoval tolik usili, kolik by se dalo, IMHO by se to rozjet dalo - tj. najit vsechny cesticky, kudy slapnout, aby clovek ten stroj cely nesundal, mozna to taky bylo RHEL6 kernelem - ackoliv by to mel v poho zvladat. Kdyz se pokacela karta, bylo tak 50:50 ji ze systemu vyndat za behu aby se to nezkacelo, a dalsich spis tak 30:70 tam tu samou znova initnout - kartu, ktera predtim v systemu nebyla a nema prideleny IO BAR od BIOSu, se proste nepodari initnout - Linux ji najde, ale nezvladne nainicializovat.

[pc2005]

bylo tak 50:50 ji ze systemu vyndat za behu

Jako fyzicky? Blbý, že jsem měl PCI kartu, která i když se jí rmmodnuly drivery a vypnuly se BARy, tak byla v nějakém zaseklém stavu a pomohl až reset. Vlastně mám dojem že ani reset (jako ten signál) nepomohl a byl potřeba občas power down.

kartu, ktera predtim v systemu nebyla a nema prideleny IO BAR od BIOSu, se proste nepodari initnout - Linux ji najde, ale nezvladne nainicializovat.

A její bridge inicializovaný byl?

[snajpa]

A její bridge inicializovaný byl?

Brecel driver, ze tu kartu inicializovat nemuze. Jestli mas tipy, do ceho muzu zkusit stouchnout, sem s nimi, nahodim zpatky report, jak jsem dopadl. Ted uz by karet k zkouseni melo byt dost a mame taky nejakych 12 switchovacich desek, takze to muzu zkusit znova prubnout, neda mi to, IMHO jsem tomu venoval min usili, nez jsem mohl.

[pc2005]

Chtělo by to udělat diff "lspci -nn -vv" celého stroje bez načtených grafických driverů pro stavy: karta od bootu vs karta hotplug. Pokud bude diff neprázdný, tak ho musíš dostat do toho stejnýho stavu. Zároveň můžeš udělat další sadu pro stav kde grafický driver načten je (takže třeba 4 booty ).

Jinak to která karta má jakej bridge zjistíš "lspci -t -nn -vv" nebo ekvivalentem (tree) tvé distribuce.

BIOS by měl přiřadit okno na bridgi (klasika co dělá u expresscard a podle thinkpadu i na docking konektoru) nebo ho komplet vypnout (horší varianta, musel bys napsat patch do tvého kernelu). Za bridgem můžeš dělat novou reenumeraci jak se ti zlíbí (zvlášť když je tam jen jedno zařízení).

info třeba tady.

[snajpa]

Diky moc, hned po NTPC na to vlitnu (sundala mne jeste k tomu rymicka, takze kuryruju, kuryruju... )

[pc2005]

Kdyžtak napiš blog určitě se vyskytne nějaká neočekávaná anomálie.

[trekker.dk]

Já když jsem s tím laboroval - kvůli Windows, ne miningu - tak největší problém bylo zabránit automatické inicializaci všech karet, které v tom systému jsou, hostitelským systémem. Ono tu kartu potom totiž nešlo moc dobře deaktivovat, aby se dala předat do virtuálu - IIRC tam byly nějaké oopsy kernelu ne kvůli samotné grafice, ale kvůli nějakým i2c věcem, co na ní jsou.

Nějak jsem to vyřešil a pak už jsem na to nesahal, nenašel jsem použitelnou desku s x16 portem, který se nepřepne do x8, když jsou zapojené 2 grafiky.

[pc2005]

Jako linux host virtualizující windowsy? To by mělo prostě stačit ten driver v linuxu odstranit ne? (nebo ho blacklistnout apod). Když nebude mít driver, tak určitě neinicializuje i2c.

[trekker.dk]

Obě grafiky, co mám, používají stejný ovladač, takže takhle jednoduché to nebylo - je potřeba brzo při bootu zapsat vfio-pci do driver_override v /sys, ale jen u té karty, která se nemá používat (v tomhle případě nemá 0 v boot_vga.) Ve wiki Arch Linuxu IIRC mají přímo hotový skript.

[pc2005]

Jo aha tys chtěl tu druhou používat v linuxu . Hmm nedá se v udevu blacklistovat driver podle pozice v PCI topologii?

[trekker.dk]

Tak to nevim. Mám ten pocit, že udevu se nikdo neptá - jádro nahraje ovladač, zjistí si z něj všechna podporovaná vendor id a device id a odpovídající zařízení tomu ovladači předhodí.

[e]

Další deska s PS/2? To má být renezance?

[k3dAR]

spis vychazeni vstric urcite skupine lidi co nejakou kvalitni mechanickou PS/2 klavesnici ma a nechce resit pres USB redukce, je to podobne (i kdyz vzdalene) tomu ze se dava na specialnejsi desky stale COM port (primo konektor, ne header)...

[Michal Kubeček]

Zrovna u takovéhle desky, která je určená do stroje, na kterém poběží výpočty, by mi ten sériový port přišel užitečnější než PS/2.

[snajpa]

Jo no, ale to by tam taky museli vrazit jinou, nez nejvic consumerskou verzi BIOSu s omalovankou misto setupu; Supermicro AMI BIOSy umi standardne vystup na seriak, tady ty konzumersky hracky se k tomu donutit nedaji. Takze ten seriak je tam potom stejne jenom od Grubu nahoru - lepsi nez nic, ale... meh.

[snajpa]

A mozna blbe koukam, ale kazda deska ma neco, proc bych vyrobce kopnul do hlavy. Ten seriak je jedna vec, ale to uz dneska nedela nikdo, tak si ho ani nenarokuju; co mne stve vic je, ze tam nikde nevidim zapinaci/reset tlacitko. To mam jako resit klicema nebo co? Kde kdy videli mining rig v normalnim ATX chassi, kde ty vypinace jsou?
Asus H110 Pro BTC+ ty tlacitka ma a je to luxus, nicmene ta ma zas tak blizko ty PCIe sloty k sobe, ze musi clovek vzit nejakou izolacni pasku a riser adaptery izolovat, jinak si koleduje o ohnostroj. Vsude neco, zadna deska neni zatim ideal.

[pc2005]

Ten seriak je jedna vec, ale to uz dneska nedela nikdo, tak si ho ani nenarokuju

By úplně stačilo kdyby vyvedli LPC sběrnici a prodávali něco jako tohle (je v tom LPC superIO čip jako klasicky na MB s vyvedeným COM/LPT). A nebo samozřejmě PCIe kartu, ale ta sežere port .

[Michal Kubeček]

Ještě existuje EHCI/XHCI debug port, ale ještě jsem se nedostal k tomu, abych to vyzkoušel v praxi.

[Ovoce]

Sériovej port je na deskách docela běžně, akorát nebývá vyvedenej, ale je tam header na desce, ke kterému si připojíte kšandu a záslepku za pár korun (stovku) nebo ze starýho PC (AT).

I tahle deska ho má, je u něj napsáno "COM" ;)

Na zapínání stačí vykopat tlačítko z nějakýho vyhozenýho PC, mám jich ve sbírce několik. Aspoň to bude fyzicky vzdálenější od PCB pro větší bezpečnost.

[k3dAR]

pripadne poridit tohle monstrum

[snajpa]

S tim seriakem pocitam, od toho Grubu nahoru; mame udelanou desticku s ESP8266 jako resetator a serial-over-wifi remote management k mining rigum. Bylo by ale pekny, kdyby tam byl primo DB9 konektor, nemusel bych shanet bracket, kterej samozrejme k desce nedali, nebo si vyrabet svuj kabel. Tady resim to, ze tech desek mame kousek vic a musim tyhle vsechny detaily resit, kdyz uz by to na ty desce mohlo proste bejt, kdyby se zamysleli o 6 sekund dyl A o tom, ze by mohl BIOS postovat i na seriak, to si uz nechavam jenom zdat a tak rovnou snim o tom, ze Coreboot nabere casem na momentu a nebude to otazkou jenom nekolika jednotlivych kusu desek, kde se da nahrat, ale stane se prvni volbou, co koho napadne, kdyz se rekne "BIOS"...

[Ovoce]

Ty brackety jsou standardní a zaměnitelný, takže stačí na to myslet a obejdat s deskou, eshopy je mají. Fyzicky se už COM dává jenom na některé speciální desky od počátku mířené sekundárně do embedded, nebo serverů.

[Michal Kubeček]

Pozor, úplně zaměnitelné nejsou, bohužel existují dvě varianty rozložení pinů na headeru. Ale dá se dohledat, který výrobce používá kterou.

[Ovoce]

Aj, sakr. Dá se to poznat na tom samotným bracketu? Mám asi 4 a u většiny si asi už ani nejsem jistej, z jaký desky pocházejí.

[Michal Kubeček]

Z bracketu se to poznat dá, popis je např. tady (úplně dole). Jinak je to naštěstí tak, že když se použije špatný, tak to jen nefunguje, AFAIK nehrozí, že by si člověk něco odpálil (aspoň mně se to nestalo, a to ani když jsem ho otočil o 180°).

[Ovoce]

Díky oběma za radu.

Mě se nějak stalo že už ani žádný zařízení na sériák nemám. Zůstaly v šuplíku dvě karty s 4x COM a říkal sem si, vždyť to by se někomu mohlo hodit, jenže není jak ozkoušet jestli jsou 100% funkční :( No snad se jednou něco vyskytne.

[Michal Kubeček]

S dobrým USB to serial adaptérem funguje sériová konzole bezproblémově.

[Kvakor]

Dá, ale u těch, co nemají krimpovací konektor se musí odšroubovat zadní černý plastový kryt a kouknout na to, jak jsou jednotlivé dráty zapojené. Nebo si vzít multimetr nebo nějaký podbný udělátor a ručně zkontrolovat, kam který drát jde. Potom už je třeba zkontolovat výsledek vůči popisu konektoru v manuálu základní desky, nebo - pro ty odvážnější - velmi opatrně otestovat nějakým skutečným zařízením, ale pozor, port není v žádném případě hotplug a pokud výrobce šetřil na přepěťových ochranách, může ho i celkem nevinná operace odpálit.

Ohledně těch variant: sobně jsem se setkal už se třemi - jedna má jednotlivé dráty zapojené celkem chatoicky a druhé dvě je mají hezky za sebou, liší se ale tím, že zatímco první z nich střídá horní/dolní piny (obvyklé u těch s krimpovacím konektorem), druhá má prvně zapojené všechny horní, pak všechny dolní.

[Kvakor]

Ha, byl jsem moc pomalý . Nicméně v předchozím příspěvku jsou hezké obrázky mnou uváděné druhé a třetí varianty.

[vlastikroot]

Ja dlouhou dobu zapinal komp krizovym sroubovakem, kterym jsem prejel po headeru.

[pc2005]

Taky. Ten co mám teďka zapínám ale drátkama, protože mikrospínač se po čase urval