Dotaz: Výkon comsumer GK v GPGPU (CUDA)

[PetebLazar]

Vcelku mne překvapilo, že u určité úlohy využívající CUDA byl poměr dosažitelného výkonu u GTX1660Ti/6GB(architektura Turing) a GTX1080Ti/11GB(architektura Pascal) ~ 1:10.

Velikost úlohy ve VRAM byla cca 4GB (celkový objem zpracovaných vstupních dat ~10GB, výstupních cca 700MB). Slabší GTX1660Ti bylo možné vytížit jen na cca 50W (ze 130W max) a úloha trvala přes 2 hodiny(150min), u GTX 1080Ti až 250W (z max 275W) to bylo jen 12 minut. Monitorovací nástroj vytížení GPU ukazoval přitom u obou karet vytížení na 100%.

"Grafický" poměr výkonu GK nedosahuje ani 1:2 a ostatní výkonné jednotky/parametry mají podíl podobný. Co by mohlo být příčinou tak markantního rozdílu výkonu v CUDA?

Odpovědi

[PetebLazar]

Pro srovnání, při běhu na 16-threadech Threadripperu 1950X(16c/32t) je odhad na dokončení stejné úlohy cca 360 minut.

[Max]

GTX1080 je běžně o 1/3 výkonnější ve všemožných testech a v některých i o polovinu jak 1660TI.
Navíc GTX1660TI má 1536 CUDA cores a GTX1080TI má 3584.
Každopádně to, že si tu GTX1660 nedokázal vytížit, vypadá spíše na nějakou chybu.
Tu velikost vram jsi pozoroval jen na té 1080, nebo i na té 1660?
Zdar Max

[PetebLazar]

Obsazenost VRAM byla u obou shodná (+/-MB). Nástroj nvidia-smi hlasil u obou GPU plne vytizeni.

Beh na GTX1660Ti
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 430.26       Driver Version: 430.26       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:09:00.0 Off |                  N/A |
|  0%   42C    P8    11W / 275W |     10MiB / 11178MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX 166...  Off  | 00000000:43:00.0  On |                  N/A |
| 32%   57C    P0    56W / 130W |   5044MiB /  5944MiB |    100%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    1      2227      G   /usr/lib/xorg/Xorg                           678MiB |
|    1     46646      G   /DATA/Steam/ubuntu12_32/steam                102MiB |
|    1     46672      G   ./steamwebhelper                               2MiB |
|    1     71642      G   ...uest-channel-token=14005942441736081420   121MiB |
|    1     73928      C   ...e/pburic/ont-guppy/bin/guppy_basecaller  4127MiB |
+-----------------------------------------------------------------------------+


Beh na GTX1080Ti
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 430.26       Driver Version: 430.26       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:09:00.0 Off |                  N/A |
| 28%   62C    P2   221W / 275W |   4193MiB / 11178MiB |    100%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX 166...  Off  | 00000000:43:00.0  On |                  N/A |
|  0%   56C    P0    26W / 130W |    920MiB /  5944MiB |      1%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0     74196      C   ...e/pburic/ont-guppy/bin/guppy_basecaller  4183MiB |
|    1      2227      G   /usr/lib/xorg/Xorg                           678MiB |
|    1     46646      G   /DATA/Steam/ubuntu12_32/steam                102MiB |
|    1     46672      G   ./steamwebhelper                               2MiB |
|    1     71642      G   ...uest-channel-token=14005942441736081420   125MiB |
+-----------------------------------------------------------------------------+

[PetebLazar]

Cca 5-6W příkonu z GTX1660Ti jde na vrub Xfce (4x monitory), když jsem spustil úlohu z příkazové řádky (service lightdm stop), tak její spotřeba dosahovala max. 51W.

Myslel jsem si, že to půjde na vrub horšího cache-hit-ratio v rámci GPU, ale zkoušel jsem zmenšit velikost zpracovávaných dat/dávky ale bez viditelného dopadu na dosažený výkon výpočtu.