Llama.cpp na Steam Decku s Ubuntu 25.04

18.8.2025 11:53 | Přečteno: 2219× | c0mput3rs | | poslední úprava: 18.8.2025 11:54

Takže ešte raz pozrieme sa na llama.cpp na Steam Decku (Ubuntu 25.04) s GPU akceleráciou (Vulkan) — krok za krokom

Tento návod ukazuje, ako rozbehať llama.cpp na Steam Decku (APU Van Gogh, gfx1033) s akceleráciou cez Vulkan na Ubuntu 25.04. Uvádzam len kroky a príkazy, ktoré fungovali end-to-end, plus praktické spôsoby, ako overiť, že prácu naozaj robí GPU.

TL;DR

• Build: -DGGML_VULKAN=ON
• Použi menšie GGUF modely (1–3B, kvantizované) a čo najviac vrstiev presuň na GPU cez --gpu-layers
• Overovanie cez radeontop, vulkaninfo a prípadne rocm-smi

0) Over, že je GPU viditeľné

rocminfo          # malo by ukázať agent "gfx1033" (AMD Custom GPU 0405)
rocm-smi --json   # teplota/spotreba/VRAM (na APU sú metriky čiastočné, JSON je stabilný)

Ak chceš spúšťať ako bežný používateľ, pridaj skupiny a odhlás sa/prihlás:

sudo usermod -aG render,video $USER

1) Nainštaluj balíky

sudo apt update
sudo apt install -y \
  build-essential cmake git \
  mesa-vulkan-drivers libvulkan-dev vulkan-tools \
  glslang-tools glslc libshaderc-dev spirv-tools \
  libcurl4-openssl-dev ca-certificates

Rýchle kontroly:

vulkaninfo | head -n 20     # "Vulkan Instance Version"
glslc --version             # verzie shaderc/glslang

(Voliteľné zrýchlenie buildov):

sudo apt install -y ccache

2) Klonuj a postav llama.cpp s Vulkanom

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
rm -rf build
cmake -B build -DGGML_VULKAN=ON -DGGML_CCACHE=ON
cmake --build build --config Release -j

Ak CMake hlási chýbajúci CURL a nechceš ťahať modely z HF, môžeš vypnúť:

cmake -B build -DGGML_VULKAN=ON -DLLAMA_CURL=OFF
cmake --build build --config Release -j

3) Spusti model na GPU

Z Hugging Face (vyžaduje CURL v builde):

./build/bin/llama-cli \
  -hf ggml-org/gemma-3-1b-it-GGUF \
  --gpu-layers 32 \
  -p "Pozdrav zo Steam Deck GPU."

Lokálny model:

./build/bin/llama-cli \
  -m /cesta/k/modelu.gguf \
  --gpu-layers 32 \
  -p "Pozdrav zo Steam Deck GPU."

Poznámky: začni s kvantizáciami (*q4_0.gguf, *q5_k.gguf). Zvyšuj --gpu-layers až po limit VRAM (Deck má typicky ~1 GiB vyhradené + zdieľanú RAM). Väčší kontext (--ctx-size) = viac pamäte.

4) Over, že GPU naozaj pracuje

Jednoduché: radeontop

sudo apt install -y radeontop
radeontop
# v druhom termináli spusti llama.cpp; sleduj skok využitia "gpu"

Vulkan headless kontrola:

vulkaninfo | head -n 20   # "DISPLAY not set ..." je pri headless OK

ROCm SMI (užitočné teplota/spotreba/VRAM):

watch -n 1 rocm-smi --showtemp --showpower --showmeminfo vram --json

DPM stavy (zmeny hodín):

watch -n 0.5 "cat /sys/class/drm/card*/device/pp_dpm_sclk; echo; cat /sys/class/drm/card*/device/pp_dpm_mclk"

5) Čo sa osvedčilo na Van Gogh (gfx1033)

• Vulkan backend je najspoľahlivejší na AMD iGPU/APU
• Malé modely (1–3B) s q4/q5 na testy; ak treba, skús aj väčšie s nižšou záťažou
• Viac --gpu-layers = lepší výkon (kým nedôjde pamäť)
• radeontop je najpohodlnejší indikátor, že sa GPU hýbe

6) Rýchle riešenia problémov

• CMake nevie nájsť Vulkan/glslc → doinštaluj libvulkan-dev, glslc, glslang-tools, libshaderc-dev, spirv-tools
• CMake nevie nájsť CURL → sudo apt install -y libcurl4-openssl-dev alebo -DLLAMA_CURL=OFF
• Nízky výkon/seká → zníž --ctx-size, --gpu-layers, použi menšiu kvantizáciu, zavri iné GPU úlohy
• Práva → používateľ musí byť v skupinách render a video

Reflexia

Steam Deck je prekvapivo dobrá alternatíva k Raspberry Pi 5 ako nízkospotrebný domáci server, najmä ak chceš lokálnu inferenciu LLM s GPU akceleráciou. Má RDNA2 iGPU, 16 GB LPDDR5 a NVMe SSD, takže zvládne virtualizáciu aj LLM priamo na vstavanom disku s dobrou efektivitou.

Hoci idle spotreba je vyššia (~7 W) než pri Raspberry Pi 5 (~2.5–2.75 W), Deck ponúka rádovo vyšší výkon a GPU možnosti. Pri úlohách typu llama.cpp s presunom vrstiev na GPU dáva zmysel uprednostniť Deck, ak akceptuješ pár wattov naviac za výrazne väčšiu priepustnosť a flexibilitu.

Porovnanie spotreby (orientačne)

Zariadenie                Idle (typicky)   Záťaž (približne)
Raspberry Pi 5 (16 GB)    ~2.5–2.75 W      ~5–6 W (CPU; bez GPU akcelerácie)
Steam Deck (256 GB)       ~7 W             do ~25 W (max. systémová špička)

Zhrnutie: ak znesieš o pár wattov vyššiu idle spotrebu, Steam Deck ti za to vráti neporovnateľne viac výkonu a možností pre AI/LLM v domácom prostredí.

       

Komentáře

[Max]

Docela drahý, používat Steam Deck jako server :D
Zdar Max

[Peter Golis]

Oproti RPi je tam zanedbateľný cenový rozdiel, ale vyšší výkon a kompaktnejší tvar.

[Max]

Steam Deck stojí 15kkč, ne? Zato RPi 5 stojí 2-4kkč
Ale pravda, že je k tomu RPi potřeba započítat cenu úložiště, nějakou krabičku apod. Nicméně i tak se člověk nedostane tak vysoko.
Zdar Max

[jenda]

Cenove asi steam deck nic moc, ale zajimalo by me, jak zvladne gpt oss 20B. https://github.com/ggml-org/llama.cpp/discussions/15396

pro "--ctx-size 131072" mam poznamku VRAM = 15.530GiB a na RTX4090 jede jak z praku (a to je emulace mxfp4) !

du pro novou grafiku :D

[Max]

Já mám jen RPi4, takže třeba se někdo najde, kdo ti to na RPi5 otestuje :).
Zdar Max

[/]

gpt oss 20B je k cemu dobry? vzdyt je to totalne retardovany :D libovolnej cinskej release je lepsi nez toto

[Peter Golis]

Nezabudni na displej a čo ja viem čo ešte, a vyjde ťa pri podobnom podieli na výkone RPi ako drahšie. A hlavne nebudeš mať na stole nejaké klbko káblov obrastené zaprášenými pavučinami.

[Max]

Display je mi u serveru k ničemu.
Zdar Max

[cbrpnk]

A ked ti server nenabehne tak hura ho pripajat k displayu :D A okrem toho na displayi v modernej serverovni máš komplet dashboard všetkých serverov :)

[Max]

K čemu mi tam display s dashboardem jako má bejt? To jako abych se do toho studenýho průvanu chodil kochat dashboardem, který máme v úplně stejné podobě v kanclu? Fakt ne :D
Zdar Max

[Peter Golis]

Pravda že v dnešnej dobe sa považuje za server aj prevodník I2C na ethernet, aj s funkciou nastaviteľného dashboardu.

Doba pokročila a server už nie je tá hlučná skriňa čo žerie toľko elektriky ako gamatky ktoré sa radšej pripínali na nočný prúd. Ale výpočtový nod GPU by som za server nepovažoval.