Llama.cpp na Steam Decku s Ubuntu 25.04 (diskuse)

[Max]

Docela drahý, používat Steam Deck jako server :D
Zdar Max

[Peter Golis]

Oproti RPi je tam zanedbateľný cenový rozdiel, ale vyšší výkon a kompaktnejší tvar.

[Max]

Steam Deck stojí 15kkč, ne? Zato RPi 5 stojí 2-4kkč
Ale pravda, že je k tomu RPi potřeba započítat cenu úložiště, nějakou krabičku apod. Nicméně i tak se člověk nedostane tak vysoko.
Zdar Max

[jenda]

Cenove asi steam deck nic moc, ale zajimalo by me, jak zvladne gpt oss 20B. https://github.com/ggml-org/llama.cpp/discussions/15396

pro "--ctx-size 131072" mam poznamku VRAM = 15.530GiB a na RTX4090 jede jak z praku (a to je emulace mxfp4) !

du pro novou grafiku :D

[Max]

Já mám jen RPi4, takže třeba se někdo najde, kdo ti to na RPi5 otestuje :).
Zdar Max

[/]

gpt oss 20B je k cemu dobry? vzdyt je to totalne retardovany :D libovolnej cinskej release je lepsi nez toto

[Peter Golis]

Nezabudni na displej a čo ja viem čo ešte, a vyjde ťa pri podobnom podieli na výkone RPi ako drahšie. A hlavne nebudeš mať na stole nejaké klbko káblov obrastené zaprášenými pavučinami.

[Max]

Display je mi u serveru k ničemu.
Zdar Max

[cbrpnk]

A ked ti server nenabehne tak hura ho pripajat k displayu :D A okrem toho na displayi v modernej serverovni máš komplet dashboard všetkých serverov :)

[Max]

K čemu mi tam display s dashboardem jako má bejt? To jako abych se do toho studenýho průvanu chodil kochat dashboardem, který máme v úplně stejné podobě v kanclu? Fakt ne :D
Zdar Max

[Peter Golis]

Pravda že v dnešnej dobe sa považuje za server aj prevodník I2C na ethernet, aj s funkciou nastaviteľného dashboardu.

Doba pokročila a server už nie je tá hlučná skriňa čo žerie toľko elektriky ako gamatky ktoré sa radšej pripínali na nočný prúd. Ale výpočtový nod GPU by som za server nepovažoval.