Portál AbcLinuxu, 22. listopadu 2026 20:20


llama-modchip rozběhne obří AI i bez GPU

Projekt llama-modchip je sada úprav a nástrojů pro llama.cpp, které mají umožnit spouštět rozsáhlé jazykové modely lokálně na běžných domácích počítačích, a to bez použití grafické karty. Například čínský model DeepSeek-V4-Flash o 284 miliardách parametrů se díky kompresi vleze do 64GB RAM. Háček je v agresivní kvantizaci (v uvedeném příkladu průměrně 1,71 bitu na parametr), která výrazně snižuje kvalitu výstupů. Zdrojové kódy projektu jsou dostupné pod licencí Apache‑2.0.

dnes 19:46 | 👻 | Zajímavý software


Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Nástroje: Začni sledovat (0) ?Zašle upozornění na váš email při vložení nového komentáře. , Tisk

Vložit další komentář


ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.