Portál AbcLinuxu, 22. listopadu 2026 20:20
Projekt llama-modchip je sada úprav a nástrojů pro llama.cpp, které mají umožnit spouštět rozsáhlé jazykové modely lokálně na běžných domácích počítačích, a to bez použití grafické karty. Například čínský model DeepSeek-V4-Flash o 284 miliardách parametrů se díky kompresi vleze do 64GB RAM. Háček je v agresivní kvantizaci (v uvedeném příkladu průměrně 1,71 bitu na parametr), která výrazně snižuje kvalitu výstupů. Zdrojové kódy projektu jsou dostupné pod licencí Apache‑2.0.
Tiskni
Sdílej:
ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.