Strata, obří AI v herním PC

Strata je open-source inferenční engine, který umožňuje lokálně provozovat rozsáhlý čínský model Qwen3.8-Flash-Next, který by jinak nejspíše vyžadoval serverovou infrastrukturu, na běžném herním počítači s alespoň 12 GB VRAM, 32 GB RAM a dostatkem místa na SSD. Nároky na paměť a rychlost generování se liší s použitou variantou modelu Qwen. Zdrojový kód je dostupný na GitHubu, pod licencí MIT.

dnes 16:11 | AfD 💙 | Zajímavý software

Komentáře

[lyon]

Chápu dobře, že to v podstatě simuluje princip mix of experts na dense modelech?