Model Gemma 4

DeepMind (Alphabet) představila novou verzi svého multimodálního modelu, Gemma 4. Modely jsou volně k dispozici (Ollama, Hugging Face a další) ve velikostech 5-31 miliard parametrů, s kontextovým oknem 128k až 256k a v dense i MoE variantách. Modely zvládají text, obrázky a u menších verzí i audio. Modely jsou optimalizované pro běh na desktopových GPU i mobilních zařízeních, váhy všech těchto modelů jsou uvolněny pod licencí Apache 2.0. Návod na spuštění je už i na Unsloth.

3.4. 12:33 | 👻 | Nová verze

Komentáře

[Jendа]

Vůbec netuším, jak jsou na tom tyhle malé modely. Proto jsem jako takový malý test postahoval JSONy z ČD a zeptal jsem se, kdy mi expirují body:

write a python script to count customer points from an e-shop
  (the timestamps are in unix milliseconds)
  output:
   - final balance
   - how the points are going to expire - they are valid for 2 years

Sanity check: GPT-5.4 v Codexu to udělalo zcela samo.

Největší Gemmu 4 jsem použil z Google AI Studia (nechce se mi řešit rozcházení na vlastním HW) a spustil ji v Cline.

Gemma napsala skript, který nějak nezvládl načíst soubory. Pak napsala debug skript, který to otestoval, opravila ho, aby soubory načetl správně, opravu portovala do původního skriptu a výsledek fungoval.

Tj. potřebovalo to více pokusů (ale nijak jsem do toho nezasahoval, vždy jsem akci pouze schválil) a pak do došlo ke stejnému výsledku.

Jako, stejně to nefunguje, protože když si koupím jízdenku a pak ji vrátím, tak to oba programy započítají jako že jsem získal nové body a spotřeboval nejstarší. Ani jeden model to nenapadlo.

[_]

To fakt vojebavas cesky drahy? Co jsi socka?

[Jendа]

Můžeš definovat, v čem spočívá vojebávání?

Ano, samozřejmě.

[Jendа]

Jo aha, už jsem asi pochopil, na co narážíš.

No, já jsem tuhle obchodní politiku (jízdenky koupené předem jsou levnější + některé vlaky mají povinnou rezervaci, takže si jízdenku ani před odjezdem nelze koupit, protože je vyprodáno + aktivně propagují možnost jízdenku 15 minut před odjezdem vrátit) nevymyslel. Jak jinak očekávali, že to skončí, než že si spekulativně koupím 2 jízdenky, když nevím, kdy přesně pojedu, a pak ty nevyužité vrátím?

[Kate]

Taky to tak dělám, vracím to za ČD Kredity, ať se jim nesčítají poplatky za platbu kartou. Stejně to brzo protočím znova :)

[Peter Golis]

A dá sa na tom zarobiť ako na biktojine? Pýtam sa pre karamáta.

[jejda]

Netušíte někdo jak automaticky ukládat celý chat do souboru?

ollama run gemma4:e4b --keepalive 1h > /tmp/chat.txt

vytvoří prázdný výstupní soubor a ollama se hned ukončí. Bez toho přesměrování konverzace jakžtakž funguje. Ale trochu se mi nezdá že to popisujou jako model který má odpovídat v reálném čase na notebooku, iot hračkách nebo mobilním smart telefonu. U mě na PC na čtyřjádrovém xeonu si to schlamstne 10GB RAM a odpovědi z toho lezou jak z chlupaté deky.

[Jendа]

Udělal bych si proxy na to ollamí HTTP API, která by ukládala požadavky, co přes ni projdou. Možná by šlo použít nějakou naprosto generickou HTTP proxy, ale navibecodit něco bude na pár minut. (předpokládám, že to používáš skrz nějakého klienta, ne přímo v terminálu)

[jejda]

Aha, jsem to právěže volal jenom tak z terminálu . Trochu jsem pokročil a zkouším to volat skriptem

#!/bin/sh
file=/tmp/aichat.txt
echo "user: $@" >> $file
echo "$@" | ollama run gemma4:e4b --hidethinking | tee -a $file

Ale takto se dá položit jenom jedna otázka protože to ztratí návaznost na předchozí věty. Použít http api by bylo určitě lepší protože bych chtěl taky vygenerovat obrázek ale nevím. Musí se to krmit json vstupem, navíc do toho pletou python a javascript a celkově to vypadá dost složitě. Jsem si představoval že naťukám příkaz a ono mi to vyplivne text nebo obrázek jako soubor

[Jendа]

Musí se to krmit json vstupem, navíc do toho pletou python a javascript a celkově to vypadá dost složitě.

Já s tím fakt nemám zkušenosti, ale většinou to lidi používají tak, že si spustí nějakou webovou aplikaci připomínající ChatGPT a napojí to na to. Ale jak se to dělá nevím.

[koroptev]

lama jako ty by mela nainstalovat lm studio a cokoli jinyho s tim delat az potom

[koroptev]

tos nejak zaspal, potrebujes memory bandwidth.. samozrejme, ze ti to nejak pricetne nepobezi na cpu

[_]

Tak jsem sel za odborniky Fikem a Jezkem ze se dovim vic, asi pripravujou rozsahly clanek.