Jak vypadá gkh_clanker_t1000? (diskuse)

[xkucf03]

Tomuhle fandím – určitě lepší než odevzdat svoje data nějaké korporaci a stát se na ní zcela závislý.

Taky si s tím trochu hraji – na jednu stranu je fascinující, že i poměrně malé modely dokáží dávat jakž takž relevantní odpovědi nebo analyzovat data. Na druhou stranu oproti službám od velkých hráčů jsou ty výsledky chabé. RAM a NVMe jsem měl naštěstí nakoupené do zásoby ještě za staré ceny, ale teď jsem přikupoval nějakou DDR5 a ty ceny jsou k pláči. Za pár let se to třeba srovná (čti dostane na úroveň začátku roku 2015)… Rád bych se mýlil, ale bohužel nějaký příklon k decentralizaci moc neočekávám. Stačí se podívat na situaci v SaaS – i když prakticky všechen ten software lze provozovat lokálně, tak uživatelé se do závislosti na pár globálních poskytovatelích propadli fakt tragicky a odevzdali jim kromě svých peněz i svoje data a kontrolu nad nimi. V případě AI mám důvody spíš ještě k většímu pesimismu.

[cezz]

Ono zas AI nastroje uoznuju tych providerov kombinovat. (zvlast ak clovek pouziva klienske aplikacie tretich stran) Cize napriklad je mozne naplanovat zmeny pomocou velkeho modelu, ale samotnu implementaciu uz mozno zvladne aj takyto lokalny model.

IMO toto bude cesta do buducna, ze sa bude ten pomer lokalnych vs SaaS modelov menit. Momentalne je takmer 100% SaaS, ale tie lokalne modely maju aj zasadne vyhody ako bezpecnost dat, dostupnost offline, cena,.. (zvlast az raz prestane venture kapital dotovat tokeny) A na niektore veci clovek nepotrebuje SOTA modely. Z mojej skusenosti prave tie trivialne ulohy su tie kde mi AI setri najviac casu.

[petr_p]

Bezpečnost a offline je firemním zákazníkům ukradená. Často i cena, protože to prostě zaplatí zákazník zákazníka. Formální bezpečnost se řeší přenesením zodpovědnosti na dodavatele. Stačí se podívat, co se stalo s poštovními a webovými servery. A ve státní správě, kde je bezpečnost sešněrovaná nejvíc, je řešení právě nejvíce jen formální. A na fyzickou osobou kálí pes. Dokonce i v bankách, kde jde o peníze především, si bez Google nebo Applu ani neu… Že polovina populace jede na telefonech bez aktualizací je sice v rozporu se všemi podmínkami, ke kterým se klient zavazuje, ale ve skutečnosti to nikoho netrápí, banku především.

[cezz]

Tak ano, ked je ti ukradnuta bezpecnost a cena, tak proste nemas dovod riesit cokolvek a spolahnes sa na dohodu s Anthropic alebo inou spolocnostou ze tvoje Enterprise requesty nebude ukladat a pouzivat na trening modelov.

Ale je vela pouziti kde bud bezpecnost, alebo cena je dolezita a zvlast pri tej cene sa budu tie hybridne modely riesit podla mna.

[Jendа]

Já nevím co s tím všichni dělají, ale mně přijde $100 měsíčně tarif v podstatě nevyčerpatelný a současně $100 je cena co je pro firmy v pohodě.

[Jendа]

To má takhle malé přenosné monitory a ještě tak divně umístěné?

[PetebLazar]

To jsou patrně jen základní monitory pro lokální instalaci/správu. Ty stroje předpokládám poskytují své služby po síti. Pokud se něco nezměnilo, tak má G-H k dispozici minimálně stanici od Wendela a AMD.

https://youtu.be/t9MjGziRw-c?is=4qY71ZVtjobVrJVZ

[Want]

Před 5 lety..

[PetebLazar]

To to letí. Podle tohoto měsíc starého videa mu Wendel staví novou. https://youtu.be/lXHdgKOJln0?is=9Ek99a_z5DeG4tT6

[JZD]

Blood in the Machine, dobrej námět na vánoční dárek.