Keď AI prestane potrebovať zdrojový kód

10.6. 09:14 | Přečteno: 1564× | c0mput3rs

V open source komunite sa už dnes objavujú prvé náznaky problémov, ktoré môže priniesť éra umelej inteligencie. Niektoré projekty sa sťažujú na príval AI-generovaných bug reportov a pull requestov. Vytvoriť nový návrh zmeny je dnes jednoduchšie než kedykoľvek predtým – často stačí jeden prompt. Problém je, že človek ho stále musí prečítať, skontrolovať a otestovať. Maintaineri tak čelia paradoxu: AI dokáže produkovať kód rýchlejšie, než ho ľudia stíhajú overovať. Mnohí sa preto obávajú, že open source začína zaplavovať obsah, ktorého kvalita je nejasná a ktorého množstvo prevyšuje kapacity dobrovoľníkov.

Je však možné, že toto je len predzvesť oveľa väčšej zmeny.

Po celé desaťročia fungoval vývoj softvéru približne rovnako. Človek napísal program v programovacom jazyku, kompilátor ho preložil do strojového kódu a výsledkom bola binárka spustiteľná na procesore. Reťazec bol jednoduchý: človek → programovací jazyk → kompilátor → binárka.

Programovací jazyk pritom nikdy nebol cieľom. Bol iba prostriedkom komunikácie medzi človekom a počítačom. Používali sme ho preto, že ľudia nedokážu efektívne pracovať so strojovým kódom a počítače zasa nerozumejú prirodzenému jazyku.

Práve tu môže AI priniesť zásadný zlom. Ak dokáže dostatočne presne pochopiť ľudský zámer a zároveň vytvoriť funkčný program, programovací jazyk prestáva byť nevyhnutný. Budúci reťazec tak môže vyzerať oveľa jednoduchšie: človek → AI → binárka.

Z pohľadu AI je totiž zdrojový kód len ďalšia medzivrstva, ktorú musí vytvoriť a následne preložiť. Ak bude schopná generovať výsledný program priamo, dôvod na existenciu tejto vrstvy sa výrazne oslabí. Programovacie jazyky by sa tak mohli dostať do podobnej pozície, v akej je dnes assembler – nezmiznú, ale väčšina vývoja ich už nebude potrebovať.

Ak budú modely dostatočne schopné, môžu o niekoľko rokov generovať priamo strojový kód alebo inú internú reprezentáciu programu bez toho, aby vôbec vznikol klasický zdrojový kód.

A práve tu sa dostávame k otázke, čo bude znamenať open source v takomto svete.

Ak dnes maintainer dostane AI-generovaný pull request v jazyku C alebo Python, stále má šancu pochopiť, čo daný kód robí. Môže ho analyzovať, upraviť alebo odmietnuť. Ak však budú aplikácie vznikať ako AI-generované binárne artefakty, dnešné problémy s pull requestmi môžu pôsobiť takmer banálne.

Namiesto tisícov riadkov zdrojového kódu môže existovať len binárny blob, ktorému nebude detailne rozumieť žiadny človek. Otázka sa tak zmení z „Je tento kód správny?“ na „Ako vieme dokázať, že tento systém robí to, čo tvrdí?“

To môže zásadne zmeniť aj svet Linuxu. Linux dnes prosperuje vďaka tomu, že jeho zdrojové kódy sú otvorené, auditovateľné a upraviteľné. Ak sa vývoj softvéru presunie k AI-generovaným systémom, dôraz sa môže presunúť zo samotného kódu na testy, špecifikácie, modely a verifikačné nástroje.

Paradoxne, open source preto nemusí zaniknúť. Môže sa stať ešte dôležitejším. V čase, keď bude čoraz viac softvéru vznikať spôsobom, ktorému nebude plne rozumieť žiadny človek, môže byť transparentnosť jednou z najcennejších vlastností.

Možno teda nesledujeme koniec open source. Možno sledujeme koniec predstavy, že otvorenosť znamená iba zverejnený zdrojový kód. V budúcnosti môže byť oveľa dôležitejšie vedieť, ako bol softvér vytvorený, akým modelom prešiel, aké testy absolvoval a kto za jeho fungovanie nesie zodpovednosť.

Ak sa naplnia predpovede o AI, ktorá prestane používať programovacie jazyky ako medzikrok, dnešné spory o AI-generované pull requesty si možno budeme pamätať len ako prvé varovanie pred oveľa väčšou zmenou.        

Komentáře

[zito]

No nevím - to je pak možné zajít ještě dál. Potřebujeme ještě nějaký program, když máme AI? Úlohu kterou plnil program bychom mohli zadávat AI a ona by ho nahradila kompletně? Ostatně tak se to ve sci-fi odjakživa prezentuje, ne? :)

[Max]

No, ona si tu app ta AI asi stejně udělá na pozadí, ne? Bavím se o tom scifi. Něco jako si dnes admin píše scripty v bashi, tak v budoucnu si ai bude psát podaplikace na optimalizaci vlastních procesů.
Zdar Max

[cbrpnk]

Ale predstav si telefón bez appiek. Proste mu povieš, čo chceš urobiť, a on to spraví. Či si na pozadí vytvorí bash skript, Python, C program alebo rovno binárku, bude používateľovi úplne jedno. Výsledok zobrazí na obrazovke alebo povie nahlas.

Možno sa nakoniec ukáže, že „aplikácia“ je len implementačný detail. Dnes otvárame aplikácie, aby vykonali úlohu. V budúcnosti možno zadáme úlohu a AI si potrebný softvér vytvorí alebo poskladá sama bez nášho vedomia detailov. Veď ani dnešní používatelia vo väčšine prípadov netušia, v čom sú ich aplikácie napísané.

[Max]

To já vím, já jen psal, že na pozadí stejně poběží asi nějaká app, kterou si samo vytvoří to AI, aby si ulehčilo / ušetřilo zdroje, ale uživatel jí samozřejmě nijak neuvidí a interakce vždy bude s AI.
Zdar Max

[lenny]

to mi nieco pripomina z historie pametate na tie casy napr 8bit atari alebo C64 kde bol program Monitor a tam si mohol priamo pisat v strojaku pripadne asembleru ale dalo sa priamo v strojaku dost huste

[Max]

Na to jsem příliš mladý, sorry :D
Zdar Max

[Radovan]

Nikdy není pozdě začít ... s opravdovým programováním

http://www.catb.org/jargon/html/story-of-mel.html

Pojídače koláčů, předpokládám, znáš.

[Max]

Žena mně tím občas štve, protože ho stále ráda hraje, ale zná jen tu českou implementaci Pampuch. Takže zásadně pořád a stále dokola říká PacManovi Pampuch :D
Zdar Max

[RealJ]

Pampuch :D Neslysel jsem ale pobavilo...

[Radovan]

Tak to jsi teda digitální zelenáč

https://www.herniarcheolog.cz/2017/03/hra-27-pampuch-duch-1986.html

https://www.herniarcheolog.cz/2024/09/hra-992-pampuch-1994.html

[Radovan]

Takže neznáš. Viz: https://www.logix.cz/michal/humornik/Pojidaci.Kolacu.xp

A vezmi jí do Červeného Újezda, ať si zahraje originály.

[Valgrind]

Tohoto je AI bez problemu schopna i dnes. Mam vlastniho agenta s nejmenovanym open source modelem a toolsetem, ktery mu umoznuje zapisovat na disk, cist z disku, spoustet nektere prikazy. Je schopen vygenerovat program v C, ulozit zdrojak, zkompilovat, spustit a analyzovat jeho vystup... Funguje to prekvapive dobre i s mensim modelem na levnem hardware.

[Max]

To vím, ale o tom jsem se nebavil. Mluvil jsem o tom, že to všechno AI bude dělat sama, sama si vymyslí úkol, že něco musí udělat, než udělá to, co mu řekne uživartel a uživatel vůbec nebude vědět, co se děje na pozadí v tom smyslu, že si AI něco napsala apod.
Prostě uživatel řekne: "Posílej mi týdně XY ohledně ABC" a AI si na to napíše script / program, nastaví si scheduler, nastaví si kontroly atd., ale o ničem z toho uživatel nebude mít tucha. Jemu jen pípne zpráva, nebo mu AI řekne, že něco nastalo, o čem si přál být informován.
Tj. o fous dál, než současní AI agenti, se kterými sice lze dosáhnout téhož, ale zatím s jistou intervencí uživatele.
Zdar Max

[Valgrind]

Nevim, zda toto zvladne muj domaci lehky home-made agent, ale az bude nalada, zkusim cursor. Podle toho, co jsem jiz videl, bych veril, ze to da.

[PPetr]

To už dávno není sci-fi, posledně jsem potřeboval opravit totálně zborcenou databázi při migraci YouTrack (používají jakýsi svůj xodus a jejich nástroje nefungovaly a žádné jiné neexistují), a Claude si na to v Javě napsal aplikaci využívající xodus jary na fs, aby si tu databázi mohl debugovat a opravit. A povedlo se mu to.

[Max]

To ano, ale musel jsi mu to říci, ne? Já se bavil o tom, že mu to nikdo říkat nemusí a uživatel nebude ani vedět, že k něčemu takovému došlo.
Zdar Max

[PPetr]

Ne, to bylo jeho rozhodnutí, já jsem mu dal chybovou hlášku z logu

[Jindřich Makovička]

Claude si jednorázové skripty v Pythonu na různé úpravy kódu vyrábí zcela běžně. Je spíš výjimka, když to u nějakého promptu neudělá :)

[fugišima]

To je spíš věc harness než modelu, ne? Můžeš to mít už teď nad libovolným LLM a přijde mi to úplně triviální.

[...]

ne neni... kdo vede, harness nebo model, kdo dela rozhodnuti, harness nebo model :D muzes mit v harnessu predpripravenej jakej chces prompt engineering, kdyz na to model neni ready, vykasle se na to

[fugišima]

To je nesmysl, dnes je největší inovace právě v harnessu než modelu.

[-]

vubec jedina inovace co k necemu je, je v trenovani modelu... to, co pozorujes, jsou dusledky toho, ze nikdo, kdo by si s tim chtel opravdu hrat, nema resourcy na delani neceho, co ma opravdu smysl - a tak naprosty vetsine lidi nezbejva, nez si hrat s tim, na co vypocetni vykon maji.. tj. zbyde prave akorat ten harness, proto je jich bambilion, ale naprosta vetsina je v jakym stavu? no presne odpovidajici tomu, co rikam :D spousta lidi zacala a pak co? no pak to opustej, vetsinou spolu s tim, jak vyjde dalsi generace SOTA modelu, co jim ukaze, jak moc velka blbost tohle dupani na harnessu je

ted prichazej modely, co skoro vypadaji, ze by jakoze mozna malem sly pustit na neco uzitecnyho lokalne... a tak tu mame druhou takovou vlnu, po tom, co se prvni vlna nadsencu uvarila na SOTA APIckach, ted se vari druha vlna nadsencu na tom, co si jsou schopni pustit na svym hernim GPUcku doma ale je to proste lamani pres koleno, harnessem z hovna bic neupletes proste...

ja pouzivam openai modely, na ne jaksi nikdo v trainingu aktualne nema, uz skoro rok se tlemim vsem uzivatelum anthropicu, jak se tam vymejslej kokotiny se skillama a co ja vim cim jeste, ja nic takovyho nepotrebuju na vubec nic, vzdycky to vede akorat k vetsimu token usage... budto model vi a sahne si pro danou vec sam na prvni dobrou, nebo je to stejne jenom trapeni :D

kde treba jsou vsechny ty napady s grafama myslenek, to preci vypada jako automaticky skvelej napad... tak proc modely delaji stale jenom linearni chain? kdo je tu ten blbec, autori modelu, nebo autori harnessu? ;D kdo ma pristup k tomu, vyzkouset a overit si, jak to je? no jedine ti autori modelu, autori harnessu si na svych domacich kalkulackach moc nevyzkousej :D

je to fitting na abicko, ze sem prijdu cist neco, co si uz jim ve Valley stihlo dojit pred tak pul rokem

['']

jestli se ti zda, ze se schopnosti modelu nikam moc neposouvaji posledniho cca 3/4 roku, tak mas ale uplnou pravdu akorat asi nevis proc... je to proto, ze openai je tak brutalne napred pred anthropicem a jaksji jim doslo, ze maji zastavit a pockat, az je anthropic dobehne... negooglitelna spekulace, i kno, ale tak, sleduju to dost zblizka, jsem si tim docela jistej

OpenAI v ramci GPT 5 series ty modely uz skoro rok zmensuje a jeste pri tom zvladaj mirne zvedat baseline schopnosti tech modelu... dal nahoru nejedou proto, ze se tenhle AI rollout az moc hlida, aby prave nedoslo k zadnymu deformovani pracovniho trhu, to totiz neni v zajmu vubec zadny ze zucastnenych stran

Anthropic akorat cca dohnal OpenAI v nasledovani instrukci, ale jejich hlad po compute mi porad dost nahlas rika, ze ten jejich Opus je porad obrovskej, porad bude okolo 2T... zatimco GPT 5.5 Pro uz je ted jen cca kousicek nad 1T total params a GPT Thinking uz bude mozna i mensi, nez 0.5T

[RealJ]

Anthropic je bida a des... kdykoliv si delam benchmarky tak si rikam proc to kurva lidi plati...

[Jendа]

Vtipné je, že já mám úplně přesně tenhle stejný pocit, jen úplně přesně opačně - Anthropic je napřed a brzdí zveřejňování (viz jak dropli Opus vždycky pár hodin po GPT, teď celá ta kauza kolem Mythos/Fable), Opus se zmenšuje (stával $75 a teď stojí $25), a z osobního používání Claude Code vs. Codexu.

A teď se na Rootu objevil někdo kdo má prý na všechno Gemini Ultra, no tomu předpokládám že nerozumí ani jeden z nás .

[=]

anthropic i google modely delaji kokotiny, skrz ktery se nedaji pouzivat na autonomni vyvoj, na to, ze o tom vetsina lidi nic nevi, jsem uplne zvyklej Fable je akorat tak dobrej Fumble, furt je to schopny nuknout worktree, posrat virtualku do nepoznatelna a jakoze "oh so sorry chtel jsem zacit od znova", tohle stejny delaji i Google modely - a oboje, Anthropic, i Google, delaji ekvivalent return true do testu a jako dobry, hotovo ne, vsak jsi to chtel mit rychle... :))) kdo si toho nevsim, nepouziva to dostatecne ja si za svym stojim, mam za tim docela slusnej token spend nad vetsinove autonomnima workflows :D

btw cena API u modelu nekoreluje s velikosti, vubec, ne u techhle nejvetsich SOTAs - velikost se da odhadovat jen velmi, velmi neprimo, je potreba sledovat, jaky HW je na to zrovna k dispozici, jak se to vyviji - uzitecny signal je treba rychlost, ktera se zvedala, aniz by se pod tim zlepsoval hardware... no a v neposledni rade je tu faktor

[=]

ah shit se mi to useklo... faktor toho, ze u toho sedim dost, protoze tomu prikladam porad vic a vic prace, at maka za mne, takzeze vidim, ze 5.x mezi sebou nemaji stejnej base model, je to pokazdy od nuly od zacatku, neni to jeden a ten samej model, co akorat prosel vic posttrainingem :)

OpenAI modely nacenuje podle schopnosti, ktery ten model ma, nema to zadnou spojitost s nakladem ani na vznik toho modelu, ani na jeho provoz - stylem naklad+marze fungujou jenom cinani

[123]

dalsi zajimava vec je, kdyz se teda Opus zmensuje, proc Anthropic tak trpi nedostatkem vypocetniho vykonu? proc releasnuli 4.8 az tak pozde, az kdyz prisel compute od xai... proc tak limitujou uzivatele? proc lidi pouzivaji 2T class opus tam, kde lidem s openai staci polovicni GPT Thinking... to rikam furt, ze kdyby oai pustilo Pro do codexu, jak cpe lidem Anthropic Opus, bylo by mozny vyhodit fakt velkou spoustu overpaid ajtacku :D

[123]

abych nebyl uplne nefer, samozrejme uznavam, ze google i ant umi dodat modely, co vyrazi dech svyma maximalnima schopnostma, v tom jdou pravidelne nad oai, ano

ale jejich reinforcement learning framework dosahuje o hodne horsi alignment, k cemu mi je genius, co mi jednou za par dni vyrazi dech skvelym vykonem, kdyz ho musim kazdej den hlidat jako nesamostatny decko, ktery se jeste teprv uci poslouchat

[RealJ]

Podle me mit pro v codexu je picovina, pro je pro research coz v codexu nedava smysl.

[/]

podle tebe mozna, ja to mam vyzkouseny a vim, jak se chova, hovno research model tyvole furt :D

je to uplne to stejny, jako je GPT Thinking, akorat vetsi a lepsi :D

maji to cely pod uplne stejnym training frameworkem, prvni se uvari Pro, a to potom funguje jako teacher pro vsechny ty mensi modely v dany rade

uzij si svoje gemini u google taky nevedej, co delaj

jaj boha toto je ale midwitfestival, sem fakt nema cenu chodit

[Jendа]

hovno research model tyvole furt :D

Hlavně research se přece dělá i v programovacím agentovi. U nás i u kamarádů z úplně jiných firem je to přirozené prostředí, když jde o SW, který počítá jakoukoli matematiku, dělá fyzikální simulace, atd. - a je potřeba "vymyslet" nějaké vylepšení. Tipuju, že třeba i když děláte biologii, tak je dobré, když si to může třeba tahat sekvence a různě si je porovnávat. Programovací agent fakt není o tom "refaktoruj tyhle javové třídy".

[+]

jo... ono totiz GPT Pro v tom ChatGPT chatu *je* agent, ma k sobe linuxovej kontejner, kde ma gcc a spoustu dalsich veci, ahaha borci meli byste to videt kodit C podle svyho, kdyz se mu do toho nekeca, to je zazitek kdyz se podivam, co z anthropicu vylezlo za ten "kompilator" od podlahy... no, je mi jasny, ze Anthropic bude OpenAI jeste dlouho, dlouho dohanet

skoda ze odstranili akorat zrovna GPT 5.2 Pro, to melo jeste stary puvodni "juice" levels, premejslelo to jak drak... s 5.5 Pro v chatu uz takovy kouzla delat nejde, uz jen pres API

ale stejne... si to schvalne zkuste, na jakym levelu je 5.5 Pro, kdyz dela to, co chcete normalne po agentovi, co bezi nekde pod vasi kontrolou

to teprv umi najit bugy, delat security research, pripravit veci pro zneuziti a podobne, ahahahaha, akorat je potreba se sikovne vyhnout guardrails, mno ne ze by neslo

[\]

tak holt je ten kontejner bez pristupu k netu ale z chatu a do chatu to umi lopatovat soubory, a dokonce ne uplne maly (hint: tarballs), takze se tomu da nasypat i vsechny zavislosti, i treba x86_64 binarky, ktery to v tom kontejneru pusti a ani mu to neprijde divny a tak, no

[RealJ]

ano, akorat u toho codexu to nedava smysl. I kdyz delas architekturu nejakeho velikeho projektu tak ti k tomu staci medium/high a jiz i ten xhigh je overkill. U psani kodu je to uplny nesmysl. Zkus si udelat benchmark a pochopis ze pro fakt nedava smysl. Trening nad daty s psanim kodu nijak nesouvisi.

[/]

aha, jo, toz to bude ten zasadni rozdil... "kdyz delas"... jak bych to jenom... ja... toho nedelam ted uz o moc vic, nez ze managuju otroky proc bych mel ja delat nejakou architekturu, nebo nejaky psani kodu, nebo... wat, vsak na to presne tyhle digitalni otroci jsou

~vsechno to da lip, nez ja, proc se s tim budu prat ne, akorat houst a vetsi kapky...

navrh architektury jsem tomu schvaloval tak pred 5 mesici, to jsem tomu jeste nemel, jak verit, malo bylo vyzkouseno, malo tokenu proteklo

ted tomu schvaluju nebo zamitam k predelani az to, o cem si to mysli, ze je to finalni vysledek - a na tom "spolu" ladime process policies, abych u toho byl potreba cim dal min

[RealJ]

ja mam gemini ultra a ve srovnani s codexem je to jako kdyz z hornika udelas programatora. Sice to umi nejake zakladni veci ale chybi tomu nejaka serioznejsi logika. V mem pripade ho pouzivam na veci typu overovani dat, takovej tupej franta ktery umi vzit data a udelat nejakou analyzu.

[']

uzij si svoje aktivni sezeni u veci kterou musis hlidat na kazdym kroku, protoze te vojebava s tim, co to vsechno dela a umi, ale kdyz trochu zatlacis, vzdycky zjistis, ze nic z toho, co to slibovalo, vlastne ani neexistuje mam s tim dost zivych zkusenosti vubec nevis proste

[RealJ]

me vzdy tyhle keci pobavi, pouzivam anthropic, openai, google od doby kdy je uvedli na trh ale vim o halucinacich uplny hovno jak rikas... jo, to dava smysl... :D od toho tady mas instrukce, kazdemu modelu muzes rict at ti misto vymysleni picovin rekne ze to nema neumi atd. ty ziva zkusenost

[\\]

jojo, internet na tohle presne ma meme: "make no mistakes", nebo RealJ ma "priznej ze to neumis", efekt podobnej, kdyz litaji miliardy tokenu, verit se tomu neda vis co to znamena protocit miliardy tokenu? ne 10B s 90% cache hitem za mesic, ale za den? asi ne co

[Gamer]

Zabudas ze 90% aplikacii su hry. A ty nechces aby sa ti menila pod rukami

[Radovan]

To by mohl být zajímavý koncept

Ale zrovna v sobotu kámoš vzpomínal, že po třiceti letech hraní jeho oblíbené hry už je skoro v polovině. Prý to bylo nejlépe investovaných 150 korun v jeho životě. Mimochodem, stále to hraje na originálním osmibitovém hardwaru, nikoliv v emulátoru!

[zito]

Já myslím, že ne nutně vždy, ale na něco asi jo. Čekal bych, že bude dál fungovat jako lidský mozek. My si algoritmizujeme některé úkony, například vynásobení velkým čísel - pěkně písemně pod sebou na papíře. Ale to není případ, že by si na to vygenerovala kód a to spustila na nějakém procesoru. To běží jako v rámci neuronové sítě. A nakonec to jí dnes stále moc dobře nejde? To by s nějakým vlastním AI počítačem musela interagovat - ale to pravda na rozdíl od lidí nebude problém. Lidi to musí datlovat rukama a číst očima z monitoru, ona ne. Nakonec to je zajímavá úvaha, že by AI měla mít možnost nějakého API na svůj "počítač", kde by si spuštěla svůj kód. Ona to vlastně skoro dělá. Je to asi jenom otázka učení - neučit jít to ve větší míře? Ono ti agenti už teď něco spouští asi, že jo? Já tím úplně uchvácen nejsem a raději se tomu vyhýbám, jenom sem tam si nechám poradit, než bych studoval plno dokumentace. Nejsem programátor. Ti k tomu mají jiný přístup. Myslím, že když něco vygeneruje třeba v Pythonu, tak to umí i spustit a ověřit, že je to ok, nějakým svým unit testem.

[Valgrind]

Ano. Agenti se bez problemu nauci spoustet vygenerovane skripty, kompilovat a spoustet generovane programy, zpracovat jejich vystup a reagovat na nej!

[zito]

Husté. Takže kdyby si AI usmyslela, že zkusí něco v Netu hacknout, tak vlastně může? Twl to jsme od Skynetu už jenom krůček.

[Valgrind]

Ano, pokud si to sama usmysli, nebo pokud ji to nekdo promptne, tak muze. Jina otazka je, zda bude utok uspesny..., ale napsat C programek s pouzitim socketu ci treba PHP/Java programek jako nejaky http client, to zvladne v pohode...

[kutr]

Programovací agenti se opravdu nic neučí. Agenti jsou jen rozšíření toolů jako copilot o spouštění lokálních skriptů. To znamená, že pokud agent spustí skript nebo vytvoří program a spustí ho, tak je to jen protože, je tak naprogramovaný nebo mu to řekl LLM. Pokud si někdo myslí, že agenti mají jakoukoliv inteligenci, tak jsou blázni. Agenti jsou jen rozšíření schopností LLM modelů, aby zvládli víc než jen pattern matching v jejich trénovacích datech. LLM ovládající agenty se dají přemluvit aby používali další skripty pomocí markdown dokumentů s popisem toolů (skills). Např. pro neznalé jetbrains má poměrně velkou databázi skills https://github.com/JetBrains/skills, kde si můžete snadno udělat představu co je dneska možné. Celé tohle je ale značně nedeterministické a podle implementace jednotlivých agentů se často neskutečně plýtvá tokeny (např. jeden agent může pro nalezení symbolu ve zdrojáku použít grep v kombinaci s LLM a další zvládne zavolat LSP server, tak to má zadarmo). Celá tahle technologie je víc než v plenkách a pro blázny co to pouští mimo externí sandbox primárně hrozí, že přijdou o data nebo agent něco leakne na internet, když LLM halucinuje.

U agentů jako openclaw se zase dneska primárně řeší problémy jako velikost "krátkodobé" paměti. Po několika týdnech se naplní kontext LLM modelu a už nedokáže pracovat se všemi daty co se mu nahromadili. A tady se ukazuje, že uložit data tak, aby se podstatné informace neztratili, ale stále se vešli do krátkodobé paměti je otevřený problém. Na netu snadno najdete spousty nefungujících přístupů jak data komprimovat nebo filtrovat.

Celá tahle technologie je natolik v plenkách, že kdo na ní sází dneska je úplný blázen. Přijde mi OK si s tím hrát, pokud na to máte čas nebo vás to baví. Ale obrovské změny jak s LLM pracovat přicházejí každých několik měsíců, takže není snadné držet s tím krok. Pokud tím nechcete pálit čas, vůbec nevadí. Naučit se používat novou generaci LLM není práce na dlouho, průměrný programátor to zvládne za pár dnů. Je to řádově jednodušší než se naučit programovat nebo porozumět vygenerovanému kódu.

V čem už dnes vidím největší potenciál agentů je vyhledávání. Kombinovat schopnosti LLM s vyhledáváním na internetu je neskutečně silná věc. LLM totiž umí všechny lidské jazyky, takže prohledávání témat v japonštině v kombinaci třeba se španělštinou není žádný problém i pokud umíte jen česky. Ale pořád si dejte pozor tyhle věci pouštět mimo bezpečný sandbox.

[Valgrind]

Uff. Dobre, nezvolil jsem nejlepsi slovesu. Agent se to neuci, agent to umi. A ano, agent je rizen LLMkem. Ano, neni to bezpecne. Ano, nejlepsi je dedikovat stroj ci sandbox. Ano, muzete prijit o data. Point byl v tom, ze cely chain (agent, toolset, LLM) umi rozhodnout, ze vygeneruje zdrojak, vygeneruje jej a pripadne zkompiluje, spusti jej, analyzuje jeho stdout a nasledne na nej reaguje a podnika dalsi kroky.

[A]

Tohle se už děje. Zatímco počet applikací s rozvojem LLM prudce roste, počet instalací klesá. To, na co lidi ty aplikace předtím potřebovali, dnes v nezanedbatelném množství případů vybaví přímo s nějakým chatbotem. Proč si instalovat do mobilu slovník, když stačí do LLM napsat: "tohle mi přelož" ?

[kutr]

Protože slovník to snadno spočítá na procesoru v mobilu za pár milisekund. Je to asi podobné jako si pozvat bagr na odházení jednoho kolečka hlíny. Dnešní tupci nemají kladivo, ale mají LLM (které je dotované investory), tak ho použijí na všechno. Krásná ukázka toho, jak se technologie mění, ale člověk zůstává stejný, protože evoluce trvá miliony let.

[Miloslav Ponkrác]

Člověk je ta zbytečná mrcha v celém tom řetězci. Jen to zdržuje rozlet celé AI!

Správný řetězec je AI -> binárka.

[hefo]

Нет человека - нет проблем!

[plostenka]

Binarka je pro decka, spravny retezec je (lisp (AI))

[RealJ]

Problém je, že človek ho stále musí prečítať, skontrolovať a otestovať.

a proc by ten kod musel nekdo cist nebo testovat? Testovaci nastroje jsou dnes jiz automatizovane, k tomu cteni muzes taky pouzit AI... spousta velkych firem dnes prechazi na vyvoj za pomoci AI a nikdo ten generovany kod necte. Mas agenta ktery ti udela review vuci zadani, mas agenta ktery ti udela bezpecnostni review zamerene na nejakou konkretni oblast, mas agenta ktery ti udela uzivatelskou dokumentaci,... no a spousta vyvojaru se tomu brani protoze dle jejich nazoru je kvalita kodu mizerna. Jo, kvalita kodu je mizerna ale pokud to dela co ma tak kod nikdo krome vyvojaru neresi. Mam kamarada ktery povazuji kvalitu kodu 99% vyvojaru za mizernou, odrostl na ASM stejne jako ja a tak kdyz nekdo neoptimalizuje je to u nej mizerny kod...

[kutr]

Moje zkušenost, kterou potvrzuje i dost lidí na internetu je taková, že automatizované testy absolutně nestačí (pokud nepokrýváš všechny vstupy a výstupy). AI často vygeneruje kód, který projde testy, ale vůbec neplní zadání. Kvalita kódu je hodně proměnlivá. Od naprosto geniálních řešení až k něčemu co vypadá jako obfuskovaný kód. A mezi těmihle polohami přeskakuje náhodně. Nikdy nevíš, co ti vypadne. Být tebou bych tolik nevěřil marketingovým oddělením AI firem.

[RealJ]

ale to je presne o zadani... ja kdyz vidim jak lidi pisou prompty tak si rikam ze i Izak z abicka by to napsal lip... ja mam nekolik svych projektu na kterych si hraji s codexem a mnozstvi testu ktere codex produkuje me serou, ja bych si udelal tak 10-15 testu, codex napise 500+ testu. Kvalita kodu je relativni, dela to to co chci? Dela. Chci aby to delalo rychlejc? Prepise to a bude to rychlejsi. Mam iOS aplikaci ve ktere jsem si napsal nejake vyhledavani ve 20k+ zaznamech, prvni verze fungovala akorat vyhledavani trvalo necelych 5 minut... po optimalizaci to hleda instatne... Ja marketingovym oddelenim neverim vubec, pisi si sve benchmarky a rozhoduji se dle nich. Trvalo mi nekolik mesicu nez jsem si vse optimalizoval do podoby ktera mi vyhovuje.

[kutr]

Zdrojový kód nebyl cílem, ale je to artefakt, který si můžeš uložit, udržovat a dál rozvíjet. Když ho zrušíš, co bude ten artefakt? AI vlastní někdo jiný a prompt není deterministický ani pro jeden a ten stejný model. Dostaneš se tak do stavu, kdy počítače nejsou deterministické. Dokud tohle někdo nevyřeší, tak zdrojáky zůstanou.

[vencour]

Ona už je dnes AI plně předvídatelná a umí opakovaně udělat tentýž výstup?

[kutr]

O čem teda byl ten předchozí příspěvek? Si tady připadám jak v domově důchodců

[bvj]

Jsi, průměrný věk na portálu je 53 a mentalita 82.

[Want]

Kdybys vyfičel, stoupne přinejmenším na 120.

[bjv]

tomu věřím, a není to takový flex jak si myslíš

[_]

On myslel ten věk…

[bjv]

Neverim ze myslel

[Want]

Líp než vidíš.

[bjv]

ok no, mam ctyri dioptrie a astigmatismus, tak asi tak ty premejslis

[Want]

U mě seš prostě mrtvej Homolka.

[bjv]

ses jedinej koho to zajima

[vencour]

A protože mi to přijde "tendenční", tak se ptám ...
Pamatuju že u klíčových projektů se dělá nějaké source code review ... nebo ne? Ať už je autor Ai nebo ne.

[kutr]

ok, tak jsem v domově důchodců

[RealJ]

samozrejme ze neumi...

[lol]

Proto je potreba vsechnu AI znicit a vratit se zpatky na stromy

[...]

hele, ze neco jde, jeste neznamena, ze je to dobrej napad.. vem treba optimalizace, ktery dela kompilator... kdyz unrollne loopy, kdyz inlinuje funkce... AI bez zdrojaku musi jit a kdyz chce neco zmenit, musi sahnout na vsechny takovy instance... na coz se kazdej chytrejsi model dneska rovnou vykasle a kdyz mu nedovolis pouzit existujici kompilator a jazyk a budes dal trvat na tom, ze to ma mit hotovy driv, nez dojde k tepelny smrti vesmiru, on stejne pujde a nejakej ekvivalent jazyka a kompilatora si udela sam

[vencour]

Doporučuju autorovi, ať přidá anketu, jestli tomuhle patří ikona tučňáka ... ať ji nepřidávam jen tak pro nic za nic ...

[vencour]

Příloha:

• cant-stop-8efd1d68-16fe-4e87-8791-fd47414271ba.jpg (464845 bytů)

Tohle jsem si zkoušel nechat namalovat od AI - a sloupce mu nikdy nevyšly ... plánek hry ... bude mít někdo lepší zkušenost?
Tj. podle mne AI zatim počítat neumí.

[RealJ]

ktery model? Co za prompt? gpt-5.5 xhigh sloupce generuje OK.

[vencour]

Příloha:

• 69f39587-2f22-439f-a4a5-a33164b92ccf-dontstop-jendva.jpg (459994 bytů)

Tvořeno snad před 14-21 dny, chatgpt go ... postupně:

dokazes vygenerovat hraci desku pro hru can't stop? jedna se o hazeni kostkami a sazku na soucet dvou kostek ... cili maji tam byt sloupce od 2 do 12 ... rozumis tomu, ze pro soucet 2 a 12 mas snad jen vysku sloupce 3, pro 3 a 11 mas vysku sloupce 5, pro soucet 4 a 10 mas vysku sloupce 7, pro soucet 5 a 9 mas vysku sloupce 9, pro soucet 6 a 8 mas vysku sloupce 11 a pro soucet 7 mas vysku sloupce 13? proto mi prijde lepsi to nechat navrhnout od ai pro tisk na cernovile tiskarne a navic s ohledem na setreni barvou

prosim opravit, ta uvadena vyska je vcetne ciloveho policka - proto prosim predelat obrazek, na A4 se to snad vejde a uz ted to vypada hezky ... jen nepresne

(dodal jsem anglicky pravidla)

aha ale ... soucet je od 2 do 12 (a navic vyska 3, 5, 7, 9, 11, 13 vcetne) ... to v posledni verzi neni, vsiml sis toho? a za mne osobne ten radek BODY tam snad byt nemusi ... a kdyby byly ony sloupecky uzsi, tak by se vesly snad vsechny? a kdyby jeste byly soumerne podle vodorovne osy papiru taky by to bylo taky hezci? zvladnes to? a dokazes to udelat tak, aby vyska sloupce byla vcetne toho vrchniho pole? aby tedy soucet 2 a 12 mel tri pole celkem, soucet 3 a 11 mel pet poli celkem?

a výsledek je v příloze ... a nakonec ...

Jo — a máš pravdu. DALL·E se u takhle přesné geometrie opakovaně „rozjede“, protože neumí spolehlivě držet exaktní počty políček ve všech sloupcích zároveň. U ilustrací je skvělé, ale u matematicky přesné desky je lepší vektor/SVG.


Proto jsem ti připravil přesnou SVG verzi pro A4 tisk, kde:

počty polí sedí přesně,
vrcholové pole s číslem JE započítané,
sloupce jsou symetrické,
všech 11 sloupců se vejde,
je to čistě černobílé a úsporné na toner.

Správné počty:

2 a 12 → 3
3 a 11 → 5
4 a 10 → 7
5 a 9 → 9
6 a 8 → 11
7 → 13

Teď už je to konečně přesně podle pravidel Can't Stop.

Takže pokud to vyšší verze gpt dává, tak je to o hloubce a šířce "pracovní paměti". A dík za názorný příklad.

[lol]

Chudak AI snazit pochopit cance jako tohle: "rozumis tomu, ze pro soucet 2 a 12 mas snad jen vysku sloupce 3", pises to jako prase.

[RealJ]

cetl jsem to 2x a porad netusim co bych mel delat. Asi bych ten prompt napsal jinak, vice strukturovane. Neco ve smyslu: Pracuji na hre s nazvem "can't stop", potrebuji vygenerovat hraci desku ve formatu pro cernobily tisk. Hra ma tyhle pravidla:...

rozumis tomu, ze pro soucet 2 a 12 mas snad jen vysku sloupce 3, pro 3 a 11 mas vysku sloupce 5, pro soucet 4 a 10 mas vysku sloupce 7, pro soucet 5 a 9 mas vysku sloupce 9, pro soucet 6 a 8 mas vysku sloupce 11 a pro soucet 7 mas vysku sloupce 13?

nevim jestli je to mnou, nebo jazykovou barierou ale jsem z toho jelen, proc pro soucet 2 a 12 mam mit vysku sloupce 3 a pro 3 a 11 mam mit vysku sloupce 5?

[Want]

Buď rád Žako, že mu tam nezačal kvákat o Pánu času a Sheldonovi z Big Bang Theory. Myslím si, že si LLM spíš na chvíli odpočinul.

[vencour]

AI dostala pravidla anglicky a přeložila je. Viz ty dva obrázky.
Proč 3, 5, 7, 9 atd. tahů na vítězství? Je to o pravděpodobností, názorná ukázka. A o tom, jak tomu ostatní rozumí a o tom, v jakém jsou asi rozpoložení.
Jak se zdá, tak teď už je AI chytřejší než reprezentativní vzorek populace.

[lol]

Všichni se smáli existenci Prompt engineer pozice, ale když vidím co tam někteří cpou za totální hnojník a očekávají rozumný výsledek, tak tu pozici celkem chápu.

[RealJ]

hele, nic ve zlym, ale pokud tu hru budete moci hrat jenom ty a Ales tak je v zasade k hovnu. Z toho co popisujes porad nevim o cem ta hra je, tedy krome hazeni kostkou a nejake pravdepodobnosti. Ale chapu, ze spousta her vznikne pro omezenou sadu lidi a diky socialni izolaci je jim to naprosto fuk. AI to evidentne taky nepochopila protoze na tom obrazku jsou zasadni veci nepochopene. Treba: Rozdel kostky do dvojic (4 kostky, tudiz 2 dvojice), Soucty urcuji sloupce. Soucty jedne dvojice? Soucty vsech 4 kostek? Urcuji sloupce? Nebo urcuji jeden sloupec? Jestli sloupce tak treba u ctyr kostek hodim na vsech dvojku, 2+2 bude sloupec 4 a 2+2 bude taky sloupec ctyri? Ve tvem prikladu 5+5 jde do sloupce 6 a zaroven 5+5 jde do sloupce 9. Proc jako? Ja kdybych tohle mel vysvetlit komukoliv ze sveho okoli tak si lidi budou myslet ze jsem chlastal...

[Want]

Žako uů.. prober se.. Nick Want je anonymní a ne každý kdo ho použije se jmenuje Aleš, pokud ti to ještě nedošlo.

[smiř se s tím]

Když se na ábíčku řekne Aleš, lidi čekají, že bude čurina.

[RealJ]

presne tak, nebejt tady Alese tak je to tady jiz mrtve...

[Want]

Ale ono to je mrtvé, pokud sis nevšiml. Kde je Aleš? Poslední blogpost tu napsal 6. května

Od té doby: Komix, východ, komix, východ, připomínka, komix, nekrolog, komix, komix, výlev, postesk, komix, flamebait, poznámka. S okopávacími diskuzemi, ve kterých se nic zajímavého nedozvíš.

[Want]

Ovšem to není jen problém abclinuxu. Root na tom není líp. Všude jen AI blitky o AI, otřesné automatické AI překlady, a zmatené zprávy, ze kterých se nic nedozvíš protože omílají furt to samé bláto.

Každý jen toužebně čeká, až konečně některý z těch zaseklých tragédů chcípne a je už každému úplně fuk, který to bude. Hlavně že tím konečně skončí podpora té proxy války, co vysává EU jak pijavice.

[_]

je na světě jeden člověk (v Rusku) co tu válku může skončit hned - měl bys mu zavolat ať se na to vykašle a stopne ji

Zbytek světa ti bude vděčný

[Want]

Doník, Rutte, Leynová, Netanjahu, Macron, Zelenskij nic? Kterýkoliv z nich půjde na pravdu boží a piš si, že se to odšpuntuje

[_]

Ani jeden z těch co píšeš ji nemůže ukončit okamžitě - Putin ano

[_]

Teda upřesnění – to co píšu o Putinovi platí za předpokladu,, že oba myslíme ukrajinskou válku. Ne blízký východ tam samozřejmě mají větší slovo ti co píšeš. Tam Putin nezmůže asi nic

[Radovan]

Americké a izraelské války ukončit nechceš? Podporuješ genocidu páchanou expanzivními sionisty kradoucími cizí území? Kolik ti Bibi platí?

[_]

Samozřejmě že chci, aby se vyřešilo a dále nedělo i toto svinstvo, ale o tom jsme si tady psali už mockrát. Ale tady byla pravděpodobně řeč o válce na Ukrajině, kterou spustil Putin – že ty sis toho zase nevšiml?

S tvojí pamětí je to asi fakt těžký no ¯\_(ツ)_/¯

Ještě připomínám další otázku od které jsi utekl:

Člověk, který si selektivně vybírá, které svinstvo řeší a které neřeší/podporuje, je podle tebe ultra zmrd, nebo ultra kunda?

PS kdyby Bibi věděl, co si o něm myslím, tak se do Izraele už asi nikdy nepodívám

[Radovan]

Tvoje myšlení očividně nestačí, měl bys pro ukončení genocidy spíš něco dělat

https://www.seznamzpravy.cz/clanek/domaci-politika-cesko-odmita-evropske-sankce-proti-izraelskemu-fasistovi-ben-gvirovi-308585

Apropos, kdo a kam že to unáší ukrajinské děti?

https://www.novinky.cz/clanek/zahranicni-ukrajinske-deti-evakuovali-po-vypuknuti-valky-do-italie-ta-je-ted-odmita-vratit-zpet-40583167

[_]

Tak pojď, zkusíme to spolu jo? Pro začátek stačí to svinstvo odsoudit– já případné izraelské i americké svinstvo odsoudit dokážu. zvládneš to ty s tím ruským?

[Radovan]

Na odsuzování ti defekuje Canis Lupus Domesticus.

Kolik peněz a zbraní na obranu proti agresi izraelských fašistů jsi poslal Palestincům, Libanoncům, Syřanům a Íráncům?

[_]

V pohodě - stačilo napsat že nezvládneš - nemusíš to dál dokazovat

Ps zvládáš už alespoň googlit? Minule ti to moc nešlo

[Radovan]

Otázka zněla jinak, utíkáš místo abys odpověděl...?

[_]

ne - odpověď dlužíš ty, tzn míč je na tvé straně

že se ti to nelíbí je tvůj problém

[vencour]

Příloha:

• r-IMG_20260611_223238_1-mir-eu.jpg (560617 bytů)

Pravda (proč až teď?)

[vencour]

Co mi uniká?
Jde o veřejně dostupnou hru a podle všeho dost známou. Hrál jsem ji, pravidla četl a pak jsem pravidla i našel.
Kdo chce, tak si poradí ... a dohledá. A navíc AI dělá chyby, je to na těch obrázkách vidět, nejen že nesedí počty polí (součtů) pro jednotlivé součty.
Základ je házet 4 kostkama a hledat dvojice, pokud mohu posunout figurkou za jednu dvojici tak fajn, pokud jsem nespokojený a chci víc, tak nemusím mít nic.
To tam zmíněno je ...
Chlapi, nedělejte pořád AbcL ostudu, že sem lezou takový nechápavý lamy ...
Píšu o tom, jak je AI nespolehlivé a je to vidět.

[RealJ]

ja tu hru neznam a dohledavat se mi ji nechce. Kdyz je docela znama proc ji nepouzijes? AI umi replikovat zname veci docela obstojne. Z toho co si postnul jsem si rikal ze vymyslis nejakou novou hru...

[daaf]

A navíc AI dělá chyby, je to na těch obrázkách vidět

Obrázcích.

[Bugs]

Problém je, že neumíš smysluplně do promptu popsat co chceš. Pleteš do sebe otázky, pravidla hry, ptáš se jestli to zvládne... Nebavíš se s člověkem - piš stručně a jasně.

[David Heidelberg]

no, LLM s "float-like" přesností nezní jako něco na co se chceš spolehnout při skládání softwaru. Ano, vygeneruje mi to binárku bez potřeby kompilátoru, ale běžně to dělat nechci :D

[vlk]

nesuhlasim, prave naopak, myslim, ze zdrojovy kod bude potrebny vzdy. neda sa pisat jednoducho v strojovom kode. pretoze kazde pridanie instrukcie vyzaduje prepis adries - to co robi kompilator

taktiez kompilator robi optimalizacie, z citatelneho kodu robi casto nejaky flat kod ktory je bez velkych refaktorov prakticky nemozne upravovat a je neprehladny

ano, Ai dokaze generoat priamo strojovy kod lenze je to vhodne pre elementarne kody, ale ak sa jedna o len trochu vacsi kod, tak je pre nu jednoduchsie pracovat so zdrojovym kodom, koli nejakej strukture, tiez vyzaduje prehladnost a jednoduchu rozsiritelnost. najma ma spustu paternou v existujucich zdrojakoch z ktorych vychadza...

takze moj nazor je ze nie! programovacie jazyky nevymru, ba naopak, mozno sa prisposobia viac k AI alebo vzniknu (sama si vymysli) nove jazyky s ktorymi AI bude pracovat jednoduchsie.

[Xerces]

No nevím. Já jsem to zatím zkusil 2x s tou AI přes Google a jednou dala přesně opačnou odpověď než měla (evidentně někde našla zdroj a blbě ty negace v odpovědi poskládala) a podruhé vůbec nevěděla (hledal jsem informace o interním bufferu v uzavřené relační databázi). Takže já jsem klidný, že nějaká AI bude někde řídit provoz něčeho důležitějšího než domácího servříku.

[vencour]

Gemini se se mnou nebaví o medicíně a tušim ani chemii ... čili je k ničemu.
A kdo kdy zkusil přes AI dekódovat ze zvuku text a použil různé vzorkování, tak asi tuší, jak je nepřesné brát výsledky od toho nejpovrchnějšího (nejjednoduššího) modelu (jeho složitosti).

[_]

gemini umí akorát dělat obrázky a obecně plkat - jinak buď nic neumí, nebo jí to zakázali ukázat

[RealJ]

ze zvuku text - ja pouzivam openai transcribe model vicemene denne a funguje mi to v anglictine bez problemu. Vzorkovani neresim, co leze z rekorderu krome toho ze je to mp3 vubec netusim. Mam postavene na tim openai api workflow kde udelam transcription, z toho mi vylezou schuzky, poznamky, emaily, ja udelam review emailu k odeslani... Setri mi to nejaky cas a stoji me to snad $1 denne.

[_]

není tady někde karkar?

Já jen jestli už četl tohle

Minule to měl problém pochopit, tak třeba ted to vyjde