Jak se píše programovací jazyk 5: Bajtkód a literály (diskuse)

[Gilhad]

Krásné :)

Drobné dloubnutí:

Bajtkód a literály: bytecode, bytekód, ...

SEND: PUSH_LITERAL: Délka instrukce: 3 batkódy.

[Bystroushaak]

Díky za upozornění, to jsou artefakty dlouhého psaní článku (rozepsal jsem ho už někdy v září).

[Bystroushaak]

Tak snad opraveno.

[petr_p]

Stroji s „imperativním bytekódem“ se říká register-based machine. Přesně jako protiklad ke stack-based machine.

[Bystroushaak]

Díky za doplnění, máš pravdu, teď se mi to vybavuje.

[kolcon]

V cem jsou generovane ty obrazky?

[Bhezret]

PlantUML

[Bystroushaak]

V cem jsou generovane ty obrazky?

Doplnil jsem do repa přímo zdrojáky: code_context.plantuml & frames.planuml.

[Pavel Křivánek]

Pěkné, zkoušel jsi se zamyslet, jestli by nešlo reprezentovat zásobníky metod a procesů jako jakékoliv jiné objekty, pouze splňující nějaké požadavky dané VM? Otevřelo by to do budoucna řadu možností, ale chápu, že pro začátek je důležité mít co nejdříve něco, na čem lze stavět.

[Bystroushaak]

To mě nenapadlo, částečně jsem to už řešil přes reflexi, tedy vytvoření něco jako speciálního mirroru kde je na pozadí primitivní kód co ti umožňuje s tím manipulovat. Pravděpodobně by to šlo tak jak píšeš ty, ale co jsem tak minulý týden řešil s cfbolzem z #pypy, tak tyhle věci typicky dost narušují JIT.

[Jakosek]

Zajímavé. Ale je to asi jen akademické cvičení, že?

[Bystroushaak]

Ani ne. Když si přečteš první díl, tak tam najdeš část odpovědí na téma motivace.

[Radovan]

Tak ať máš motivaci ještě vyšší, nastupuje konkurence: https://www.root.cz/zpravicky/microsoft-predstavil-novy-programovaci-jazyk-bosque/ 8-O

[Bystroushaak]

Zajímavé.

[Bystroushaak]

Tady je k tomu trocha textu: Microsoft debuts Bosque – a new programming language with no loops, inspired by TypeScript

Osobně mi to přijde prostě jako funkcionální programovací jazyk.

[deda.jabko]

byly mi známé následující přístupy:

1. Interpretace AST
2. Interpretace imperativního bajtkódu
3. Interpretace stack based bajtkódu

Vsechny tri varianty jsou ekvivalentni a navzajem prevoditelne. Hezky to jde videt na prevodu AST<-> stack-based bytecode, coz je trivialni operace. Hlavni rozdil je v tom, jak moc je ktera reprezentace vhodna pro urcity typ transformace/optimalizace nebo analyzy. AST je dobre na optimalizace vyrazu, bytecode pro registrovy virtualni stroj je zase fajn pro optimalizace postavene na toku data a CFG (obzvlast, pokud to mas formou SSA).

Stack-based bytecode je takovy kompromis mezi tim, mas tam explicitne vyjadrene rizeni vypoctu (to v tvem pripade asi neresis) a je z nej trivialni zase ziskat AST vyrazu pro dalsi transformace.

Registrove virtualni stroje maji jeste tu vyhodu, ze je snazsi jejich konverze do instrukci sady klasickych procesoru. Ale pokud delas preklad (pred provedenim) jeste pres nejaky jazyk nebo jiny bytecode, tato vyhoda pada.

Bajtkód, anglicky bytecode, je od slova byte. Samozřejmě nemusí mít přesně jeden bajt, ostatně moje instrukční sada by se mohla vejít do čtyř bitů. Do budoucna by ale mohlo interpreter zrychlit, kdybych provedl rozvoj všech často používaných instrukcí a převedl je z několika-bajtových parametrizovaných na jedno-bajtovové.

Tim moc rychlosti neziskas. Mnohem uzsi hrdlo, ktere to bude brzdit, jsou operace se zasobnikem. Pokud muzu radit, udelej si zasobniky co nejjednodussi. A pokud se mas v planu odchylit od minimalisticke instrukcni sady, pouvazuj nad tim, jak napr. skupinu casto pouzivanych instrukci pracujicich se zasobnikem prevest na jednu (byt slozitejsi) instrukci, ktera se explicitni manipulaci se zasobnikem vyhne.

[Bystroushaak]

A pokud se mas v planu odchylit od minimalisticke instrukcni sady, pouvazuj nad tim, jak napr. skupinu casto pouzivanych instrukci pracujicich se zasobnikem prevest na jednu (byt slozitejsi) instrukci, ktera se explicitni manipulaci se zasobnikem vyhne.

Jo, nad tímhle uvažuji.

A pokud se mas v planu odchylit od minimalisticke instrukcni sady, pouvazuj nad tim, jak napr. skupinu casto pouzivanych instrukci pracujicich se zasobnikem prevest na jednu (byt slozitejsi) instrukci, ktera se explicitni manipulaci se zasobnikem vyhne.

Momentálně mám dvě různé implementace, jak jsem psal. Ta ve výsledku rychlejší by měla být prealokované statické pole, kde se jen updatuje index pointer, akorát že v benchmarku s JITem to momentálně vychází trochu pomaleji. Myslím že to ale chce přidat jen víc hintů ohledně toho co je statické / immutable a tak podobně. Rád bych přidal právě instrukce, které obcházejí práci se zásobníkem a konkrétní věci si berou z tabulky literálů. To by mohlo kód trochu zrychlit, ale vidím to že jen asi tak o 17% max.

Udělal jsem si takový jednoduchý benchmark na milion while cyklů, kde tělo je blok a podmínka je blok (tedy obojí je v podstatě lambda). Když jsem dopsal naivní implementaci, tak to trvalo asi dvacet vteřin. Momentálně jsem se po měsíci optimalizací dostal pod jednu vteřinu, s tím že podle cfbolze z #pypy by se mělo jít hravě dostat pod 100ms, pokud správně dodám JITové hinty.

Podle callgrindu momentálně nejvíc času žere parent lookup, a to i přesto že už jsem ho zoptimalizoval, přidal cacheování a prohledávání jen změněných částí grafu. Myslím že přepsáním na hierarchickou cache (momentálně cacheuje každý objekt sám za sebe a při lookupu prohledává jen odminule změněný graf (to pozná podle verzí objektů), ideální by bylo, kdyby se spoléhal i na cache v objektech které prohledává, což se teď neděje) se to ještě může zrychlit.

Minulý týden jsem zkoušel proof of concept dynamického rekompilátoru, který se snažil ty cache parent lookupů staticky inlinovat, ale nakonec jsem to celé vzal a zahodil, protože to bylo docela komplikované, fallback z nopovaného kódu, kde byly odstraněny PUSH_LITERAL instrukce byl docela komplikovaný a právě ta parent cache se ukázala jako vcelku dobrá sama o sobě.

V brzké době o tom vydám článek, všechny ty optimalizace jsem si poznamenával. Chci se teď zaměřit zase spíš na rozvoj funkcionality, když jsem rychlost dostal pod tu jednu vteřinu, což mi přijde pro další rozvoj jako proof of concept že to není úplně marné.

[sad]

Rekurzi můžeš nahradit nejen zásobníkem, ale i vlákny.

[Radovan]

Rekurzí můžeš nahradit nejen zásobník, ale i vlákna

[Bystroushaak]

Rekurzi můžeš nahradit nejen zásobníkem, ale i vlákny.

Ok, ale jakou to má souvislost?

[sad]

Myslel jsem, že máš problém s rychlostí toho překladače.

[Bystroushaak]

Nemám vůbec žádný problém s rychlostí překladače. Chybí mi doladit rychlost interpretru, kterou jsem za poslední měsíc zrychlil asi 20x, ale ani jedno vůbec nesouvisí s rekurzí. A vysloveně jsem tam psal, že mi už rychlost vyhovuje a že se chci zaměřit zase na funkcionalitu, místo rychlostních optimalizací, takže tu odpověď nechápu už vůbec.

[sad]

Aha, tak to je dobře. Zřejmě jsem si ten tvůj příspěvek špatně přečetl.

[Josef Kufner]

Rychlost interpretování vyřešil docela hezky Haskell. Prostě svůj zdroják přeloží do zdrojáku v C a na to pustí vyladěné překladače plné šílených optimalizací.

[Bystroushaak]

To dělá rpython taky, ale to ti samo o sobě moc nepomůže. JIT momentálně tak jak ho mám přidává docela dobrý boost (cca 130% rychlosti), a pokud se dobře vyladí, tak klidně i víc. Hezky je to vidět třeba na jednom benchmarku co jsem si dělal v pythonu, který pod cpythonem běžel 3/4 hodiny a pod pypy díky JITu 32 sekund.

[Josef Kufner]

Spíš jsem to myslel na případ, kdy si člověk tvoří něco svého. To pak obvykle nemá prostředky na vývoj pořádného interpretu a je lepší využít nějaký existující nástroj.

[Bystroushaak]

Já myslím že dneska to úplně nedává smysl, pokud tomu nechceš věnovat roky a roky vývoje. Konkrétně co tak chodím na ty Graal talky, tak to je dneska / bude v brzké době jasná volba.

[Josef Kufner]

Pokud máš úlohy, kde dává smysl sestavit vlastní DSL a záleží na výkonu, tak asi nejlepším přístupem je právě překlad do jiného jazyka namísto psaní interpretu. To může být záležitost na pár dní, nikoliv pár roků, a přitom to bude velmi dobře funkční i efektivní.

Někdy ani není potřeba tvořit celý jazyk znovu, ale stačí ho trochu rozšířit. Vem si například React a jeho JSX. Prostě vzali syntaxi Javascriptu a přidali do toho HTML. Výsledkem je pohodlnější zápis HTML DOM elementů a přitom to je jen o překladu podivné syntaxe do volání pár funkcí.

[Bystroushaak]

Pokud máš úlohy, kde dává smysl sestavit vlastní DSL a záleží na výkonu, tak asi nejlepším přístupem je právě překlad do jiného jazyka namísto psaní interpretu. To může být záležitost na pár dní, nikoliv pár roků, a přitom to bude velmi dobře funkční i efektivní.

Transkompilátory afaik dávají smysl jen za předpokladu, že děláš funkčně něco hodně podobného tomu podkladovému jazyku. Tedy jak píšeš, DSL. Nebo například jsem tu kdysi psal blog o brythonu, který transkompiluje za běhu python do javascriptu, což jde a má to smysluplnný výkon, protože oba jazyky jsou si alespoň přibližně podobné co do dynamičnosti a brythonu v podstatě stačí používat restriktivní javascript. Obráceně už bys to ale dělal hůř, například transkompilovat javascript do pythonu by asi chtělo pěkný kus hackování a výkon by šel do kytek. To samé se Selfem - jak jsem psal v tom druhém seriálu, kdysi vznikl Smalltalk implementovaný nad Selfem, který běžel rychleji než tehdejší smalltalky. Naopak to lidi taky zkoušeli, ale výkon byl tragický, protože právě řešení parentů musí být z principu dynamické a nemáš ho moc na co namapovat ve většině jazyků.

Co je ale killer feature toho graalu, co nikdo jiný afaik nemá, je interop. Tedy tvůj jazyk bude umět pracovat s datovými strukturami a funkcionalitou všech ostatních věcí napsaných v graalu. Tedy pythonem, ruby, C, javascriptem a kopou dalších projektů. A celé to bude mít velmi dobrý výkon. Například jsem viděl benchmark kde javascriptový kód volal generátor v ruby a celé to běželo asi 20x rychleji, než samotné ruby a jen o trochu pomaleji než optimalizované C. A teď se člověk zamyslí, že generátor v ruby je něco úplně jiného v javascriptu a oba dva používají jiné formaty intů, které to vracelo a je jasně vidět ten potenciál. Jaroslav Tulach viděl ty moje články o tinySelfu a vybral si jako semestrální projekt Self, kde killer feature bude že to narozdíl od původního Selfu bude mít k dispozici nejen Selfí stdlib, ale všechno pro python, ruby, javascript, C, ..

Přitom tam sice musíš psát interpreter, ale nemusíš jít za implementaci AST. Tedy ti stačí lexer, parser, AST strom s .eval() metodami a jsi hotový.

[Bystroushaak]

V brzké době o tom vydám článek, všechny ty optimalizace jsem si poznamenával.

Tak jo, tady: tinySelf performance gains 2019/4.

[kralyk z abclinuxu]

Ten LightWeightDict mi připomíná SmallVector / SmallString, jestli to dobře chápu, je to stejná strategie...

[Bystroushaak]

Já úplně nevím co referencuješ, abych na to mohl odpovědět.

[kralyk z abclinuxu]

Sorry, už jsem jak davkol Já ten koncept znám z LLVM - viz SmallVector a příp. SmallString nebo to samé v Rustu [1, 2]. Píšeš tam např., že použití linked listů pro stacky oproti běžnému pythonímu listu bylo o dost rychlejší. Možná by se stejná optimalizace jako ten LightWeightDict / SmallVector / etc. dala použít i pro stack, tj. že bys měl prealokované pole pro prvních N položek a jakékoli další by šly do toho spojáku. Otázka je, jestli by to reálně bylo rychlejší (special casing → více branchování).

Možná vůbec nejlepší, co se rychlosti týče, udělat si statistiky nejpoužívanějších sekvencí instrukcí a ty pak optzimalizovat... Ale to se blbě dělá bez reálných programů v tinySelfu.

Btw. ten `TwoPointerArray` mi připadá, že je prostě Ring buffer, jestli to dobře čtu...

[Bystroushaak]

Možná by se stejná optimalizace jako ten LightWeightDict / SmallVector / etc. dala použít i pro stack, tj. že bys měl prealokované pole pro prvních N položek a jakékoli další by šly do toho spojáku. Otázka je, jestli by to reálně bylo rychlejší (special casing → více branchování).

Můžu na to mrknout.

Možná vůbec nejlepší, co se rychlosti týče, udělat si statistiky nejpoužívanějších sekvencí instrukcí a ty pak optzimalizovat... Ale to se blbě dělá bez reálných programů v tinySelfu.

Mno, ideálně chceš aby za tebe tohle řešil nějaký backend, ala ten JIT.

Btw. ten `TwoPointerArray` mi připadá, že je prostě Ring buffer, jestli to dobře čtu...

Není to úplně ring buffer, je to jednoduše prealokované pole, kde se při .pop() a .append() posouvají dva indexy zleva a zprava. Princip je podobný, ale není to cirkulární.

Náš administrátor shledal tento komentář závadným.

Prosím slušněji / konkrétněji

Zobrazit komentář