Jak se píše programovací jazyk 3.5: RPython (diskuse)

[alfonz]

Vůbec si nedovedu představit kolik to vyžaduje práce ten RPython rozchodit, jednu dobu jsem to ze srandy zkusil na jednoduchém skriptu a bylo to takové množství změn, že jsem se to rozhodl ignorovat. Jinak nyní přemýšlíme, právě o zrychlení kódu a bohužel CPython3.5-6 je bohužel stále o kousek pomalejší a nevypadá, že by se to snažili zrychlit oproti CPythonu2.7. Takže asi začneme používat Pypy vypadá to, že se pomalu a jistě dostává do dobře použitelného stavu.

Mám otázku, nestálo za to zkusit to používat přímo v Pypy?

[Bystroushaak]

Mám otázku, nestálo za to zkusit to používat přímo v Pypy?

Co se mě týče, tak ne (programovací jazyk nemá smysl dvojitě interpretovat), obecně bych to ale asi mohl doporučit.

V práci jsem asi před 3/4 rokem řešil něco podobného. Dělal jsem benchmark na nuitku, cython, numbu a rpython, jak co se týče rychlosti, tak co se týče pracnosti přepisu. Nakonec jsme prostě jen vyprofilovali který kus kódu žere nejvíc CPU a ten jsem přepsal do rustu. To bylo nejmíň pracné a navíc nejrychlejší co do rychlosti programu. Původně jsem o tom chtěl napsat článek, ale nakonec jsem se k tomu nedostal. Používal jsem Pythonium Trioxide.

Pypy ale obecně bývá nejjednodušší varianta. Jinak co se týče čísel, tak můj úplně první benchmark v (c)pythonu 2.7 trval 2583 sekund, pod pypy 30.25 sekund a kompilovaný rpythonem bez JITu a optimalizací 16.26. Od té doby jsem to ještě mnohokrát zrychlil pod rpythonem, imho to ale pěkně ukazuje, jak moc velký může být rozdíl mezi pypy a klasickým cpythonem, speciálně když tam třeba často vytváříš dicty, nebo něco drtíš ve smyčce.

[kralyk z abclinuxu]

Mám pocit, že na linuxu se k tomu pod libc běžně používá __start.

No, to není úplně to samé... V C main bude vždy main, je to dané i standardem. __start je v podstatě implementační detail, např. vytváří seznam argumentů a environment proměnných, který je procesu předán OS/platformě-specifickým způsobem, pak taky inicializuje nějaký věcí C runtimu (např. locale, tuším, doufám, že nekecám) ...

Ve zkratce je vytvořen flow graf kódu, který je poté projit analyzátorem datových typů, jenž se snaží jednotlivým elementům přiřadit statické datové typy.

Ví někdo, jestli RPython na tohle používá Hindley-Milner / algoritmus W, nebo jestli mají nějaké svoje custom řešení?

[luky]

Adresa, kde program zacina, je ulozena v hlavicce ELFu. Jaky to je symbol (a jestli to vubec je symbol) je burt.

[xkucf03]

__start je v podstatě implementační detail, např. vytváří seznam argumentů a environment proměnných, který je procesu předán OS/platformě-specifickým způsobem

Jak moc je vytváří? Protože, když jsem si s tím před časem hrál (Přepisování parametrů příkazové řádky), tak jsem zjistil, že OS i program koukají na to samé místo v paměti, takže z programu můžeš přepsat to, co vidí OS a zobrazují různé nástroje na výpis procesů.

pak taky inicializuje nějaký věcí C runtimu (např. locale

Tak to už to mohli udělat tak, aby nebylo nutné na začátku programu psát setlocale(LC_ALL, ""); …

[kralyk z abclinuxu]

__start je v podstatě implementační detail, např. vytváří seznam argumentů a environment proměnných, který je procesu předán OS/platformě-specifickým způsobem

Jak moc je vytváří? Protože, když jsem si s tím před časem hrál (Přepisování parametrů příkazové řádky), tak jsem zjistil, že OS i program koukají na to samé místo v paměti, takže z programu můžeš přepsat to, co vidí OS a zobrazují různé nástroje na výpis procesů.

Záleží z pohledu čeho se na to koukáš. Z pohledu C standardu jakým způsobem se ten vektor vytvoří je implementation-defined. AFAIK změnit obsah těch stringů můžeš, ale jestli se to projeví ještě někde jinde je IMHO opět implementation-defined. V praxi na Linuxu AFAIK ty startovací funkce jen vyhrabou pointer na ten vektor někde ze stacku a předají to mainu. Víc detailů viz tenhle blog, ale je dobrý pamatovat, že autor se na to kouká na x86. Na jiný architektuře to třeba může fungovat trochu jinak. Nemluvě o specifikách jiných OS (BSD, Mac, ...).

[ewew]

Tento blog by mohol byť označení ako Kvalitný zápis.

[Bystroushaak]

BTW: Včera jsem byl na úvodním dílu série přednášek na téma GraalVM; Dynamický překlad prakticky – série přednášek na Matfyzu a nejspíš to zkusím časem portovat na graal, až bude celý projekt trochu ustabilizován co do featur a architektury.

[deda.jabko]

GraalVM i Truffle maji docela zajimavy potencial, ale potrebuji poradnou dokumentaci jako sul. Zkousel jsem si v tom delat vlastni jazyk a toto byla hrozna brzda, i kdyz rozhrani vypada, ze je navrzene docela dobre. I tak jsem nakonec skoncil u generovani vlastnich trid pomoci JavaAssist a Asm.

[Bystroushaak]

Jo, to jsem slyšel už i od Bherzeta. On teda RPython není zas tak o moc lepší a taky tam často narážím na věci, které nejsou popsané v dokumentaci, ať už jde o konkrétní chování, nebo o obecné způsoby jak řešit věci. Například red green variables u JITu. Nebo třeba jak je doporučované reprezentovat bytecode, když bytearray se nechová tak jak by člověk úplně čekal. Nebo třeba jestli JITu vadí, když máš bytecode v každém objektu zvlášť, nebo by ho chtěl v jednom velkém lineárním stringu, nebo co vlastně. Většinou to řeším na IRC #pypy.

Zase na druhou stranu v tomhle vidím přednost těch matfyz talků, protože ty příští už by měly být víc praktické a měl by se tam psát kód. Účast byla docela hojná (plná učebna) a osobně se mi to dost líbilo.

[deda.jabko]

Zase na druhou stranu v tomhle vidím přednost těch matfyz talků

Ja se drzel demonstracnich prikladu a prednasek od lidi z Oracle a misty se to rozchazelo nejen mezi sebou, ale i s API, ktere bylo k dispozici. Misty to byla opravdu narocna detektivni prace. Nakonec jsem to rozchodil, ale cekal jsem, ze to bude jednodussi. Ale uz je to nejaky patek, mozna s tim pohli. V kazdem pripade, kdyz se to stabilizuje a napisou k tomu rozumnou uptodate dokumentaci s priklady (coz by mi prislo uzitecnejsi nez talky na univerzitach a konferencich), tak to bude super.

[xkucf03]

Tohle přednáší přímo autor GraalVM, takže to má člověk z první ruky :-)

[deda.jabko]

A? Ty prednasky, co jsem videl, byly taky od lidi, co na tom delali, ale to nemeni nic na tom, ze se ten projekt posunul a obecne informace sice sedely, ale technicke detaily se lisily.

I tak si budu trvat na svem, ze bych vic nez prednasku pro par desitek lidi z Prahy a okoli (co maji v danou dobu cas), kdyby zapracovali na dokumentaci, na ktere by se dalo stavet. Postup, ze vezmu jejich SimpleLanguage a budou zkusmo zjistovat, co dela co a proc, a postupne to pretvaret v jazyk, co chci ja, neni uplne dvakrat stastny.