Portál AbcLinuxu, 31. října 2025 11:36
24.3.2007 19:10
| Přečteno: 1812×
| Dev/Tech/Gnu
|
V programování a programovacích jazycích se vrtám roky rokoucí a proto se málokdy stane, že mě něco překvapí. Ale přesně to se před pár týdny stalo. Narazil jsem totiž na pypy a připomněl si, co znamená hackerství ve svém nejlepším významu.
Co je vlastně pypy? Pypy je implementace jazyka Python v Pythonu samotném. Na první pohled je to pěkná divočina, vlastně až nesmysl. Standardní interpreter Pythonu je napsán v jazyce C (říkejme mu CPython), pypy je do jisté míry prostá reimplementace CPythonu, akorát napsaná v Pythonu.
Pypy ve své základní podobě samozřejmě není schopen přímo běžet v operačním systému, pro svůj běh potřebuje interpreter Pythonu a tedy CPython. Program spuštěný nad pypy je tedy interpretován dvojitě. Je to pomalé? Nu, je to véélmi pomalé - zhruba dvoutisíckrát pomalejší oproti "nativní" implementaci. Nesmysl? Keep on reading!
V této základní podobě je pypy pouze skvělý nástroj na experimentování s jazykem jako takovým. Je jednodušší přidat nějakou experimentální konstrukci do pypy než do CPythonu - prostě proto, že je použit mnohem vyšší jazyk.
Co mi ale vyrazilo dech, je možnost přeložit celý pypy z Pythonu do C. Obecně samozřejmě není možné jen tak přeložit pythoňácký zdroják do céčka. Pypy je ale implementován ve speciální podmnožině Pythonu, která je osekána o některé divočejší konstrukce (jako třeba eval()). Tuto podmnožinu nazývají RPython (restricted). Pypy přeložené do céčka je už jenom 2x až 4x pomalejší než originální CPython.
Aby toho nebylo dost, tak ono překládací udělátko je dostatečně obecné (pythoňácký bajtkód převede do grafové reprezentace a tam dělá zvěrstva jako typovou inferenci) a schopné generovat v podstatě jakýkoliv kód. Kromě C funguje překlad do dotnetího CIL spustitelného na Monu, kód pro experimentální LLVM (low level virtual machine), počítá se s Java bajtkódem.
Pypy je taky framework pro tvorbu interpreterů - v RPythonu lze napsat "specifikaci" jiného jazyka než Pythonu a z této "specifikace" vygenerovat interpreter pro libovolnou platformu. Tuším jsem na stránkách viděl něco o Prologu a uvažuje se o Scheme.
Ještě se vám to nedá dost? Stay connected!
Když se při implementaci CPythonu van Rossum rozhodl pro nějaký přístup a tento byl zadrátován do céčka, často už s tím nejde hnout. Například GC - CPython používá ke správě paměti počítání referencí. Předělat tento GC na mark and sweep je zhola nemožné, protože inkrementováním a dekrementováním počítadla referencí je céčkový zdroják prošpikován na mnoha místech. Pypy umí céčkový zdroják vygenerovat, takže aspekt správy paměti stačí změnit na jednom místě. Přepínačem je možno volit mezi Boehm GC a počítáním referencí.
Pypy má ještě několik zajímavých možností. Asi nejdůležitější je stackless Python. Originální stackless Python je sada invazivních patchů do CPythonu, která umožňuje oprostit se od limitů systémového zásobníku. Originální patche jsou dost těžko udržovatelné, stackless aspekt pypy je jeden přepínač ovlivňující generování céčkového kódu.
Další chuťovka je modifikace umožňující lazy vyhodnocování.
Aktuální verze 0.99 běží jenom na Pythonu 2.4 (patche pro 2.5 budou brzy v svn), přičemž je potřeba také dávat pozor na verze některých knihoven jako třeba ctypes. V Dapperovi mi interpretovaný pypy běžel, ale překlad padal na podivných výjimkách. Nejjistější je tedy vybildit si to podle následujícího rychlonávodu, ke kterému jsem došel po četných experimentech:
No a teď stačí zadat magický příkaz a vygenerovat vlastní interpreter přímo na tělo:
cd pypy/translator/goal /usr/local/bin/python translate.py --text --batch targetpypystandalone.py
Pozor, proces překladu trvá i na Core2 dvacet minut a sežere to tak půl giga paměti. Nicméně to vypisuje hezké hlášky, tak se můžete dívat, co to asi dělá. Osobně nechápu, jak může na stroji s vyšším výkonem než celé DoD za studené války něco "užitečného" trvat dvacet minut. Předpokládám, že grafy popisující kód, které to konstruuje, jsou dost velké a je tam nějaká sviňa s O(N^2). Ale pokud to vydržíte, zjeví se vám nová binárka pypy-c, kterou můžete bez ostychu spustit.
Parodii na IronPython vygenerujete asi takto:
translate.py --text --batch --backend=cli targetpypystandalone.py
from test import pystone pystone.main()
| Interpreter | pystone |
| CPython 2.4 | 39062 |
| pypy-c | 11236 |
| pypy-cli | 957 |
| pypy | 18 |
No je to hezká hračka a třeba z toho nakonec vyleze lepší interpreter, než je ten Rossumův. Projekt je aktivní, mailinglist živý, sponzoruje mj. EU.
Tiskni
Sdílej:
24.3.2007 23:52
[Vallhala]~>python a.py
Pystone(1.1) time for 50000 passes = 1.25
This machine benchmarks at 40000 pystones/second
[Vallhala]~>
25.3.2007 17:27
Marek Bernát | skóre: 17
| blog: Arcadia
. S tím, že "horší než lineární" není dost výstižné, protože O(n log(n)) je na "obyčejná" data vždy v pohodě. O(n^2) už umí udělat pěknou paseku. Kdo nevěří, ať si nechá seřadit bubble-sortem trapný milion integerů.
25.3.2007 19:40
Marek Bernát | skóre: 17
| blog: Arcadia
Skrátka, aby som to zhrnul, tak o tom, akú zložitosť majú algoritmy v pypy, sa nedá povedať prakticky nič. Ale aspoň som si zopakoval asymptoty
Ale já jsem to psal z čistě inženýrského pohledu. Já si prostě myslím že je tam něco nelineárního, protože si nedovedu představit, že by tam byl milionkrát lineární průchod (jak jsi ostatně poznamenal).
Dneska pokračuju ve čtení dokumentace. Mají tam nějaký graf (uzly bloky kódu, hrany skoky) a ty uzly se snaží poskládat aby byl co nejmenší počet skoků. Teorii grafů jsem sice už skoro zapomněl, ale nějakým tím polynomem mi to smrdí.
25.3.2007 20:55
Marek Bernát | skóre: 17
| blog: Arcadia
Ale je to komplikovanejšie, lebo informatika ma prestala baviť, tak som prešiel na fyziku. Takže teóriou nasiaknutý nie som; O-notáciu som používal naposledy keď som riešil informatické súťaže na strednej. A to bolo už dáávno
To je dobre, že si sa dal na dokumentáciu. Ak sa dá niekde zistiť, akú to má zložitosť, tak asi tam. A idem sa na to pozrieť aj ja, znie to zaujímavo.
25.3.2007 17:41
Marek Bernát | skóre: 17
| blog: Arcadia
Btw, O(n^2) a omega(n^2) sa vylučujú. Nevylučovalo by sa to s Omega(n^2). Potom by sme dostali tú Theta ako prienik. Dúfam, že zasa neblúznim
ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.
25.3.2007 00:05