Python - skriptujeme boost

31.5.2008 14:54 | Přečteno: 1421× | Dev/Tech/Gnu | | poslední úprava: 31.5.2008 15:03

Když se tady tak rojí zápisky o Pythonu a C++, musím přispěchat se svou troškou do mlýna - totiž s postem, který je o obojím.

Občas zde prudím se svojí Žirafou, což je indexátor souborového systému, prostě parodie na locate. Používám ji převážně jako "media library" k XMMS.

Taková grafická aplikace, to je soft-realtime záležitost. Na čase odpovědi totiž záleží, pokud se to zasekne, uživatel (tedy já) sice počká, ale je naštvaný. Žirafa navíc zobrazuje výsledky vyhledávání hned během psaní dotazu - takže na výkonu záleží, protože mezi dvěma stisky kláves je tak desetina sekundy.

Žirafa je celá v Pythonu (+GTK). Ze snahy napsat rychlou aplikaci v "pomalém" Pythonu jsem získal některá ponaučení, o která se teď hodlám podělit.

Python

Что такое Python? Python je především, moji milí čtenáři, skriptovací jazyk. Co to vlastně znamená? Přiznám se, že osobně tento termín nemám rád, raději bych řekl, že je to dynamicky typovaný objektově orientovaný jazyk velmi vysoké úrovně.

Skriptovací jazyk je typicky prostředek pro rozšíření funkčnosti nějaké aplikace. Počítá se s tím, že s ním pracuje přímo koncový uživatel oné aplikace, nikoli pouze původní vývojář. Uživatel si naprogramuje novou funkci tak, že manipuluje s objekty té aplikace. Samotná aplikace je obvykle napsána v nějakém jiném jazyce (třeba C++) a některé objekty prostě zpřístupní ke skriptování (tím definuje API).

Jenže Python není nějaký Visual Basic zašitý do Excelu, je to univerzální samostatný jazyk. Chyba lávky. Když programujete v Pythonu tak v podstatě neděláte nic jiného, než že přistupujete k objektům, které jsou implementované v C. Vy prostě skriptujete prostředí, které se sestává ze seznamů, slovníků, stringů, integerů - a žádný z těchto objektů není napsaný v Pythonu.

Srovnejte nyní, moji milí hackeři, s Javou, od které si odmyslíte just-in-time kompilaci (java -Xint). Program v takovéto Javě se skládá z bajtkódu, jehož instrukce se interpretují. Python má taky svůj bajtkód, který interpretuje. Zásadní rozdíl je v tom, že celá standardní knihovna Javy je napsaná v Javě samotné.

Co z toho plyne pro chudáka programátora, který se snaží napsat rychlou aplikaci? Když si napíše nějaký svůj kontejner (třeba variaci na ArrayList), tak má šanci být rychlejší než knihovní implementace (protože si to napsal optimalizovaně pro své konkrétní potřeby). Když se ale o stejnou věc pokusí Pythonista, s velkou pravděpodobností pohoří, protože interpretovanou implementací nemůže konkurovat nativnímu kódu vylezlému z GCC.

Příklady

Ústřední zásada pro tvorbu rychlých aplikací v Pythonu zní: drž se standardní knihovny. Standardní knihovna bývají dobře optimalizované (platí pro všechny jazyky), v Pythonu je to zvýrazněné tím, že její výkonově kritická část je v C.

V Žirafě jsem potřeboval následující věc: mám dva seznamy integerů (idčka dokumentů) a potřebuji vytvořit jejich množinové sjednocení. Nejrychlejší způsob, jak tohle udělat v Pythonu je takovýto:

def union(a,b):
    return list(set(a).union(set(b)))

a to přesto, že oba vstupní seznamy jsou seřazené a stačil by tedy jednoprůchodový algoritmus. Když si takovýto (myslím že optimální) algoritmus napíšete v Pythonu, bude to mnohem pomalejší, než řešení, které oba listy nejprve zkonvertuje na množiny a pak z toho zase vytvoří seznam. (Zmíněný jednoprůchodový algoritmus taky dojede na to, že seznam, do kterého akumulujeme výsledek, se během výpočtu bude muset mnohokrát realokovat.)

boost_python

V situaci, kdy optimální algoritmus je pomalý, je potřeba vyrobit kýženou implementaci v C nebo něčem podobném. Jak se to dělá v Céčku se můžete dočíst například zde. Není to moc hezké, je potřeba spousta balastoidního kódu starajícího se o vnitřnosti Pythonu. Posléze jsem objevil boost_python, což hromada C++ šablonové magie, která udělá většinu práce za vás.

Kus zdrojáku vydá za tisíc slov; zde je implementace třídy World:

#include <boost/python.hpp>
using namespace boost::python;

struct World
{
	std::string msg;

	void set(std::string msg) { this->msg = msg; }
	std::string greet() { return msg; }

	int my_sum(list lst) //sums all integers in the list 
	{
		int result = 0;
		for(int i = 0; i < len(lst); i++)
		{
			int val = extract<int>(lst[i]);
			result += val;
		}
		return result; 
	};
};

BOOST_PYTHON_MODULE(world)
{	
    class_<World>("World")
        .def("greet", &World::greet)
        .def("set", &World::set)
        .def("my_sum", &World::my_sum)
    ;
};

Přeloží se to nějak takhle:

g++ world.cpp -I/usr/include/python2.5 -shared -o world.so -lboost_python

a používá následovně:

>>> import world
>>> w = world.World()
>>> w.set("hi!")
>>> w.greet()
'hi!'
>>> w.my_sum([1,2,100])
103
>>> 

Závěr

Python je skvělý jazyk a líbí se mi čím dál víc. Je ale dobré vědět, jaké jsou jeho vlastnsti a možnosti. Když už jste donuceni udělat rozšíření v kompilovaném jezyce, použijte šikovnou knihovnu.

       

Komentáře

[Luboš Doležel (Doli)]

Posléze jsem objevil boost_python, což hromada C++ šablonové magie, která udělá většinu práce za vás.

Pamatuju si, že jsem si před 5 lety hrál s boost_python pod MSVC a můj relativně jednoduchý program o dvou .cpp souborech to kompilovalo 10 minut

[paskma]

Věřím, templates, to není kompilace, to je výpočet

paskma@paskma:boost$ time g++ world.cpp -I/usr/include/python2.5 -shared -o world.so -lboost_python

real    0m3.387s
user    0m2.656s
sys     0m0.140s

Genuine Intel(R) CPU T2300 @ 1.66GHz

[junckritter]

Ja som na takéto veci použil Pyrex (prípadne jeho modifikáciu Cython). Výhoda je, že píšeš priamo pythonovský kód (s pár obmedzeniami), ktorý sa následne preloží do C-čkovského kódu a zkompiluje sa. Pekné je že C-čkovský kód má v komentároch aj čísla riadkov pôvodného zdrojáku, takže sa dá pozerať čo sa preložilo na čo a optimalzovať. Výpočtovo náročné veci si takto dáš do C a pritom stále pracuješ s pythonovskými objektami. A dajú sa s tým obaliť aj už existujúce C knižnice.

[Martin Stiborský]

Hmm, musím na sobě zamakat, do poloviny blogpostu jsem chápal, ale pak přišla magie ... programovat, programovat, programovat, jinak to nevidím ..

[Kyosuke]

Z toho si nic nedělej, tohle je pro mě taky amazonská vesnice.

[Kyosuke]

Vidím, že v porovnání s Pythonem a Boostem přicházím při práci se c-wrapperem o spoustu legrace.

[Algi]

Ten c-wrapper je fakt luxusní. Škoda, že se ten kód musí nejdříve zkompilovat, jinak se to nahrává dost pomalu. Ale na druhou stranu, v tom filmečku je vysvětleno proč. Ty dva jazyky vedle sebe vypadají fakt exoticky

[Saljack]

Moc dík. Tohle si dávám do záložek, protože to budu určitě brzo potřebovat.

[zde]

Příloha:

• util.c (1029 bytů)

Není to moc hezké, je potřeba spousta balastoidního kódu starajícího se o vnitřnosti Pythonu.

Kde?

>>> import util
>>> util.union(range(1, 10, 2), range(2, 10, 2))
[1, 2, 3, 4, 5, 6, 7, 8, 9]