Novinky v Python 2.5 - 2 (korutiny, konstrukce with)

20. 12. 2006 | Michal Vyskočil

Články - Novinky v Python 2.5 - 2 (korutiny, konstrukce with)  

Před nějakým časem vyšla nová verze Pythonu. Pokud vás tento jazyk zajímá, pojďte si přečíst seznam změn, jako jsou rozšířené vlastnosti generátorů, pomocí nichž je možné psát korutiny, nebo nejvýraznější změna — konstrukce with.

Nové vlastnosti generátorů

Python 2.5 přináší jednoduchý způsob, jak předávat generátorům hodnoty. Tak jak byly představeny ve verzi 2.3, dokázaly pouze vrátit výstup. Nebyla možnost, jak do nich přidat nějaké nové informace. Špinavé triky spočívaly v používání globálních proměnných, přes které se potřebné parametry předávaly.

Co je to vlastně generátor? Jedná se o objekt, který vytváří svoje hodnoty dynamicky za běhu. Klasickým příkladem je xrange. Zatímco range vytvoří celý seznam v paměti a potom se nad ním iteruje, generátorový xrange hodnoty vytváří a vrací průběžně. Jednoduchý příklad je:

def counter (maximum):
    i = 0
    while i < maximum:
        yield i
        i += 1

Výsledkem volání counter(10) je iterátor vracející hodnoty od 0 do 9. Konstrukce yield se chová podobně jako return, pouze s tím rozdílem, že lokální proměnné zůstávají v paměti (podobá se to tak statickým proměnným v C). Metoda next() tedy znovu zavolá kód iterátoru, ovšem s tím, že hodnoty jsou zachovány z předchozí iterace.

Zatímco do teď byl yield příkazem, který nevracel hodnotu, v nové verzi se jedná o výraz, jehož výsledek je možné svázat se jménem proměnné.

val = (yield i)

Doporučuje se kód vždy uzavřít do závorek, pokud s návratovou hodnotou něco děláte. Nejsou sice pokaždé důležité (PEP 342 obsahuje přesná pravidla, kdy je použít a kdy ne), ale je jednodušší je používat vždy, přesto, že to může být mírně nepythonovské. Metoda send(value) odesílá hodnoty do generátoru. Nejlepší bude asi uvést příklad:

def counter (maximum):
    i = 0
    while i < maximum:
        val = (yield i)
        # Pokud došlo k předání parametru, změň vnitřní hodnotu čítače
        if val is not None:
            i = val
        else:
            i += 1

a zde je způsob, jakým můžeme ovlivnit hodnoty vnitřního čítače:

>>> it = counter(10)
>>> print it.next()
0
>>> print it.next()
1
>>> print it.send(8)
8
>>> print it.next()
9
>>> print it.next()
Traceback (most recent call last):
File ``t.py'', line 15, in ?
    print it.next()
StopIteration

V případě, kdy použijeme metodu send(value), yield vrací hodnotu value. Při zavolání metody next() vrací None.

Mimo send() byly přidány dvě metody. První z nich throw(type, value=None, traceback=None) slouží ke generování výjimek z těla generátoru. Druhá, metoda close(), vyvolá uvnitř generátoru výjimku GeneratorExit, která jej ukončí. Po zachycení této výjimky musí generátor vyvolat GeneratorExit, anebo StopIteration, přičemž zachycení této výjimky v těle generátoru není povoleno a vede k vyvolání RuntimeError. Případný úklidový kod musí být v bloku finally.

Souhrn těchto změn změnil generátory z pozice pouhých producentů na producenty i konzumenty. Staly se z nich korutiny (coroutines), což je obecnější forma podprogramů (subroutines). Zatímco běžné podprogramy začínají na jednom a končí na jiném místě, korutiny mohou být zavolány, ukončeny a pozastaveny na několika místech (v místech výrazu yield).

Navíc, metoda close() má jeden postranní efekt. Je volána v případě, že je objekt generátoru odklízen z paměti (odborněji garbage-collected). To znamená, že jeho kód může před svým ukončením proběhnout ještě naposledy. Syntaktické omezení, že yield není možné kombinovat s try ... finally bylo zrušeno. Tyto změny souvisí i s konstrukcí with, která je v PEP 343.

PEP 342, Coroutines via Enhanced Generators
PEP sepsal Guido van Rossum a Phillip J. Eby; implementoval Phillip J. Eby. Navíc obsahuje zajímavější [some fancier] způsoby použití generátorů jako korutin.

Konstrukce with

Konstrukce with zpřehledňuje kód, který by předtím musel používat try ... finally k zabezpečení úklidového kódu. Jedná se o novou řídící strukturu:

with expression [as variable]:
    with-block

Výraz je vyhodnocen a jeho výsledkem může být objekt podporující context management protocol. Návratovou hodnotu můžeme volitelně pojmenovat. Objekt nyní může implementovat kód, který proběhne před blokem with a nějaký úklidový kód, který je proveden po ukončení bloku, včetně případu, že vyhodí výjimku.

Nejprve musíme přidat následující direktivu - from __future__ import with_statement, přičemž se očekává, že od verze 2.6 to bude výchozí nastavení. Některé standardní objekty obsahují podporu pro context management protocol už nyní. Příkladem je soubor:

with open('/etc/passwd', 'r') as f:
    for line in f:
        print line

Po vykonání tohoto kódu dojde k automatickému uzavření souboru a to i v případě, že smyčka for vyvolá výjimku.

Nová funkce localcontext() v modulu decimal umožňuje snadno ukládat a obnovovat kontext desítkových čísel, což zahrnuje přesnost a způsoby zaokrouhlení.

from decimal import Decimal, Context, localcontext

# Výchozí přesnost 28
v = Decimal('578')
print v.sqrt()

with localcontext(Context(prec=16)):
    # V tomto bloku je nastavena přesnost 16.
    # Originální stav bude automaticky obnoven
    print v.sqrt()

PEP 343, The ``with'' statement
PEP sepsal Guido van Rossum a Nick Coghlan; implementoval Mike Bland, Guido van Rossum a Neal Norwitz. PEP ukazuje kód generovaný pro tuto konstrukci, který může pomoci pochopit, jak to celé vlastně pracuje.

Píšeme objekty s context management protocol

Používat with je poměrně jednoduché. Implementace takové podpory je složitější. Spousta lidí bude používat with pouze ve spojení s existujícími objekty, a tak nepotřebuje znát nízkoúrovňové detaily. Ovšem autoři nových objektů pozadí této techniky znát musí, pokud chtějí, aby uživatelé jejich objektů mohli používat with.

Na vyšší úrovni context management protocol znamená:

• Vyhodnocený výraz může vrátit objekt zvaný ``context manager''. Ten musí obsahovat speciální metody __enter__() a __exit__().
• Metoda __enter__() se zavolá a návratová hodnota se sváže s proměnnou VAR. Pokud nebyla napsána klauzule 'as VAR', jednoduše se zahodí.
• Kód v těle with (BLOCK) se začne provádět.
• Pokud BLOCK vyvolá výjimku, dojde k zavolání __exit__(type, value, traceback), přičemž stejné údaje jsou vráceny i sys.exc_info(). Návratová hodnota této metody určuje, zda se výjimka zavolá znovu, či ne. Jakákoli nepravdivá hodnota znovu vyvolá výjimku a hodnota True ji potlačí.
• Pokud BLOCK žádnou výjimku nevyvolá, metoda __exit__() se stejně zavolá, ale všechny její parametry obsahují None.

Ukážeme si teď vše na příkladu, což jsou databázové transakce. Pro neznalé: každá slušná databáze zpracovává požadavky v transakcích. Transakce se sestává z jednoho nebo několika příkazů, které musí být na konci potvrzeny (commit), anebo mohou být odvolány (roll-back). Ostatní vlastnosti, jako například atomicita transakcí, nejsou pro náš příklad významné.

Cílem je mít možnost napsat něco jako:

db_connection = DatabaseConnection()
with db_connection as cursor:
    cursor.execute('insert into ...')
    cursor.execute('delete from ...')

Transakce může být potvrzena, pokud blok kódu proběhne bezchybně, anebo odvolána, když dojde v výjimce. Základní rozhraní pro DatabaseConnection je potom:

class DatabaseConnection:
    # Databázové rozhraní
    def cursor (self):
        "Vrací objekt kurzor a začíná novou transakci"
    def commit (self):
        "Potvrdí (commit) transakci"
    def rollback (self):
        "Odvolá (roll-back) transakci"

Implementace metody __enter__() je jednoduchá. Pouze musí začít novou transakci. V tomto případě je konkrétní kurzor (v databázové terminologii se tak označuje ukazatel na právě zpracovávaný řádek) užitečný, takže jej vrátíme. Uživatel jej poté může pojmenovat a používat.

 def __enter__ (self):
    # Code to start a new transaction
    cursor = self.cursor()
    return cursor

Naproti tomu metoda __exit__() je trochu komplikovanější. Nejprve musí zjistit, zda nedošlo k výjimce. Pokud ne, transakci potvrdí, pokud k výjimce dojde, transakci odvolá. V následujícím kódu zajistíme znovuvyvolání výjimky vrácením výchozí hodnoty None.

 def __exit__ (self, type, value, tb):
    if tb is None:
        # No exception, so commit
        self.commit()
    else:
        # Exception occurred, so rollback.
        self.rollback()
        # return False

Modul contextlib

Nový modul contextlib obsahuje užitečné funkce a dekorátory, které usnadňují psaní objektů, které podporují with. Dekorátor se nazývá contextmanager a umožňuje nám napsat pouze jednu funkci místo psaní třídy. Generátor může pomocí yield vrátit pouze jednu hodnotu. Kód nad konstrukcí yield je proveden jako __enter__(), hodnota vrácená výrazem s yield se sváže se jménem v klauzuli as name. Kód po výrazu s yield potom slouží jako metoda __exit__(). Náš příklad teď tedy vypadá takto:

from contextlib import contextmanager

@contextmanager
def db_transaction (connection):
    cursor = connection.cursor()
    try:
        yield cursor
    except:
        connection.rollback()
        raise
else:
    connection.commit()

db = DatabaseConnection()
with db_transaction(db) as cursor:
...

Modul contextlib rovněž obsahuje funkci nested(mgr1, mgr2, ...) která umí zkombinovat několik context manažerů, a proto není nezbytně nutné psát vnořené with. Například je možné spojit transakci se zámkem vlákna:

lock = threading.Lock()
with nested (db_transaction(db), lock) as (cursor, locked):
...

Závěr

V posledním díle si (občas dost letecky) probereme zbytek novinek, jako nové hierarchie tříd pro výjimky nebo způsob, jak přímo spouštět funkce z C knihoven.

Seriál Novinky v Python 2.5 (dílů: 3)

První díl: Novinky v Python 2.5, poslední díl: Novinky v Python 2.5 - 3.
Předchozí díl: Novinky v Python 2.5
Následující díl: Novinky v Python 2.5 - 3

Diskuse k tomuto článku

[Kyosuke]

Michale, technická – nespletl sis multimetody a korutiny? Cizí termiti jsou občas zákeřní.

[Michal Vyskočil]

Máš pravdu, jak jsem psal úvodníky, napsal jsem tam multimetody (to mám z toho, že si čtu o CLOS ). Blbé je, že to navěky zůstane v URL

[Robert Krátký]

Blbé je, že to navěky zůstane v URL

Ale kdež... už je to opraveno

[disorder]

som si ani nevsimol...

http://www.abclinuxu.cz/clanky/programovani/novinky-v-python-2.5-2-korutiny-konstrukce-with

asi trest za take skarede slovo - to je tak, ked sa nasilu preklada... :)

[deda.jabko]

jsou generatory neco jineho nez uzaver?

(define (counter) 
  (define value 0)
  (lambda y 
    (set! value (+ value (if (null? y) 1 (car y))))
    value))

napadlo me (mirne ovlivnen dnesnim clankem), ze pomoci generatoru jde zavest line vyhodnocovani a s tim spojene streamy. je to moc hezka hracka... ale ted otazka jestli to nekdo v praxi pouzije....

[Kyosuke]

Tak trošku. Na implementaci generátorů syntakticky ekvivalentním těm pythonovským bys ve Scheme asi potřeboval napsat transformační makro, které ošetří existenci více možných vstupních bodů. Ale lokální proměnné generátoru by to makro samozřejmě nejspíš nacpalo do uzávěru.

[deda.jabko]

aha, uz to vidim... prehledl jsem, ze je tam navic metoda send... myslel jsem, ze se to predava pomoci nextu... a na to uz dve fce jsou potreba... a tudiz i nejake makro nebo funkce na zabaleni...

[Kyosuke]

Ale kdepak, tohle jsem neměl na mysli. Měl jsem na mysli to, že provádění kódu generátoru se při prvním volání začíná (lexikálně) skutečně prvním řádkem kódu, ale po yieldu se vrací provádění za poslední provedený yield. Ten tam je minimálně jeden (Python pozná generátor právě přítomností alespoň jednoho yieldu), to znamená minimálně dva vstupní body (začátek a yield). Kdyby tam yieldy byly dva, dá se do generátoru vstoupit na prvním řádku, do kódu za prvním yieldem a do kódu za druhým yieldem. A tak dále. Takže generátor musí, abstraktně vzato, mezi výstupem a dalším vstupem zachovat informace o tom, jaké jsou hodnoty lokálních proměnných a odkud se má pokačovat, ne? Těch více vstupních bodů je tam i bez send(). Tedy více vstupních bodů na straně volaného kódu.

[deda.jabko]

aha, tak to uz vypada o poznani chytrejc... celou dobu jsem si rikal, kde tam jsou ty korutiny a co je na tom tak uzasneho... ve schemu by to byla spis kombinace uzaveru a unikove fce z call/cc, ale o poznani slozitejsi

[Tom.š Ze.le.in]

Mně to zase trochu připomíná balík series z Common Lispu (který se skoro dostal do standardu). I když ten kromě "generátorového" přístupu ještě, pokud to jde, provádí transformaci kódu na cyklus.

[Ladicek]

Ještě jsem ani nedočetl a už mám otázku: hned ten první příklad, fungoval by tak, jak je napsán, nebo je tam blbě odsazení? Přijde mi to úsměvné

[mydlo]

Aky je rozdiel medzi generatorom a iteratorom?

[JS]

Generator je konstrukce, ktera postupne produkuje nejakou (potencialne nekonecnou) posloupnost objektu na pozadani (tj. kazdy vraceny objekt se pocita az kdyz je treba).

Iterator je specialni pripad generatoru - produkuje odkazy na postupne vsechny cleny nejake slozitejsi datove struktury, napr. stromu, ale muze jit i o zaznamy v souboru apod.

Vice se da najit na anglicke Wikipedii napriklad.