Administrace komentářů

Dobrý den,

mám tady takový dost specifický dotaz na Python a pickle/shelve. Mám kód který bych chtěl udělat pro python2 a python3. Na první pohled se zdá, že vše správně funguje, jenže po otevření dat na python 3 se objevuje chyba v kódování, která ani nejde moc dobře vyřešit.

python2 > vytvoření souboru

import shelve
try:
    import dumbdbm as dumb
except:
    from dbm import dumb

db = dumb.open('/tmp/test',flag='c')
database = shelve.Shelf(db,writeback=True)
database['aa'] = {"ščř":2343, 'aaa3':'šřdd'}
database.sync()
database.close()

python3 > otevření souboru

import shelve
try:
    import dumbdbm as dumb
except:
    from dbm import dumb

db = dumb.open('/tmp/test',flag='c')
database = shelve.Shelf(db,writeback=True)
database['aa']

Traceback (most recent call last):
  File "/usr/lib/python3.2/shelve.py", line 111, in __getitem__
    value = self.cache[key]
KeyError: 'aa'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.2/shelve.py", line 114, in __getitem__
    value = Unpickler(f).load()
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc5 in position 0: ordinal not in range(128)

Chyba je dle mého špatně vyřešitelná na úrovni kódu vlastního a je možné jí řešit upravením __getitem__()

/usr/lib/python3.2/shelve.py
/usr/lib/python3.3/shelve.py > Shelf v částí Unpickler(), kde chybí kódování. Do Shelf předat kódování nejde.

def __getitem__(self, key):
    try:
        value = self.cache[key]
    except KeyError:
        f = BytesIO(self.dict[key.encode(self.keyencoding)])
        value = Unpickler(f,encoding="???").load()
        if self.writeback:
            self.cache[key] = value
    return value

Upravením funkce __getitem__() na na "UTF-8" funguje

from pickle import Pickler, Unpickler
from io import BytesIO
def getitem(database, key):
    try:
        value = database.cache[key]
    except KeyError:
        f = BytesIO(database.dict[key.encode("UTF-8")])
        value = Unpickler(f,encoding="UTF-8").load()
        if database.writeback:
            database.cache[key] = value
    return value

from pickle import Pickler, Unpickler
from io import BytesIO
getitem(database, 'aa')
{'ščř': 2343, 'aaa3': 'šřdd'}

Takže teď nevím, jakým způsobem bych to měl řešit.. mám dělat nějaký wrapper nebo to je normální chování?? Někdo znalý Pythonu poraďte.