Dotaz: Django - skript si neporadí s UTF-8

[Dalibor Smolík]

zdravím, při vytváření šablony pro html stránku mám uvedeno

meta http-equiv="content-type" content="text/html; charset=UTF-8"

a jako "title" Ahoj světe (i další text je s diakritikou). Stránka však vyhodí chybu

Exception Location:  	/usr/lib/python2.5/encodings/utf_8.py in decode, line 16

a stránka je bezchybná jen v případě odstranění diakritiky, což nelze akceptovat. Vygooglil jsem si oznámení v bugu č. 244360, má někdo potuchy, jak tento problém obejít? Dík

Odpovědi

[chrono]

Určite je celý ten súbor v utf-8? (pri tej chybe by malo písať aj to, aký znak spôsobil ten problém, takže asi by bolo možné sa do toho súboru pozrieť, či je tan znak súčasťou správnej utf-8 sekvencie).

[Dalibor Smolík]

Způsobil to text "Aktuální čas" místo "Aktualni cas" ..
"The string that could not be encoded/decoded was: tualn� �as

[chrono]

Je zaujímavé, že ten text nie je poškodený viac (keď tam zobrazuje len jeden otáznik, tak by sa dalo čakať, že to bolo spracované ako utf-8, inak by tam mali byť dva).

Nepomôže zmena UTF-8 v hlavičke na utf-8? (niektoré skripty s tým majú problém)

[Dalibor Smolík]

utf-8 jsem zkoušel taky, nepomůže. Pokud zadám do "title" Ahoj světe místo Ahoj svete, ten problém se objeví jako první.

The string that could not be encoded/decoded was: j, sv�te!

. Pokud odstraním diakritiku, vše proběhne normálně, ale problém se opět objeví, pokud vkládám do MySQL přes django údaje s diakritikou ..

[Messa]

Připojujete se do MySQL v "režimu" unicode, s kódováním utf8?

[Dalibor Smolík]

MySQL s tím nemá nic společného, protože problém nastal ještě předtím, než jsem nahrál příslušný modul. Zobrazování bylo špatné již při zavedení šablony html, ve které se měly zobrazovat české znaky. Nepomáhá ani uvedení řádku
# -*- coding: utf-8 -*-
do skriptů s .py.

[Dalibor Smolík]

Po správném zobrazení šablony jsem zadával data do tabulky - bohužel špatně. Systém mám utf-8, ale po zadání příkazu save() to vyhodilo chybu. Data s diakritikou jsou v databázi zobrazena špatně. Jak v djangu zajistit, aby byla data skutečně zadána v režimu unicode (utf8)?

[Dalibor Smolík]

Při ručním zadání dat s diakritikou z konzole (bez djanga) jsou zobrazována správně

[chrono]

Tabuľky sú naozaj v utf8? (asi najjednoduchšie sa to dá overiť a upraviť pomocou phpMyAdmin).

[Dalibor Smolík]

dík, vyzkouším, uvidíme ..

[chrono]

Zvláštne tam vyzerá to, že � nahradí len jeden znak (ak by sa to konvertovalo z nejakej 8 bitovej znakovej sady, chýbalo by viac znakov).

V celom výpise sa nedá zistiť, odkiaľ sa vlastne zavolala tá funkcia v utf_8.py?

[Dalibor Smolík]

Příloha:

• UnicodeDecodeError at _time_.html (69924 bytů)

Přikládám celý výpis - jestli se z toho něco vyčte.

[Jesus Jimenez]

ugly hack:

sitecustomize.py:

import sys sys.setdefaultencoding('utf8')

[Dalibor Smolík]

Soubor sitecustomize.py jsem vytvořil v adresáři /usr/lib/python2.5/site-packages, do něj jsem zadal

import sys sys.setdefaultencoding('utf8')

bez účinku.

[chrono]

Asi by bolo vhodné najskôr pozrieť, čo píše print sys.getdefaultencoding() (ak je tam utf-8, tak je to nastavovanie zbytočné).

[Dalibor Smolík]

python manage.py shell
Python 2.5.5 (r255:77872, Mar 20 2010, 04:09:06)
[GCC 4.4.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>> sys.getdefaultencoding()
Traceback (most recent call last):
  File "console", line 1, in module
NameError: name 'sys' is not defined
>>>

[chrono]

Predtým treba ešte import sys. :)

Inak je zaujímavé, že ten text (v test.html) sa zobrazuje v kodovaní 8859-2 (a netuším, čo to spôsobuje).

[Dalibor Smolík]

>>> import sys
>>> print sys.getdefaultencoding()
ascii

[chrono]

Inak presne takú chybu mi píše, keď si test.html uložím v kodovaní iso-8859-2 (a potom sa to pokúsim dekodovať ako utf-8), takže asi by bolo vhodné skontrolovať kodovanie toho súboru.

Konkrétne to vyzerá takto:

Traceback (most recent call last):
  File "./a.py", line 3, in <module>
    print open("test.html").read().decode("utf-8")
  File "/usr/lib/python2.6/encodings/utf_8.py", line 16, in decode
    return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 148-150: invalid data

[Dalibor Smolík]

Díky, to bylo ono! Ten soubor html jsem ukládal v bluefish a kódování bylo nastavené na iso-8859-2. Už je to v pořádku. Teď budu řešit databázi, snad to bude také ok.

[chrono]

Je zaujímavé, že Bluefish nezmenil to kódovanie v meta tagu na 8859-2, keď bol súbor uložený v takom kódovaní (tá úprava meta tagu sa dá zakázať v nastaveniach, ale štandardne to povolené je).

[Messa]

Promiň, ale nepsal náhodou na začátku někdo "Určite je celý ten súbor v utf-8?"

Jestli chceš vyřešit databázi, tak nejlépe ukaž konfigurační soubor djanga, kde se databáze nastavují.

[chrono]

V tej chybovej správe sú pravdepodobne zobrazené všetky potrebné nastavenia aj pre databázu.

[Dalibor Smolík]

No, už to mám. Tabulky v databázi jsem si postupně převedl příkazem

ALTER TABLE tbl_name CONVERT TO CHARACTER SET utf8 COLLATE utf8_czech_ci

a ty potvory se už zobrazují správně

[ferda mravenec]

Promiň, ale nepsal náhodou na začátku někdo "Určite je celý ten súbor v utf-8?"

[Dalibor Smolík]

Psal, ale k inkriminovanému počítači jsem se dostal až teďka Nicméně tohle samozřejmě pomohlo ..