Dotaz: recode utf-8..flat

[dusan456]

Mám problém so zmenou kódovania s recode utf-8..flat, ako aj v perle, tak aj v php. Text je v utf-8 a ja ho potrebujem prispôsobiť anglickej abecede.

Pri písmenach dlhé prehlasované maďarské o "ő" a aj pri škandinávskom preškrtnutom o "ø" to nefunguje.

Nevie prosím niekto pomôcť, ako si s tým poradiť? Ďakujem za prípadne info.

Odpovědi

[Jan Martinek]

Ajaj - odstraňování diakritiky je dost špinavá práce. Přečti si diskusi pod tímto článkem: http://www.abclinuxu.cz/clanky/programovani/standardni-knihovna-pro-python-7-retezce-3
S tím přehlasovaným maďarským "ő" nebude problém, ale to přeškrtnuté "ø" bude asi nutné opravit ručně, protože to není složenina:

>>> import unicodedata
>>> print unicodedata.normalize('NFD', u'ő')
ő
>>> print unicodedata.normalize('NFD', u'ø')
ø

[ams]

Pokud je problem jenom u techto dvou pismen, pak se jich muzete zbavit rucne:

$ perl -Mutf8 -le '$_="Hungarian ő, Scandinavian ø";tr/őø/o/;print'
Hungarian o, Scandinavian o

[Tomáš]

V Pythonu bych to videl takhle:

    
def cleanString(what):
        '''Gets rid of letters which are not in English alphabet'''
        assert type(what) == unicode
        normalized = unicodedata.normalize('NFKD', what)
        output = ''
        for c in normalized:
            if not unicodedata.combining(c):
                output += c
        return output

[michich]

Náhrada dánského/norského "ø" -> "o" je špatný nápad. Lepší a srozumitelnější je transkripce na "oe". A jestli tam někde máš "å", tak to se přepisuje na "aa".

[dusan456]

Ďakujem za info, budem to musieť urobiť asi ručne. Najväčší problém budem teraz mať so zistením, čo neprešlo prekodovaním v tomto multi-multijazyčnom texte (400MB).