Dotaz: Ako sa zbavit diakritiky

[GeorgeWH]

Zdravim. Mam textovy subor (konfigurak k Postfixu), ktory obsahuje komentare s diakritikou, ktorej sa chcem zbavit. Ako "pretransformujem" pismena "ľ š ý á ..." na "l s y a ..."?

file mi hodil: UTF-8 Unicode English text.

Vdaka.

Odpovědi

[vencour]

Muj laickej postup by byl otevřít v textovym editoru a pak nahradit všechny písmena (replace all) ... když už to nechcete dělat skriptem.

[Martin Šebek]

cstocs -i utf-8 ascii file_name

[Pavel1]

Další na překódování : iconv, recode.

[slackman]

Moznosti je spousta, jde to treba takto:
cat soubor1 | \
tr áéěíóúůýžščřďťňľ aeeiouuyzscrdtnl > \
soubor2
Pokud chybi nejaka, treba velka pismena, staci doplnit.

Nebo zkuste: skript cnv pro SED od L. Škarvady. Pro ziskani informaci o pouziti staci spustit:
# ./cnv
jen tak na prazdno bez parametru.

[Jan Zahornadsky]

Moznosti je spousta, jde to treba takto:
cat soubor1 | tr áéěíóúůýžščřďťňľ aeeiouuyzscrdtnl > soubor2

Tohle jede i v utf8? Máš na to nějaký patch pro tr, po kterém to nahrazuje ne po osmibitových skupinách, ale po písmenech podle locale?

[slackman]

No jo, nejak jsem prehlidnul ze se tady mluvi o utf8. Moc se omlouvam. Vtom pripadu asi nebude fungovat ani ta legracka cnv.

[Jan Martinek]

Odstranit diakritiku z UTF-8 není nic jednoduchého, protože substituce není vždy jednoznačná. Ale pro české znaky funguje toto:

$ cat abeceda_cz
áÁčČďĎěĚéÉíÍňŇóÓřŘšŠťŤúÚůŮýÝžŽ
$ recode --force utf8..flat abeceda_cz
$ cat abeceda_cz
aAcCdDeEeEiInNoOrRsStTuUuUyYzZ

Musí se dát parametr --force, protože jde o nevratné překódování.

[Jan Martinek]

Dalo by se to taky takhle:

#!/usr/bin/env python

import unicodedata

old = u'ahojáÁčČďĎěĚéÉíÍňŇóÓřŘšŠťŤúÚůŮýÝžŽ'
norm = unicodedata.normalize('NFKD', old)
new = norm.encode('ascii', 'ignore')
print old
print new

Výsledek:

ahojáÁčČďĎěĚéÉíÍňŇóÓřŘšŠťŤúÚůŮýÝžŽ
ahojaAcCdDeEeEiInNoOrRsStTuUuUyYzZ

Základní myšlenka by měla fungovat pro jakékoli kódování.
Opravdu nerad vytahuji staré vyřešené vlákno, ale momentálně nemám kam jinam bych si to zapsal

[hajma]

na češtinu jsem to nezkoušel, ale z franštiny mi pomohlo uni2ascii