Proč používám UTF-8

12.7.2005 14:16 | Přečteno: 1740× | Rouhání největší

Problém, jak řešit zakódování národně specifických znaků, se ve výpočetní technice řešil již od dřevních dob (přesněji řečeno od okamžiku, kdy chtěl někdo používat něco víc než holé anglickou abecedu). Pro české znaky se v historii používala mnohá kódování, každé mělo nějaké výhody a nevýhody (na legendární kódování bratří Kamenických si ještě leckdo vzpomene, občas ho ještě někdo použije i dnes). Po postupném vystřídání všeho možného jsem zjistil, že je nejvýhodnější používat UTF-8.

Pominu-li zmiňované bratry Kamenické a různé pokusy o národní kódování (říkám pokusy, protože třeba kódování KOI8ČS se neujalo, přestože bylo určeno ČSN jako "jediné správné"), stejně tak jako používání proprietárních kódových stránek, za první skutečně významný krok lze považovat zavedení skupiny kódování podle normy ISO 8859. Znaky české abecedy jsou součástí ISO 8859-2 (což asi každý ví), proto bylo (a stále je) naprosto běžné používat tuto sadu.

Protože přepínání kódových stránek se změnou jazyka je věc dost nepříjemná, objevil se fenomen zvaný Unicode - systém, který umožňuje snadnou práci s libovolným počtem národních abeced současně. Snaha o normalizaci tohoto systému vyústila v normu ISO/IEC 10646, která pokrývá hlavní část tohoto systému (a do budoucna se plánuje pokrytí celého standardu).

Unicode si samozřejmě nevystačí s jedním bajtem pro každý znak. Nejobvykleji se každý znak ukládá dvoubajtově (UCS-2), lze použít i čtyřbajtovou reprezentaci (UCS-4). Tyto reprezentace se hodí hlavně pro vnitřní uložení v paměti, pro ukládání dat a jejich přenos jsou vhodnější tzv. transformační formáty (UTF). Jsou v zásadě tři: UTF-8, UTF-16 a UTF-32 (u dvou posledních se rozlišují ještě varianty podle pořadí bajtů). Formát UTF-8 zakódovává každý Unicode znak jako osmibitové hodnoty, a to tak, že podle potřeby (resp. podle hodnoty) používá 1-4 bajty.

Právě UTF-8 jsem si v poslední době velmi oblíbil, zjistil jsem totiž, že mi přináší téměř samé výhody:

• Odpadají problémy s "cizími" znaky. Někdy je potřeba v textu použít, byť třeba jen jediný, znak nepatřící do běžné národní abecedy. Co s tím? Při použití běžného osmibitového kódování to většinou vede na použití znaku co nejpodobnějšího, ale stejně to není ono. UTF-8 to hravě vyřeší.
• Více jazyků pohromadě - žádný problém. Stalo se mi, že jsem musel použít na jedné webové stránce pohromadě třeba češtinu a ruštinu (nebo dokonce i hebrejštinu, ale to už je extrém). S UTF-8 je to absolutně bez problémů, "klasická" kódování žádné řešení nenabízejí (různé jazyky dokonce nelze použít ani v různých rámech, jakkoli jsou rámy zvěrstvo největší).
• Není třeba řešit platformy. Kdo pracuje na stejných souborech ve více systémech, má určitý problém s kódováním. Když si jako základ určí třeba ISO 8859-2, ve Windows ho editor klidně otevře jako CP1250 (nebo to může člověk udělat omylem ručně) a na guláš je zaděláno. To se s UTF-8 nestane, automatická detekce ho většinou rozpozná bez problémů, a při ručním otvírání si člověk hned všimne, pokud by kódování vybral špatně.
• ASCII projde transparentně. Protože hodnoty do 127 (tedy 7 bitů) se do UTF-8 ukládají jednobajtově, jsou čisté ASCII texty zpracovávány zcela transparentně. To je výhoda oproti jiným reprezentacím Unicode, a to výhoda dost podstatná.
• Default na RedHat / Fedora Core. Tohle už je poměrně specifická věc, ale pro mě má význam. Protože už dlouhodobě používám GNU/Linux právě z těchto distribucí, obecně jsem si zvykl používat UTF-8, mimo jiné právě proto, že je to zde výchozí kódování.

Samozřejmě, že UTF-8 má i své nevýhody. Texty zabírají více místa, ne všechny programy s nimi umí správně pracovat (hlavně ty starší), jsou hůře čitelné v ASCII reprezentaci, pro výměnu dat s jinými lidmi (kteří UTF-8 zatím nepoužívají) je nutná konverze apod. Ale výhody jednoznačně převažují, proto je pro mě UTF-8 dobrou volbou.

       

Komentáře

[Michal Marek (twofish)]

K "ASCII projde transparentě" bych přidal "nulový bajt znamená jedině znak s kódem nula", takže řetězce lze stále ukládat jako nulou ukončené posloupnosti bajtů.

Srovnej s

$ echo "Žluťoučký kůň" | recode utf-8..utf-16 | xxd
0000000: feff 017d 006c 0075 0165 006f 0075 010d  ...}.l.u.e.o.u..
0000010: 006b 00fd 0020 006b 016f 0148 000a       .k... .k.o.H..

[Michal Vyskočil]

Shodou okolností jsem teď chtěl napsat něco podobného. Já na Gentoo řešil pořád nějaké problémy s češtinou a nakonec bylo nejjednodušší celý systém překlopit do utf-8. Teď si říkám, škoda, že to tak není už defaultně.

Myslím, že argument o větší velikosti utf-8 textů nemá u češtiny takovou váhu. Udělal jsem si pokus, kdy jsem tento příspěvek vložit tisíckrát do souboru a ten pak rekódoval do iso-8859-2

$ ls -lh
celkem 7,9M
-rw-r--r--  1 misak users 3,7M čec 12 15:21 blog.iso.txt
-rw-r--r--  1 misak users 4,2M čec 12 15:20 blog.utf8.txt
$ gzip blog*
$ ls -lh
celkem 60K
-rw-r--r--  1 misak users 25K čec 12 15:21 blog.iso.txt.gz
-rw-r--r--  1 misak users 30K čec 12 15:20 blog.utf8.txt.gz

Větším problémem mi přijde to, že většina odpovědí googlu na "něco utf-8" už začíná vést na neanglicky psané stránky , protože angličané toto prakticky neřeší.

[Spike]

HOWTO: Using UTF-8 on Gentoo (edited) (Jen kdyby náhodou...)

[Michal Vyskočil]

Vím a znám . Ostatně já to prováděl podle HOWTO Make your system use unicode/utf-8. Největší problém jsem měl s mplayerem, ale nakonec jsem zjistil, že musím vypnout podoru pro fribidi, takže LINGUAS="en"; USE="-bidi"; emerge mplayer.

[petr_p]

Vyborny clanek.

Jen bych dodal, ze problem kodovani uz resil napr. pan Turing, coz bylo davno pred vznikem pocitacu, tak jak je zname dnes. Obecne kodovani znamena mapovani znaku jedne konecne abecedy na znaky jine konecne abecedy.

Americani si vybraly 128-znakovou abecedu, Zapadoevropane 256 znaku a Japonci nebo Korejci 2^16.

S tim souvisi tvrzeni Unicode - systém, který umožňuje snadnou práci s libovolným počtem národních abeced současně, ktere je platne jen zde na Zemi.

Taky by bylo dobre ozrejmit rozdil mezi pojmy znakova sada a kodovani. UNICODE je znakova sada (tj. prirazeni ordinalnich cisel znakum abecedy), UTF-8 je kodovani (tj. zpusob zapisu ordinalniho cisla). Tazke v UTF-8 je napr. mozne zapsat znak Ž jak Zˇ, tedy velke zet s hackem.

Nedavno jsem si dal tu praci a doplnil si do systemu vsechy potrebne fonty na to, aby seznam jazykovych mutaci Wikipedie byl hezky "cesky" a nestrasili tam obdelnicky s hexadec. ord. hodnotu. Pri te prilezitosti jsem zjistil, ze napr. v Indii existuji asi 3 ruzna kodovani, pricemz i hlavy pomazane (jako vlada nebo LUG) zavrhuji UTF-8 jako neperspektivni cestu. No, jiny kraj, jiny mrav.

[Pmx]

Co se mě osobně líbí je, že v UTF-8 pracuje třeba GTK (Glib tím pádem poskytuje funkce pro práci s textem v UTF-8), takže se o kódování programátor nemusí vůbec starat.

Že je text v UTF-8 náročnější na velikost zabrané paměti atd. je bezvýznamné oproti jeho výhodám. Tak mě napadá, má UTF-8 vůbec nějaké nevýhody? :) (Kromě případné nepodpory některého softwaru.)

Mimochodem, vzpomněl jsem si na jeden odkaz: UTF-8 and Unicode FAQ for Unix/Linux

[Michal Kubeček]

Hlavní nevýhodou je proměnná délka znaku, což komplikuje "random access" řetězcové operace nebo třeba alokaci paměti (kontrolní otázka: kolik paměti potřebujete alokovat, aby se do ní určitě vešel UTF-8 řetězec o délce 100 znaků (nepočítám-li ukončující značku)? Hint: 100 B, 200 B, ba ani 300 B není správně).

[Luk]

Vnitřně to lze ukládat jako UCS-2, i když se tím zase zanesou jiné problémy.

V původním smyslu příspěvku jsem měl na mysli především uživatelské použití UTF-8; protože dělám hlavně v Javě, problémy s alokací paměti pro C řetězec mě netrápí

[Michal Kubeček]

No, UCS-2… Docela se těším na to, až začnou padat jako hrušky všechny ty windowsové aplikace, které používají UCS-2 a říkají mu UTF-16… To se teprve nasmějeme… :-) Což, mimochodem souvisí i s tou mou otázkou: většina lidí je totiž (na základě současného stavu) přesvědčena, že stačí 300 B, jenže ono je to 600 B…

[Luk]

No, pod Windows programuji už nějaký ten pátek, ale práci s Unicode ve Windows jsem dodnes nepochopil

[Michal Kubeček]

Z dob, kdy jsem ještě pod Windows pracoval a programoval, jsem nabyl dojmu, že snaha něco tam pochopit je chybou, protože to výrazně snižuje produktivitu práce… :-) S trochou cynismu bych řekl, že základní problém s linuxovými začátečníky, kteří přišli z platformy Windows, je naučit je, že

• má smysl (a je žádoucí) číst dokumentaci
• má smysl (a je žádoucí) číst chybové hlášky

protože jejich dlouhodobá zkušenost je naučila pravý opak. :-)