Proč používám UTF-8 (diskuse)

[Michal Marek (twofish)]

K "ASCII projde transparentě" bych přidal "nulový bajt znamená jedině znak s kódem nula", takže řetězce lze stále ukládat jako nulou ukončené posloupnosti bajtů.

Srovnej s

$ echo "Žluťoučký kůň" | recode utf-8..utf-16 | xxd
0000000: feff 017d 006c 0075 0165 006f 0075 010d  ...}.l.u.e.o.u..
0000010: 006b 00fd 0020 006b 016f 0148 000a       .k... .k.o.H..

[Michal Vyskočil]

Shodou okolností jsem teď chtěl napsat něco podobného. Já na Gentoo řešil pořád nějaké problémy s češtinou a nakonec bylo nejjednodušší celý systém překlopit do utf-8. Teď si říkám, škoda, že to tak není už defaultně.

Myslím, že argument o větší velikosti utf-8 textů nemá u češtiny takovou váhu. Udělal jsem si pokus, kdy jsem tento příspěvek vložit tisíckrát do souboru a ten pak rekódoval do iso-8859-2

$ ls -lh
celkem 7,9M
-rw-r--r--  1 misak users 3,7M čec 12 15:21 blog.iso.txt
-rw-r--r--  1 misak users 4,2M čec 12 15:20 blog.utf8.txt
$ gzip blog*
$ ls -lh
celkem 60K
-rw-r--r--  1 misak users 25K čec 12 15:21 blog.iso.txt.gz
-rw-r--r--  1 misak users 30K čec 12 15:20 blog.utf8.txt.gz

Větším problémem mi přijde to, že většina odpovědí googlu na "něco utf-8" už začíná vést na neanglicky psané stránky , protože angličané toto prakticky neřeší.

[Spike]

HOWTO: Using UTF-8 on Gentoo (edited) (Jen kdyby náhodou...)

[Michal Vyskočil]

Vím a znám . Ostatně já to prováděl podle HOWTO Make your system use unicode/utf-8. Největší problém jsem měl s mplayerem, ale nakonec jsem zjistil, že musím vypnout podoru pro fribidi, takže LINGUAS="en"; USE="-bidi"; emerge mplayer.

[petr_p]

Vyborny clanek.

Jen bych dodal, ze problem kodovani uz resil napr. pan Turing, coz bylo davno pred vznikem pocitacu, tak jak je zname dnes. Obecne kodovani znamena mapovani znaku jedne konecne abecedy na znaky jine konecne abecedy.

Americani si vybraly 128-znakovou abecedu, Zapadoevropane 256 znaku a Japonci nebo Korejci 2^16.

S tim souvisi tvrzeni Unicode - systém, který umožňuje snadnou práci s libovolným počtem národních abeced současně, ktere je platne jen zde na Zemi.

Taky by bylo dobre ozrejmit rozdil mezi pojmy znakova sada a kodovani. UNICODE je znakova sada (tj. prirazeni ordinalnich cisel znakum abecedy), UTF-8 je kodovani (tj. zpusob zapisu ordinalniho cisla). Tazke v UTF-8 je napr. mozne zapsat znak Ž jak Zˇ, tedy velke zet s hackem.

Nedavno jsem si dal tu praci a doplnil si do systemu vsechy potrebne fonty na to, aby seznam jazykovych mutaci Wikipedie byl hezky "cesky" a nestrasili tam obdelnicky s hexadec. ord. hodnotu. Pri te prilezitosti jsem zjistil, ze napr. v Indii existuji asi 3 ruzna kodovani, pricemz i hlavy pomazane (jako vlada nebo LUG) zavrhuji UTF-8 jako neperspektivni cestu. No, jiny kraj, jiny mrav.

[Pmx]

Co se mě osobně líbí je, že v UTF-8 pracuje třeba GTK (Glib tím pádem poskytuje funkce pro práci s textem v UTF-8), takže se o kódování programátor nemusí vůbec starat.

Že je text v UTF-8 náročnější na velikost zabrané paměti atd. je bezvýznamné oproti jeho výhodám. Tak mě napadá, má UTF-8 vůbec nějaké nevýhody? :) (Kromě případné nepodpory některého softwaru.)

Mimochodem, vzpomněl jsem si na jeden odkaz: UTF-8 and Unicode FAQ for Unix/Linux

[Michal Kubeček]

Hlavní nevýhodou je proměnná délka znaku, což komplikuje "random access" řetězcové operace nebo třeba alokaci paměti (kontrolní otázka: kolik paměti potřebujete alokovat, aby se do ní určitě vešel UTF-8 řetězec o délce 100 znaků (nepočítám-li ukončující značku)? Hint: 100 B, 200 B, ba ani 300 B není správně).

[Luk]

Vnitřně to lze ukládat jako UCS-2, i když se tím zase zanesou jiné problémy.

V původním smyslu příspěvku jsem měl na mysli především uživatelské použití UTF-8; protože dělám hlavně v Javě, problémy s alokací paměti pro C řetězec mě netrápí

[Michal Kubeček]

No, UCS-2… Docela se těším na to, až začnou padat jako hrušky všechny ty windowsové aplikace, které používají UCS-2 a říkají mu UTF-16… To se teprve nasmějeme… :-) Což, mimochodem souvisí i s tou mou otázkou: většina lidí je totiž (na základě současného stavu) přesvědčena, že stačí 300 B, jenže ono je to 600 B…

[Luk]

No, pod Windows programuji už nějaký ten pátek, ale práci s Unicode ve Windows jsem dodnes nepochopil

[Michal Kubeček]

Z dob, kdy jsem ještě pod Windows pracoval a programoval, jsem nabyl dojmu, že snaha něco tam pochopit je chybou, protože to výrazně snižuje produktivitu práce… :-) S trochou cynismu bych řekl, že základní problém s linuxovými začátečníky, kteří přišli z platformy Windows, je naučit je, že

• má smysl (a je žádoucí) číst dokumentaci
• má smysl (a je žádoucí) číst chybové hlášky

protože jejich dlouhodobá zkušenost je naučila pravý opak. :-)