abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 12:00 | Nová verze

Byla vydána nová vývojová verze datového formátu a souvisejících nástrojů Relational pipes. Hlavní novinkou verze v0.16 je použití abstraktní vrstvy ODBC, díky které lze pracovat s libovolným DBMS, např. PostgreSQL nebo MySQL či MariaDB (dříve šlo SQL transformace provádět jen v SQLite). Dále v této verzi přibyl vstupní modul pro audio systém JACK, skrze který lze přijímat MIDI zprávy.

xkucf03 | Komentářů: 0
dnes 00:55 | Zajímavý článek

Alyssa Rosenzweig v příspěvku na blogu společnosti Collabora informuje o novinkách ve vývoji open source ovladačů pro GPU Mali. Na GPU Mali-G31 bez binárního blobu již běží Wayland kompozitory včetně GNOME 3, hra Neverball nebo akcelerace videa v přehrávačích mpv a Kodi.

Ladislav Hagara | Komentářů: 0
včera 23:33 | Zajímavý článek

Nová čísla časopisů od nakladatelství Raspberry Pi: MagPi 94 (pdf), HackSpace 31 (pdf) a Wireframe 39 (pdf).

Ladislav Hagara | Komentářů: 0
včera 23:22 | Zajímavý software

Streamhut umožňuje streamování práce v terminálu na web bez nutnosti cokoli instalovat. Zdrojové kódy služby jsou k dispozici na GitHubu pod licencí Apache.

Ladislav Hagara | Komentářů: 0
včera 02:00 | Nová verze

Turris OS, operační systém pro síťová zařízení Turris, byl vydán v nové major verzi 5.0. Vychází z OpenWrt 19.07.3. Podrobnosti na GitLabu.

Ladislav Hagara | Komentářů: 0
včera 01:00 | Nová verze

Byla vydána verze 1.44.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 0
4.6. 17:00 | Bezpečnostní upozornění

Nedávno byla vydána nová verze 9.4.6 nástroje pro řízení a správu IT zařízení a služeb GLPI (Wikipedie). Opraveno bylo několik bezpečnostních chyb. Například také SQL injection CVE-2020-11032 aneb email z ';-- Have I Been Pwned? dokáže smazat celý ticket systém.

Ladislav Hagara | Komentářů: 0
4.6. 13:00 | Zajímavý článek

MojeFedora.cz informuje, že Firefox 77 pro Fedoru přináší akceleraci videa. Firefox 77 pro Fedoru obsahuje patche, které konečně přináší podporu pro VA-API, tedy hardwarovou akceleraci videa. Podpora pro VA-API momentálně funguje pouze na Waylandu.

Ladislav Hagara | Komentářů: 4
4.6. 12:00 | Pozvánky

Sdružení CESNET dnes opět po roce pořádá jednodenní seminář věnovaný internetovému protokolu IPv6. Tentokrát on-line a s názvem Svět bez IPv4. K dispozici jsou také prezentace a záznamy přednášek z loňského roku.

Ladislav Hagara | Komentářů: 0
4.6. 08:00 | Nová verze

Byla vydána nová stabilní verze 2.83 svobodného 3D softwaru Blender. Přehled novinek v oznámení o vydání a na YouTube. Jedná se o první verzi Blenderu s prodlouženou dvouletou podporou (LTS).

Ladislav Hagara | Komentářů: 5
Používáte některé open-source řešení [protokol] pro šifrovaný instant messaging?
 (33%)
 (20%)
 (5%)
 (12%)
 (14%)
 (5%)
 (13%)
 (23%)
Celkem 86 hlasů
 Komentářů: 8, poslední dnes 13:40
Rozcestník

Občas není od věci vyslovit něco, za co se upaluje nebo ukamenovává. Nic není totiž tak jednoduché, aby byla pravda vždy jediná a na první pohled zřejmá.


NAVRCHOLU.cz
Aktuální zápisy

Proč používám UTF-8

12.7.2005 14:16 | Přečteno: 1670× | Rouhání největší

Problém, jak řešit zakódování národně specifických znaků, se ve výpočetní technice řešil již od dřevních dob (přesněji řečeno od okamžiku, kdy chtěl někdo používat něco víc než holé anglickou abecedu). Pro české znaky se v historii používala mnohá kódování, každé mělo nějaké výhody a nevýhody (na legendární kódování bratří Kamenických si ještě leckdo vzpomene, občas ho ještě někdo použije i dnes). Po postupném vystřídání všeho možného jsem zjistil, že je nejvýhodnější používat UTF-8.

Pominu-li zmiňované bratry Kamenické a různé pokusy o národní kódování (říkám pokusy, protože třeba kódování KOI8ČS se neujalo, přestože bylo určeno ČSN jako "jediné správné"), stejně tak jako používání proprietárních kódových stránek, za první skutečně významný krok lze považovat zavedení skupiny kódování podle normy ISO 8859. Znaky české abecedy jsou součástí ISO 8859-2 (což asi každý ví), proto bylo (a stále je) naprosto běžné používat tuto sadu.

Protože přepínání kódových stránek se změnou jazyka je věc dost nepříjemná, objevil se fenomen zvaný Unicode - systém, který umožňuje snadnou práci s libovolným počtem národních abeced současně. Snaha o normalizaci tohoto systému vyústila v normu ISO/IEC 10646, která pokrývá hlavní část tohoto systému (a do budoucna se plánuje pokrytí celého standardu).

Unicode si samozřejmě nevystačí s jedním bajtem pro každý znak. Nejobvykleji se každý znak ukládá dvoubajtově (UCS-2), lze použít i čtyřbajtovou reprezentaci (UCS-4). Tyto reprezentace se hodí hlavně pro vnitřní uložení v paměti, pro ukládání dat a jejich přenos jsou vhodnější tzv. transformační formáty (UTF). Jsou v zásadě tři: UTF-8, UTF-16 a UTF-32 (u dvou posledních se rozlišují ještě varianty podle pořadí bajtů). Formát UTF-8 zakódovává každý Unicode znak jako osmibitové hodnoty, a to tak, že podle potřeby (resp. podle hodnoty) používá 1-4 bajty.

Právě UTF-8 jsem si v poslední době velmi oblíbil, zjistil jsem totiž, že mi přináší téměř samé výhody:

Samozřejmě, že UTF-8 má i své nevýhody. Texty zabírají více místa, ne všechny programy s nimi umí správně pracovat (hlavně ty starší), jsou hůře čitelné v ASCII reprezentaci, pro výměnu dat s jinými lidmi (kteří UTF-8 zatím nepoužívají) je nutná konverze apod. Ale výhody jednoznačně převažují, proto je pro mě UTF-8 dobrou volbou.

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

12.7.2005 14:28 Michal Marek (twofish) | skóre: 55 | blog: { display: blog; } | Praha
Rozbalit Rozbalit vše Nuly
K "ASCII projde transparentě" bych přidal "nulový bajt znamená jedině znak s kódem nula", takže řetězce lze stále ukládat jako nulou ukončené posloupnosti bajtů.

Srovnej s
$ echo "Žluťoučký kůň" | recode utf-8..utf-16 | xxd
0000000: feff 017d 006c 0075 0165 006f 0075 010d  ...}.l.u.e.o.u..
0000010: 006b 00fd 0020 006b 016f 0148 000a       .k... .k.o.H..
12.7.2005 15:34 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
Rozbalit Rozbalit vše UTF
Shodou okolností jsem teď chtěl napsat něco podobného. Já na Gentoo řešil pořád nějaké problémy s češtinou a nakonec bylo nejjednodušší celý systém překlopit do utf-8. Teď si říkám, škoda, že to tak není už defaultně.

Myslím, že argument o větší velikosti utf-8 textů nemá u češtiny takovou váhu. Udělal jsem si pokus, kdy jsem tento příspěvek vložit tisíckrát do souboru a ten pak rekódoval do iso-8859-2
$ ls -lh
celkem 7,9M
-rw-r--r--  1 misak users 3,7M čec 12 15:21 blog.iso.txt
-rw-r--r--  1 misak users 4,2M čec 12 15:20 blog.utf8.txt
$ gzip blog*
$ ls -lh
celkem 60K
-rw-r--r--  1 misak users 25K čec 12 15:21 blog.iso.txt.gz
-rw-r--r--  1 misak users 30K čec 12 15:20 blog.utf8.txt.gz
Větším problémem mi přijde to, že většina odpovědí googlu na "něco utf-8" už začíná vést na neanglicky psané stránky :-(, protože angličané toto prakticky neřeší.
When your hammer is C++, everything begins to look like a thumb.
12.7.2005 22:52 Spike | skóre: 30 | blog: Communicator | Praha
Rozbalit Rozbalit vše Re: UTF
HOWTO: Using UTF-8 on Gentoo (edited) (Jen kdyby náhodou...)
12.7.2005 23:50 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
Rozbalit Rozbalit vše Re: UTF
Vím a znám :-). Ostatně já to prováděl podle HOWTO Make your system use unicode/utf-8. Největší problém jsem měl s mplayerem, ale nakonec jsem zjistil, že musím vypnout podoru pro fribidi, takže LINGUAS="en"; USE="-bidi"; emerge mplayer.
When your hammer is C++, everything begins to look like a thumb.
12.7.2005 17:04 petr_p
Rozbalit Rozbalit vše Par pripominek
Vyborny clanek.

Jen bych dodal, ze problem kodovani uz resil napr. pan Turing, coz bylo davno pred vznikem pocitacu, tak jak je zname dnes. Obecne kodovani znamena mapovani znaku jedne konecne abecedy na znaky jine konecne abecedy.

Americani si vybraly 128-znakovou abecedu, Zapadoevropane 256 znaku a Japonci nebo Korejci 2^16.

S tim souvisi tvrzeni Unicode - systém, který umožňuje snadnou práci s libovolným počtem národních abeced současně, ktere je platne jen zde na Zemi.

Taky by bylo dobre ozrejmit rozdil mezi pojmy znakova sada a kodovani. UNICODE je znakova sada (tj. prirazeni ordinalnich cisel znakum abecedy), UTF-8 je kodovani (tj. zpusob zapisu ordinalniho cisla). Tazke v UTF-8 je napr. mozne zapsat znak Ž jak , tedy velke zet s hackem.

Nedavno jsem si dal tu praci a doplnil si do systemu vsechy potrebne fonty na to, aby seznam jazykovych mutaci Wikipedie byl hezky "cesky" a nestrasili tam obdelnicky s hexadec. ord. hodnotu. Pri te prilezitosti jsem zjistil, ze napr. v Indii existuji asi 3 ruzna kodovani, pricemz i hlavy pomazane (jako vlada nebo LUG) zavrhuji UTF-8 jako neperspektivni cestu. No, jiny kraj, jiny mrav.
12.7.2005 22:27 Pmx
Rozbalit Rozbalit vše UTF-8 - Sem s ním
Co se mě osobně líbí je, že v UTF-8 pracuje třeba GTK (Glib tím pádem poskytuje funkce pro práci s textem v UTF-8), takže se o kódování programátor nemusí vůbec starat.

Že je text v UTF-8 náročnější na velikost zabrané paměti atd. je bezvýznamné oproti jeho výhodám. Tak mě napadá, má UTF-8 vůbec nějaké nevýhody? :) (Kromě případné nepodpory některého softwaru.)

Mimochodem, vzpomněl jsem si na jeden odkaz: UTF-8 and Unicode FAQ for Unix/Linux
13.7.2005 00:05 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
Hlavní nevýhodou je proměnná délka znaku, což komplikuje "random access" řetězcové operace nebo třeba alokaci paměti (kontrolní otázka: kolik paměti potřebujete alokovat, aby se do ní určitě vešel UTF-8 řetězec o délce 100 znaků (nepočítám-li ukončující značku)? Hint: 100 B, 200 B, ba ani 300 B není správně).
Luk avatar 13.7.2005 11:20 Luk | skóre: 47 | blog: Kacířské myšlenky | Kutná Hora
Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
Vnitřně to lze ukládat jako UCS-2, i když se tím zase zanesou jiné problémy.

V původním smyslu příspěvku jsem měl na mysli především uživatelské použití UTF-8; protože dělám hlavně v Javě, problémy s alokací paměti pro C řetězec mě netrápí :-)
LinuxMarket - linuxový e-shop | LinuxEXPRES - linuxový magazín | OpenOffice.cz - portál uživatelů OpenOffice/LibreOffice
13.7.2005 18:30 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
No, UCS-2… Docela se těším na to, až začnou padat jako hrušky všechny ty windowsové aplikace, které používají UCS-2 a říkají mu UTF-16… To se teprve nasmějeme… :-) Což, mimochodem souvisí i s tou mou otázkou: většina lidí je totiž (na základě současného stavu) přesvědčena, že stačí 300 B, jenže ono je to 600 B…
Luk avatar 13.7.2005 19:00 Luk | skóre: 47 | blog: Kacířské myšlenky | Kutná Hora
Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
No, pod Windows programuji už nějaký ten pátek, ale práci s Unicode ve Windows jsem dodnes nepochopil :-)
LinuxMarket - linuxový e-shop | LinuxEXPRES - linuxový magazín | OpenOffice.cz - portál uživatelů OpenOffice/LibreOffice
13.7.2005 21:40 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
Z dob, kdy jsem ještě pod Windows pracoval a programoval, jsem nabyl dojmu, že snaha něco tam pochopit je chybou, protože to výrazně snižuje produktivitu práce… :-) S trochou cynismu bych řekl, že základní problém s linuxovými začátečníky, kteří přišli z platformy Windows, je naučit je, že
  • má smysl (a je žádoucí) číst dokumentaci
  • má smysl (a je žádoucí) číst chybové hlášky
protože jejich dlouhodobá zkušenost je naučila pravý opak. :-)

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.